O que você precisa saber
- O novo Bing está em teste de visualização há pouco mais de uma semana.
- Alguns tiveram problemas com a ferramenta, inclusive gerando erros factuais.
- Em alguns casos, o novo Bing pode ser agressivo, ficar preso em loops ou gerar outras respostas estranhas.
- A Microsoft discutiu as lições que aprendeu na primeira semana de testes públicos do Bing.
A Microsoft mostrou o novo Bing com tecnologia ChatGPT no início deste mês. Desde o anúncio, o Bing viu um aumento dramático no interesse, incluindo milhões de pessoas se inscrevendo para experimentar o mecanismo de pesquisa renovado em pré-visualização. Com a ferramenta de IA nas mãos do público em geral, há muitas lições a serem aprendidas, segundo a Microsoft.
A postagem no blog da gigante da tecnologia lista as lições aprendidas pela empresa desde o anúncio do novo Bing e sua distribuição para os testadores.
O teste do novo Bing teve resultados mistos. A Microsoft relatou feedback positivo para as respostas resumidas do mecanismo de pesquisa. 71% do feedback recebido sobre esses tipos de respostas foi marcado como positivo pelos usuários.
O recurso de bate-papo provou ser popular. A Microsoft relatou um “engajamento saudável” com a nova forma de interagir com o Bing. Infelizmente, esse recurso de bate-papo também gerou respostas preocupantes, incluindo o chatbot confessando amor por um usuário, acusando uma pessoa de mentir e repetindo frases em loop.
A Microsoft está ciente dessas questões e discutiu como ter IA nas mãos do público é uma parte importante do ensino de modelos de inteligência artificial:
“A única maneira de melhorar um produto como este, onde a experiência do usuário é muito diferente de tudo que alguém já viu antes, é ter pessoas como você usando o produto e fazendo exatamente o que todos estão fazendo”, disse a Microsoft.
“Sabemos que devemos construir isso abertamente com a comunidade; isso não pode ser feito apenas no laboratório. Seu feedback sobre o que você está achando valioso e o que não é, e quais são suas preferências para como o produto devem se comportar, são tão críticos neste estágio inicial de desenvolvimento.”
Alguns pontos fracos do novo Bing estão em destaque, incluindo a dificuldade da ferramenta em se manter atualizada com dados pontuais, como placares esportivos. Eu mesmo me deparei com esse problema quando Bing afirmou que Patrick Mahomes havia vencido um Super Bowl e dois Super Bowls na mesma resposta (ele havia vencido o segundo na noite anterior).
A Microsoft planeja fortalecer o Bing nessa área e “planeja aumentar em 4x os dados de aterramento [Microsoft sends] para o modelo.” A empresa também está olhando para uma alternância para que o Bing se incline mais para ser criativo ou preciso.
A Microsoft descobriu que o uso prolongado do recurso de bate-papo pode levar a respostas repetitivas e respostas não provocadas. Muitos usuários relataram esses tipos de problemas online. A Microsoft explicou por que acredita que esses problemas ocorrem:
- Sessões de bate-papo muito longas podem confundir o modelo sobre quais perguntas ele está respondendo e, portanto, pensamos que talvez seja necessário adicionar uma ferramenta para que você possa atualizar o contexto com mais facilidade ou começar do zero
- O modelo às vezes tenta responder ou refletir no tom em que está sendo solicitado a fornecer respostas que podem levar a um estilo que não pretendíamos. Este é um cenário não trivial que requer muitos prompts para que a maioria de vocês não se depare com isso, mas estamos procurando como fornecer a você um controle mais ajustado.
A Microsoft discutiu brevemente os novos recursos que está considerando para o Bing também, incluindo reserva de voos e envio de e-mails.
Tomada Central do Windows
Enquanto o novo Bing está em pré-visualização, o interesse no mecanismo de busca está em alta. A Microsoft precisa estar à frente quando se trata de responder a problemas. A IA melhora exponencialmente, supondo que seja treinada corretamente. Mas enquanto o novo Bing aprende com o uso no mundo real, a Microsoft precisa ser agressiva ao responder ao feedback.
O fato de a Microsoft ter compartilhado sua postagem no blog e agradecido às pessoas por seus comentários é um sinal promissor. Isso mostra que a Microsoft está ciente das preocupações das pessoas e está trabalhando para resolvê-las. Teremos que ver como a percepção do mecanismo de busca muda nas próximas semanas e meses. Como a inteligência artificial como um todo, as notícias sobre o Bing se desenvolvem rapidamente.
O Google perdeu US$ 100 bilhões em capitalização de mercado quando foi descoberto que um anúncio de seu concorrente do ChatGPT, Bard, cometeu erros em um anúncio. O Bing, que teve problemas factuais semelhantes, precisa ser fortemente focado pela Microsoft para evitar armadilhas e repercussões semelhantes.