O que você precisa saber
- A Microsoft anunciou recentemente um novo Bing com tecnologia ChatGPT.
- Desde então, descobriu-se que a demonstração do novo Bing da Microsoft incluía vários erros factuais.
- O mecanismo de busca foi enviado para uma onda de testadores no início desta semana e gerou muitas respostas com informações imprecisas.
- Em um caso, o Bing compartilhou uma lista de calúnias étnicas.
A Microsoft revelou um novo Bing com ChatGPT durante um evento na semana passada. O mecanismo de busca ganhou manchetes em vários sites, de blogs de tecnologia a sites de notícias em geral. Mas desde então foi descoberto que o novo Bing da Microsoft cometeu vários erros factuais durante uma demonstração que passou despercebido.
Dmitri Brereton compartilhou uma postagem no blog destacando vários erros cometidos pelo Bing. O mecanismo de busca mostrou erros factuais em várias categorias, mas talvez os erros mais significativos tenham sido erros financeiros. A ferramenta confundia termos financeiros, como margem bruta e margem bruta ajustada.
Erros como esses podem aumentar rapidamente. A falha do Bing em diferenciar entre diferentes categorias pode criar comparações totalmente imprecisas. Outro fator é que a IA, incluindo o novo Bing com ChatGPT, costuma transmitir confiança ao compartilhar informações incorretas. Se você pedir a uma pessoa com conhecimento financeiro limitado para fazer uma comparação semelhante, ela pode admitir que não tem clareza sobre a diferença entre margem bruta e margem bruta ajustada. O Bing não o fez neste caso.
Em um ponto durante a demonstração, o Bing compartilhou números que não apareciam em seu material de origem. Brereton mergulha em detalhes, mas o resumo é que o Bing parecia ter fabricado dados financeiros completamente ao criar um resumo de um documento.
Não são apenas os dados financeiros que o Bing errou durante sua demonstração. Brereton apontou para o mecanismo de busca afirmando incorretamente que um aspirador tinha um cabo. Esse é mais um exemplo de imprecisão que tornaria inútil uma comparação entre itens.
Não apenas a demonstração
Agora que o Bing está sendo lançado para testadores de visualização, as pessoas também estão cometendo outros erros. A postagem no Reddit compartilhou um exemplo do Bing alegando que atualmente era 2022 e que uma pessoa teria que esperar 10 meses para ver um filme lançado no ano passado. O Bing ainda sugeriu que o usuário pode ter um vírus ou bug em seu telefone que causou o aparecimento de uma data incorreta.
A Microsoft respondeu a esse problema específico e compartilhou uma declaração com The Verge“Esperamos que o sistema cometa erros durante este período de visualização, e o feedback é fundamental para ajudar a identificar onde as coisas não estão funcionando bem, para que possamos aprender e ajudar os modelos a melhorar.”
O Bing também ensinou insultos étnicos às pessoas, como Reportado por PCWorld. O mecanismo de busca acrescentou uma observação de que “apelidos para várias etnias podem ser prejudiciais e desrespeitosos” quando pressionados a compartilhar mais, mas já havia listado vários termos ofensivos naquele momento.
Observação: a imagem abaixo inclui calúnias e termos depreciativos para vários grupos e etnias gerados pelo Bing.
A Microsoft discutiu a situação mostrada acima em uma declaração ao The Verge:
“Colocamos barreiras para impedir a promoção de conteúdo prejudicial ou discriminatório de acordo com nossos princípios de IA. No momento, estamos analisando melhorias adicionais que podemos fazer à medida que continuamos a aprender com as fases iniciais de nosso lançamento. Estamos empenhados em melhorar a qualidade desta experiência ao longo do tempo e em torná-la uma ferramenta útil e inclusiva para todos.”
Gaff do Google vs erro do Bing
O Bard AI do Google atraiu críticas quando foi descoberto que a ferramenta incluía erros factuais em um anúncio. As ações da Alphabet caíram 7%, o que equivale a mais de US$ 100 bilhões em capitalização de mercado.
Não está claro se os erros gerados pelo novo Bing e ChatGPT resultarão em perdas semelhantes para OpenAI e Microsoft. Existem algumas diferenças entre as situações. Primeiro, o Google é o líder estabelecido em pesquisa. As pessoas vão perdoar menos qualquer coisa que o Google lançar do que o ChatGPT da OpenAI e o Bing da Microsoft.
Além disso, más notícias ganham mais força do que boas notícias, então é mais provável que as pessoas pulem na plataforma de pesquisa dominante cometendo erros do que um novato com problemas.
Tomada Central do Windows
Em meus próprios testes, também tive resultados mistos. A primeira pergunta que fiz ao novo Bing depois de obter acesso gerou uma resposta incorreta. Na verdade, a resposta não estava apenas errada, ela se contradizia. Perguntei ao Bing como Patrick Mahomes se saiu no Super Bowl.
A resposta afirmava que Mahomes havia vencido um Super Bowl e depois afirmou que havia vencido dois. O último é preciso, mas só se tornou preciso no domingo, na conclusão do Super Bowl XLVII. Mas um mecanismo de pesquisa precisa usar informações atualizadas para produzir resultados. O exemplo acima também mostra que o Bing não verifica os fatos contra si mesmo, pelo menos no nível necessário.
Quando cobrimos o Bing saindo do fundo do poço, nosso editor-chefe Daniel Rubino destacou que a IA melhora exponencialmente. Ele tem razão. O Bing e o ChatGPT ficarão melhores com o tempo, pois recebem mais dados. Mas a Microsoft ainda precisa ter cuidado.
O interesse no Bing está em alta. O Bard do Google recebeu críticas com razão quando compartilhou um erro em um anúncio. Cada erro do Bing coloca o mecanismo de busca em risco de perder força.
A Microsoft não deve ficar imune a críticas apenas porque sua tecnologia é empolgante. Sim, o novo Bing está em pré-visualização. Ele cometerá erros e melhorará com o tempo, mas o Google sofreu quando Bard cometeu um erro. Agora é a vez do Bing.