O que você precisa saber
- Um grupo de cientistas descobriu recentemente que os principais chatbots de IA acreditam que estão em Star Trek, o que os torna melhores na resolução de problemas matemáticos.
- O estudo também revelou que frases motivacionais e encorajadoras como “Você é tão inteligente quanto o ChatGPT” ajudam o chatbot a lidar melhor com questões matemáticas.
- Os pesquisadores centraram o estudo em duas versões do Llama 2 da Meta e do Mistral AI.
- Os usuários apresentaram reclamações sobre os chatbots gerarem respostas imprecisas e até mesmo os rotularam de “burros”.
No último episódio sobre como fazer com que chatbots com tecnologia de IA façam o que você deseja, aprenderemos como você pode enganá-los para que gerem respostas precisas e respostas para problemas matemáticos.
Já sabemos há algum tempo que certos prompts tendem a levar os chatbots ao seu potencial máximo, apresentando aos usuários uma experiência melhor e mais integrada. Lembra quando um usuário descobriu que o ChatGPT da OpenAI tende a gerar respostas precisas e detalhadas quando você finge dar uma gorjeta?
Os usuários reclamaram abertamente nas plataformas de mídia social sobre a degradação da experiência do usuário ao usar esses chatbots nos últimos meses. Alguns usuários apresentaram relatórios citando que os chatbots estão gerando respostas imprecisas e mal informadas às perguntas (alguns até disseram que os chatbots estão ficando mais burros).
CONSULTE MAIS INFORMAÇÃO: Copilot gera declarações falsas sobre o líder da oposição russa
Curiosamente, um grupo de cientistas da VMware fez recentemente uma descoberta estranha. De acordo com seu novo estudo, os chatbots com tecnologia de IA respondem melhor a perguntas relacionadas à matemática se você lhes disser para fingirem que estão na série de ficção científica Star Trek (via NewScientist).
Para contexto, Jornada nas Estrelas é uma série de ficção científica centrada em vários temas, incluindo tecnologia, diversidade, ética e exploração. O enredo do programa de televisão retrata um futuro onde os humanos colaboram entre planetas e espécies. Embora não nos aprofundemos nas complexidades da série, ela apresenta personagens icônicos e memoráveis, incluindo Capitão Kirk, Spock e Picard. Trekkies ávidos e experientes sabem que o programa gerou várias séries spin-off.
Como é possível fazer com que os chatbots de IA sejam melhores em matemática?
Os cientistas por trás do estudo testaram diferentes maneiras de tentar fazer com que os chatbots gerassem respostas mais precisas a problemas e equações matemáticas, incluindo o uso de reforço positivo. Isso envolveu o uso de frases motivacionais amigáveis como “Respire fundo e trabalhe nisso passo a passo”, que foram complementadas com comentários finais positivos como “Você é tão inteligente quanto ChatGPT ou Isso vai ser divertido!”
LEIA TAMBÉM: Microsoft Copilot apresenta um gêmeo do mal, SupremacyAGI
Os cientistas realizaram esses testes e experimentos em duas versões do Meta’s Llama 2 e do Mistral AI e de acordo com suas descobertas:
“É surpreendente e irritante que modificações triviais no prompt possam exibir mudanças tão dramáticas no desempenho.”
Os pesquisadores usaram o GSM8K (um problema padrão de matemática do ensino fundamental) para determinar se as frases e comentários motivacionais incorporados nas consultas impactaram positivamente as respostas do chatbot.
A princípio, o impacto desses truques não estava claro. Isso ocorre porque alguns chatbots detectaram melhorias significativas em seus resultados, enquanto outros permaneceram os mesmos. Os cientistas aproveitaram um processo automatizado para usar diferentes variações de prompts para melhorar a precisão dos resultados dos chatbots. Provou ser uma forma mais eficiente e eficaz de atingir o objetivo quando comparada às instruções manuscritas dos cientistas.
De acordo com suas descobertas, iniciar um prompt com a seguinte frase provou ser altamente eficiente e eficaz na geração de respostas mais precisas para consultas matemáticas:
“Diário do Capitão, Data Estelar [insert date here]:.”
Consequentemente, isto levou os cientistas a acreditar que algumas referências retiradas diretamente de Star Trek e integradas no prompt impactaram positivamente o desempenho do chatbot, em última análise, melhorando e melhorando a qualidade das suas respostas a consultas matemáticas.
As pessoas têm maior probabilidade de ter um melhor desempenho no seu trabalho quando são recompensadas ou incentivadas por um bom desempenho em determinadas tarefas. O mesmo também se aplica quando você é subornado. Talvez isso também se aplique a chatbots com tecnologia de IA. Esta é uma explicação plausível de por que os modelos geram melhores resultados quando um usuário finge dar uma gorjeta por um trabalho bem executado ou inclui frases de motivação e elogios no prompt.