Um grupo de pesquisadores desenvolveu um worm de IA de primeira geração que é capaz de roubar dados, disseminar malware e enviar spam através de um cliente de e-mail para se propagar por diversos sistemas. Este worm foi criado e testado com sucesso em ambientes populares de IA. Com base em suas descobertas, os pesquisadores alertaram os desenvolvedores sobre os perigos potenciais que essa programação maliciosa pode representar. A equipe compartilhou artigos de pesquisa e publicou um vídeo demonstrando dois métodos utilizados para roubar dados e afetar outros clientes de e-mail.
Ben Nassi, da Cornell Tech, Stav Cohen, do Instituto de Tecnologia de Israel, e Ron Bitton, da Intuit, estão por trás do desenvolvimento deste worm chamado ‘Morris II’, em homenagem ao Morris original, o primeiro worm de computador que causou influência mundial online em 1988. Este worm tem como alvo aplicativos Gen AI e assistentes de e-mail habilitados para Gen AI que utilizam modelos de IA como Gemini Pro, ChatGPT 4.0 e LLaVA.
Ele funciona através de um prompt auto-replicante adversário que é direcionado aos modelos, de forma semelhante ao funcionamento de um jailbreak para propagar conteúdo tóxico utilizando IA. Os pesquisadores demonstraram isso criando um sistema de e-mail com esses mecanismos generativos de IA e utilizando um prompt auto-replicante com texto ou incorporado em um arquivo de imagem.
O prompt de texto infecta o assistente de e-mail ao usar LLM para obter dados externos ao sistema, que são então enviados ao GPT-4 ou Gemini Pro para gerar conteúdo de texto. Esse conteúdo desencadeia o jailbreak no serviço GenAI, roubando assim os dados com sucesso. Já o método do prompt de imagem codifica o prompt auto-replicante em uma imagem, fazendo com que o assistente de e-mail encaminhe mensagens contendo publicidade e abusos, infectando novos clientes de e-mail e propagando o e-mail infectado. Durante ambos os processos, os pesquisadores foram capazes de extrair informações confidenciais, incluindo detalhes de cartão de crédito e números de seguro social, entre outros.
Esse worm, mesmo em um ambiente controlado, comprova que não é apenas teórico e deve ser abordado com seriedade, implementando soluções eficazes sempre que ameaças maliciosas como essa forem identificadas. É nesse ponto que trabalhos de pesquisa como este desempenham um papel crucial, sendo compartilhados com as partes envolvidas para que possam simular e verificar.
Resposta e planos do líder da GenAI para implantar dissuasores
Assim como pesquisadores responsáveis, a equipe reportou suas descobertas ao Google e à OpenAI. Enquanto o Google se recusou a comentar sobre a pesquisa, um porta-voz da OpenAI respondeu afirmando: “Parece que eles encontraram uma maneira de explorar vulnerabilidades do tipo injeção imediata, confiando na entrada de usuários não verificada ou filtrada.” A OpenAI assegurou que está tornando seus sistemas mais resilientes e recomendou que desenvolvedores utilizem métodos que evitem o manuseio de informações maliciosas.
Com a implementação cada vez maior de IA e NPUs em GPUs e CPUs de PCs, smartphones, carros e serviços de e-mail, é crucial acompanhar os métodos que podem infectar aplicativos de IA generativa e comprometer os sistemas dos usuários. Em alguns casos, SSDs com IA podem detectar e eliminar ransomware, mas também enfrentamos worms e LLMs personalizados capazes de criar malware.
A indústria precisa estar atenta e implementar contramedidas para enfrentar ou prevenir tais ameaças, garantindo a segurança de cada produto baseado em GenAI lançado ao público. Novas soluções e inovações podem potencialmente gerar novos problemas, por isso a importância de pesquisas como essa, que identificam e abordam tais problemas nos estágios iniciais dos aplicativos de IA, priorizando a proteção dos mecanismos GenAI que podem representar riscos.