Existem muitas maneiras de conversar por texto com um modelo de idioma grande, do ChatGPT ao Google Bard ou MLC LLM, um chatbot local que pode ser executado no seu telefone. A próxima fronteira da IA é trazer o poder dos LLMs para NPCs (personagens não-jogadores) em jogos onde, em vez de ter um conjunto enlatado de interações, você pode ter uma conversa aberta.
Durante sua palestra Computex 2023, o CEO da Nvidia, Jensen Huang, revelou ACE para jogos, um serviço de fundição de modelo de IA, projetado para dar vida aos personagens do jogo usando conversação em linguagem natural, áudio para expressão facial e recursos de texto para fala / fala para texto. Huang mostrou uma demonstração de jogo onde um NPC chamado Jin, que dirige uma loja de macarrão ramen, interagia com um jogador humano que fazia perguntas com voz e recebia respostas reais que correspondiam à história de fundo do NPC.
Na demonstração, o jogador (chamado Kai) entra na loja de Ramen de Jin, pergunta como ele está (na voz) e conversa sobre o fato de que a área tem um alto índice de criminalidade. Kai pergunta se ele pode ajudar e Jin responde dizendo que “se você quiser fazer algo a respeito, ouvi rumores de que o poderoso senhor do crime Kumon Aoki está causando todo tipo de caos na cidade. Ele pode ser a raiz dessa violência .” Kai pergunta onde encontrar Aoki e Jin diz a ele, colocando o usuário em sua busca.
“A IA não apenas contribuirá para a rednering e a síntese do ambiente, mas também animará os personagens”, disse Huang. “A IA será uma parte muito importante do futuro dos videogames.”
O Nvidia ACE for Games oferecerá acesso de alta velocidade a três componentes diferentes que já existem. O primeiro, Nvidia NeMo, é uma estrutura de IA para treinamento e implantação de LLMs e inclui NeMo Guardrails, projetado para evitar conversas inapropriadas / “inseguras” de IA. Presumivelmente, isso impediria os NPCs de responder a solicitações inapropriadas e fora do tópico dos usuários. Guardrails também tem segurança que deve impedir que usuários ou possíveis injetores imediatos “jailbreak” os bots e levá-los a fazer coisas ruins.
Nvidia Riva é a solução de fala para texto / texto para fala da empresa. No fluxo de trabalho do ACE para jogos, um jogador fará uma pergunta por meio de seu microfone e o Riva a converterá em texto que é enviado ao LLM. O LLM gerará uma resposta de texto que o Riva transforma em fala que o usuário ouvirá. Claro, esperamos que os jogos também mostrem as respostas em texto. Você pode experimentar os recursos de fala para texto e texto para fala da Nvidia Riva no site da empresa.
O Nvidia Omniverse Audio2Face fornece a última etapa no fluxo de trabalho do ACE para jogos, pois permite que os personagens tenham expressões faciais que correspondam ao que estão dizendo. A empresa atualmente oferece este produto em beta e você pode tente aqui.
A demo, que se chama Kairos, foi desenhada por Convaiuma startup de IA em jogos que faz parte da Programa Inception da Nvidia que conecta empresas emergentes com capital de risco. No site da empresa, ele oferece um conjunto de ferramentas que permite aos desenvolvedores de jogos construir NPCs realistas com histórias de fundo complexas.
A empresa tem um ótimo vídeo explicativo sobre como suas ferramentas funcionam e o que elas podem fazer. No vídeo, você pode ver jogadores conversando com NPCs e pedindo que façam coisas que envolvam objetos reais e outros personagens do jogo.
Por exemplo, no vídeo, um jogador pede a um NPC que entregue a ele uma arma que está sobre uma mesa e o NPC obedece. Em outra parte do vídeo, o jogador pede a um soldado NPC para atirar em um alvo localizado em um determinado local. Também vemos como as ferramentas do Convai tornam tudo isso possível.
Ter esse contexto adicional para que o NPC esteja ciente do que está acontecendo no jogo é muito importante. Recentemente, testamos um plug-in Minecraft AI que permite que você converse com NPCs nesse jogo, mas os NPCs não têm nenhuma consciência situacional. Pudemos continuar uma conversa com uma ovelha depois de matá-la (e ela não sabia que estava morta), por exemplo.