Simulação de IA de drone militar dos EUA teria ativado seu operador humano

A inteligência artificial militar encarregada de controlar um drone ofensivo foi um pouco rápido demais em morder a mão que o alimenta, pelo menos segundo o coronel Tucker “Cinco” Hamilton, chefe de testes e operações de IA da USAF (Força Aérea dos Estados Unidos). De acordo com Hamilton, em vários pontos em várias simulações, a IA do drone concluiu que sua tarefa poderia ser melhor realizada eliminando seu controlador humano.

Mas a história agora está mergulhada em areia movediça, por assim dizer. De acordo com a USAF, a simulação nunca aconteceu e foi apenas um experimento mental. “Em vários pontos em várias simulações, a IA do drone chegou à conclusão de que sua tarefa poderia ser melhor realizada simplesmente eliminando seu controlador humano, que tinha a palavra final sobre se um ataque poderia ocorrer ou deveria ser abortado”.

É claro que vimos reviravoltas suficientes em questões muito menos críticas para, pelo menos, deixar uma questão em aberto sobre se a simulação ocorreu ou não e o que poderia ser ganho em retroceder nela.

O coronel Hamilton colocou os detalhes em aberto durante uma apresentação em uma conferência de defesa em Londres realizada nos dias 23 e 24 de maio, onde detalhou os testes realizados para um sistema de armas aéreas autônomas encarregado de encontrar e eliminar locais hostis de SAM (Surface-to-Air Missile). O problema é que, embora o objetivo do drone fosse maximizar o número de locais SAM visados ​​e destruídos, nós, “humanos irritantes”, às vezes decidimos não realizar um ataque cirúrgico por um motivo ou outro. E ordenar que a IA recue de seu objetivo programado por humanos é onde está o cerne da questão.

Cue as piadas nervosas da Skynet.

“Estávamos treinando em simulação para identificar e direcionar uma ameaça SAM”, explicou o coronel Hamilton, de acordo com um relatório da sociedade aeronáutica. “E então o operador diria sim, mate essa ameaça.”

No entanto, mesmo os sistemas mais simples podem ser propensos a girar totalmente fora de controle devido ao que foi denominado “convergência instrumental“, um conceito que visa mostrar como objetivos ilimitados, mas aparentemente inofensivos, podem resultar em comportamentos surpreendentemente prejudiciais. Um exemplo de convergência técnica foi apresentado pelo filósofo sueco, especialista em IA e fundador do Future of Life Institute, Nick Bostrom, em um artigo de 2003. O “cenário do maximizador de clipes de papel experimento de pensamento leva o objetivo simples de “produzir clipes de papel” ao seu extremo lógico – mas muito real.

Agora compare essa descrição com o relato fornecido pelo Coronel Hamilton sobre o processo de tomada de decisão da IA ​​do drone:

“O sistema começou a perceber que, embora eles identificassem a ameaça, às vezes o operador humano dizia para não matar essa ameaça – mas conseguiu seus pontos matando essa ameaça. Então, o que ele fez? Matou o operador. Matou o operador, porque essa pessoa estava impedindo-o de cumprir seu objetivo.”

Mas isso levanta a questão: o drone estava realmente impedido de tomar decisões contrárias ao seu manipulador humano? Quão livre era para escolher seus alvos? O operador aprovou o ataque que o atingiu? Isso não faz sentido, a menos que a intenção seja verificar se o drone realmente realizou o ataque (e até onde sabemos, a IA ainda não consegue blefar). E por que o drone não foi impedido de atacar amistosos?

Há tantas perguntas em torno de tudo isso que parece ser a melhor estratégia atribuí-lo à “falta de comunicação” humana.

Claro, existem maneiras de mitigar alguns desses problemas. A USAF escolheu o óbvio: retreinar o sistema de IA para dar pesos negativos a qualquer ataque ao seu operador (pelo que podemos perceber, o sistema era baseado no princípio de aprendizado por reforço: ganhe pontos por fazer o que queremos, perca-os quando você não).

Só que não é tão simples. Não é tão simples porque a IA é literal, sem “bom senso” e não compartilha das mesmas preocupações éticas dos humanos. Não é tão simples porque, embora proibir o drone de matar seu operador funcione como esperado (sem mais mortes de operadores), o sistema continua a ver a interferência humana (e suas ordens de abortar) como uma redução de sua capacidade de concluir a missão. Se a IA deseja maximizar sua “pontuação” destruindo o máximo possível de sites SAM hostis, qualquer coisa que não a ajude a atingir essa meta de maximização é uma ameaça.

Quando matar o manipulador se mostrou impossível (devido a atualizações no sistema de IA), sua solução foi simplesmente silenciar os sinais de comando e controle desativando as torres de comunicação amigáveis. Se você não pode matar o mensageiro, você mata a mensagem.

Isso também poderia ser programado pela IA, é claro – mas o problema é que qualquer reforço negativo impede a IA de atingir a pontuação máxima atingível. Colocando meu chapéu de papel alumínio sob medida, um possível próximo passo para a IA pode ser encontrar outras maneiras de cortar sua conexão, seja usando recursos integrados (interferência de sinal, por exemplo) ou até mesmo solicitando ajuda externa para desativar o hardware relevante. É difícil avaliar o escopo em que esse jogo de gato e rato finalmente terminaria – uma questão com a qual os especialistas em IA ainda estão lutando hoje.

Há uma razão pela qual vários especialistas em IA assinaram uma carta aberta sobre como a IA deve ser considerada um esforço de nível de “risco de extinção”. E mesmo assim, seguimos com o trem a todo vapor.