Um novo estudo sobre IA encontrou uma limitação inerente nas redes de geração atual, como as empregadas pelo ChatGPT e Midjourney. Parece que as redes de IA treinadas em saídas de IA (como o texto criado pelo ChatGPT ou a saída de imagem criada por um modelo de difusão estável) tendem a ficar “MAD” após cinco ciclos de treinamento com dados gerados por IA. Como você pode ver nas imagens acima, o resultado são saídas estranhamente mutantes que não refletem a realidade.
MAD – abreviação de Model Autophagy Disorder – é o acrônimo usado pelos pesquisadores da Rice e da Universidade de Stanford envolvidos no estudo para descrever como os modelos de IA e sua qualidade de saída colapsam quando repetidamente treinados em dados gerados por IA. Como o nome indica, o modelo essencialmente “come a si mesmo”, não muito diferente do Ouroboros do mito. Ele perde informações nas caudas (os extremos) da distribuição de dados original e começa a produzir resultados mais alinhados com a representação média dos dados, muito parecido com a cobra devorando sua própria cauda.
No trabalho liderado por @iliaishacked perguntamos o que acontece quando treinamos novos modelos generativos em dados que são em parte gerados por modelos anteriores. Mostramos que modelos generativos perdem informações sobre a verdadeira distribuição, com o modelo colapsando para a representação média dos dados pic .twitter.com/OFJDZ4QofZ1º de junho de 2023
Em essência, treinar um LLM em suas próprias saídas (ou de outros) cria um efeito de convergência nos dados que compõem o próprio LLM. Isso pode ser facilmente visto no gráfico acima, compartilhado por cientistas e membro da equipe de pesquisa Nicolas Papernot no Twitter, onde sucessivas iterações de treinamento em dados gerados pelo LLM levam o modelo a gradualmente (ainda que dramaticamente) perder o acesso aos dados contidos nas extremidades do a curva de Bell – os outliers, os elementos menos comuns.
Os dados nas bordas do espectro (aqueles que têm menos variações e são menos representados) desaparecem essencialmente. Por causa disso, os dados que permanecem no modelo agora são menos variados e regridem em direção à média. De acordo com os resultados, leva cerca de cinco dessas rodadas até que as caudas da distribuição original desapareçam – é nesse momento que o MAD se instala.
Artigo legal dos meus amigos da Rice. Eles observam o que acontece quando você treina modelos generativos em suas próprias saídas… repetidamente. Os modelos de imagem sobrevivem a 5 iterações antes que coisas estranhas aconteçam. @SinaAlmd, @imtiazprio, @richbaraniuk pic.twitter.com/KPliZCABd47 de julho de 2023
Não está confirmado que o transtorno de autofagia do modelo afeta todos os modelos de IA, mas os pesquisadores o verificaram em autoencoders, modelos de mistura gaussiana e modelos de linguagem grandes.
Acontece que todos esses tipos de modelos que podem “enlouquecer” já estão difundidos e operando há algum tempo: autoencoders podem lidar com coisas como previsão de popularidade (em coisas como o algoritmo de um aplicativo de mídia social), compressão de imagem, remoção de ruído de imagem e geração de imagem; e modelos de mistura gaussiana são usados para fins de estimativa de densidade, agrupamento e segmentação de imagens, o que os torna particularmente úteis para ciencias estatisticas e de dados.
Quanto aos grandes modelos de linguagem no centro dos populares aplicativos de chatbot de hoje (dos quais o ChatGPT da OpenAI e o amigável AI Claude da Anthropic são meros exemplos), eles também tendem a enlouquecer quando treinados em suas próprias saídas. Com isso, talvez valha a pena enfatizar a importância desses sistemas de IA em nossas vidas; modelos algorítmicos de IA são empregados tanto nas esferas corporativas quanto públicas.
Enfrentamos um problema semelhante ao inicializar modelos generativos para geração de nível Sokoban usando a solução para agrupar níveis com base em suas características e alterar o processo de amostragem em lote para enfatizar níveis com características mais raras.6 de junho de 2023
Esta pesquisa fornece uma maneira de examinar a caixa preta do desenvolvimento da IA. E destrói qualquer esperança de que encontramos uma fonte infinita de dados ao fazer uma roda de hamster com certos modelos de IA: alimentando-a com dados e, em seguida, alimentando-a com seus próprios dados, a fim de gerar mais dados que são então realimentados de novo.
Isso pode ser um problema para modelos existentes e aplicações desses modelos: se um modelo que alcançou uso comercial foi, de fato, treinado em seus próprios resultados, então esse modelo provavelmente regrediu em direção à sua média (lembre-se que leva cerca de cinco ciclos de entrada-saída para que isso se manifeste). E se esse modelo regrediu em direção à sua média, então ele foi tendencioso de alguma forma, pois não considera os dados que estariam naturalmente em minoria. fanatismo algorítmicoSe você for.
Outro ponto importante destacado pelos resultados é a preocupação com a proveniência dos dados: agora torna-se ainda mais importante poder separar dados “originais” de dados “artificiais”. Se você não conseguir identificar quais dados foram criados por um LLM ou um aplicativo de geração de imagens, poderá incluí-los acidentalmente em dados de treinamento para seu produto de última geração.
Infelizmente, esse navio provavelmente já partiu: há uma quantidade diferente de zero de dados não rotulados que já foram produzidos por esses tipos de redes e incorporados a outros sistemas. Mesmo se tivéssemos um instantâneo de toda a Internet antes da explosão de popularidade do ChatGPT ou Midjourney, há muito tempo dados produzidos por IA são despejados diariamente na rede mundial de computadores. E isso sem falar nas imensas quantidades de dados que eles produziram nesse meio tempo.
Mas mesmo que esse navio tenha partido, pelo menos agora sabemos. Saber significa que a busca por uma marca d’água que identifique o conteúdo gerado por IA (e isso é infalível) agora se tornou um empreendimento muito mais importante – e lucrativo -, e que a responsabilidade de rotular os dados gerados por IA agora se tornou um requisito muito mais sério .
Além disso, porém, existem outras maneiras de compensar esses vieses. Uma das maneiras é simplesmente alterar os pesos do modelo: se você aumentar a relevância ou a frequência dos resultados nas extremidades da distribuição, eles se moverão naturalmente ao longo da curva do sino, mais próximos da média. Segue-se que eles seriam muito menos propensos a “poda” do treinamento autogerativo: o modelo ainda perde os dados nas bordas da curva, mas esses dados não estão mais apenas lá.
Mas então, como é decidida a ponderação? Em que medida os pesos devem ser movidos? A frequência aumentou? Também há uma responsabilidade aqui de entender os efeitos do ajuste fino do modelo e como eles também afetam a saída.
A cada pergunta respondida, há uma série de outras que saltam para o primeiro plano: questões relativas à verdade por trás das respostas da modelo (onde os desvios são conhecidos como alucinações); se o modelo é tendencioso ou não e de onde vem esse viés (se dos próprios dados de treinamento ou do processo de ponderação usado para criar a rede, e agora sabemos também do processo MAD); e, claro, o que acontece quando os modelos são treinados em seus próprios dados. E como vimos, os resultados não são virtuosos.
E não poderiam ser: as pessoas sem acesso a novas experiências também murcham, tornando-se câmaras de eco do que veio antes. E isso é exatamente o mesmo que dizer algo como “quando o modelo é treinado em suas próprias saídas, ele colapsa”.