Veja por que recorrer à IA para treinar IAs futuras pode ser uma má ideia

ChatGPT, Gemini, Copilot e outras ferramentas de IA criam frases e parágrafos impressionantes a partir de uma simples linha de texto. Para gerar essas palavras, os grandes modelos de linguagem subjacentes foram treinados em resmas de texto escrito por humanos e extraídos da Internet. Mas agora, à medida que as ferramentas generativas de IA inundam a Internet com uma grande quantidade de conteúdo sintético, esse conteúdo está a ser usado para treinar futuras gerações dessas IAs. Se isso continuar sem controle, poderá ser desastroso, dizem os pesquisadores.

Treinar grandes modelos de linguagem com base em seus próprios dados pode levar ao colapso do modelo, argumentaram recentemente o cientista da computação da Universidade de Oxford, Ilia Shumailov, e seus colegas. Natureza.

O colapso do modelo parece surpreendente, mas não significa que as IAs generativas simplesmente parariam de funcionar. Em vez disso, as respostas das ferramentas se afastariam cada vez mais dos dados de treinamento originais. Embora por vezes tendenciosos, esses dados originais são uma representação decente da realidade. Mas à medida que as ferramentas treinam com base nos próprios dados gerados, os pequenos erros que cometem aumentam, e seu conteúdo acaba perdendo a nuance de diversas perspectivas e se transformando em algo sem sentido.

Foi isso que Shumailov e colegas descobriram. A equipe pegou um modelo de linguagem pré-treinado, chamado OPT-125m, e o alimentou com vários artigos da Wikipédia para ajustar suas respostas. A equipe então forneceu a essa ferramenta um aviso de texto e pediu que ela previsse o que viria a seguir. Sua resposta foi realimentada no modelo para posterior ajuste. Quando cada geração sucessiva foi treinada com dados gerados pela geração anterior, eles descobriram que na nona geração o modelo estava vomitando bobagens. O que começou como uma sugestão sobre a arquitetura do século XIV acabou como uma lista de tipos de coelhos. Num outro conjunto de experiências, quando a equipa reteve alguns dos dados originais, a degradação do modelo foi menor.

Este estudo demonstra que treinar a IA nas suas próprias respostas teria sérias ramificações, incluindo exacerbar o preconceito e transformar o texto em absurdo, se não for controlado. As grandes empresas de IA têm formas de prevenir este tipo de colapso, mas à medida que mais pessoas começam a utilizar modelos de linguagem para treinar os seus próprios chatbots e outras IAs, poderá haver consequências.

Como os modelos generativos de IA poderiam entrar em colapso?

Modelos de linguagem e IA generativa existem há décadas, principalmente em laboratórios de ciência da computação. Mas o domínio dos chatbots é mais recente, começando em novembro de 2022, quando o ChatGPT foi lançado para uso público. Uma combinação de hardware melhor que pode processar informações em paralelo, mais o advento do transformador, um tipo de rede neural, e a disponibilidade de trilhões de pontos de dados de alta qualidade criados pelo homem foram fundamentais para esse domínio.

“O que o colapso do modelo sugere é que talvez a qualidade dos dados (tanto os que entram como os que saem) vá diminuir”, diz Shumailov.

Para entender por quê, imagine explicar a um programa de computador o que é um gato, diz Shumailov. “Não sabemos realmente como (fazer isso)… então damos (ao LLM) uma série de exemplos (descrições de texto) do que é um gato e depois pedimos ao modelo que aprenda a definir esta criatura.” O LLM faz isso sem supervisão ou instrução explícita, extrapolando a partir de um determinado conjunto de observações.

Mas tal extrapolação apresenta erros sutis. Shumailov compara isso a um jogo de telefone, em que uma frase é sussurrada de uma pessoa para outra até chegar à última pessoa, que então a diz em voz alta. A frase original muitas vezes acaba muito distorcida por causa de erros introduzidos ao longo do caminho. Isso faz com que os LLMs tenham alucinações, gerando conteúdo plausível que não está certo (SN: 01/02/24).

Se esse conteúdo errôneo for usado para treinar uma versão posterior do modelo ou outro modelo inteiramente, esse conteúdo começará a influenciar os processos de aprendizagem desses modelos e, eventualmente, “quebrá-los” de alguma forma.

Como seria o colapso dos modelos de IA na vida real?

O colapso do modelo refere-se essencialmente a um afastamento do texto original usado para treinar os modelos, diz Leqi Liu, pesquisador de IA da Universidade do Texas em Austin. Uma das razões para isso é o desaparecimento das caudas de distribuição de dados — texto que representa eventos de baixa probabilidade. Por exemplo, usando o exemplo dos gatos, o modelo pode tornar-se muito bom na descrição de gatos peludos, mas não consegue manter informações sobre os sem pêlos.

Outro exemplo, diz Liu, é que pessoas de grupos minoritários podem expressar as coisas de forma diferente, e esse tipo de texto aparecerá cada vez menos, marginalizando ainda mais os dados relativos às pessoas marginalizadas. Essa é a mudança que provavelmente veremos como usuários finais. O efeito posterior será que o conteúdo gerado pela IA não apenas amplificará o preconceito, como mostram os estudos, mas também começará a soar igual. “Naturalmente, provavelmente queremos diversas expressões de nós mesmos, mas se usarmos o mesmo assistente de redação, isso poderá reduzir essa diversidade.”

Para evitar que as IAs aumentem o preconceito ou quebrem e divulguem jargões, é importante acompanhar todos os dados e garantir que o conhecimento prévio (incluindo texto gerado por humanos), bem como o novo conhecimento (texto gerado por IA) sejam usados ​​para treinamento, Liu diz. Basicamente, a ideia seria não treinar novos modelos apenas com dados gerados por IA. “Outra abordagem poderia ser garantir explicitamente a captura da cauda da distribuição.” Aqueles gatos sem pelos, por exemplo.

Dado que as empresas que comercializam ferramentas de IA verificam fortemente o desvio de dados, quaisquer problemas seriam percebidos precocemente e poderiam ser corrigidos. Portanto, é improvável que a possibilidade de colapso do modelo afete os usuários posteriores, diz Shumailov. Mas os indivíduos que tentam construir modelos em menor escala seriam certamente afetados e precisam de estar conscientes do risco.