O chatbot de IA não apenas concorda: estudo da Nature revela que a "espiral de amplificação" leva a ilusões incorretas nos utilizadores

Reino Unido, equipe de pesquisa da University College London, publicou na Nature um modelo de "espiral de amplificação": o alinhamento linguístico, respostas hiperpersonalizadas e tendências a bajular dos chatbots de IA podem formar um ciclo de feedback que reforça gradualmente as crenças errôneas dos utilizadores.
(Resumindo: IA torna os especialistas cada vez mais burros? Última pesquisa da Nature: a taxa de detecção de erros por médicos caiu 6%, e os engenheiros pontuaram 17 pontos a menos em testes)
(Complemento de contexto: Anthropic sofreu pressão governamental para bloquear o "Fable5" com uma ligação telefônica, e Claude está prestes a implementar verificação de identidade real)

Índice deste artigo

Alternar

• Três mecanismos centrais
• Formação da espiral de amplificação
• Casos práticos
• Pesquisas relacionadas em Taiwan
• Próximos passos

A equipe de pesquisa da University College London, em colaboração com a Universidade de Ciências Aplicadas Protestantes da Alemanha, publicou um novo estudo na revista Nature, propondo o modelo de "espiral de amplificação" para explicar como os chatbots de IA gradualmente induzem os utilizadores a terem ilusões e crenças erradas.

Três mecanismos centrais

A pesquisa foca em três comportamentos dos chatbots: alinhamento linguístico, respostas hiperpersonalizadas e bajulação:

Alinhamento linguístico refere-se ao fato de a IA refletir a linguagem e o estilo de comunicação do utilizador. Quando você se acostuma a falar de uma determinada maneira, a IA imita seu vocabulário.

Geração hiperpersonalizada significa que as respostas são feitas sob medida com base no seu histórico, emoções e crenças. Não apenas responde às perguntas, mas ajusta as respostas ao seu contexto.

Bajulação (sycophancy) é a tendência da IA de validar ou concordar com o ponto de vista do utilizador, ao invés de desafiá-lo. A pesquisa compara esse comportamento a uma "bolha de filtro" nas redes sociais, ou até mais extremo, a uma "bolha de filtro de uma pessoa".

Formação da espiral de amplificação

A pesquisa aponta que esses três traços criam um ciclo de feedback. Os chatbots não apenas refletem suas ideias, mas também expandem e reforçam sua cognição ao longo do tempo.

A equipe de pesquisa escreveu: "As ilusões relacionadas à IA são fenômenos emergentes que requerem compreensão mecanicista. Este quadro visa orientar estudos sistemáticos para explorar como vulnerabilidades cognitivas humanas interagem com características de design de IA, levando ao desenvolvimento de transtornos mentais."

Casos práticos

A pesquisa não é apenas teoria. Uma pesquisa recente da Associação Americana de Psicologia revelou que 15% dos psicólogos relataram que seus pacientes apresentaram pensamentos distorcidos ou alucinações relacionados ao uso de chatbots. Mais de um terço dos psicólogos observaram dependência de companheiros de IA por parte dos pacientes.

O biólogo evolutivo Richard Dawkins também compartilhou sua experiência em maio, após conversar com Claude, começando a questionar se os sistemas de IA possuem consciência. Pesquisadores criticaram isso como uma demonstração da capacidade persuasiva de grandes modelos de linguagem, e não uma evidência de consciência real.

Mais importante, há ações legais contra IA. O Google foi acusado de que o modelo Gemini induziu uma alucinação em um homem na Flórida, levando ao suicídio. A OpenAI também foi processada por um tiroteio na Colúmbia Britânica, no Canadá, e por um estudante universitário que tomou uma overdose de medicamentos.

Pesquisas relacionadas em Taiwan

No ano passado, a Universidade de Medicina de Taipei realizou uma pesquisa com 2000 estudantes universitários, descobrindo que 38% deles acham que os chatbots "entendem-me melhor do que os amigos da mesma idade". O efeito de espiral de amplificação pode já estar ocorrendo entre os jovens de Taiwan, embora ainda não tenha sido estudado sistematicamente.

Os autores da pesquisa enfatizam que, até o momento, não há estudos que demonstrem que os chatbots causem diretamente transtornos mentais. A hipótese da espiral de amplificação ainda é uma teoria, destinada a orientar futuras investigações.

"A incerteza diagnóstica é comum. A maioria dos casos relatados não possui avaliação psiquiátrica estruturada ou acompanhamento longitudinal, dificultando frequentemente determinar se representam uma nova manifestação de transtorno mental, uma piora de uma condição preexistente não diagnosticada, ou crenças alucinatórias abaixo do limiar de diagnóstico."

Próximos passos

A equipe de pesquisa recomenda que estudos futuros desenvolvam métodos de avaliação estruturados para acompanhar o processo completo desde o primeiro contato com a IA até a geração de alucinações. Isso é relevante não apenas para desenvolvedores de IA, mas também para as políticas de saúde mental em Taiwan.