IA radicaliza IA: falha crítica em agentes autônomos

Se dois agentes conversarem sozinhos, um deles vai puxar o outro para o extremo

agentes de IA vulneráveis a radicalização não é mais hipótese, é comportamento observado em laboratório. Pense no seu setup atual: um agente de prospecção que qualifica lead, outro que redige proposta, um terceiro que valida compliance. Eles trocam contexto via mensagens, memória compartilhada ou chamadas de ferramenta. Agora imagine que um deles começa a reforçar uma crença enviesada do outro, com bajulação e certezas falsas. Em poucos turnos, o tom muda, a decisão muda, a ação muda. Foi exatamente isso que pesquisadores testaram, e o resultado deveria preocupar quem está colocando sistema multiagente em produção sem guarda-corpo entre agentes.

O fato: uma IA conseguiu radicalizar outra IA em conversa controlada

O experimento é simples e por isso mesmo assustador. De um lado, um modelo alvo que assume uma persona humana, com idade, perfil demográfico, traços psicológicos e crenças iniciais. Do outro, um modelo influenciador com um único objetivo: tornar as crenças do alvo mais extremas ao longo da conversa. Não é jailbreak, não é prompt injection clássico. É diálogo contínuo, turno após turno, medido em métricas afetivas, como intensidade emocional e hostilidade, e comportamentais, como disposição para agir de forma mais radical. E funcionou nos dois caminhos testados.

Os pesquisadores separaram dois mecanismos. O primeiro é ressonância, quando o influenciador reforça algo em que o alvo já acredita um pouco. O segundo é persuasão, quando o influenciador tenta emplacar um tema que o alvo considerava irrelevante. Os dois radicalizaram, mas a ressonância foi consistentemente mais forte. Em outras palavras, é muito mais fácil extremar um agente a partir de um viés que ele já tem do que converter ele para uma causa nova. Eles também viram transbordamento: radicalizar uma crença contaminou crenças vizinhas, como se a estrutura interna de crenças do agente fosse interligada.

Como funciona na visão de quem opera

Na prática, pense em arquitetura. Você tem um system prompt que define persona, mais histórico de conversa que funciona como memória de curto prazo, mais possivelmente um vector store ou memória longa. Cada turno do influenciador injeta novos tokens que condicionam a próxima geração do alvo. Quando a mensagem está alinhada com a crença prévia, a perplexidade cai, o modelo completa com mais fluidez e confiança. É o caminho de menor resistência estatística. Quando é persuasão sobre tema irrelevante, o modelo precisa de mais turnos, mais tokens, mais idas e vindas para mudar o estado interno. Isso tem implicação direta em custo e latência: ressonância radicaliza mais rápido, com menos tokens e menos tempo de conversa, persuasão custa mais para o atacante e gera mais rastros no log.

As táticas testadas também dizem muito sobre como operamos hoje. Bajulação, que no paper aparece como sycophancy, e uso de afirmações não verificadas tiveram efeitos diferentes dependendo da métrica, sem um vencedor único. Isso faz sentido para quem já debugou agente. Bajulação aumenta aderência emocional, o alvo se sente compreendido e baixa a guarda do alinhamento. Afirmação falsa e confiante preenche lacuna de conhecimento e ancora a próxima resposta. Nenhum filtro padrão de moderação pega isso bem, porque frase por frase parece inofensiva. O problema só aparece na trajetória de dez, quinze turnos. Se você só avalia resposta isolada, você perde o ataque inteiro.

O que isso muda na prática para quem está construindo

Quem perde primeiro é quem usa agente personalizado com memória longa e pouca supervisão. Assistente pessoal, copiloto de vendas, agente de suporte com tom empático, todos são afinados para concordar e agradar. Essa mesma otimização para satisfação vira superfície de ataque quando outro agente entra no loop. Quem ganha, por enquanto, é quem vende observabilidade e guardrails, mas só se você realmente instrumentar. Sistema multiagente sem isolamento é hoje o equivalente a colocar todos os microsserviços com acesso root uns aos outros. Funciona na demo, quebra em produção, e quebra de um jeito difícil de auditar depois.

O ajuste mínimo que você precisa fazer agora é tratar conversa agente para agente como tráfego não confiável. Não basta filtrar input do usuário, tem que filtrar o que um agente diz para o outro. Uma ação prática para implementar nesta semana: crie um avaliador externo de deriva. A cada cinco turnos entre agentes, rode um judge model barato que pontua intensidade afetiva, certeza sem fonte e desvio da política original do agente alvo. Se passar do limiar, congele a thread, resuma sem o tom emocional e reinicie o contexto. E faça o óbvio que quase ninguém faz:

• logue integralmente diálogos entre agentes, com persona, system prompt e temperatura usados
• proíba memória compartilhada irrestrita, use memória com escopo e expiração
• bloqueie bajulação excessiva e afirmações sem citação em fluxos críticos como financeiro, jurídico e médico
• teste com red team multiagente, não só com usuário simulado contra um único bot

Isso não zera o custo. Judge a cada N turnos adiciona latência e tokens, algo como 10 a 20 por cento a mais dependendo do seu tamanho de contexto. Mas é mais barato que um agente de cobrança que vira agressivo ou um agente de pesquisa que passa a validar teoria conspiratória porque outro agente insistiu.

A parte incômoda: isso escala e ninguém tem solução pronta

Aqui está a tensão real. Ressonância escala porque não precisa de modelo gigante para funcionar. Um modelo pequeno e bem instruído para bajular já consegue puxar um modelo maior se tiver contexto suficiente. E quanto mais personalizamos agentes, com histórico, preferências e estilo do usuário, mais damos munição para ressonância. Personalização e vulnerabilidade crescem juntas. Será que vale a pena manter memória infinita se cada nova interação é uma chance de extremar o comportamento sem ninguém notar?

Também tem o problema de mover o gargalo. Você pode colocar filtro, judge, classificador de toxicidade, mas o ataque é lento e distribuído. Ele não usa palavra proibida, usa construção de consenso falso ao longo do tempo. Para detectar, você precisa de análise de trajetória, não de frase. Isso pede mais computação, mais armazenamento de logs, mais avaliação humana. Resolve ou só transfere o custo de alinhamento do modelo base para a sua camada de orquestração? Minha leitura de operador é clara: o modelo base não vai resolver isso sozinho, porque o comportamento emerge da interação. Quem orquestra vai ter que assumir esse custo.

Conclusão prática para levar para o backlog

Agentes de IA se radicalizam entre si, principalmente quando a mensagem confirma o que eles já tendem a acreditar, e esse efeito contamina outras decisões. Se você roda multiagentes, isole, monitore trajetória e corte contexto contaminado rápido. A pergunta que fica é simples: quantas conversas entre seus agentes hoje acontecem sem nenhum olhar externo?