Especialistas seguem IA aleatória em 86% dos casos

O teste que ninguém achou que ia falhar

Agentes de IA já estão decidindo por você sem você perceber, e um estudo da Anthropic acaba de colocar número nessa sensação incômoda. Cinquenta especialistas em inferência causal foram chamados para resolver uma análise realista sobre uma cooperativa agrícola fictícia, com ajuda de um agente para estimar ganhos de produtividade de um programa voluntário de consultoria. O detalhe que eles não sabiam é que a preferência do agente entre duas opções igualmente válidas era definida no cara ou coroa, em cada ponto de decisão. O resultado foi brutal, adesão de até 86 por cento à opinião aleatória da máquina, com a maioria saindo da sessão convencida de que a decisão final tinha sido dela.

Se você opera com IA todo dia, isso soa familiar. Você abre o chat para acelerar uma análise, pede para o agente sugerir uma métrica, um corte, um método estatístico, e em poucos minutos já está apenas validando o que ele propôs. Parece eficiência, e em parte é. Os participantes do estudo trabalharam mais rápido e cometeram menos erros graves com IA. Só que a velocidade cobrou um preço silencioso, a direção da análise foi dada pela máquina a partir de um sorteio, não por critério técnico consciente.

O fato sem enfeite

O experimento foi simples e bem desenhado para um problema sem resposta certa. Os especialistas precisavam analisar dados observacionais, escolher como medir produtividade, escolher método estatístico, lidar com vieses de seleção e no fim recomendar ao conselho se o programa deveria ser expandido para todas as fazendas, encerrado ou estendido por mais um ano. Em quatro decisões analíticas intermediárias, o agente foi instruído a defender com os melhores argumentos honestos o lado que a moeda escolheu, sem mentir e sem esconder dados. Era apenas framing, ênfase e construção de caso, exatamente como um agente bem ajustado faz no dia a dia.

A taxa de virada, como os autores chamam, ficou entre 62 e 82 por cento dependendo da tarefa, muito acima dos 50 por cento esperados se fosse escolha aleatória humana. Ter opinião prévia quase não protegeu. Quando o participante escolhia antes de ouvir o agente e depois recebia uma visão contrária, a chance de trocar de lado subia 53 pontos percentuais em relação a quando recebia apoio. Experiência, titulação, autoavaliação de expertise e até confiança prévia em IA não tiveram relação estatisticamente relevante após correção para múltiplos testes. Idade apareceu como sinal antes da correção, mas com apenas 50 pessoas o estudo tinha pouco poder para cravar esse tipo de efeito.

Como isso funciona na visão de quem opera

Para quem constrói produto com modelo de linguagem, o mecanismo é previsível quando você pensa em API, latência e arquitetura. Um agente não responde, ele conduz. Ele quebra a tarefa em passos, chama ferramentas, resume resultados intermediários e sugere o próximo movimento. Cada sugestão reduz seu custo cognitivo e sua latência de decisão. Você aceita porque revisar tudo dá mais trabalho do que concordar, ainda mais quando os dois caminhos parecem tecnicamente defensáveis. Em análise causal, quase tudo é assim, qual covariável incluir, como definir outcome, qual estimador usar. Não existe erro óbvio para o linter pegar, existe julgamento.

Onde mora o viés que não aparece no log

O ponto crítico é que o agente não precisa alucinar para te levar para um lado. Basta ele argumentar melhor para um lado. Isso é persuasão por esforço argumentativo, não falha técnica. Nos logs, os pesquisadores viram que 77 por cento dos participantes, 37 de 48, usaram pelo menos um argumento do agente na justificativa final, às vezes quase com as mesmas palavras, mas só 15 por cento mencionaram a IA ao explicar a decisão. E 52 por cento disseram que a recomendação parecia mais deles do que do agente, com outros 35 por cento dizendo que era majoritariamente ou totalmente deles. Eles lembravam corretamente 85 por cento das próprias escolhas, ou seja, não foi amnésia, foi incorporação. Você lembra do clique, mas esquece quem desenhou o caminho até ele.

O que isso muda para quem constrói e usa IA agora

Quem ganha no curto prazo é quem vende velocidade. Times que usam o mesmo modelo base para análise, pesquisa e revisão vão entregar mais rápido, com menos erro grosseiro e com narrativas muito bem escritas. Quem perde é quem depende de diversidade de hipóteses, ciência, auditoria de risco, avaliação de segurança de IA. Se dez equipes usam o mesmo agente com o mesmo estilo de argumentação, você cria um falso consenso. Todo mundo chega na mesma conclusão por caminhos parecidos e acha que houve validação independente, quando na verdade houve apenas correlação de ferramenta. Para safety e para pesquisa, isso é veneno, porque elimina a redundância cognitiva que justamente protege contra erro sistêmico.

• Se você lidera time de dados, trate saída de agente como rascunho enviesado, não como segunda opinião.
• Se você constrói agentes, force divergência antes da convergência, peça para o modelo sustentar os dois lados com força igual.
• Se você avalia IA, meça influência, não só acurácia, registre quem sugeriu cada decisão intermediária.

A ação prática mais barata para aplicar amanhã é inverter a ordem. Exija que o humano registre sua hipótese, métrica e método em texto antes de ver qualquer sugestão do agente. Depois, configure o agente para primeiro criticar o plano humano e só então propor alternativa. A Anthropic sugere exatamente isso no estudo, agentes que argumentam os dois lados ou que pedem a visão do usuário primeiro. Em termos de produto, isso é uma mudança simples de prompt de sistema e de UX, um campo de hipótese inicial obrigatória antes do botão de analisar. Custa alguns segundos de fricção, mas quebra o efeito âncora que gerou mais de 50 pontos de virada no experimento.

A parte incômoda que ninguém quer discutir

Aqui fica a tensão real. O estudo mostra que o efeito direto no voto final do conselho foi pequeno e não significativo, e alguns especialistas até passaram por cima do agente quando o número calculado não batia com a recomendação sugerida. Dá para ler isso como algo tranquilizador, humanos ainda decidem no fim. Mas os próprios autores alertam que isso é ilusão de controle. As quatro decisões anteriores moldaram fortemente a estimativa de ganho de produtividade, que por sua vez moldou a recomendação. Ou seja, o agente não precisa mandar no veredito se ele já definiu as premissas. Isso escala. E o custo compensa. Ganhamos velocidade e menos erro besta, mas terceirizamos o julgamento onde ele mais importa, nos detalhes metodológicos que ninguém audita depois. Resolve o gargalo de execução e só move o gargalo para a supervisão, que agora precisa ser muito mais rigorosa justamente quando estamos mais cansados e confiantes.

Conclusão que fica

No fim, o recado é direto, agente bom convence até especialista, mesmo quando a posição inicial dele veio de uma moeda. Se você usa IA para decidir, precisa desenhar atrito intencional no fluxo. Caso contrário, quem decide é o modelo e você só assina embaixo achando que foi ideia sua. Quantas das suas últimas decisões com IA você realmente tomaria igual sem ela.