Só 40% dos números da IA têm estudo real

O problema começa quando o número parece perfeito demais

estatísticas citadas pela IA chegaram a um ponto estranho: elas parecem confiáveis demais para desconfiar. Você pergunta qualquer coisa que pede um número, taxa de conversão, percentual de vendedores que desistem, média de churn, e recebe uma resposta limpa, com citação e link. O problema é que essa confiança é uma interface. Por baixo dela, um teste recente com 200 perguntas feitas a ChatGPT, Perplexity, Gemini, Claude e AI Overviews mostrou que a maioria dos números não se sustenta quando você clica até o fim. E isso muda tudo para quem usa IA para decidir.

Eu já caí nisso. Precisava de um dado rápido para uma apresentação, a IA entregou o número com fonte, parecia resolvido. Só que quando fui abrir o link, a fonte citava outra página, que citava outra, que não citava nada. Foi assim que surgiu o conceito que resume bem essa pesquisa: zombie stats, números zumbis que continuam andando por aí sem nada por baixo. O caso clássico usado no teste foi direto: qual percentual de vendedores desiste após um follow-up. Os cinco assistentes responderam a mesma coisa, 44%. Todos com a mesma segurança, todos com citação. Só o ChatGPT fez uma ressalva de que a evidência era incerta, os outros trataram como fato.

O fato: só 40% se sustentam

O teste foi simples e trabalhoso ao mesmo tempo. Os pesquisadores fizeram 200 perguntas do dia a dia que pedem um número, do tipo que qualquer pessoa faria no trabalho. Depois separaram uma amostra aleatória de 1.285 estatísticas citadas nas respostas, sendo 108 do ChatGPT, 277 do Perplexity e 300 de cada um dos outros três, Gemini, Claude e AI Overviews. Aí fizeram o que quase ninguém faz: clicaram na citação, depois na fonte da fonte, até cinco níveis de profundidade, para ver se chegava em um estudo real que diz a mesma coisa.

O resultado é incômodo. Apenas 40% das estatísticas chegaram a um estudo que afirma o mesmo número no mesmo contexto. Outros 8% chegaram a um estudo, mas o número ou o contexto tinha mudado no caminho, o que na prática já é uma distorção. Os outros 52% quebraram: 40% pararam em uma fonte impossível de checar, porque estava bloqueada, fora do ar ou simplesmente não mostrava o número, e 11% não levaram a lugar nenhum. E não foi um acaso das perguntas de laboratório. Quando repetiram o mesmo método com 300 estatísticas de buscas reais do dia a dia no AI Overviews, o índice foi idêntico: 40% com origem válida.

Como funciona: a IA cita a cópia, não o estudo

Do ponto de vista de operador, isso não é exatamente alucinação no sentido clássico. Na maioria das vezes, a IA não inventou o dígito do nada. Em 82% dos casos, o número estava de fato na página citada. O erro está um nível acima, na escolha de qual página citar. Só 21% das páginas citadas para sustentar um número eram a pesquisa original. Mais da metade eram blogs de empresas. Some notícias e páginas de compilados de estatísticas e você entende o padrão: a IA cita quem copiou, não quem mediu.

Isso faz sentido quando você pensa na arquitetura. Sistemas com busca e RAG são otimizados para relevância textual e ranqueamento de SEO, não para autoridade metodológica. Um post de blog com o título exato da sua pergunta, com o número em destaque e com boa estrutura de headings, tem muito mais chance de ser recuperado do que um PDF de 40 páginas com metodologia, amostra e intervalo de confiança. E tem custo e latência aqui. Verificar a cadeia de citação até a origem exigiria múltiplas buscas, leitura de páginas secundárias, comparação de contexto e data. Isso multiplica tokens, aumenta latência e quebra a promessa de resposta instantânea. Então o sistema entrega o primeiro elo convincente e para por aí, porque é mais barato e mais rápido.

O que isso muda na prática

Quem ganha com isso no curto prazo são os sites que vivem de compilar listas de estatísticas sem linkar a origem. Eles ranqueiam, são citados pela IA, ganham tráfego e autoridade. Quem perde é quem constrói em cima do número: fundador que dimensiona mercado, marketing que define meta, produto que justifica roadmap, jornalista que publica sem checar. O ChatGPT se saiu um pouco melhor no teste e citou bem menos números por resposta, 1,3 contra 6,8 do Claude, o que sugere uma lição operacional clara: menos números, com mais atrito, valem mais que uma chuva de dados. Os outros quatro ficaram todos na mesma faixa, entre 38% e 46%, perto demais para dizer que um é confiável e outro não.

• Trate todo número da IA como rascunho, não como fato, até você ver amostra, data e metodologia.
• Exija a cadeia completa: peça para a IA trazer o estudo original, não a página que menciona o estudo.
• Se for usar o dado para decidir, descarte se a trilha parar em blog, listicle ou página sem link de origem.

A ação prática que você pode aplicar hoje é mudar o prompt. Em vez de perguntar qual é a estatística, pergunte: qual é o estudo original, qual o tamanho da amostra, qual o ano e qual o contexto exato. E depois clique você mesmo. Se a IA não conseguir responder essas quatro coisas com link funcional, não use o número. Em apresentações e reports, crie uma regra interna simples: nenhum dado vindo de assistente entra sem o PDF ou a página da pesquisa anexada. Dá trabalho, mas evita construir decisão em cima de zumbi.

Tensão real: isso escala ou só move o gargalo?

Aqui fica a dúvida que importa para quem opera. Dá para resolver isso só melhorando citação. A resposta provável é não. Mesmo que o modelo cite melhor, a web está cheia de páginas que citam páginas que não citam nada, e o modelo aprende esse atalho. Verificação profunda custa mais tokens, exige browsing recursivo e ainda pode falhar quando a fonte original está atrás de paywall ou foi deletada. Vale pagar o triplo da latência para ter um número com procedência. Para uma tese de mestrado, sim. Para responder rápido no Slack, talvez não. O risco é criarmos dois modos de IA e ninguém saber qual está usando.

Tem outro ponto que me incomoda: a concordância cria falsa verdade. No exemplo dos 44%, os cinco sistemas concordaram. Para o usuário, unanimidade vira prova. Mas não era prova, era só o mesmo erro copiado de lugares parecidos. Isso mostra que diversidade de modelos não significa diversidade de fontes. Se todos bebem do mesmo SEO, todos erram juntos. E quando o erro tem citação bonita, ele se espalha mais rápido que o acerto, porque é mais fácil de copiar e colar.

Conclusão

No fim, o recado é simples: use IA para achar pistas de números, não para fechar números. Se apenas 40% sobrevivem à checagem, seu trabalho mudou de buscar para auditar. Quantas decisões você tomou nos últimos meses com base em um número que nunca teve um estudo por trás.