Detectando alucinações de IA com um probe linear simples

Você já tentou depurar uma alucinação em produção? É um dos problemas mais frustrantes em LLMs: o modelo responde com confiança algo completamente falso, e você fica sem saber por quê. Agora, um estudo do arXiv mostra que dá para detectar essas alucinações com uma abordagem surpreendentemente simples: um classificador linear treinado nos estados ocultos do meio da rede.

O fato

Pesquisadores testaram três modelos populares de 7B a 8B parâmetros (Llama-3.1-8B, Mistral-7B e Qwen2.5-7B) em quatro benchmarks de alucinação (TruthfulQA, HaluEval-QA, FEVER e um conjunto sintético controlado). Eles usaram quantização NF4 de 4 bits, algo comum em implantações reais para reduzir uso de GPU. A técnica? Extrair os estados ocultos de cada camada e treinar um probe linear para classificar se a resposta é factual ou alucinada. Resultado: AUROC entre 0.904 e 1.0 em splits de teste. Ou seja, detecta alucinações com altíssima precisão.

Como funciona (visão de operador)

O probe linear atua sobre um único vetor de estado oculto de uma camada intermediária. Nos modelos Llama e Mistral, a camada ideal fica entre os blocos 13 e 18 de 32; no Qwen, entre 19 e 25 de 28. Isso sugere que o sinal de veracidade é codificado de forma consistente em uma faixa específica da profundidade da rede. O melhor de tudo: o probe é treinado uma vez e depois usado em inferência com custo desprezível. Compararam com métodos baseados em amostragem (como self-consistency e EigenScore), que tiveram AUROC máximo de 0.541 no mesmo protocolo. A conclusão é que a separabilidade linear da veracidade é real, e os métodos de amostragem tradicionais falham porque avaliam pares de respostas de forma estruturalmente diferente.

Na prática, implementar isso é simples: você já extrai estados ocultos durante a geração? Se sim, adicionar um probe linear é trivial. A quantização de 4 bits não degradou o sinal, o que é ótimo para quem roda modelos em GPUs de 8 GB.

O que isso muda na prática

Quem ganha? Equipes que implantam chatbots ou sistemas de QA baseados em LLMs, especialmente se usam modelos quantizados para economizar custo. Agora podem adicionar um detector de alucinações em tempo real com overhead mínimo. Quem perde? Quem depende de métodos baseados em amostragem e não revisou o protocolo de avaliação – o estudo mostra que a baixa performance desses métodos não é inerente, mas sim um problema de matching entre o protocolo e o que eles medem. Ação prática: se você usa self-consistency, considere trocar por um probe linear treinado nos estados ocultos do seu próprio modelo. O código e dados estão disponíveis, e cabe em uma GPU de 8 GB.

Tensão / Reflexão

Mas isso escala? O probe foi treinado em benchmarks específicos – funciona para alucinações fora da distribuição? O artigo não testa domínios muito diferentes. E se o modelo for fine-tuned depois? O probe precisaria ser retreinado. Outra dúvida: a separabilidade linear sugere que a verdade está codificada, mas e quando o modelo deliberadamente gera algo criativo? O probe pode acusar alucinação em uma resposta que é intencionalmente fictícia (como um conto). O detector não substitui validação externa, mas é uma ferramenta poderosa a mais no arsenal.

Conclusão

Detectar alucinações via estados ocultos com um probe linear é simples, barato e eficaz em modelos quantizados. O maior ganho é prático: você não precisa de infraestrutura pesada. A pergunta que fica é: quanto do seu pipeline atual já poderia se beneficiar de um sinal tão acessível?