Redes neurais já são limpas? O debate que divide a IA

Interpretabilidade travou por erro de leitura, não por limite técnico

Interpretabilidade mecanicista sempre pareceu uma promessa presa em um beco sem saída. A ideia era simples e poderosa: abrir um modelo grande e mapear o que cada neurônio faz, conceito por conceito, até conseguir auditar o raciocínio interno como se fosse código. Na prática, o que os pesquisadores viam era bagunça. Um mesmo neurônio disparava para coisas sem relação aparente, um fenômeno chamado de polissemanticidade. O exemplo mais famoso vinha do InceptionV1, um neurônio que respondia tanto para rosto de gato quanto para frente de carro. Parecia prova de que a rede embaralhava tudo por falta de espaço.

É esse diagnóstico que Nick Cammarata está tentando derrubar agora. Em um ensaio longo chamado 'Neural Networks Are Already Clean', ele defende que as redes nunca foram tão emaranhadas assim. Cammarata não é um outsider chutando de fora. Ele é pesquisador do laboratório Goodfire e coautor do trabalho 'Zoom In', que ajudou a criar a hipótese da superposição, justamente a teoria que justificava a bagunça. Quando alguém assim diz que lemos as evidências errado, o campo inteiro precisa parar e revisar.

O fato: um ensaio que dividiu OpenAI e DeepMind

O argumento central é direto. A superposição diz que, quando faltam neurônios, a rede empacota conceitos não relacionados nos mesmos neurônios porque eles raramente se ativam juntos. O resultado pareceria um nó impossível de desfazer sem ferramentas de decomposição, como os sparse autoencoders, que treinam um segundo modelo para separar os conceitos misturados. Boa parte do campo seguiu por esse caminho nos últimos três anos, com projetos grandes de interpretabilidade automatizada na OpenAI e em outros labs.

Cammarata agora afirma que os exemplos clássicos foram mal interpretados. Aquele neurônio de gato e carro, segundo ele, não representa dois conceitos distintos. É um detector de formato em V. Formas pontiagudas como focinho de raposa ou chamas ativam ele de forma positiva, enquanto formas redondas como a letra O empurram a ativação para o negativo. Gato e carro só pareciam não relacionados porque olhamos para o rótulo final, não para a geometria que a rede realmente usa.

Ele faz o mesmo movimento com o circuito de superposição do 'Zoom In', onde um carro parecia escondido entre neurônios de cachorro. Na releitura dele, aquilo é generalização comum. O circuito agrupa carros e cachorros pela orientação em relação à câmera, não porque está comprimindo conceitos aleatórios por falta de capacidade. A bagunça nas camadas finais do InceptionV1 seria culpa de uma arquitetura antiga e de ferramentas de análise fracas, não de uma propriedade fundamental das redes.

Como funciona: do autoencoder caro para o neurônio direto com agentes

Para quem opera modelo em produção, essa discussão não é filosofia. Ela define arquitetura de avaliação, custo e latência. O fluxo dominante hoje para interpretabilidade usa sparse autoencoders. Você pega ativações de uma camada, treina um dicionário enorme de features esparsas, depois tenta rotular cada feature com outro modelo. Funciona, mas tem preço. Treinar SAEs para um modelo de 30B ou 70B parâmetros exige um cluster relevante de GPUs, gera milhões de features para rotular e cria um problema novo: você passa a estudar o SAE, não o modelo original. A fidelidade cai e o custo de inferência para auditoria sobe.

A proposta de Cammarata é voltar ao básico, mas com escala brutal. Em vez de decompor tudo, estudar o neurônio direto com agentes de IA que analisam em lote. Ele apresenta números preliminares no Qwen3-32B que sustentam a aposta. Cerca de 90 por cento dos polos de neurônios teriam uma função principal, cerca de 7 por cento teriam duas funções relacionadas e só 2 a 4 por cento ficariam sem explicação. A Goodfire diz ver padrão parecido em modelos de até trilhões de parâmetros. Não há paper completo com método replicável ainda, então trate como sinal forte, não como verdade fechada.

Ele chama o padrão restante de 'generalização recursiva'. Um neurônio cresce como um galho que cria brotos laterais. Um exemplo que ele cita começou reconhecendo a sequência 'iy', depois passou a responder para 'diy' e por fim para 'do it yourself', que nem contém 'iy'. Isso ainda é polissemanticidade no sentido estrito, mas é uma polissemanticidade aprendível, com histórico. Para engenharia, isso muda tudo. Se a ambiguidade tem estrutura, dá para rastrear, versionar e testar. Se fosse superposição aleatória, seria ruído.

A citação à 'Bitter Lesson' de Rich Sutton fecha o raciocínio. Investigação simples em escala massiva venceria métodos espertos de decomposição. Faz sentido operacional. Agentes que geram hipóteses, rodam contraexemplos, medem ativação positiva e negativa e repetem isso em milhões de neurônios custam inferência, não pesquisa customizada. É mais barato escalar chamadas de análise do que treinar e manter SAEs gigantes para cada checkpoint novo.

O que isso muda na prática para quem constrói

Se ele estiver certo, mesmo que parcialmente, o impacto em segurança é imediato. Hoje, fora o monitoramento de chain of thought, que está ficando menos confiável com modelos que aprendem a esconder raciocínio, temos pouca visibilidade interna. Uma rede legível abre caminho para auditoria de features perigosas, detecção de objetivos ocultos e testes de regressão por conceito a cada novo fine-tuning. Isso interessa para quem roda agente com ferramenta, RAG com dados sensíveis ou modelo aberto para terceiros.

Quem ganha primeiro são times de avaliação e red team. Em vez de só fazer prompt attack, dá para verificar se o neurônio ou direção associada a enganação, evasão de recusa ou uso indevido de ferramenta acendeu. Quem perde são pipelines que investiram tudo em SAE como única fonte de verdade. Não que SAE morra, mas ele vira complemento, não fundação.

• Ação prática para esta semana: escolha três comportamentos críticos do seu produto, como recusa, chamada de ferramenta e citação de fonte, e tente mapear isso com probing linear direto nas ativações antes de treinar qualquer autoencoder. Se um probe simples já separa bem e generaliza entre prompts, você tem evidência de rede limpa no seu caso e economiza uma ordem de magnitude em computação.

Para produto, a mudança é de processo. Congele um conjunto de sondas por conceito e rode a cada deploy como teste de CI. Se a generalização recursiva vale, pequenas mudanças de vocabulário não vão quebrar tudo de uma vez, vão derivar de forma rastreável. Dá para versionar.

A tensão: isso escala ou só move o gargalo?

Aqui entra a divisão que o ensaio provocou. Roon, da OpenAI, tratou o texto como momento histórico. Neel Nanda, do Google DeepMind, pediu calma e alertou contra o hype. Os dois têm razão em parte, e é exatamente essa tensão que importa para quem opera.

O ceticismo de Nanda é técnico e justo. Os números de 90 por cento vêm de análise preliminar, com agentes fazendo o julgamento do que conta como 'uma função principal'. Quem define o que é uma função? Qual o threshold de ativação negativa? Como evitar que o agente avaliador invente uma história coerente para um neurônio que na prática é ruidoso? Sem protocolo aberto, replicação independente e medida de falso positivo, corremos o risco de trocar a superposição por pareidolia automatizada, onde tudo parece limpo porque o avaliador quer ver limpeza.

Minha dúvida de operador é outra: custo versus cobertura. Analisar neurônio por neurônio com agentes em um modelo de trilhões de parâmetros pode ser mais simples conceitualmente, mas ainda exige milhões de chamadas de inferência, armazenamento de ativações e revalidação a cada checkpoint. Isso escala em engenharia, mas cobra latência e orçamento. E mesmo que cada neurônio individual seja legível, o comportamento emerge da composição de milhares deles em dezenas de camadas. Entender as peças não garante entender o circuito. A gente pode sair de 'não entendo nada' para 'entendo as partes e continuo sem prever o sistema'.

Também tem o risco de arquitetura. Boa parte da evidência vem de modelos transformers densos atuais e de um reexame do InceptionV1. E se a limpeza for propriedade dessa família de arquiteturas e de treinamento atual, não uma lei geral? Modelos com mistura de especialistas, memória externa e agentes recorrentes podem reintroduzir emaranhamento em outro nível. Resolver a polissemanticidade do neurônio não resolve a opacidade do sistema.

Conclusão

Cammarata fez o movimento mais difícil na ciência: questionar a própria teoria que ajudou a criar, com exemplos concretos e números testáveis. Se a rede já é limpa, interpretabilidade vira problema de engenharia de escala, não de decodificação impossível. Será que seu pipeline de avaliação sobrevive se o próximo checkpoint provar que ele estava certo?