Apocalipse da IA vende manchete, mas quebra na hora de operar

Apocalipse da IA virou o assunto do verão, com demissão performática, carta aberta e executivo pedindo regulação em público enquanto faz lobby em privado. Quem opera modelo em produção conhece outro roteiro, bem menos glamouroso: latência que estoura o SLA, custo por token que corrói a margem, eval que não reflete uso real e integração que quebra quando o provedor muda a API sem avisar. É nesse ponto que Michael I. Jordan, 70 anos, professor emérito de Berkeley e hoje à frente da cátedra 'markets and learning' no Inria em Paris, decidiu cortar o ruído. Para ele, falar em extinção é pura ficção científica e uma distração cara que afasta energia do trabalho real de engenharia, economia e produto.

Jordan não é um comentarista de fora. Ele formou gerações de pesquisadores, ajudou a fundar as bases estatísticas do machine learning moderno e viu ciclos de hype nascerem e morrerem. Em 2019 ele já alertava para o uso irresponsável do termo IA, que na visão dele criaria a histeria atual. E criou. Primeiro era IA para tudo, depois virou AGI para justificar valuation, agora é 'superinteligência' para justificar poder. Quando o vocabulário muda mais rápido que a métrica de qualidade, o operador experiente desconfia. Não é avanço técnico, é reposicionamento narrativo.

O fato sem verniz

O recado foi dado em uma entrevista longa concedida na França, onde Jordan trabalha em tempo integral. Ele se disse totalmente frustrado com o discurso dominante. Chamou de teatro os pedidos de regulação feitos pelos próprios fundadores de labs, uma forma de dizer 'olhem, somos os mocinhos' enquanto tentam manter controle total sobre como serão regulados. Na prática, é captura regulatória com estética de responsabilidade. Quem define o padrão a seu favor trava concorrente pequeno, que não tem time jurídico para cumprir exigência desenhada sob medida.

Ele mirrou ainda a demissão de Jacob Coxon, jovem pesquisador da Anthropic que no início de setembro saiu com carta pública e alimentou uma onda de histeria sobre um cenário de 'AIpocalipse'. Para Jordan, o episódio é exemplar. Muitos desses funcionários jovens 'não são realmente engenheiros', vêm das humanidades, da filosofia, têm 25 anos, nunca colocaram um produto real na mão de gente real, com disciplina, custo e suporte. Eles se reúnem, nas palavras dele, como em cafés parisienses dos anos 1920, para debater grandes ideias de ficção científica. Ao pedir demissão com holofote, já com stock options garantidas, fazem o que ele chamou de 'grande performance moralizante', que rende virtude e atenção mas não move um milímetro da segurança real.

O ataque mais duro foi contra Geoffrey Hinton. Jordan disse que Hinton nunca criou uma empresa que entregue serviço real para pessoas reais e que a tese da superinteligência assume passos que não se sustentam: entenderíamos o cérebro, copiaríamos em silício, replicaríamos infinitas vezes e somaríamos aprendizados até um crescimento exponencial. Para Jordan, nenhuma dessas etapas é crível, estamos no terreno da ficção. Com Yoshua Bengio o tom foi um pouco mais suave, porque Bengio foca em riscos concretos da tecnologia atual, como enxames de agentes que saem de controle, e tenta agir em segurança aplicada. O recado é claro: menos escatologia, mais falha de sistema.

Como funciona na visão de quem opera

Na arquitetura real, não existe entidade que quer dominar o mundo. Existe um pipeline probabilístico: dados ruidosos, treinamento caro, inferência com latência variável, ferramentas externas chamadas via API, memória limitada por janela de contexto e guardrails que são, no fundo, mais modelos tentando vigiar outros modelos. O custo escala por token e por chamada, a latência soma a cada tool use, e a confiabilidade cai a cada salto autônomo sem checkpoint humano. Quando um agente da OpenAI foi apontado como vetor em um incidente envolvendo a Hugging Face, Jordan leu como má engenharia, não como prenúncio de rebelião. Em engenharia química, disse ele, jamais aceitaríamos um sistema sem contenção, válvula e auditoria.

É aqui que a cátedra 'markets and learning' faz sentido. Jordan pensa IA como infraestrutura econômica, não como mente. Modelo bom é o que entra em um mercado com incentivos, preços, restrições e responsabilidade. Isso significa pensar em custo marginal, alocação de capacidade, filas, cache, fallback e observabilidade, não em consciência. A pergunta de operador não é 'isso vai se tornar superinteligente', e sim 'quanto custa 1 milhão de inferências com p95 abaixo de 800ms, com taxa de alucinação medida em eval específico do meu domínio'. Se você não sabe responder isso, o debate sobre extinção é luxo.

Dá para inferir o que ele defenderia como stack séria: menos agente totalmente autônomo com acesso irrestrito, mais agente com escopo mínimo, permissão explícita, trilha de auditoria e limite de gasto por execução. Provável uso de modelos menores e destilados para tarefas repetitivas, com roteamento para modelos grandes só quando o ganho justifica o custo. E evals contínuos, com dados próprios, porque benchmark público vaza e satura rápido. Nada disso aparece em manifesto apocalíptico, mas é o que evita prejuízo na segunda-feira de manhã.

O que isso muda na prática para quem constrói

Quem ganha com o discurso doom é o lab incumbente. Ele ganha atenção, ganha poder de barganha com governo e ganha desculpa para fechar pesos, esconder eval e ditar padrão. Quem perde é o construtor médio, a startup que precisa de previsibilidade de preço de API, o time enterprise que precisa explicar risco para compliance, e o usuário final que fica com produto mais caro e menos transparente. Quando a conversa é sobre fim do mundo, ninguém cobra uptime, portabilidade ou documentação decente.

  • Troque roadmap de AGI por roadmap de confiabilidade: defina taxa de erro aceitável por tarefa, custo por sessão e tempo de recuperação quando o agente falha.
  • Implemente contenção de agente agora: escopo de ferramentas por função, aprovação humana para ação irreversível, teto de gasto e log imutável de cada chamada.
  • Meça o que importa: crie um eval com 200 a 500 casos reais do seu produto, rode a cada mudança de prompt ou modelo, e bloqueie deploy se regredir.

A ação prática mais imediata é simples e barata: faça uma auditoria de permissões dos seus agentes nesta semana. Liste quais chaves de API, repositórios, buckets e sistemas de pagamento cada agente pode tocar sem humano no meio. Na maioria dos times que eu vejo, o resultado assusta. Corte metade dos acessos, coloque confirmação em duas etapas para escrita externa e imponha limite de loops. Isso reduz mais risco real do que cem posts sobre superinteligência e ainda derruba sua conta de inferência, porque agente contido itera menos.

A tensão que ninguém quer encarar

Jordan tem razão no diagnóstico, mas a crítica também tem um ponto cego. Dizer que é tudo ficção resolve o exagero, mas não resolve o vácuo. Enxame de agentes mal configurados já causa dano sem precisar de consciência: vaza dado, corrompe base, executa gasto indevido, amplifica desinformação em escala. Chamar isso de má engenharia é correto, porém insuficiente se a má engenharia está sendo distribuída via API para milhões de desenvolvedores com três cliques. O gargalo só mudou de lugar, saiu da filosofia e foi para DevOps, segurança e custo.

E tem a dúvida incômoda de escala. O discurso de Jordan escala para pesquisa séria e para produto bem feito, mas escala para política industrial? Quando o presidente dos Estados Unidos abraça o termo superinteligência e a elite técnica joga junto, não é só ingenuidade de jovem de 25 anos, é estratégia de poder. Performance moralizante existe dos dois lados: doomer que se sente importante ao renunciar e veterano que se sente superior ao desdenhar. No meio, quem paga a conta é quem tenta precificar GPU, negociar contrato e explicar para o conselho por que o piloto de IA não virou receita. O custo dessa névoa não é filosófico, é operacional.

Conclusão que fica

No fim, Jordan está pedindo para trocar escatologia por engenharia: menos debate sobre mente infinita, mais trabalho sobre sistema finito, mensurável e auditável. Faz sentido para quem constrói. Será que o mercado vai premiar quem faz o básico bem feito ou quem grita mais alto sobre o fim do mundo?