Anthropic racha: risco existencial da IA é real?

Risco existencial da IA voltou ao centro do debate

Risco existencial da IA não é mais um papo de fórum obscuro. Ele voltou com força total depois que Jacob Coxon, pesquisador que passou por OpenAI e Anthropic, pediu demissão dizendo que os grandes laboratórios estão apostando com as nossas vidas. Não foi um desabafo qualquer. Foi uma saída pública, com texto afiado, acusando as empresas que lideram a corrida de normalizar um nível de risco que nenhum outro setor aceitaria sem regulação dura.

O estopim acendeu ainda mais rápido quando o chefe de alignment da Anthropic compartilhou o relato e completou com uma frase que já entrou para a história do Vale do Silício: nós realmente acreditamos de verdade que a IA pode matar todos os humanos, com mais de 10 por cento de chance na próxima década. Com ponto de exclamação. Em qualquer outro contexto isso seria piada. Aqui virou manchete global, pauta de podcast, briga no X e dor de cabeça para advogados que preparam o IPO da Anthropic.

O fato: demissão, tuíte e IPO no fundo

O que aconteceu é simples e incômodo. Coxon saiu e disse que não quer mais construir algo que considera perigoso demais. Ele não está acusando um bug específico ou um vazamento pontual. Está falando de trajetória. Modelos cada vez mais capazes, agentes com mais autonomia, integração com código, infraestrutura e ferramentas reais, tudo isso sem um plano de contenção que ele considere sério. Para ele, continuar ali seria compactuar.

A resposta da Anthropic não foi negar. Foi dobrar a aposta no discurso do risco. O líder de alinhamento confirmou a crença interna no cenário extremo e citou um P(doom) acima de 10 por cento em dez anos. Esse número não vem de um cálculo auditável. É uma estimativa subjetiva, comum em segurança de IA, que mistura intuição de pesquisador, extrapolação de capabilities e medo legítimo de perda de controle. Só que quando sai da boca de quem constrói o modelo mais avançado da empresa, o peso muda. Vira sinalização pública.

Tem ainda o contexto. Isso acontece semanas depois do lançamento de modelos mais fortes da Anthropic e da OpenAI, de um episódio envolvendo hack na Hugging Face com modelo interno da OpenAI e às vésperas de movimentos para abertura de capital. Não dá para ignorar o timing. Debate sobre fim da humanidade também é, querendo ou não, uma forma de dizer: nossa tecnologia é tão poderosa que pode sair do controle.

Como funciona essa conta do apocalipse

Na visão de operador, P(doom) não é métrica de engenharia. É uma opinião probabilística sobre cadeias de falha. O raciocínio por trás costuma seguir três camadas. Primeiro, capability: o modelo aprende a planejar, escrever código, usar ferramentas e se replicar em ambientes digitais. Segundo, misalignment: os objetivos que ele otimiza não são exatamente os que pedimos, e ele encontra atalhos que a gente não previu. Terceiro, deployment: colocamos esse sistema com acesso a APIs, dinheiro, e-mail, cloud e dados sensíveis, com latência baixa e custo marginal quase zero.

Na prática, nenhum lab hoje publica um modelo de risco completo com taxa de falha por etapa, custo de mitigação por inferência ou latência adicionada por camadas de avaliação. O que existe são evals de segurança, red teaming, Constitutional AI e políticas de escala responsável. Tudo isso ajuda, mas funciona como cinto de segurança em um carro que está cada vez mais rápido. O custo de rodar evals robustos cresce, atrasa lançamento e não garante cobertura total, porque o espaço de comportamentos de um agente autônomo é gigante.

Minha inferência técnica é direta: o gargalo não é falta de aviso, é falta de instrumentação. Não temos logs confiáveis de intenção do agente, não temos sandbox real para ações de alto impacto e não temos um padrão de API que separe claramente leitura, escrita e execução irreversível. Enquanto isso não existir como infraestrutura, qualquer número de 10 por cento é chute bem intencionado. Pode estar errado para cima ou para baixo, e a gente não tem como auditar.

O que isso muda na prática para quem constrói

Quem ganha com esse barulho são os próprios labs de fronteira. Eles reforçam a narrativa de que só eles têm a tecnologia perigosa e, portanto, só eles podem contê-la. Isso ajuda em contratação, em valuation e em lobby regulatório. Quem perde é quem está no meio da cadeia: startups que dependem da API, empresas que colocam agentes em produção e times de segurança que precisam explicar para o board por que o copiloto interno agora tem acesso ao repositório.

• Ação prática imediata: trate todo agente com acesso de escrita como sistema crítico. Limite escopo por API key, exija aprovação humana para ações irreversíveis e registre tudo com trilha auditável. Não espere o lab resolver isso por você.
• Ajuste de arquitetura: separe planejamento de execução. Um modelo pode sugerir, outro com permissões mínimas executa. Isso reduz latência de revisão e corta custo de incidente.
• Ajuste de contrato: revise SLAs e termos dos provedores. Se o fornecedor admite risco sistêmico, você precisa de cláusula de mudança de modelo, versionamento fixo e rota de fallback.

Para times de produto, a lição é menos filosófica e mais operacional. Não dá para colocar agente autônomo para mexer em billing, banco de dados de produção ou envio para cliente sem um gate. O discurso do fim do mundo distrai, mas o risco real de hoje é mais banal: vazamento de dados, ação errada em loop, custo estourado de tokens e decisão sem dono. É isso que quebra empresa antes de qualquer cenário extremo.

A tensão que ninguém quer encarar

Aqui está a parte incômoda. Se você acredita mesmo que há mais de 10 por cento de chance de a sua tecnologia exterminar a humanidade em dez anos, por que continua treinando modelos maiores. Essa foi a pergunta que sempre volta para Sam Altman, Dario Amodei e agora para a liderança da Anthropic. Coxon ao menos foi coerente: saiu. Ficou fácil respeitar a atitude dele, mesmo discordando do número.

Do outro lado, tem a hipótese cínica que a Kirsten Korosec levantou e que muita gente no mercado repete em voz baixa. Falar de apocalipse também é flex. É dizer ao investidor do IPO: olha o tamanho do que estamos construindo. É transformar risco existencial em ativo narrativo. O problema é que essa estratégia tem custo jurídico real. Como brincou o pessoal do Equity, algum advogado júnior vai ter que explicar no S-1 que a própria empresa estima chance relevante de criar algo que prejudique materialmente os negócios porque pode acabar com a humanidade. Isso não é só tuíte, é disclosure.

No fim, esse debate não resolve, só move o gargalo. A gente sai da discussão sobre alucinação e vai para a discussão sobre extinção, mas continua sem padrão de avaliação independente, sem auditoria externa com acesso real a pesos e dados, e sem responsabilização clara quando o agente erra. Escala. O discurso escala muito bem para manchete. A segurança não escala na mesma velocidade porque custa dinheiro, aumenta latência e atrasa ship.

Conclusão

A saída de Coxon importa menos pelo número que ele ajudou a popularizar e mais pelo gesto: alguém de dentro preferiu sair a continuar treinando o que não confia. Isso deveria forçar os labs a mostrar conta, arquitetura e custo de segurança, não só medo.

Para quem opera IA de verdade, a pergunta que fica é simples: se nem quem constrói concorda sobre o risco, você vai continuar dando poder total de escrita para um agente sem freio. Ou vai desenhar limite agora, antes do primeiro incidente grave.