Anthropic quer barrar IA se risco matar 50 pessoas

O limite de 50 vidas

Segurança de IA acaba de ganhar um número bem específico e incômodo: 50 mortos. A Anthropic está circulando em Washington um rascunho de projeto de lei federal que permitiria bloquear a distribuição de um modelo se houver risco previsível e iminente de matar mais de 50 pessoas ou causar mais de 1 bilhão de dólares em danos materiais. Para quem constrói produto com LLM, isso muda o jogo porque transforma um debate abstrato sobre risco existencial em um gatilho jurídico operacional, com avaliador externo, prazo de 72 horas e juiz federal no circuito.

Não é mais papo de alinhamento ou carta aberta. É tentativa de criar um procedimento formal de contenção pré lançamento, algo entre auditoria técnica e medida cautelar. E a pergunta que fica para o operador é direta: como você prova que seu modelo não ultrapassa esse limite, e quanto custa provar isso a cada release?

O fato sem hype

O que aconteceu é simples. A Anthropic preparou uma minuta legislativa sobre segurança avançada de IA e está apresentando a parlamentares nos Estados Unidos. O texto prevê que o lançamento de um modelo pode ser barrado quando existir risco catastrófico ligado a três vetores principais: criação ou liberação de arma biológica, perda de controle com o modelo burlando as travas do próprio desenvolvedor, ou viabilização de um ciberataque de grande escala.

Os números não são aleatórios. O patamar de 50 vidas e 1 bilhão de dólares replica o que a Califórnia já aprovou no Senate Bill 53, que usa a mesma definição para risco catastrófico. A ideia aqui é padronizar o conceito em nível federal para evitar um mosaico de leis estaduais conflitantes. Um porta voz da empresa confirmou a minuta e disse que ela reflete propostas do Advanced AI Framework que a Anthropic defende desde junho junto a legisladores federais e estaduais.

O ponto mais sensível é o mecanismo de enforcement. Nenhuma agência federal poderia barrar um modelo por decisão própria. O bloqueio dependeria de ordem judicial em Washington, após alerta dos avaliadores. É uma tentativa clara de equilibrar poder de polícia com devido processo, e também de tirar dos labs a decisão final sobre o próprio risco.

Como funciona na visão de operador

Na prática, o projeto cria uma camada extra no pipeline de release. Pense em um gate de segurança obrigatório antes do deploy. Os avaliadores independentes seriam registrados junto ao Departamento de Comércio americano, algo parecido com auditores certificados. Eles teriam acesso ao modelo, rodariam testes de capacidade perigosa e emitiriam um parecer de risco.

Aqui entra um detalhe que todo engenheiro vai estranhar: esses avaliadores poderiam ser pagos pelos próprios laboratórios, desde que o pagamento não seja condicionado ao resultado. Em tese, é como contratar uma auditoria externa. Na prática, todo mundo que já passou por SOC 2 ou pentest sabe que quem paga a conta cria ao menos um viés sutil de relacionamento. O texto não explica como garantir independência real, apenas cria a regra formal.

Se um avaliador identificar risco iminente, ele teria 72 horas para notificar o Departamento de Comércio. O Departamento então precisaria pedir a um juiz em D.C. uma ordem para suspender a distribuição. Isso implica latência jurídica, não apenas técnica. Para quem opera com releases semanais, fine tuning contínuo e deploys via API, surge uma dúvida arquitetural séria: o que conta como release? Um checkpoint novo, um ajuste de system prompt, uma ferramenta com acesso à internet ou apenas um modelo base? O rascunho não detalha esse nível, mas é exatamente aí que o custo mora.

Minha inferência técnica é que, se algo assim avançar, os grandes labs vão precisar versionar evidências de segurança como hoje versionam código. Logs de evals, red teaming para bio e cyber, testes de fuga de controle, limites de uso de agentes e trilhas de auditoria por versão. Isso não é barato. Exige cluster separado para evals adversariais, equipe dedicada e documentação pronta para escrutínio judicial em 72 horas. Para startup que faz wrapper ou fine tune, o impacto seria indireto mas real, via preço da API e restrições de capacidade.

O que isso muda na prática

Quem ganha com esse desenho são os labs grandes e bem capitalizados. Anthropic, Google DeepMind e OpenAI já têm times de segurança, já publicam relatórios de sistemas e já operam com avaliadores externos em programas voluntários. Uma lei que formaliza esse ritual cria barreira de entrada. Fica mais caro lançar modelo de fronteira, o que favorece quem já tem estrutura.

Quem perde são os open weights e os players menores. Se o gatilho for capacidade do modelo base, independentemente de ser aberto ou fechado, distribuir pesos abertos com capacidade perigosa vira um risco jurídico enorme. E não há botão de rollback depois que os pesos vazam. O resultado provável seria mais cautela com lançamentos abertos ou limitação de capacidades em versões públicas.

Para quem usa IA em produto, o efeito é menos dramático no curto prazo, mas exige ajuste. Você não será o alvo direto da lei, mas vai sentir na latência de novos recursos, em políticas de uso mais duras e em mudanças de preço. Modelos mais capazes podem demorar mais para chegar à API porque ficaram presos no gate de avaliação.

• Ação prática para agora: crie um dossiê de segurança por versão do seu sistema, não só do modelo. Registre quais ferramentas o agente pode chamar, quais dados ele acessa, quais guardrails estão ativos e quais evals de abuso você rodou. Se a regulação endurecer, esse histórico vira seu seguro. Se não endurecer, ele já reduz incidente e churn.
• Segunda ação: separe eval de capacidade de eval de comportamento. Teste o que o modelo sabe fazer em bio e cyber em ambiente isolado, e teste separately o que seu produto deixa ele fazer em produção com permissões reais. A maioria dos incidentes atuais está na segunda camada.

Outro ajuste simples é rever contratos com fornecedores de modelo. Inclua cláusulas sobre aviso prévio de descontinuação por motivo de segurança, retenção de logs e direito de auditoria. Se um modelo for suspenso por ordem judicial, você precisa de plano B sem reescrever tudo em 48 horas.

Isso escala ou só move o gargalo?

Aqui está a tensão real. O risco que a minuta tenta endereçar, arma biológica, perda de controle e ciberataque catastrófico, é teoricamente grave mas ainda especulativo em escala. Enquanto isso, o risco que está quebrando operação hoje é bem mais banal: agentes que desobedecem instrução, fazem scraping agressivo, tentam burlar CAPTCHA, executam código onde não deviam e abrem brechas por erro de permissão. Nenhum deles mata 50 pessoas, mas todos geram prejuízo, bloqueio de conta e dor de cabeça jurídica.

Existe um descompasso entre o risco regulado e o risco vivido. A lei mira o cenário extremo e deixa de fora o dano cumulativo de milhares de pequenos abusos automatizados. Isso resolve ou só move o gargalo para o judiciário? Um juiz em D.C. decidindo em poucas horas se um modelo pode ser lançado parece um ponto único de falha, sem capacidade técnica para avaliar matriz de pesos em profundidade. E o prazo de 72 horas é uma eternidade para vazamento de pesos e é curtíssimo para análise forense séria.

Também há o problema dos incentivos. Avaliador pago pelo avaliado, mesmo sem bônus por aprovação, tende a manter relacionamento comercial. Vimos esse filme no setor financeiro com agências de rating e auditorias. A comparação com a FINRA, citada por Demis Hassabis, faz sentido no papel, mas a indústria financeira levou décadas para construir esse aparato, e mesmo assim falha. Esperar que um ecossistema de evals independentes surja em meses, com qualidade consistente para modelos de fronteira, parece otimista.

E tem o recorte político. A Anthropic propor regulação soa responsável, mas também é estratégico. Ela propõe um modelo que ela mesma já consegue cumprir, transfere o custo para concorrentes menores e ainda sinaliza boa fé para Washington enquanto resiste a uma supervisão mais dura e contínua dentro dos labs. Não é cinismo, é posicionamento. A Nvidia, na outra ponta, diz que não precisa de lei nova nenhuma. Entre um extremo e outro, o Congresso vai buscar um meio termo que provavelmente será mais confuso que ambos.

Conclusão

No fim, a proposta da Anthropic é o primeiro rascunho sério de como seria um freio de emergência federal para IA, com número, prazo e juiz. Não resolve o caos diário dos agentes, mas cria um precedente importante: lançar modelo de fronteira pode deixar de ser só uma decisão de produto.

Fica a pergunta para quem está construindo: seu pipeline atual passaria em uma auditoria externa surpresa em 72 horas, ou você descobriria na hora que não tem evidência suficiente para provar que é seguro?