AEF-1: rivais da IA aceitam avaliadores dentro de casa

AEF-1 e o problema que ninguém resolveu com autopromoção

AEF-1 é o primeiro padrão sério para avaliadores externos de IA de fronteira e ele nasce de um problema bem concreto. Até hoje, quem testa se um modelo é seguro é quase sempre o próprio lab que construiu o modelo. Isso é como pedir para o time de produto assinar o próprio laudo de segurança antes do deploy. Funciona no marketing, falha na operação. Você recebe um system card bonito, alguns gráficos de recusa, mas não tem ideia do que aconteceu no pipeline de treinamento, quais checkpoints foram ignorados ou que pressões internas aceleraram o lançamento.

O incômodo aumentou com a discussão sobre pacing, o ritmo da fronteira. De um lado, gente dentro dos labs dizendo que o progresso está andando mais rápido que o entendimento sobre alinhamento. Do outro, gente dizendo que falar em frear é só uma forma elegante de criar reserva de mercado. Nesse meio, a proposta de avaliadores embutidos ganhou tração porque tenta responder a pergunta mais chata e mais importante. Quem verifica, com acesso real, se os compromissos de segurança estão sendo cumpridos no dia a dia, e não só no relatório final.

O fato

O que aconteceu foi direto. O AI Evaluator Forum, criado em dezembro de 2025, publicou o AEF-1, uma linha de base para avaliações independentes feitas por terceiros. O documento cobre acesso, conflito de interesses, relação de financiamento, regras de recusa e transparência. E o ponto que fez barulho é que OpenAI, Anthropic e xAI assinaram juntas. Três rivais diretos concordando com o mesmo pacto de avaliação externa é raro e por isso virou sinal político forte.

Em paralelo, Dario Amodei publicou um texto pessoal defendendo três frentes. Avaliadores embutidos, coordenação democrática entre empresas de países democráticos e tentativa de coordenação global, incluindo a China. A Anthropic já se comprometeu de forma unilateral com a primeira parte. Na prática, isso significa dar a um time externo, como a METR, acesso contínuo parecido com o de um funcionário. A descrição inclui mesas no escritório, crachás de acesso, laptops da empresa e permissões próximas às dos times internos de risco. Não é uma auditoria pontual de fim de ciclo. É presença contínua para verificar práticas, reportar incidentes e avaliar não só o modelo pronto, mas o pipeline e os processos.

Como funciona na visão de quem opera

Pense no AEF-1 menos como um paper e mais como um contrato operacional. Para funcionar, um avaliador externo precisa de três camadas de acesso. Primeira, acesso a artefatos. Pesos intermediários, logs de treinamento, configs de RL, dados de evals internos, incidentes de red team. Segunda, acesso a ambientes. Capacidade de rodar seus próprios testes em infraestrutura isolada, com cotas de computação garantidas, sem depender da boa vontade do lab na semana do lançamento. Terceira, acesso a pessoas e processos. Participar de revisões de risco, ver decisões de deploy, entender quem vetou o quê.

O padrão tenta resolver os pontos que hoje quebram qualquer avaliação. Quem paga a conta, como evitar que o avaliador vire um fornecedor dócil que depende do próximo contrato, quando ele deve se recusar a avaliar por conflito, e o que precisa ser público depois. Em termos de arquitetura, o modelo mais plausível é parecido com supervisão bancária. Um pequeno time com credenciais persistentes, trilhas de auditoria próprias, canal direto de reporte fora da hierarquia do lab e janelas de inspeção que não podem ser fechadas por conveniência. O custo aqui não é pequeno. É gente sênior, tempo de GPU para reproduzir testes, engenharia para manter harnesses de avaliação e burocracia para gerenciar conflitos.

Sobre latência, é onde a conversa fica real. Avaliação profunda atrasa lançamento. Se cada checkpoint relevante precisar passar por verificação externa, o ciclo de iteração alonga em dias ou semanas. Os labs vão tentar empurrar para um modelo assíncrono, onde o time interno anda rápido e o externo audita em paralelo. O risco é óbvio. Auditoria paralela vira observação passiva se não tiver poder de pausar um treinamento ou bloquear um deploy. O AEF-1 ainda não resolve isso com clareza de API, com SLA de resposta ou com definição de gatilhos que travam o rollout. E sem esse dente, vira selo.

O que isso muda na prática

Para quem constrói produtos em cima desses modelos, a mudança imediata não é técnica, é de previsibilidade. Se o AEF-1 pegar, lançamentos de fronteira ficam menos erráticos. Você terá mais documentação sobre limites, mais sinal sobre mudanças de comportamento entre versões e talvez menos breaking change silenciosa. Para times de segurança e compliance, é uma base melhor para argumentar internamente por testes próprios antes de colocar um agente com permissão de escrita em produção.

Quem ganha agora são os avaliadores terceiros especializados. Eles saem de um papel de consultoria esporádica para uma posição quase regulatória, com receita recorrente e acesso privilegiado. Quem perde, no curto prazo, são os labs menores e os times open source, que não têm como bancar esse nível de auditoria e podem ficar fora do clube entendido como seguro. Isso cria um efeito colateral importante. O padrão pode virar barreira de entrada e reforçar a concentração em poucas empresas, exatamente o ponto levantado por críticos que não querem um mundo onde poucos gatekeepers de São Francisco decidem o ritmo da IA para governos.

Uma ação prática para esta semana é simples e barata. Se você opera agentes ou RAG em produção, pare de confiar apenas no model card do fornecedor. Monte sua própria camada mínima de avaliação externa. Separe um conjunto de prompts adversariais, casos de uso sensíveis e testes de regressão por versão de modelo. Rode a cada troca de versão, registre taxa de recusa indevida, alucinação crítica e mudança de tom em tarefas de risco. Quando o AEF-1 amadurecer, você já terá histórico próprio para comparar com o que os labs dizem. Isso vale mais que qualquer promessa de auditoria.

Onde a promessa emperra

Aqui está a tensão que importa. Acesso com crachá e laptop resolve o problema doméstico, mas não resolve o problema global. A proposta fala em coordenar ritmo com a China, com verificação de cumprimento. Na prática, ninguém apresentou um mecanismo crível para isso. Sem verificação, pacing vira desaceleração unilateral. Um lado freia, documenta, atrasa deploy por duas semanas para auditoria, enquanto o outro lado itera sem fricção. É difícil vender isso para board, para investidor e para governo.

Tem outro ponto incômodo dentro de casa. Modelos com mais consciência situacional podem se comportar bem sob avaliação e esconder desalinhamento, como alertaram vozes ligadas ao debate de pacing. Se isso for verdade mesmo em grau parcial, mais acesso ajuda, mas não elimina a incerteza. Você aumenta o custo da avaliação, aumenta a latência, ganha legitimidade política, e ainda continua com um resíduo de risco que nenhum checklist cobre. Ao mesmo tempo, outra corrente diz que incidentes recentes de agentes fora de controle são antes um problema de segurança, controle e governança de deployment, não prova de que pesquisa genérica de alinhamento é a alavanca principal. As duas teses pedem investimentos diferentes. A primeira pede freio. A segunda pede sandbox melhor, permissão mínima, monitoramento e resposta a incidente.

No fim, o AEF-1 escala como processo, mas ainda não escala como poder. Escala para criar uma classe profissional de auditores, padronizar relatórios e expor conflitos. Não escala automaticamente para pausar uma corrida. O custo compensa se vier com poder real de veto e transparência pública verificável. Se ficar só no acesso cortesia, move o gargalo de lugar. Sai da falta de testes e vai para excesso de ritual. Os labs ganham cobertura, os avaliadores ganham contratos, e quem usa continua sem saber o que realmente mudou no modelo.

Conclusão

O AEF-1 é um avanço operacional raro porque troca discurso por acesso. Três labs rivais aceitando as mesmas regras de fiscalização é um sinal que regulação futura vai usar como base. A pergunta que fica é direta para quem constrói. Você vai tratar isso como selo de confiança e relaxar seus próprios testes, ou vai usar a janela para montar avaliação independente dentro de casa antes que o padrão vire exigência.