Auto-melhoria da IA em 2027? O teste que assusta

Auto-melhoria da IA saiu do papel de tese futurista e virou um problema de orçamento e cronograma. Durante muito tempo a discussão era sobre quem tinha o maior modelo, mais parâmetros, mais contexto. Agora a pergunta é outra e bem mais incômoda: e se o modelo já souber pesquisar melhor que a sua equipe, usando menos GPU e sem dormir? Foi exatamente isso que o benchmark TasteVal tentou medir, e os resultados fizeram Jack Clark, cofundador da Anthropic e autor da newsletter Import AI, antecipar sua aposta para sistemas que se auto-melhoram de 2028 para 2027.

O fato

O fato é simples. O laboratório P-Zero Research criou o TasteVal para quantificar algo que chamam de 'research taste', que na prática significa saber quais experimentos valem a pena e interpretar direito o que saiu deles. Não é sobre escrever código bonito. Para isolar essa habilidade, eles travaram o agente de código e colocaram todo mundo para rodar na mesma Nvidia H100, com limite de 40 horas de GPU ou 120 horas de relógio por tarefa. De um lado, modelos de ponta. Do outro, 24 especialistas que passaram recentemente por OpenAI, Google DeepMind, Nvidia e Microsoft Research, com pelo menos duas pessoas por tarefa. O melhor humano por tarefa virou a linha de base.

O Opus 5.5, da Anthropic, cravou um multiplicador de computação de 2,3. Traduzindo para linguagem de quem opera infra: ele chegou no mesmo score dos humanos usando menos da metade do compute de experimentos. O intervalo estatístico vai de 1,15 a 4,37, então existe incerteza, e na ponta pessimista a vantagem quase some. Mas o custo conta outra história. Uma rodada do modelo saiu por volta de um trigésimo do custo médio de uma tentativa humana. E a tendência é o que mais pesa. Desde dezembro de 2025, esse multiplicador vem dobrando a cada três meses, com margem de erro entre 1,7 e 5 meses. Antes disso o crescimento era lento. A curva entortou na virada de 2025 para 2026.

Como funciona na visão de operador

Para entender como operador, esqueça QI do modelo e pense em eficiência de busca. Em pesquisa de IA, compute de experimento é escasso. Você não pode testar tudo. Quem escolhe melhor queima menos GPU para chegar no mesmo resultado. O TasteVal transforma isso em número. Se você precisa de metade do compute para igualar o especialista, seu 'taste' vale 2x. Na arquitetura do teste, o loop é bem familiar para quem já montou agente: o modelo propõe um experimento, o executor roda, retorna logs e métricas, o modelo interpreta e propõe o próximo. Latência aqui não é de token, é de ciclo experimental. E é aí que o modelo leva vantagem, porque ele não ancora em hipótese favorita, não tem medo de matar uma ideia ruim no segundo run, e consegue varrer hiperparâmetros chatos sem reclamar.

Tem um detalhe que muita gente vai ignorar e não deveria. O TasteVal só mede duas das três pernas do 'research taste' segundo a própria P-Zero: desenhar o experimento e interpretar o resultado. A primeira perna, que é escolher qual pergunta de pesquisa vale perseguir, já vem pronta na tarefa. E essa é justamente a parte mais humana da ciência, aquela intuição de que um caminho é promissor mesmo sem prova. Ou seja, o benchmark não prova que temos RSI, recursive self-improvement, onde a IA cria seu próprio sucessor. Ele prova algo mais estreito, porém operacionalmente relevante: dentro de um escopo bem definido, o modelo já aloca compute melhor que gente sênior.

O que isso muda na prática

Quem ganha com isso no curto prazo? Laboratório com muita GPU e pipeline de avaliação automatizada. Se o gargalo deixa de ser escrever código e passa a ser decidir o que testar, quem tem infra para rodar centenas de experimentos pequenos em paralelo vai extrair mais desse multiplicador. Quem perde? Na prática, time pequeno que ainda faz pesquisa artesanal, com um PhD rodando um experimento por vez na unha. Também perde quem vende senioridade como diferencial sem instrumentação. Porque o modelo não superou humanos por ser mais brilhante. Superou por ser mais disciplinado na alocação de tentativas.

Se você constrói alguma coisa com IA, tem pelo menos uma ação prática para fazer nesta semana. Monte um mini TasteVal interno. Pegue uma tarefa repetitiva do seu time, como curadoria de dados, ajuste de prompt de sistema ou fine-tuning de um classificador, defina um score fixo e deixe o agente propor experimentos com orçamento fechado de GPU ou de chamadas de API. Registre quantos ciclos ele precisa para bater sua baseline humana. A maioria dos times vai descobrir que o problema não é o modelo, é a falta de harness de avaliação. Sem métrica clara e executor travado, o agente divaga. Com isso, ele compõe.

• Trave o executor e versione tudo, do dataset ao script de eval, para o agente não vencer no truque.
• Limite o orçamento por rodada em GPU horas ou custo de API e meça quantos ciclos até o score alvo.
• Compare o custo total do loop autônomo com uma tentativa humana e decida onde automatizar primeiro.

Isso escala ou só move o gargalo

A tensão real é se isso escala para fora do laboratório. Oito tarefas de desenvolvimento de modelos, todas com score bem definido, é o melhor cenário possível para um agente. Pesquisa de verdade é bagunçada, tem objetivo ambíguo, dado vazado, métrica que não captura o que importa. Os próprios autores admitem que podem estar superestimando a velocidade. E tem outro ponto: dobrar a cada três meses desde dezembro de 2025 parece exponencial, mas vem de poucas gerações de modelos. Pode ser um salto de harness, de ferramenta, de contexto maior, não de inteligência científica. Se for infra, o platô chega rápido.

Mesmo assim, o recado econômico é difícil de ignorar. Um trigésimo do custo por tentativa muda a matemática de P e D. Mesmo que o modelo erre mais, ele pode se dar ao luxo de errar barato e em paralelo. Isso move o gargalo. Antes, faltava engenheiro para codar. Depois, faltou GPU para experimento. Agora, se o modelo escolhe bem, falta só GPU barata e boas perguntas. E boas perguntas continuam escassas. Quem define a direção ainda é humano, e essa é a parte que o TasteVal não testou. Vale a pena comemorar eficiência se ainda dependemos de gente para dizer o que vale pesquisar? Ou estamos apenas terceirizando a parte mais fácil e mantendo o risco estratégico?

Conclusão

No fim, Clark não está dizendo que teremos máquinas se recriando sozinhas em 2027. Ele está dizendo que a peça intermediária, a capacidade de pesquisar com eficiência, está avançando rápido o suficiente para tornar isso plausível. Plausível não é garantido. Mas se você opera IA hoje, a pergunta que fica não é quando chega a AGI. É quanto do seu processo de melhoria já poderia ser um loop fechado de experimento com orçamento limitado. E por que ainda não é?