GPT-6-Astra acerta 49/50 em física por US$2,40

GPT-6-Astra acaba de resolver 49 de 50 problemas de pesquisa em física teórica por US$2,40 cada. Não estamos falando de prova de graduação ou de questão de olimpíada. Estamos falando do trabalho pesado que um especialista levaria um dia inteiro para fechar, com consulta a papers antigos, adaptação de equações e código customizado para calcular o resultado. Quando vi esse número, minha primeira reação não foi empolgação, foi fazer conta de operação. Um doutorando custa milhares por mês para fazer esse tipo de conta repetitiva. Um agente fez por menos que um café.

O fato, sem hype

Trinta e cinco pesquisadores de instituições como ICTS, Harvard, KU Leuven e Google DeepMind liberaram o TheoPhysEval, um benchmark com 50 problemas inéditos de física teórica e com resposta verificável. A proposta é simples e bem pensada. Nada de grandes questões em aberto. O foco são problemas que os autores chamam de turn-the-crank, aquele trabalho rotineiro de pesquisa onde você pega um método conhecido e aplica a uma variação nova. Muitas vezes o contribuidor pegou um cálculo de um paper próprio recente, trocou alguns valores e gerou um resultado que não dá para adivinhar pelo antigo.

Esse tipo de tarefa costuma cair no colo de um aluno de doutorado como porta de entrada para pesquisa. Um especialista da subárea resolve em um dia ou menos sem IA. Um especialista de área vizinha levaria muito mais tempo. Os agentes testados não receberam nenhuma dica humana. O GPT-6-Astra, rodando dentro do ambiente de codificação Codex da OpenAI, acertou 49 de 50, ou 98 por cento, com custo médio abaixo de 3 dólares por problema e total de pouco menos de 116 dólares para o benchmark inteiro. O segundo colocado foi o Opus 5.5 da Anthropic rodando no Claude Code, com 92 por cento. Depois vieram Gemini 3.8 Flash com 68 por cento, DeepSeek-V4.1-Flash com 54 por cento e GLM 5.3 com 42 por cento.

Um exemplo mostra o nível de exigência. Um dos problemas, de pesquisa em buracos negros, exigia encontrar um paper mais antigo, transportar suas equações de um espaço-tempo de cinco dimensões para quatro dimensões e então computar o resultado com um programa próprio. O coordenador Suvrat Raju, coautor do paper original, levou cerca de um dia para resolver. Os autores estimam que, antes dos agentes modernos, apenas um punhado de especialistas tinha ao mesmo tempo o conhecimento de física e a experiência com esses métodos computacionais. Mesmo eles precisariam de vários dias.

Como funciona, na visão de operador

Na prática, o que foi testado não foi só o modelo base, foi o conjunto modelo mais ambiente de execução mais ferramentas. O Astra rodou no Codex, que é um ambiente de coding agent com terminal, execução de Python, leitura de arquivos e iteração. O Opus 5.5 rodou no Claude Code, com lógica parecida. Isso importa porque esses problemas não se resolvem com resposta direta em texto. Eles exigem derivar, codar o integrador ou o solver, rodar, ver erro numérico, corrigir condição de contorno, testar de novo. É um loop de engenharia, não um prompt único.

Em termos de custo e latência, a conta é brutal para o lado humano. Menos de 3 dólares por problema sugere poucas dezenas de milhões de tokens no máximo por tarefa, incluindo tentativas e auto correção, ou uso agressivo de modelo com cache e execução barata de código. Para um laboratório, 116 dólares para rodar 50 cálculos de nível PhD é ruído no orçamento. Em latência, estamos falando provavelmente de minutos a poucas horas por problema em paralelo, contra dias de trabalho humano concentrado. Mesmo que você multiplique por três para validação e revisão, ainda é uma ordem de grandeza mais barato.

O detalhe mais revelador do teste é que o acesso à internet fez surpreendentemente pouca diferença. Sem busca na web, Astra e Opus caíram para 92 por cento cada. Com busca, o Astra foi para 98 por cento. Muitos problemas dependiam de fórmulas de papers que os modelos não receberam. Os autores leem isso como sinal de que os modelos líderes memorizaram de fato grande parte da literatura de física teórica. Faz sentido operacionalmente. Se o modelo já internalizou as equações de um paper de 2019, ele não precisa recuperar, ele reconstrói. O problema é quando ele reconstrói errado. No problema do buraco negro, Gemini e GLM copiaram as fórmulas do paper antigo sem adaptar durante a execução com web, aplicando fórmulas de cinco dimensões onde se pedia quatro. É erro clássico de quem entendeu a sintaxe, mas não checou a hipótese física.

Outro ponto que me chamou atenção como operador: vários erros da IA viraram erros do gabarito. Em revisões com os especialistas, pequenas falhas difíceis de notar nas soluções de referência foram corrigidas e, depois disso, a resposta do Astra estava correta em todos esses casos. Isso muda a forma de pensar em avaliação. Quando seu verificador humano erra mais que o agente, você não tem mais um benchmark, você tem um sistema de auditoria. E auditoria exige pipeline, não confiança cega.

O que isso muda na prática

Quem ganha agora é quem tem gargalo em cálculo rotineiro. Grupo de teoria com fila de variações para testar, time que precisa varrer espaço de parâmetros, pesquisador que quer validar uma ideia antes de investir três meses nela. Quem perde é o fluxo antigo onde esse trabalho era usado como treinamento. Se o turn-the-crank vira API, o aluno de doutorado não vai mais aprender fazendo 20 variações manuais. Vai ter que aprender revisando, questionando e propondo a variação número 21, que é bem mais difícil de ensinar.

• Monte um pipeline de verificação, não um chatbot: rode o agente duas vezes com sementes diferentes, exija código executável e log numérico, compare resultados com tolerância física, não só igualdade de string.
• Force citação de hipótese: peça para o agente declarar explicitamente dimensão, aproximações, condições de contorno e paper de origem antes de mostrar o número final. Grande parte dos erros estava aí.
• Use o custo a seu favor: por 3 dólares por tentativa, vale rodar varredura em lote durante a noite e gastar seu tempo humano só onde houve divergência entre runs.

A ação prática mais imediata para quem está em laboratório é simples. Pegue um cálculo recente do seu grupo que já foi validado, esconda o resultado final, dê ao agente apenas o enunciado adaptado e os papers base, e meça quanto ele acerta e quanto custa. Se bater acima de 80 por cento com custo baixo, você acabou de ganhar um estagiário infalível para varredura. Se ficar abaixo, você descobriu onde sua documentação interna é fraca. Nos dois casos, você lucra.

A tensão real: acertar não é descobrir

Aqui entra a parte que os próprios pesquisadores levantaram e que eu acho honesta. Falta gosto. Os agentes são ótimos em resolver o que já se sabe como resolver, mas não estão gerando rupturas. Isso escala para descoberta ou só move o gargalo? Minha leitura é a segunda, por enquanto. Quando o cálculo fica barato, o gargalo vira pergunta. Qual variação vale testar, qual aproximação é legítima, qual curva estranha merece um paper novo. O único problema que nenhum modelo resolveu ilustra isso. Era preciso inferir uma equação que produzisse uma dada curva, com uma solução que depende de formas matemáticas especiais que só contam como equação diferencial em um sentido mais amplo. Os autores admitem que parece injusto, mas dizem que é realista porque pesquisador vive inferindo física de dado impreciso. É exatamente onde gosto conta.

Também tem a conta do custo total que ninguém faz. US$2,40 é o custo de inferência, não o custo de construir confiança. Para usar isso em pesquisa real, você precisa de revisão de especialista, reprodução independente e registro de proveniência. Isso custa tempo humano caro. Se você precisar de um pós-doc para revisar 50 saídas, sua economia encolhe. A vantagem continua, mas não é mais de 100 para 1. É talvez de 5 para 1, o que ainda é ótimo, desde que você redesenhe o fluxo para revisão em lote em vez de revisão artesanal.

Para fechar, o recado do TheoPhysEval não é que a física acabou. É que a parte mecânica da física teórica virou commodity. E commodity a gente não discute, a gente opera. A pergunta que fica no ar para o seu grupo é direta. Se o cálculo agora custa 3 dólares, o que você vai fazer com o tempo que sobrou, continuar rodando manivela ou aprender a escolher qual manivela vale girar?