LLM treinado em textos pré-1930 redescobriu relatividade e quântica

O problema de ensinar IA com o passado

Quando você treina um modelo de linguagem em dados antigos, o esperado é que ele reproduza conhecimento obsoleto. Mas um experimento recente virou essa lógica de cabeça para baixo: um LLM alimentado exclusivamente com textos pré-1930 conseguiu derivar, por conta própria, os fundamentos da mecânica quântica e da relatividade geral. O feito é surpreendente e levanta questões sobre o que realmente significa 'aprender' para uma máquina.

O fato

Michael Hla (michaelhla.com/blog/machina-mirabilis.html) treinou um LLM em um corpus contendo apenas textos publicados antes de 1930 — nada de artigos modernos, nenhuma referência a Einstein, Planck ou Heisenberg. Mesmo assim, o modelo foi capaz de reconstruir as equações e conceitos centrais da física moderna. O experimento foi reportado no Hacker News e gerou debate acalorado. Não se trata de um modelo gigante: o foco aqui é a capacidade de generalização e dedução a partir de dados limitados.

Como funciona: visão de operador

Na prática, o que o experimento mostra é que um LLM, mesmo com um dataset restrito e antigo, pode aprender representações abstratas que vão além da memorização. A arquitetura usada não foi detalhada, mas inferimos que seja um transformer com mecanismos de atenção que permitem capturar relações latentes entre conceitos. O custo computacional provavelmente foi baixo (poucas GPUs, dataset pequeno), mas a latência de inferência não é o ponto — o que importa é a qualidade da extrapolação. É como se o modelo tivesse 'redescoberto' leis físicas que só foram formalizadas depois de 1930, usando apenas pistas deixadas antes disso.

O que isso muda na prática

Quem ganha? Pesquisadores de interpretabilidade e alinhamento. Se um modelo pode extrair conhecimento fundamental de textos limitados, isso sugere que muitos dados de treinamento contêm redundância. Quem perde? Quem aposta em curriculums cada vez maiores. Na prática, você pode precisar ajustar seus pipelines de curadoria de dados: talvez menos seja mais. Uma ação concreta: teste seu próprio LLM em um subconjunto cronológico dos dados e veja se ele reproduz descobertas posteriores. Isso pode ajudar a identificar vieses de época ou lacunas no aprendizado.

Tensão / Reflexão

Isso escala? Duvido. O resultado é impressionante, mas pode ser um caso de borda — o modelo pode ter simplesmente 'encaixado' padrões que humanos reconhecem como quântica e relatividade, mas que para o modelo são apenas correlações estatísticas. O custo compensa? Para pesquisa, sim. Para produção, não vejo aplicação imediata. A dúvida real: o modelo realmente 'entendeu' algo ou só repetiu o que já estava implícito nos dados? É uma questão filosófica que mexe com a própria definição de descoberta.

Conclusão

Treinar um LLM em textos pré-1930 e ele redescobrir física moderna é um daqueles resultados que nos forçam a repensar o que é aprendizado profundo. Não é uma demonstração de AGI, mas um lembrete de que muito conhecimento está codificado na linguagem — até mesmo antes de ser formalizado. A pergunta que fica: quantas outras 'descobertas' estão esperando para ser extraídas de dados que já temos?

Fonte: Artigo original de Michael Hla