Karpathy propõe: LLMs corrigindo o Hacker News do passado

Todo desenvolvedor já passou por isso: lê um comentário antigo seu no Hacker News e pensa 'nossa, que ingênuo'. Agora imagine um LLM escaneando anos de discussões e apontando onde cada um estava errado, com o benefício do hindsight. Foi exatamente isso que Andrej Karpathy propôs em um post recente, como um exercício de 'vibe coding'. A provocação é interessante, mas levanta questões práticas: isso realmente agrega valor ou só gera ruído?

O Fato

Karpathy publicou um artigo curto onde descreve um experimento mental: usar um LLM para reavaliar discussões do Hacker News com o conhecimento atual. A ideia é que o modelo teria acesso ao contexto histórico completo (incluindo eventos posteriores) e poderia gerar um 'auto-grade' — uma nota ou correção para cada argumento. Ele menciona que isso seria feito em escala, varrendo década de posts. O tom é especulativo, mas com a autoridade de quem entende de arquitetura de modelos.

Como Funciona (Visão de Operador)

Na prática, faríamos algo como: baixar o dataset completo do HN (via BigQuery ou API), alimentar cada discussão em um LLM com um prompt específico, e pedir uma análise retrospectiva. O custo seria alto: processar milhões de comentários com modelos como GPT-4 pode queimar orçamento rapidamente. Latência também seria um problema se o objetivo for interativo. Uma abordagem mais enxuta seria usar um modelo menor para classificação prévia e só passar os casos duvidosos para um modelo maior. Mas Karpathy não detalha isso — fica como inferência técnica.

O Que Isso Muda na Prática

Se implementado, isso poderia gerar uma espécie de 'auditoria de opiniões' que exporia erros coletivos recorrentes. Por exemplo, discussões sobre blockchain em 2015 vs. hoje. Quem ganha? Pesquisadores de viés e talvez empresas que queiram ajustar suas narrativas. Quem perde? A autenticidade do HN como fórum imperfeito e humano. A ação prática imediata: se você trabalha com análise de dados, pode usar a ideia para revisar decisões antigas em seus próprios logs de discussão, em menor escala.

Tensão / Reflexão

A dúvida que fica é: isso escala? Corrigir o passado com hindsight é justo? O custo de rodar um LLM em todo o HN pode ser maior que o benefício de apontar erros óbvios depois do fato. Além disso, o próprio modelo pode carregar vieses modernos — o que consideraríamos 'correção' hoje pode ser visto como limitado amanhã. O exercício de Karpathy é mais um provocador do que um plano de ação.

Conclusão

No fim, a ideia de auto-grading com LLMs é menos sobre corrigir o passado e mais sobre entender como nossa percepção muda com o tempo. Talvez o ganho real não seja a nota em si, mas o processo de pensar sobre como avaliamos conhecimento retrospectivo. A pergunta que fica: você deixaria um LLM julgar suas opiniões antigas?