Transformer 2.0: o que mudou na arquitetura que domina LLMs

O problema de acompanhar tanta evolução

Se você já tentou entender as diferenças entre GPT-4, Llama 2, Mistral ou PaLM, sabe que todas elas herdam algo do Transformer original de 2017. Mas o ecossistema mudou tanto que o artigo de referência sobre a família Transformer, da Lilian Weng, precisou de uma versão 2.0. A pergunta que fica: o que realmente mudou na arquitetura que sustenta os LLMs atuais?

O fato: uma refatoração monumental

Lilian Weng publicou em janeiro de 2023 uma versão completamente reformulada de seu post de 2020, com o dobro do tamanho. Ela reestruturou a hierarquia das seções e adicionou dezenas de novos papers. O conteúdo cobre desde mecanismos de atenção esparsa até modelos com mixture-of-experts e state space models. Não é uma simples atualização, é uma reorganização completa do conhecimento sobre como os Transformers evoluíram.

Como funciona (visão de operador)

A base ainda é a atenção multi-head, mas as inovações se concentram em três frentes: reduzir a complexidade quadrática da atenção (de O(L²) para O(L) ou O(L log L)), melhorar a eficiência na inferência longa (como sliding window attention e attention com compressão), e escalar o treinamento com arquiteturas modulares como MoE. Por exemplo, o FlashAttention aparece como uma otimização de baixo nível, enquanto o PaLM usa parallel attention e feed-forward. A parte de state space models (como Mamba) sugere que a comunidade está questionando se a atenção é mesmo necessária para sequências longas.

Na prática, se você quer implementar um Transformer hoje, precisa decidir entre: atenção full (cara, mas precisa), atenção esparsa (mais rápida, mas com trade-offs de cobertura), ou modelos híbridos. A escolha impacta diretamente o custo de inferência e a memória necessária.

O que isso muda na prática

Quem ganha: pesquisadores que precisam de um mapa atualizado para comparar arquiteturas. Engenheiros de ML que estão escolhendo entre modelos para fine-tuning. Quem perde: quem ainda usa o artigo de 2020 como única referência e acha que Transformers são apenas encoders e decoders.

Ação prática: se você está construindo um sistema de RAG ou um modelo de geração longa, leia a seção sobre long context handling no artigo da Lilian. Lá você encontra comparações objetivas entre mecanismos como ALiBi e RoPE, que influenciam diretamente o desempenho com sequências acima de 4k tokens.

Tensão e reflexão

O artigo é denso e mostra que não existe uma arquitetura universalmente superior. Cada melhoria resolve um gargalo, mas cria outro. Atenção linear é mais rápida, mas perde capacidade de capturar interações globais. MoE escala bem, mas introduce instabilidade no treinamento. A pergunta real: a complexidade adicional compensa o ganho de performance? Depende do seu caso de uso. E com o avanço de modelos como Mamba, que abandonam a atenção por completo, talvez o Transformer como conhecemos esteja mesmo perto de uma substituição.

Conclusão

O post da Lilian Weng é a referência técnica definitiva para quem quer entender as variações de Transformer que alimentam os LLMs de hoje. Leia, teste, e questione cada escolha arquitetural. Afinal, a próxima geração de modelos pode não usar atenção alguma.