Guia visual das variantes de atenção em LLMs modernos

Atenção não é mais uma só

Se você já tentou otimizar um LLM para produção, sabe que o gargalo muitas vezes está na camada de atenção. O mecanismo original de multi-head attention (MHA) é poderoso, mas custa caro em memória e compute. Nos últimos meses, surgiram variantes como GQA, MLA e atenção esparsa que prometem reduzir esse custo sem sacrificar qualidade. Mas qual delas usar em cada cenário? Este guia visual mostra as diferenças práticas.

O fato

Sebastian Raschka publicou um guia visual detalhado das principais variantes de atenção usadas em LLMs modernos. O artigo cobre desde o MHA clássico até arquiteturas híbridas, passando por grouped-query attention (GQA), multi-query attention (MQA) e multi-head latent attention (MLA), além de mecanismos esparsos. Cada variante é explicada com diagramas e exemplos de modelos reais (como LLaMA, Mistral e DeepSeek).

Como funciona (visão de operador)

Na prática, a diferença entre essas variantes está em como os tensores de query, key e value são projetados e compartilhados. No MHA padrão, cada cabeça de atenção tem suas próprias projeções Q, K e V. No MQA, todas as cabeças compartilham as mesmas K e V, reduzindo o cache de memória durante a inferência. GQA faz um meio-termo: agrupa cabeças que compartilham K e V, como no LLaMA 2 70B, que usa 8 grupos de queries. Já o MLA, usado no DeepSeek V2, comprime K e V em um espaço latente de baixa dimensão, reduzindo o tamanho do cache pela metade. Atenção esparsa, por sua vez, só calcula atenção para um subconjunto de tokens, baseado em padrões fixos (como sliding window) ou aprendidos. Cada abordagem tem impactos diretos em latência (especialmente em decodificação autoregressiva) e consumo de VRAM.

O que isso muda na prática

Quem ganha são equipes que precisam servir modelos grandes com alta taxa de requisições. Por exemplo, usar GQA em vez de MHA pode reduzir o cache de KV em até 4x, permitindo batch sizes maiores. Os que perdem são quem depende de implementações customizadas ou kernels otimizados, pois nem todas as variantes têm suporte maduro em bibliotecas como TensorRT ou vLLM. Uma ação prática: se você está deployando um modelo com contexto longo, considere MLA ou sliding window attention para controlar o crescimento do cache. Teste com seu workload real, pois o ganho teórico nem sempre se traduz em aceleração devido a overheads de kernel.

Tensão / Reflexão

Essas variantes resolvem o gargalo de memória, mas será que o custo de treinamento também cai? No MLA, por exemplo, a compressão latente introduz um passo extra de projeção que adiciona parâmetros e pode tornar o treinamento mais instável. E atenção esparsa, apesar de eficiente, pode perder dependências de longo alcance em tarefas que exigem contexto global. Ou seja, a escolha da variante é um trade-off entre eficiência e capacidade expressiva. Não dá para generalizar.

Conclusão

Entender as variantes de atenção não é mais curiosidade acadêmica – é necessário para otimizar custos e latência em produção. O guia de Raschka é um bom ponto de partida. Leia o artigo original e teste uma variante no seu próximo fine-tuning. Afinal, qual gargalo você está enfrentando: memória ou capacidade de contexto?