Gemma 4 QAT: Modelo de 1GB roda em laptop e celular

Rodar modelos de linguagem grandes em hardware limitado sempre foi um gargalo. O Google acaba de liberar os checkpoints Gemma 4 QAT, e a promessa é clara: manter a qualidade dos modelos maiores enquanto o consumo de VRAM cai drasticamente. Para quem opera inferência em edge, isso não é só mais um release — é uma mudança de patamar.

O que é o Gemma 4 QAT

Desde o lançamento dos modelos Gemma 4, o Google vem adicionando otimizações. Primeiro veio o Multi-Token Prediction, depois um modelo de 12B. Agora, chega a Quantization-Aware Training (QAT). A ideia é simples: em vez de quantizar o modelo depois de treinado (como no PTQ), o QAT simula a quantização durante o treinamento. Isso reduz a perda de qualidade quando o modelo é comprimido para formatos como Q4_0 e um formato móvel customizado.

Como funciona na prática

O QAT não é novo, mas aplicado ao Gemma 4, os números impressionam. O modelo E2B com o formato móvel ocupa menos de 1GB de memória. Isso é possível porque eles reescreveram o schema de quantização para hardware de celular: ativações estáticas pré-calculadas, quantização por canal, partes de 2 bits no gerador de tokens, e otimização na cache KV e embeddings. Em termos de API, você pode baixar os pesos no Hugging Face nos formatos GGUF (para llama.cpp) e tensores comprimidos para vLLM. A latência? Não divulgaram números exatos, mas a redução de memória sugere que dá para rodar em GPUs de 4GB sem suar.

O que isso muda na prática

Quem ganha? Desenvolvedores mobile, criadores de aplicativos de chat locais, e qualquer um que queira rodar um modelo decente sem assinar uma nuvem. Quem perde? Provedores de API que cobram por token, se a galera começar a rodar localmente. A ação prática imediata: baixe os checkpoints, teste no seu laptop com llama.cpp, veja se a qualidade atende seu caso de uso. O Google também liberou documentação específica para deploy.

Tensão e reflexão

Mas será que o QAT segura a qualidade em tarefas complexas? A compressão de 2 bits nas partes de geração pode afetar a criatividade do modelo. E o formato móvel é proprietário, o que pode limitar a adoção fora do ecossistema Google. Além disso, o ganho de velocidade em celular depende de acceleradores como o NPU — nem todo hardware é igual. O custo de treinar com QAT também é maior, mas para o consumidor final isso é transparente.

Outra questão: a memória reduzida permite conversas longas sem estourar o cache, mas a latência em celulares médios ainda pode ser um problema. O tradeoff entre compressão e precisão é real, e cada aplicação vai precisar testar.

Conclusão

Gemma 4 QAT é um passo firme em direção a modelos viáveis no edge. A pergunta que fica: quanto da qualidade você está disposto a abrir mão para rodar localmente? O Google parece estar acertando a mão, mas só rodando para saber.