Mistral Large 4: 1T de parâmetros que vê e codifica

Le Chonk não é só grande, é um teste para sua infra

Mistral Large 4, apelidado de Le Chonk, chegou com números que assustam qualquer operador: cerca de 1 trilhão de parâmetros totais, 49B ativos por token, entrada multimodal de texto e imagem e janela de contexto de 1M de tokens. No papel, é a resposta europeia aos modelos fechados americanos. Na prática, a pergunta que fica é outra. Como você serve isso em produção sem estourar VRAM, sem latência de 30 segundos por resposta e sem criar um risco de segurança dentro de casa. Passei as últimas horas destrinchando a arquitetura e os testes de cyber para entender se ele resolve um problema real ou se só troca um gargalo por outro.

O fato

A Mistral liberou o Mistral Large 4 como um modelo Mixture-of-Experts, multilíngue e multimodal. Ele recebe texto e imagem e gera texto. Está disponível no Hugging Face em duas variantes oficiais, além dos quantizados GGUF feitos pela comunidade com Unsloth e pela equipe do llama.cpp para rodar local com menos memória. A licença é a Mistral Ecosystem Open-Weight License, que deriva da MIT mas impõe limites claros para quem quer oferecer o modelo como serviço. Ou seja, você pode baixar, estudar, ajustar e rodar internamente, mas não pode simplesmente embrulhar e revender como API concorrente sem acordo. O posicionamento oficial mira três frentes: agentes de código, multimodalidade e, principalmente, cibersegurança defensiva.

Como funciona na visão de quem opera

Para entender o Le Chonk, pense em duas esparsidades combinadas. O texto passa por um decoder com 72 camadas, dimensão oculta de 6.144 e 64 heads de atenção. A primeira camada usa feed-forward denso. As outras 71 são MoE, cada uma com 128 especialistas. Para cada token, um roteador softmax escolhe 4 especialistas mais 1 especialista compartilhado que roda sempre. Resultado: 5 redes ativas por token em vez de 128. É assim que 1T vira 49B ativos. Parece eficiente, e é, mas 1T continua morando no seu disco e na sua RAM. Mesmo em quantização de 4 bits, estamos falando de centenas de gigabytes só para carregar os pesos.

A segunda esparsidade está na atenção. O modelo combina Multi-head Latent Attention, a MLA popularizada pelo DeepSeek, com um indexador de atenção esparsa chamado DSA. A MLA comprime o cache KV para economizar memória, o que é vital quando você promete 1M de tokens. O indexador DSA seleciona até 2.048 posições-chave anteriores para cada consulta, em vez de olhar o contexto inteiro. Some a isso um padrão de 3 camadas com RoPE para cada 1 camada sem posição, o NoPE, e compartilhamento de estado KV entre camadas. Na teoria, isso derruba custo de memória e mantém a latência sob controle. Na inferência real, minha leitura é que o ganho aparece mais em throughput com vLLM ou TensorRT-LLM bem ajustados do que em latência de primeiro token, que ainda vai doer com prompt gigante e visão ligada. O encoder visual vem da linha Pixtral, então imagem entra como tokens visuais antes do decoder de linguagem.

Por que o teste de cyber importa mais que o benchmark

O número que realmente chamou atenção foi 82% no Cyber Index da Artificial Analysis, um teste que pede para reproduzir uma vulnerabilidade real em software open source e depois corrigir. A Mistral afirma que vários modelos fechados de fronteira tiram perto de zero no mesmo teste porque se recusam a executar a tarefa. Faz sentido. Pesquisa de vulnerabilidade e resposta a incidente parecem ataque para um filtro ingênuo. Se você depende de API fechada, pode perder acesso no meio de um incidente crítico porque o provedor decidiu bloquear sua chamada. Com peso aberto, a política de uso e o deploy ficam sob seu controle. Nos testes internos, o modelo também ajudou em análise de malware, priorização de vulnerabilidades e escrita de regras de detecção sem ter sido treinado explicitamente para isso.

O ponto interessante é o equilíbrio. Nos conjuntos JailbreakBench, StrongREJECT e AgentHarm, a taxa média de recusa para pedidos nocivos foi maior que a de qualquer outro modelo de peso aberto. Ou seja, ele tenta ser útil para defesa sem virar ferramenta plug-and-play para ataque. Isso não elimina o dual use, todo modelo capaz de reproduzir bug pode ser desviado, mas muda a conversa para quem constrói SOC e times de produto. Você consegue auditar o comportamento de recusa localmente em vez de confiar no discurso do provedor.

O que isso muda na prática

Quem ganha de imediato são times de segurança e engenharia que já operam infraestrutura própria. Dá para montar um sistema de cyber em cima da sua base de código, logs de crash e amostras internas. O fluxo de reproduzir e depois corrigir tem recompensa verificável, o teste passou ou não passou, o que encaixa muito bem para destilar modelos menores com TRL ou para treinar com RL a partir das trilhas do Large 4. Para agentes de código multilíngues com contexto longo, 1M de tokens permite jogar repositório inteiro, documentação e imagens de erro na mesma sessão. Quem perde são provedores pequenos que viviam de embrulhar modelo aberto como API, porque a licença trava esse caminho, e equipes sem GPU parruda que achavam que peso aberto significa rodar no laptop. Não significa. Le Chonk exige cluster sério, NVMe rápido e atenção ao custo por token gerado.

Ação prática para testar ainda hoje

• Suba a versão quantizada GGUF para triagem local de vulnerabilidades e meça recusa e alucinação no seu código, não em benchmark público.
• Se for para produção, estime custo com 49B ativos como referência de um modelo denso de 50B, mas some 400 GB a 600 GB de armazenamento e teste MLA com 200k de contexto antes de sonhar com 1M.
• Crie um pipeline de reproduce-then-patch com recompensa verificável e salve as trilhas para destilar um modelo menor específico do seu stack.

A tensão que ninguém quer admitir

Aqui está minha dúvida real. A esparsidade dupla resolve memória, mas cria complexidade operacional. Roteador MoE com 128 especialistas por camada pode sofrer desbalanceamento, um especialista vira gargalo e a latência p99 explode. Atenção esparsa que olha só 2.048 posições funciona bem para recuperar fato, mas será que segura raciocínio longo em incidente com logs ruidosos e ataque multi-etapa. E tem o custo invisível: 1M de tokens é ótimo para marketing, péssimo para conta de luz se você mantiver KV cache gigante para poucas sessões concorrentes. O modelo é aberto, mas não é leve e não é livre para revenda como serviço. Ele te dá soberania europeia e controle, cobra em engenharia e hardware. Resolve o bloqueio dos filtros fechados, sim, mas move o gargalo para sua equipe de infra e para sua capacidade de avaliar segurança de verdade.

Conclusão

Mistral Large 4 é um avanço concreto para defesa, código e multimodalidade aberta, com arquitetura inteligente para escalar contexto sem escalar custo na mesma proporção. Vale testar se você já opera GPU e precisa de autonomia em segurança. Fica a pergunta que vou levar para o próximo deploy: quantos tokens do seu contexto de 1M são realmente úteis antes de virarem apenas custo e ruído.