Kolibri 78B: LLM soberano alemão com 3B ativos

Rodar IA regulada sem vazar dado ainda era um dilema

Se você já tentou colocar um assistente de IA dentro de uma prefeitura alemã ou de uma fábrica de peças aeroespaciais, conhece o muro. De um lado, os modelos fechados americanos resolvem bem raciocínio e código, mas exigem mandar documento interno para uma API externa, com contrato de proteção de dados que ninguém consegue explicar direito para o jurídico. Do outro, os open-weights que você pode rodar on-premise quebram no alemão formal, alucinam em norma técnica e estouram a janela de contexto no terceiro PDF. O Kolibri, novo modelo da Aleph Alpha, nasce exatamente nessa fricção. Não é mais um chat genérico. É uma aposta operacional: 78B de parâmetros totais, só 3B ativos por token, foco em inglês e alemão e janela de até 1M de tokens para aguentar processo real, com licença Apache 2.0 que permite baixar e operar sem amarra comercial.

Eu olho para esse lançamento menos como corrida de benchmark e mais como teste de viabilidade. Dá para ter qualidade de fronteira com custo de inferência baixo e com rastreabilidade total da cadeia de construção. É isso que a Aleph Alpha promete, e é isso que precisamos dissecar antes de subir qualquer coisa em produção.

O fato: o que a Aleph Alpha liberou

A Aleph Alpha lançou o Kolibri no Dia da Reunificação Alemã, com simbolismo claro de soberania. Trata-se de um Transformer Mixture-of-Experts com 78B de parâmetros totais e 3B ativos por inferência, com suporte a contexto longo de até 1M de tokens. Os pesos completos estão disponíveis para download e uso sob Apache 2.0, o que na prática significa liberdade total de deploy, fine-tuning e redistribuição, inclusive em ambiente isolado sem conexão externa.

O modelo é resultado direto de iteração de pipeline. Antes dele veio o Kolibri Origin, com 30B totais e 3B ativos e apenas 65k de contexto, usado para validar ingestão e curadoria de dados, ablations, pré-treinamento e pós-treinamento. Segundo a empresa, o pipeline atual rodou centenas de experimentos de ablação com pré-treinamento estável, sem intervenção manual em falha de hardware ou queda de conexão, com monitoramento contínuo de métricas e benchmarks customizados. O salto de qualidade entre Origin e Kolibri, em intervalo curto de tempo, é usado como prova de que o investimento em infraestrutura de treinamento se pagou. O foco declarado é trabalho mission-critical soberano em áreas reguladas como administração pública, indústria, automotivo e aeroespacial, com especialização em alemão, raciocínio, matemática e comportamento agêntico.

Como funciona na visão de quem opera

Em termos de arquitetura, o desenho é simples de entender para quem paga a conta de GPU. São 78B totais distribuídos em especialistas, mas o roteador ativa só cerca de 3B por token. Isso coloca o custo de inferência na faixa de um modelo pequeno, enquanto a capacidade de memorização e especialização se aproxima de um modelo bem maior. Para deploy on-premise, isso muda tudo. Você consegue servir com poucas GPUs, com latência previsível e com throughput decente mesmo em sequências longas, desde que tenha memória suficiente para o KV cache de 1M de tokens, que continua sendo o gargalo real.

Sobre latência e custo, dá para fazer uma inferência plausível mesmo sem a ficha completa de serving. Com 3B ativos, em precisão BF16 ou FP8, o modelo deve rodar em uma única GPU de classe alta para inferência interativa com contexto moderado, e em duas a quatro GPUs para contexto muito longo ou batch maior para RAG agêntico. A Aleph Alpha afirma que o Kolibri fica na fronteira de Pareto entre qualidade e custo de serving para inglês e alemão, e que empata em matemática, código, grounding e long-context com modelos de até quatro vezes mais parâmetros ativos, como o Nemotron 3 Super. Se isso se confirmar fora do laboratório, o custo por mil tokens úteis cai de forma relevante, principalmente em fluxos com documentos alemães densos.

O outro ponto crítico é a janela de 1M de tokens. Não é só marketing. Para setor público alemão, um processo administrativo raramente é um PDF isolado. É um conjunto de formulários, anexos, pareceres e normas cruzadas. Ter 1M permite jogar o dossiê inteiro no contexto e pedir extração grounded, sem fatiar em chunks que quebram referência. O preço é atenção quadrática e explosão de memória. Na prática, ninguém vai usar 1M o tempo todo. O operador esperto vai usar 32k a 128k no dia a dia para manter latência baixa, e reservar 1M para auditoria, due diligence e análise de incidente, com cache de prefixo e quantização agressiva do KV.

O que isso muda na prática

Quem ganha primeiro é o time que hoje está preso entre compliance e qualidade. Prefeitura, ministério, fornecedor Tier 1 automotivo, MRO de aviação. Essa turma pode agora testar um modelo que fala o alemão administrativo de verdade, com termos procedurais e formato de documento local, e que pode rodar dentro do próprio data center ou VPC soberana, sem enviar dado para inferência de terceiros. A promessa de supply-chain integrity, com transparência sobre dados, pré e pós-treinamento e avaliações, ajuda o jurídico a assinar. Segurança de propriedade intelectual como propriedade herdada do modelo, e não como remendo contratual, é exatamente o que faltava para tirar piloto do papel.

• Teste direto de grounding em alemão com seus PDFs reais, com citação de trecho e página, antes de olhar qualquer benchmark público.
• Rode um piloto on-premise com contexto de 128k e meça custo por processo concluído, não por token, incluindo retrabalho humano por alucinação.
• Valide comportamento agêntico com ferramentas internas, como busca em norma, ERP e ticketing, com logs completos de tool call para auditoria.

A ação prática que eu recomendo agora é montar um harness próprio de avaliação vertical. Benchmark público não captura necessidade de setor regulado. Separe 200 casos reais seus, com gabarito feito por especialista interno, metade em alemão formal e metade misto inglês-alemão. Inclua edge cases que quebram modelo genérico, como abreviação administrativa, tabela escaneada torta e referência cruzada entre anexos. Rode Kolibri contra seu baseline atual e meça taxa de erro factual, custo de inferência e tempo de revisão humana. Se o Kolibri reduzir revisão humana em 20 por cento com custo menor, já paga a migração. Se não reduzir, não importa o quão aberto ele seja.

A tensão que fica: soberania resolve ou só move o gargalo

Aqui está minha dúvida real. Soberania de peso aberto resolve o problema jurídico, mas não resolve automaticamente o problema operacional. Ter pesos em Apache 2.0 é ótimo, mas quem vai sustentar fine-tuning contínuo, guardrails em alemão, evals de regressão a cada atualização de norma e resposta a incidente quando o modelo vazar dado sensível dentro do próprio datacenter. Soberania sem time de plataforma vira apenas um download pesado parado no storage. E especialização tem um custo escondido. Um modelo muito ajustado para administração pública alemã e manufatura pode perder generalidade em código novo ou em inglês técnico fora da distribuição, exigindo roteamento entre modelos.

Também fico com um pé atrás sobre escala de contexto. 1M de tokens é poderoso, mas em produção ele cobra em latência de primeiro token e em custo de memória que poucos orçamentos públicos aguentam de forma permanente. O risco é trocar o gargalo da conformidade pelo gargalo do custo de infraestrutura, e descobrir que o ROI só fecha com engenharia forte de cache, chunking inteligente e roteamento por complexidade. A Aleph Alpha fala em ROI mensurável ao longo do tempo com performance contextualizada, e faz sentido, mas esse ROI precisa ser provado caso a caso, com telemetria de uso real, não com gráfico de Pareto.

Conclusão

O Kolibri é o movimento open-weight mais sério da Europa em muito tempo. MoE eficiente, alemão de verdade, 1M de contexto e Apache 2.0 para rodar onde você quiser. Se você opera em ambiente regulado, vale o teste controlado com seus dados e suas métricas de custo por tarefa. A pergunta que fica é simples e incômoda. Sua equipe está pronta para operar soberania na prática, ou só quer baixar soberania no discurso.