EMO: modelo MoE atinge performance com 12,5% dos especialistas

O gargalo da memória em MoEs

Se você trabalha com modelos de linguagem grandes, sabe que o gargalo não é só treinar - é rodar. Um modelo MoE com centenas de bilhões de parâmetros exige memória para carregar todos os especialistas, mesmo que só alguns sejam ativados por token. O EMO, desenvolvido pelo Allen Institute for AI e UC Berkeley, ataca exatamente esse ponto: permitir que apenas um subconjunto dos especialistas seja carregado sem perda significativa de performance.

O fato

Pesquisadores treinaram o modelo EMO, um mixture-of-experts que desenvolve módulos especializados em domínios específicos como medicina ou política. A inovação está no uso de limites de documentos como sinal de treinamento, em vez de classificar dados em categorias predefinidas. Os resultados são impressionantes: com apenas 12,5% dos especialistas (16 de 128), a performance cai apenas cerca de três pontos percentuais em média - e após fine-tuning, em benchmarks como GSM8K, o desempenho chega a igualar o modelo completo. Em contraste, um MoE padrão perde de 10 a 15 pontos percentuais no mesmo cenário.

Como funciona (visão de operador)

Em um MoE tradicional, os especialistas tendem a aprender padrões superficiais da linguagem, como preposições e artigos, o que impede a remoção seletiva. O EMO força todos os tokens de um documento a escolher seus experts ativos de um pool compartilhado. O modelo decide quais experts pertencem a esse pool calculando a média das preferências do roteador sobre todos os tokens do documento e mantendo os mais frequentes. Isso faz com que os experts se especializem em domínios de conteúdo, não em padrões gramaticais. Para estabilizar o treinamento, foram necessários dois ajustes: primeiro, o balanceamento de carga é calculado globalmente entre vários documentos, não localmente por batch; segundo, o tamanho do pool de documentos é variado aleatoriamente durante o treinamento, para que o modelo aprenda a trabalhar com subgrupos de diferentes tamanhos. O modelo treinado tem 1 bilhão de parâmetros ativos e 14 bilhões totais, com 128 experts e 8 ativos por token, treinado em 1 trilhão de tokens.

O que isso muda na prática

Quem ganha são equipes com hardware limitado. Se antes era preciso carregar todos os 128 experts para garantir performance, agora é possível carregar apenas 16 ou 32 e obter resultados próximos. A redução de memória é drástica: carregar 16 experts significa armazenar cerca de 1,75 bilhão de parâmetros adicionais (além dos parâmetros compartilhados), comparado a 14 bilhões para o modelo completo. Isso torna viável rodar modelos grandes em GPUs com 24 GB ou menos. Além disso, a especialização por domínio permite controle fino sobre quais áreas de conhecimento o modelo cobre - você pode carregar só os experts de medicina, por exemplo. A ação prática imediata: se você treina ou ajusta MoEs, experimente usar limites de documentos como sinal de domínio. Isso pode tornar seus modelos mais modulares e passíveis de poda. Servir modelos com subconjuntos de experts também reduz latência, já que menos parâmetros são carregados em cache. Outro ganho: interpretabilidade. Como cada expert é especializado em um domínio, você pode mapear quais partes do modelo são relevantes para uma tarefa, facilitando depuração e ajuste fino direcionado. Imagine servir um modelo de linguagem em um dispositivo edge. Com o EMO, você pode selecionar os experts relevantes para a tarefa do dispositivo, reduzindo drasticamente a memória e consumo de energia.

Tensão / Reflexão

A pergunta que fica: isso escala para modelos muito maiores? O EMO foi treinado com 1 trilhão de tokens, que é uma fração do que modelos como o DeepSeek-V3 usam. O custo adicional do treinamento com balanceamento global e variação do pool pode não ser trivial. Além disso, a especialização por documento assume que documentos são homogêneos - em datasets reais, nem sempre isso vale. Outra questão: a perda de três pontos percentuais pode ser aceitável para algumas tarefas, mas em aplicações críticas, talvez não. O fine-tuning consegue recuperar a performance perdida, mas isso exige dados rotulados adicionais. O trade-off entre eficiência e performance precisa ser avaliado caso a caso. Também não foi testado em cenário multilíngue, onde os domínios podem ser menos nítidos. No fim, o EMO resolve um problema real - o desperdício de memória - mas introduz complexidade no treinamento que pode não valer a pena para todos.

Conclusão

O EMO mostra que é possível obter eficiência brutal sem sacrificar performance, desde que o treinamento seja projetado para modularidade. A abordagem questiona a necessidade de carregar todos os parâmetros de um MoE para obter bons resultados. Resta saber se a indústria vai adotar essa abordagem ou se continuará empurrando modelos cada vez maiores. No fim, o gargalo pode não estar no número de parâmetros, mas em como os organizamos. E você, já pensou em podar seus modelos para rodar com menos memória?