O gargalo nunca foi treinar. Foi servir

Inferência barata ainda é promessa no Ocidente. A DeepSeek acabou de colocar o DeepInfer no ar, em código aberto, afirmando 155 trilhões de tokens por dia em um único cluster com margem acima de 80 por cento. Se você opera LLM em produção, sabe que esse número não é vaidade. É custo, latência e sobrevivência. Treinar virou commodity perto do desafio de servir milhões de requisições sem quebrar o p99 ou o caixa. O recado aqui é direto: enquanto todo mundo discute tamanho de modelo, a guerra real migrou para quem serve token mais barato, mais rápido e por mais tempo em cache.

Testei pilhas suficientes para saber que throughput anunciado quase nunca se repete fora do laboratório do dono. Mas mesmo com desconto de ceticismo, o DeepInfer importa porque expõe a arquitetura e a economia que sustentam o V4.1 Flash em produção. Não é um demo. É o caminho de processamento de API, codificação de tokens, decodificação especulativa e cache de prompt de até 72 horas. Para quem paga conta de GPU por hora, isso muda a conversa de qualidade de modelo para eficiência operacional.

PublicidadeAnuncie aqui336x280 / responsivo

O fato

A DeepSeek liberou o DeepInfer no primeiro dia da PyTorch Conf, apresentando como seu stack de inferência em produção. Na prática é uma customização profunda do vLLM, com créditos a SGLang e a TensorRT-LLM, mais uma camada chamada deepseek-recipe que faz codificação e decodificação de tokens e compatibilidade com API padrão. O motor suporta inferência distribuída, decodificação especulativa, um mecanismo chamado SWA Bounded Replay e saída estruturada, rodando em NVIDIA e em Huawei Ascend. O ponto que mais chamou atenção foi o cache de prompt de até 72 horas, seis vezes o limite de 12 horas que a OpenAI anunciou recentemente.

Os números de produção divulgados pela própria empresa são brutais. Seriam 155 trilhões de tokens por dia em um cluster, com 96 por cento de aproveitamento de cache na entrada, tempo médio para o primeiro token em torno de 400 ms e geração de 230 tokens por segundo, chegando a 300 por segundo em código. Na conta de receita, isso daria cerca de 38 dólares por hora por acelerador em preços fora de pico, com tabelas de 0,15 dólar por milhão de tokens de entrada e 0,60 dólar por milhão na saída. A conta fecha em algo próximo de 22 milhões de dólares por dia por cluster, com margem estimada acima de 80 por cento e payback em 81 dias.

Como funciona na visão de quem opera

Para entender o DeepInfer, pense menos em modelo e mais em fábrica de tokens. A arquitetura separa prefill e decode, que é o padrão ouro para servir em escala. Prefill cuida de ingerir o prompt gigante, decode cuida de gerar token a token sem deixar uma fase travar a outra. Os dados divulgados falam em 1,5 milhão de tokens de entrada por segundo por GPU de prefill quando se conta cache, e cerca de 14 mil tokens de saída por segundo por GPU de decode, em um conjunto de aproximadamente 2.400 GPUs. Com custo total entre 5 e 8 dólares por placa por hora, a margem explode porque o custo incremental de um token com cache é quase zero.

Prefill e decode separados, cache agressivo

O truque central parece estar no gerenciamento de KV cache e no balanceamento de carga. A DeepSeek admite que essas partes ainda não estão totalmente liberadas porque são acopladas à infraestrutura interna, o que inclui versões compactas de KV cache com vida útil longa e o sistema de arquivos 3FS. Isso faz sentido para um operador. Qualquer um consegue abrir um servidor vLLM. Poucos conseguem manter 96 por cento de cache hit com bilhões de prefixos reutilizados, roteamento inteligente e desagregação de prefill e decode sem criar filas. A decodificação especulativa entra para acelerar a geração, com um modelo menor propondo tokens e o modelo maior apenas validando, o que aumenta throughput sem degradar latência percebida.

Em termos de API e custo, o desenho é pragmático. Entrada com cache custa uma fração da entrada nova, saída continua sendo o item caro porque exige computação autoregressiva. Se a sua carga tem muito contexto repetido, como agentes que releem os mesmos documentos, RAG com prefixos comuns ou sessões longas de código, o blend de custo cai para algo perto de 0,14 dólar por milhão. É plausível que a latência de 400 ms para o primeiro token só se sustente justamente por esse cache massivo. Sem ele, o TTFT estouraria e o custo por hora não pararia em pé.

O que isso muda na prática

Quem ganha agora é quem serve muita inferência repetitiva e quem constrói ferramentas sobre inferência. Provedores fechados como Fireworks, Baseten e Modal sentem pressão imediata porque o argumento de eficiência secreta ficou mais fraco. Times que rodam copilotos de código, agentes e busca com LLM passam a ter uma referência aberta para comparar preço por milhão e para cobrar cache de longa duração dos fornecedores. Quem perde é quem precificava token como se GPU fosse escassa para sempre. Se 155 trilhões por dia em um cluster for ao menos metade verdade, o preço de tabela atual do mercado ocidental está inflado.

  • Audite seu padrão de repetição: meça quanto do seu prompt é prefixo repetido e qual seria sua taxa de cache hit real.
  • Teste janelas longas de cache: avalie reter prefixos por 24 a 72 horas em vez de descartar a cada sessão.
  • Separe prefill de decode: isole GPUs ou réplicas para ingestão e geração e acompanhe p99 de cada fase.

A ação prática mais imediata é simples e barata. Pegue seus últimos 7 dias de logs, agrupe por prefixo de sistema e por documentos de RAG, e simule quanto você economizaria com cache de 72 horas e com roteamento por afinidade de prefixo. Na maioria das operações que analiso, 60 a 80 por cento do input é repetição pura. Se for o seu caso, trocar de provedor ou renegociar com base em taxa de cache pode cortar 30 a 50 por cento da fatura sem trocar de modelo. Depois disso, vale rodar um piloto do DeepInfer em uma carga não crítica para medir tokens por segundo por GPU no seu hardware, não no cluster ideal da DeepSeek.

A tensão que ninguém quer admitir

Aqui entra o ceticismo de operador. Esses 155 trilhões são tokens servidos, não tokens únicos gerados. Com 96 por cento de cache hit, o volume gigante custa pouco para servir, mas também gera pouca receita nova por token. Os 38 dólares por hora por placa e os 22 milhões por dia dependem de preços fora de pico e de ocupação total. Na vida real, pico e vale quebram essa conta, e o mix de entrada e saída muda a margem na hora. Também não há auditoria independente. São dados de produção da própria DeepSeek, que tem todo incentivo para mostrar eficiência máxima.

E tem o asterisco do aberto entre aspas. O motor está aberto, mas as joias da coroa, que são exatamente o gerenciamento ultra otimizado de KV cache e o balanceador que distribui trilhões de tokens sem hotspots, continuam presos à infra interna. Ou seja, você recebe a fábrica, mas sem o sistema nervoso que faz ela render nesse nível. Isso escala fora da China, com NVIDIA restrita, energia cara e sem 3FS afinado por anos? Talvez escale em parte. O cálculo de 166 bilhões de dólares por gigawatt e payback em 81 dias assume ocupação, energia e escala que quase ninguém tem. Resolve o custo de inferência ou só move o gargalo para engenharia de cache e operação distribuída? Para a maioria dos times, move.

Conclusão

O DeepInfer não acaba com a guerra da inferência, ele muda o placar e mostra que servir bem vale mais que treinar grande. Vale testar seu cache e seu roteamento agora, porque a próxima queda de preço virá daí. A pergunta que fica é direta: quantos dos seus tokens pagos hoje são apenas repetição que você poderia servir de graça?