DeepInfer: 155 tri tokens/dia com 80% de margem

O gargalo nunca foi o modelo

DeepInfer é o tipo de lançamento que muda a conversa porque não fala de benchmark de modelo, fala de conta de produção. Quem opera LLM em escala sabe que o problema real não é gerar um demo bonito, é segurar custo por milhão de tokens, latência sob pico e taxa de cache sem quebrar o cluster. A DeepSeek jogou esse número na mesa ao abrir seu stack de inferência que sustenta o V4.1 Flash, com 155 trilhões de tokens por dia em um único cluster, 96% de hit de cache de entrada e margem estimada acima de 80%. Quando um lab chinês mostra payback de 81 dias por cluster, a pergunta deixa de ser técnica e passa a ser econômica.

Para quem constrói produto com IA, o recado é direto. Treinar modelo virou commodity relativa, servir modelo com lucro continua sendo privilégio de poucos. Até agora esse privilégio era fechado, concentrado em empresas como Fireworks, Baseten, Modal e nos próprios hyperscalers. O DeepInfer tenta quebrar esse monopólio pelo lado mais sensível, o custo operacional. E faz isso no primeiro dia da PyTorch Conf, com código aberto sob Apache 2.0, suporte a NVIDIA e Huawei Ascend, e um relatório de produção detalhado que vale mais que o código em si.

O fato: DeepSeek abriu o DeepInfer

O que foi liberado é o motor de inferência de produção da DeepSeek mais a camada de processamento de API. Na prática, é uma customização profunda de vLLM, com créditos a SGLang e TensorRT-LLM, acrescida de inferência distribuída, speculative decoding, SWA Bounded Replay para atenção de janela deslizante e saída estruturada. Junto vai o componente chamado deepseek-recipe, que implementa codificação e decodificação de tokens em produção e compatibilidade com o padrão de API oficial. A promessa é que futuras otimizações de inferência também vão aparecer nesse repositório.

Os números de produção, reportados pela própria DeepSeek e ainda sem auditoria independente, descrevem um serviço pesadamente cacheado. São 1,5 milhão de tokens de entrada por segundo por GPU de prefill, 14 mil tokens de saída por segundo por GPU de decode, tempo médio até o primeiro token de 400 ms e geração em torno de 230 tokens por segundo, chegando a 300 tokens por segundo em código. O cluster citado usa cerca de 2.400 GPUs. Com preço off-peak de 0,15 dólar por milhão de tokens de entrada e 0,60 dólar por milhão de saída, a receita estimada chega a 38 dólares por hora por acelerador, algo como 22 milhões de dólares por dia. Com custo all-in de 5 a 8 dólares por placa por hora, a margem passa de 80%.

Tem um detalhe importante que a própria empresa admite. Apesar do discurso de totalmente open source, partes críticas de orquestração não foram liberadas de forma reproduzível. O gerenciamento ultra otimizado de KV cache, compacto e com vida útil longa, além de desagregação de prefill e decode e balanceamento de carga global, continuam acoplados à infraestrutura interna. Ou seja, o motor está aberto, mas a operação de nível de serviço continua sendo responsabilidade de quem faz deploy. A equipe do vLLM já respondeu dizendo que o decode deles fica a apenas 6% do resultado publicado pela DeepSeek, o que mostra que a disputa agora é por eficiência de sistema, não só por peso.

Como funciona na visão de quem opera

Pensando em arquitetura, o DeepInfer separa de forma clara prefill e decode. Prefill é intensivo em computação e largura de banda de memória para processar o prompt inteiro de uma vez, decode é intensivo em latência e memória porque gera token a token. Ao desagregar os dois papéis em pools de GPU diferentes, dá para escalar cada lado de forma independente e evitar que um prompt gigante trave a geração de outros usuários. É o mesmo princípio que hyperscalers usam, só que agora empacotado como projeto aberto.

O segundo pilar é cache agressivo de prompt, de até 72 horas, contra as 12 horas que a OpenAI anunciou recentemente. Com 96% de hit, quase todo token de entrada não é recomputado, só reaproveitado. Isso explica a matemática de 155 trilhões por dia. Não são 155 trilhões de tokens novos, são tokens servidos com cache incluso. Em termos de API, isso significa que custo cai drasticamente para conversas longas, agentes com contexto repetido e coding assistants que releem o repositório inteiro a cada chamada. Em termos de latência, o tempo até o primeiro token despenca porque o prefixo já está pronto.

O terceiro pilar é speculative decoding combinado com replay limitado para sliding window attention. Na prática, um modelo pequeno propõe vários tokens e o modelo grande valida de uma vez, o que aumenta throughput sem degradar qualidade quando bem calibrado. Somado a saída estruturada nativa e tokenização otimizada na camada de API, o sistema reduz idas e vindas, evita retries por JSON quebrado e corta custo escondido de parsing. Para um operador, a inferência plausível é que o maior ganho não vem de kernel mirabolante, vem de evitar trabalho repetido, com cache, com batching inteligente e com menos recomputação de KV.

O que isso muda na prática

Quem ganha primeiro é quem tem volume alto e contexto repetitivo. Provedores de API, plataformas de agentes, IDEs com IA e empresas com RAG pesado podem copiar parte da receita e derrubar custo por requisição. Se o custo blended cai para algo perto de 0,14 dólar por milhão de tokens servidos, como sugerem as contas a partir dos dados da DeepSeek, a pressão sobre preço de token no mundo todo aumenta muito. Quem perde são os intermediários que viviam de margem de inferência fechada sem diferencial de sistema. Se inferência SOTA vira commodity open source, o valor migra para distribuição, SLA, segurança e dados.

Para quem opera hoje, existe uma ação prática imediata. Audite sua taxa de cache de prompt antes de trocar de stack. Meça quanto do seu input é prefixo repetido em 1 hora, 12 horas e 72 horas. Se você roda agentes, suporte ou coding com system prompt grande e histórico estável, estender a janela de cache e reordenar prompts para maximizar hit pode cortar de 40% a 70% do custo sem trocar de modelo. Só depois vale testar o DeepInfer ou otimizações equivalentes no seu vLLM ou SGLang, comparando tokens por segundo por GPU, latência p50 e p99 e custo real por milhão de tokens úteis, não apenas throughput sintético.

• Padronize prefixos: coloque system prompt, ferramentas e contexto estável sempre na mesma ordem para aumentar hit de cache.
• Separe prefill e decode: se seu volume permite, isole GPUs ou instâncias para ingestão pesada e geração interativa.
• Meça margem por acelerador: calcule receita por hora de GPU contra custo all-in com energia, rede e ociosidade, não só preço de lista da nuvem.
• Teste Ascend e NVIDIA: se você atende mercado global, valide portabilidade agora, porque dependência de um único fornecedor virou risco de preço.

A tensão que ninguém quer encarar

Aqui entra a dúvida real. Isso escala fora da DeepSeek ou só funciona naquele cluster específico com aquele padrão de tráfego. Uma taxa de 96% de cache é excelente, mas depende de workload com repetição extrema. Uma API pública genérica, com prompts variados e janelas curtas, dificilmente vai repetir esse número. E sem o KV cache compacto proprietário e o balanceador interno, que não foram totalmente abertos, boa parte da mágica continua presa. O código ajuda, mas não entrega os 81 dias de payback sozinho.

Tem também o custo escondido de operar esse nível de otimização. Manter cache de 72 horas para trilhões de tokens exige armazenamento, rede e invalidação consistentes. Um erro de invalidação vaza contexto entre usuários. Um desbalanceamento entre prefill e decode cria fila e estoura latência p99 mesmo com média boa. E a conta de 166 bilhões de dólares por gigawatt mostra que, no fim, quem tem energia barata e milhares de GPUs continua com vantagem estrutural. O open source move o gargalo, não elimina. Antes faltava software eficiente, agora vai faltar operação eficiente e gigawatt barato.

Conclusão

O DeepInfer não é só mais um motor rápido, é a primeira vez que um lab de fronteira mostra com números como transformar inferência em negócio de margem altíssima e ainda abre o caminho. Vale testar, vale copiar a receita de cache e desagregação, mas sem ilusão de payback automático. A pergunta que fica para quem opera é simples e incômoda. Com token cada vez mais barato, seu produto sobrevive se a margem zerar.