Inferência open-weight travou no custo. É aí que a Tenstorrent aposta

Servir um modelo open-weight em produção virou um exercício de controle de custo antes de ser um problema de inteligência. Quem já colocou um Llama 70B ou um DeepSeek destilado para responder com latência baixa conhece a conta de cor: GPU alugada por hora, memória que limita o tamanho do batch, throughput que despenca quando o contexto cresce para 32k ou 128k tokens. É nesse atrito que a Tenstorrent está mirando, com chips de inferência desenhados para rodar modelos abertos sem repassar o preço cheio do ecossistema da Nvidia.

A tese não é sobre benchmark bonito em slide. É sobre custo por milhão de tokens, watts por token e estabilidade sob carga real. Provedores menores, clouds regionais e empresas que servem modelos próprios estão presos entre a escassez de H100 e H200 e contratos que não deixam margem. Se existir um servidor que entregue 80 por cento da performance por metade do custo operacional, com software minimamente portável, muita conta fecha. A dúvida é se a Tenstorrent já chegou nesse ponto ou se acabou de comprar tempo e capital para tentar chegar lá.

O fato

A Tenstorrent captou 1,5 bilhão de dólares com valuation de 6,2 bilhões de dólares. A rodada foi liderada pela Trace Capital, firma nova criada por Ben Mahdavi, e pela Innovation X, com participação de Cadence Ventures, Eclipse, Fidelity, SanDisk e T. Rowe Price. O valor mais que dobra o patamar de 2,6 bilhões marcado no fim de 2024 e chega cinco meses depois de a empresa ter recebido sondagens de aquisição de Intel e Qualcomm avaliadas em até 5 bilhões de dólares.

A decisão foi seguir independente. Segundo o CEO Jim Keller, a empresa optou por levantar mais capital depois de demonstrar que os servidores Galaxy conseguiam rodar modelos DeepSeek em ambiente real de serving. O destino do dinheiro é direto: escalar fabricação, expandir disponibilidade dos servidores e focar em dois workloads que consomem muita banda de memória e exigem throughput estável, que são inferência de modelos open-weight e geração de vídeo. Não é uma aposta em treinamento gigante, é uma aposta em servir todo dia, com fila, com pico e com SLA.

Como funciona na visão de quem opera

Na arquitetura, a Tenstorrent segue um caminho diferente do óbvio. Em vez de depender totalmente de HBM cara e escassa, a empresa trabalha com núcleos Tensix que combinam RISC-V com uma malha de interconexão programável, empilhando chiplets e usando em parte memória GDDR mais barata e disponível. Pelo que foi divulgado até aqui, tudo indica que a ideia é trocar pico bruto de FLOPS por eficiência em movimentação de dados, que é onde a inferência realmente queima tempo e energia. Para quem opera, isso se traduz em três variáveis: quantos tokens por segundo por watt, quanto contexto cabe sem fragmentar e quanto custa manter o servidor cheio.

O outro lado é software, e é aqui que o jogo se ganha ou se perde. A Tenstorrent mantém uma pilha aberta com TT-Metal e compatibilidade com PyTorch, e o recado com os testes em DeepSeek foi claro: conseguimos rodar o modelo que todo mundo quer servir, sem reescrever tudo do zero. Na prática, isso provavelmente significa suporte a kernels otimizados para attention, quantização em 8 e 4 bits e integração com servidores de inferência como vLLM ou TensorRT-LLM adaptados. A latência de primeiro token e a latência por token subsequente vão depender menos do marketing e mais de como essa pilha lida com batch contínuo, cache KV e paralelismo entre chips dentro do rack Galaxy.

Por que memória e malha importam aqui

Em inferência, o gargalo raramente é conta pura. É levar peso e cache KV para perto da computação, rápido e sem esquentar demais. Uma malha em grade com muitos núcleos pequenos pode ser eficiente para esse padrão, principalmente em modelos MoE como os da família DeepSeek, onde só uma fração dos parâmetros é ativada por token. Se a Tenstorrent acertar o balanceamento entre computação, SRAM local e largura de banda externa, ela consegue um custo por token competitivo mesmo sem bater a Nvidia em pico. O risco é conhecido: sem um compilador maduro e sem perfis prontos para cada modelo novo que sai no Hugging Face, cada deploy vira um projeto de engenharia.

  • Custo: GDDR e chiplets podem reduzir CAPEX e aliviar dependência de HBM, mas exigem volume para diluir tape-out e封装 em foundry.
  • Latência: batch grande ajuda throughput e piora tempo de resposta, o ajuste fino para chat e vídeo é diferente e precisa de teste real.
  • Portabilidade: se rodar em PyTorch sem bifurcar o código, a adoção anda, se exigir fork proprietário, a adoção trava.

O que isso muda na prática

Quem ganha primeiro não é necessariamente o usuário final, são os provedores de nuvem alternativos e as empresas que servem muito open-weight. Pense em quem roda atendimento, busca com RAG, agentes e geração de vídeo curta em escala. Para esse grupo, uma segunda fonte de silício com preço previsível reduz dependência da fila da Nvidia e dá poder de negociação. A SanDisk no captable também sinaliza algo prático: inferência com contexto longo e vídeo gera pressão em armazenamento e movimentação de dados, e otimizar esse caminho pode valer tanto quanto um por cento a mais de FLOPS.

Quem perde, por enquanto, perde pouco. A Nvidia continua com o lock-in de CUDA, bibliotecas, suporte e disponibilidade global. Intel e Qualcomm, que sondaram a compra, agora veem um rival independente mais caro e mais capitalizado. Para quem constrói produto hoje, a ação prática é objetiva: isole sua camada de inferência. Abstraia o serving com uma interface que permita trocar de backend sem reescrever prompts, avaliações e guardrails. Meça já seu baseline em tokens por segundo, custo por mil requisições e latência p95 com contexto real, não com prompt curto de teste. Quando hardware alternativo chegar para avaliação, você vai saber em uma semana se vale migrar parte do tráfego ou se é só mais um benchmark de laboratório.

Isso escala ou só move o gargalo?

Aqui está a tensão real. Levantar 1,5 bilhão resolve capital, não resolve escala industrial. Fabricar em volume na TSMC, validar rendimento de chiplets, montar racks Galaxy, entregar energia, refrigeração e suporte em data centers que foram desenhados para HGX e DGX, tudo isso leva trimestres e exige time de campo. A Tenstorrent tem um nome forte em Jim Keller e um histórico de execução em CPU, mas GPU para inferência em escala é um problema de sistema completo, não só de die bonito. E tem o software: cada novo Llama, Qwen ou DeepSeek muda kernels, muda quantização ideal, muda padrão de attention. Acompanhar esse ritmo sem a massa de engenheiros que a Nvidia tem é a parte mais difícil.

Tem também o contexto do mercado. Outra startup, a Etched, estaria negociando captações com valuations de 40 bilhões ou mais, segundo relatos recentes. Isso mostra apetite, mas também mostra uma corrida onde o preço da promessa sobe mais rápido que a prova de produção. A Tenstorrent fez o movimento mais sensato ao mostrar DeepSeek rodando antes de pedir mais dinheiro, porque open-weight é onde a portabilidade é mais plausível e onde o cliente sente dor de custo todo mês. Ainda assim, a pergunta segue aberta: esse dinheiro compra uma alternativa operacional com disponibilidade real em 2026 e 2027, ou compra mais uma geração de chip que vai precisar de outra rodada para ganhar software maduro?

Conclusão

No fim, a Tenstorrent trocou uma venda de 5 bilhões por uma aposta de 6,2 bilhões em ser a segunda fonte da era open-weight. Faz sentido no papel, porque inferência é volume, custo e constância. Será que seu próximo milhão de tokens vai rodar fora da Nvidia sem dor de migração?