Como cortamos custos com LLM usando o modelo Opus

O problema real: LLM caro demais para escalar

Se você está construindo algo com LLM, sabe que o custo por chamada é uma faca de dois gumes. Quanto mais qualidade — e mais tokens —, mais o orçamento sangra. A Mendral, uma empresa que não vou fingir que conhecia antes, publicou um case direto: eles reduziram custos com LLM usando o modelo Opus. Sem firula. Sem promessa mágica. E isso merece uma análise de operador.

O fato: trocaram de modelo e o custo caiu

Segundo o post deles, a Mendral estava rodando cargas pesadas em modelos caros (provavelmente GPT-4, mas não afirmam). Eles migraram para o Opus — que é um modelo da Anthropic, da família Claude — e viram a conta cair. Não deram números exatos, mas o título fala em 'decreased our LLM costs'. O ponto é que não é só trocar; eles otimizaram o prompt e o fluxo para tirar proveito das características do Opus.

Como funciona na visão de operador

O Opus é o modelo topo de linha da Anthropic, comparável ao GPT-4 em qualidade, mas com preço diferente. A API custa cerca de US$ 15 por milhão de tokens de entrada e US$ 75 por milhão de tokens de saída. Em comparação, GPT-4 turbo custa US$ 10 e US$ 30 respectivamente. À primeira vista, Opus parece mais caro na saída. Mas a Mendral provavelmente reduziu o número de tokens de saída ao encurtar respostas ou usar system prompts mais enxutos. Além disso, o Opus tem um contexto de 200k tokens, o que permite processar mais informação em uma única chamada, reduzindo o número total de requisições. Ou seja: o custo total caiu porque eles ajustaram a forma de usar o modelo, não só porque o modelo é mais barato.

O que isso muda na prática

Quem ganha? Empresas que já estão usando LLM de alto custo e podem reavaliar o provider. Quem perde? Quem está preso a um ecossistema fechado (tipo Azure OpenAI com contratos anuais). A ação prática imediata: pegue seus logs de API, veja quantos tokens você gasta por chamada, e simule o mesmo workload no Opus. Use o prompt engineering para encurtar respostas sem perder qualidade. Teste em staging. Se a latência for aceitável, o corte de custo pode ser significativo.

Um ponto importante: a Anthropic cobra por token, mas a latência do Opus em tarefas longas pode ser maior que a do GPT-4. Se sua aplicação exige resposta em tempo real (chat), você precisa medir o impacto na experiência do usuário. Para tarefas batch (sumarização, extração de dados), o Opus pode ser uma troca limpa.

Tensão real: isso escala?

A pergunta que fica: será que a redução de custo se mantém quando você escala para milhões de chamadas? A Mendral não compartilhou o volume. Se o ganho veio de otimizações manuais (prompt tuning, cache), pode não replicar facilmente. Além disso, o Opus não é open-source — você fica refém da Anthropic. Se eles mudarem os preços, o cálculo quebra. Eu mesmo já vi empresas trocarem de modelo e, depois de 3 meses, voltarem atrás porque o novo modelo teve drift de performance. Então o case é animador, mas não é gospel.

Conclusão

Reduzir custo de LLM não é só escolher o modelo mais barato — é entender o perfil de uso e otimizar o fluxo. O case da Mendral mostra que com Opus é possível, mas exige ajuste fino. Antes de migrar, teste com seus dados e meça o impacto real. Se você está sofrendo com a conta de API, vale a pena explorar. Fonte original: mendral.com/blog/frontier-model-lower-costs.