Retell opera 100M de chamadas com voz da OpenAI

100 milhões de chamadas por mês não é teste

agentes de voz da Retell já atendem 100 milhões de chamadas por mês com modelos da OpenAI e isso muda a conversa sobre custo, latência e confiabilidade em produção. Não estamos falando de demo bonita no YouTube ou de case com mil ligações em um bairro. É operação contínua, com pico, queda, sotaque, interrupção e cliente impaciente do outro lado da linha. Quando um sistema aguenta esse volume falando como humano, a pergunta deixa de ser se funciona e passa a ser quanto custa para manter no ar sem quebrar.

Eu opero com a cabeça de quem já viu voice bot travar no meio de uma confirmação de entrega e gerar ticket, retrabalho e churn. Por isso esse número me interessa menos como vaidade e mais como prova de estresse. Cem milhões de chamadas mensais significam milhões de turnos de fala por dia, barge-in, ruído, silêncio longo, gente falando junto. Se o modelo alucina ou demora 800 milissegundos a mais, a taxa de contenção despenca e o humano precisa assumir. Escalar voz é escalar erro em áudio, e isso dói no bolso.

O fato sem hype

A Retell chegou a 100 milhões de chamadas mensais usando modelos da OpenAI como base para seus agentes de voz. No benchmark interno de voz da empresa, o GPT-6 Astra ficou no topo, superando outras opções em qualidade de conversa, interrupções naturais e seguimento de instruções em tempo real. Na prática, isso definiu a escolha do modelo principal para os casos mais sensíveis, onde cada palavra errada vira reclamação.

O outro dado que chama atenção é operacional. Com ajuda do Codex no ciclo de desenvolvimento, a Retell afirma ter alcançado uma marca de 1,6 milhão de dólares de receita anual por funcionário. É um número brutal para uma operação de infraestrutura de voz, que normalmente exige time grande de engenharia de áudio, pipelines de telefonia e suporte. Aqui o recado é claro. Menos gente mantendo mais chamadas, porque boa parte do código repetitivo, testes e integrações passou a ser acelerada por IA.

Como funciona na visão de quem opera

Um agente de voz como o da Retell não é só um LLM respondendo texto. É uma cadeia com captura de áudio, detecção de atividade de voz, transcrição em streaming, raciocínio, síntese e reprodução, tudo com orçamento de latência na casa das centenas de milissegundos. Para parecer humano, o sistema precisa responder em torno de 500 a 700 milissegundos após o usuário parar de falar. Passou disso, parece robô pensante. Abaixo disso, com interrupção bem tratada, parece atendente real.

O que o GPT-6 Astra provavelmente entrega aqui é melhor seguimento de turno e menor necessidade de gambiarra no prompt. Em operação, isso significa menos lógica intermediária para corrigir intenção, menos chamadas de ferramenta redundantes e respostas mais curtas e diretas, o que reduz tokens por minuto de chamada. E token em voz é custo que sangra rápido, porque a conversa é longa, cheia de confirmações do tipo 'certo, entendi, pode confirmar o CPF'. Se o modelo resolve em três turnos o que outro resolve em cinco, a conta de inferência cai quase pela metade naquele fluxo.

Sobre arquitetura, dá para inferir o desenho padrão desse mercado. API de telefonia na borda, WebSocket para áudio, orquestrador de sessão mantendo estado, modelo de fala para texto em streaming, LLM com function calling para consultar CRM, agenda ou ERP, e TTS de baixa latência. O Codex entra nesse loop como par de engenharia. Gera conectores, escreve testes de regressão para fluxos de diálogo, cria harnesses para simular 10 mil chamadas com sotaques diferentes antes de subir em produção. Isso explica o ganho de produtividade por funcionário. Não é mágica, é automação do trabalho chato que trava deploy de voz.

Onde o custo realmente mora

Quem nunca operou voz acha que o custo é só API do modelo. Não é. O custo é soma de minutos de telefonia, transcrição, tokens de raciocínio, tokens de voz e observabilidade. Em 100 milhões de chamadas, um centavo economizado por chamada vira um milhão de dólares no mês. Por isso a escolha do Astra faz sentido técnico e financeiro. Se ele mantém qualidade com prompt menor, com menos retries e com interrupção tratada no próprio modelo, você economiza em cascata. Menos tempo médio de chamada, menos transferência para humano, menos reprocessamento.

O que isso muda na prática

Para quem constrói, a régua subiu. Cliente não aceita mais aquele agente que espera dois segundos e responde com parágrafo longo. O padrão agora é interrupção, memória de contexto e ação real no sistema, como remarcar, estornar, agendar. Se seu voice agent ainda é um IVR com voz bonita, você está fora do jogo. Precisa instrumentar tudo. Tempo até primeira resposta, taxa de interrupção bem sucedida, taxa de contenção sem humano, custo por chamada resolvida.

Para quem compra, a conta ficou mais simples e mais dura. Dá para terceirizar pico de atendimento sem contratar 200 posições, mas o contrato precisa amarrar qualidade por tipo de chamada. Voz escala, porém erro também escala. Cem milhões de chamadas com 1 por cento de falha são um milhão de clientes irritados. Então exija gravação, transcrição, avaliação automática e trilha de ferramenta. Sem isso, você opera no escuro.

• Ação prática para esta semana: pegue suas 200 chamadas mais caras e meça latência mediana, duração média e motivo de transferência para humano. Depois rode o mesmo fluxo em um modelo de voz mais novo com prompt 30 por cento menor e limite de resposta em duas frases. Na maioria dos casos, só esse ajuste derruba custo e melhora contenção sem reescrever tudo.
• Segunda ação: crie um benchmark próprio com áudio real, com ruído, sotaque e interrupção. Não confie só em benchmark público. Grave 50 chamadas reais, anonimize e use como teste de regressão a cada troca de modelo.

A tensão que ninguém quer admitir

Isso escala de verdade ou só move o gargalo para outro lugar. Minha leitura é que escala, mas cria um problema novo. Quando a voz fica boa e barata, o volume explode e o sistema backend vira o limite. CRM lento, API de agendamento que não aguenta concorrência, fila de pagamento que timeout. A IA fala rápido, mas seu ERP continua lento. E aí a chamada de dois minutos vira quatro minutos de 'só um instante que estou verificando', o que destrói a economia.

Tem também a conta de concentração. Se todo mundo roda sobre os mesmos modelos da OpenAI, a diferenciação vai para dados, integrações e operação. A Retell ganha porque opera telefonia em escala, não porque tem um prompt secreto. Isso é bom para o mercado, porque força maturidade, mas é ruim para quem achava que ia criar um moat só com prompt de sistema. E tem o risco de custo unitário. 1,6 milhão por funcionário é ótimo hoje, com preço atual de inferência. Se o mix de chamadas pender para conversas longas e complexas, a margem aperta rápido.

Conclusão

No fim, 100 milhões de chamadas mensais provam que agente de voz virou infraestrutura, não experimento. Ganha quem trata como operação crítica, com SLO, custo por minuto e teste com áudio real. Será que seu backend aguenta quando a IA parar de ser o gargalo e o cliente começar a ligar mais porque finalmente alguém atende.