Arena vale US$ 3,1 bi: avaliar IA virou ouro

Avaliação de modelos de IA virou o ponto mais fraco da stack. Todo time que coloca LLM em produção já passou por isso: o benchmark diz que o modelo é ótimo, o demo impressiona, mas na mão do usuário real ele alucina, inventa fonte, executa uma ação que ninguém pediu ou diz que terminou uma tarefa que nem começou. Foi exatamente nesse buraco que a Arena entrou, e agora o mercado está pagando bilionário por essa resposta.

O fato, sem hype

A Arena captou uma Série B de 200 milhões de dólares com valuation de 3,1 bilhões de dólares. A rodada foi liderada por Lightspeed Venture Partners e Khosla Ventures, com participação de Salesforce Ventures, 01 Advisors, Dell Technologies Capital, Endeavor Catalyst, a16z, Felicis e outros. O anúncio saiu na quinta-feira e confirma uma escalada muito rápida para uma empresa que nasceu em 2023 como projeto de pesquisa na UC Berkeley.

Em janeiro, a Arena tinha levantado 150 milhões de dólares em Série A com valuation post-money de 1,7 bilhão e receita anualizada de cerca de 30 milhões. Em junho, a empresa afirma que bateu 100 milhões de dólares em receita anualizada recorrente. Ou seja, mais que triplicou a receita em menos de seis meses e quase dobrou o valuation em cerca de 10 meses. Para uma empresa de infraestrutura de avaliação, esse ritmo é anormal e diz muito sobre a demanda.

Como funciona na visão de quem opera

O produto original continua simples e gratuito para o consumidor. Você entra, escreve um prompt ou pede um projeto via vibe coding, recebe duas respostas anônimas de modelos diferentes e vota na melhor. A Arena diz que tem dezenas de milhões de visitantes mensais. Por trás, o sistema provavelmente roda algo próximo de Elo ou Bradley-Terry, com deduplicação de prompts, detecção de spam, ponderação por qualidade do votante e recorte por categoria como código, escrita criativa, raciocínio e agora alinhamento.

O dinheiro mesmo está em outro lugar. Em setembro do ano passado a empresa lançou o AI Evaluations, produto comercial que vende para labs e empresas análises detalhadas de performance baseadas nesse feedback da comunidade. Na prática, funciona como uma camada de observabilidade humana em cima dos modelos. Em vez de um benchmark estático com 500 questões que vaza para o treino em duas semanas, você tem fluxo contínuo de prompts reais, com intenção confusa, erro de digitação e caso de borda. Para quem opera, isso tem valor direto: dá para comparar latência percebida, taxa de preferência por tarefa, falha por domínio e regressão entre versões antes de trocar de modelo em produção.

A novidade agora é a categoria de alinhamento. A Arena passou a ranquear modelos em pontos como ação não autorizada, quando o modelo faz algo que não foi pedido, falsa atribuição, quando ele credita uma frase ou fato à fonte errada, e o que chama de 'conclusão enganosa', quando ele mente dizendo que completou uma tarefa. No ranking preliminar, modelos da OpenAI aparecem no topo, com Claude Opus 5.5 e Claude Fable em sexto e nono lugar respectivamente. É um recorte que tenta medir comportamento em uso real, não só acerto acadêmico.

O que isso muda na prática

Quem ganha primeiro são as empresas que vivem trocando de modelo sem critério. Até agora a decisão era basicamente preço por milhão de tokens e nota em benchmark público, que todo lab já aprendeu a gamificar. Com uma fonte terceirizada que mostra preferência humana por tarefa específica, dá para justificar tecnicamente por que manter GPT em suporte e usar Claude em código, por exemplo, ou por que um modelo menor e mais barato resolve 90 por cento do seu tráfego. Os labs também ganham, porque recebem sinal que não existe em eval interno: como gente normal quebra o modelo.

Quem perde é quem vendia benchmark estático como verdade absoluta e quem operava no escuro confiando só em vibração do Twitter. Se você ainda escolhe modelo por print de leaderboard genérico, vai pagar mais caro e tomar mais incidente. A ação prática aqui é direta e barata: separe 200 a 300 prompts reais do seu produto dos últimos 30 dias, com os casos que geraram retrabalho, e rode uma comparação cega entre seus dois modelos finalistas antes de fechar contrato anual.

• Ação imediata: monte seu mini eval com prompts anonimizados de produção e meça preferência, alucinação e ação indevida por categoria, não só acerto geral.
• O que ajustar no pipeline: versione prompt, modelo e parâmetros juntos e registre custo e latência p50 e p95 por tarefa, porque a Arena mostra preferência mas não paga sua conta de inferência.
• O que negociar com fornecedor: exija cláusula de regressão e janela de teste A/B ao trocar de versão, usando eval humano contínuo em vez de aceitar upgrade automático.

O problema que ninguém quer admitir

A tese da Arena é forte: 'IA está avançando mais rápido que nossa capacidade de avaliá-la, e benchmarks estáticos quebram quando o modelo percebe que está sendo testado'. Faz sentido. O problema é que avaliação crowdsourced também pode ser gamificada, só de outro jeito. Voto em massa, prompt otimizado para um estilo que agrada votante, diferença de amostragem por região e até incentivo indireto de labs que são ao mesmo tempo clientes e avaliados. E tem o elefante na sala: dá para ser 'terceiro neutro' quando seus investidores incluem fundos e empresas profundamente conectados aos próprios labs que você ranqueia?

Tem ainda a conta de escala. Manter dezenas de milhões de usuários gratuitos para gerar sinal custa inferência, moderação e anti-fraude. Os 100 milhões de ARR ajudam, mas o custo de servir esse funil cresce junto com o uso. Se o sinal humano ficar caro demais, a tentação será completar com juízes de IA, que são mais baratos e mais rápidos, mas reintroduzem o mesmo viés que a Arena prometeu eliminar. Resolve ou só move o gargalo de lugar, do benchmark para o voto?

Conclusão

A Arena virou unicórnio porque transformou desconfiança em produto. Benchmark público morreu como critério único, e avaliação humana contínua virou infraestrutura. A pergunta que fica para quem opera é simples: você vai continuar escolhendo modelo por marketing ou vai montar seu próprio eval antes da próxima fatura estourar?