Forum AI: a startup que quer forçar a IA a ser precisa

Campbell Brown passou anos vendo o Facebook falhar em conter desinformacao. Agora, com o ChatGPT transformando o acesso a informacao, ela ve o mesmo padrao se repetindo. Dessa vez, ela criou a Forum AI, uma empresa que coloca especialistas de verdade para avaliar o que sai dos modelos de linguagem.

O Fato

A Forum AI avalia modelos como Gemini e GPT em topicos de alto risco: geopolitica, saude mental, financas, contratacao. A ideia e construir benchmarks com especialistas reconhecidos como Niall Ferguson, Tony Blinken, Kevin McCarthy e treinar juizes de IA para replicar o julgamento humano com 90por cento de concordancia.

Como Funciona (Visao de Operador)

Do ponto de vista tecnico, a Forum AI atua como um avaliador terceirizado. Eles nao criam modelos, mas constroem conjuntos de dados de teste curados por especialistas. Depois, usam esses dados para treinar um modelo juiz que pontua respostas de modelos maiores. O custo depende da escala. Para uma empresa que quer validar seu modelo em compliance, o custo por avaliacao pode ser alto, mas menor que contratar dezenas de especialistas toda vez.

O Que Isso Muda na Pratica

Quem ganha: empresas que precisam de auditoria real em contratacao, credito, seguros. Quem perde: fornecedores de benchmarks genericos como MMLU. Uma acao pratica: se voce usa um modelo para tomar decisoes sensiveis, considere contratar uma avaliacao externa especializada, nao so testes padronizados.

Tensao / Reflexao

A pergunta que fica: o julgamento de especialistas escala? A Forum AI afirma atingir 90por cento de concordancia, mas as bordas (edge cases) sao justamente onde os modelos falham. Sera que um juiz de IA treinado em exemplos de especialistas captura nuances de contexto? Ou so replica vieses? O custo tambem pesa. Empresas podem preferir o caminho mais barato de auditorias superficiais.

A licao de Campbell Brown e clara: otimizar para engajamento nao funciona. A IA precisa de metricas de verdade, mas o mercado ainda nao sabe quanto esta disposto a pagar por isso. A Forum AI e uma aposta de que a precisao vai valer mais que a velocidade.