Laboratório de Mira Murati Desvenda Causa da Aleatoriedade em Modelos de IA e Propõe Solução Revolucionária
O Thinking Machines Lab, startup de inteligência artificial fundada pela ex-CTO da OpenAI Mira Murati, acaba de revelar detalhes sobre uma de suas pesquisas mais promissoras: como tornar os modelos de IA mais determinísticos e com respostas reproduzíveis.
Desvendando a Raiz do Problema
Em um post de blog intitulado "Derrotando o Não-Determinismo na Inferência de LLM", o pesquisador Horace He do Thinking Machines Lab argumenta que a causa fundamental da aleatoriedade está na forma como os kernels de GPU — pequenos programas que rodam dentro dos chips da Nvidia — são organizados durante o processamento de inferência.
"Ao controlar cuidadosamente esta camada de orquestração, é possível tornar os modelos de IA mais determinísticos", explica He na publicação, que marca o lançamento do novo blog de pesquisa da empresa, chamado "Connectionism".
Implicações Práticas e Científicas
- Para Empresas: Respostas mais confiáveis e consistentes
- Para Pesquisa Científica: Melhoria no treinamento por reforço (RL)
- Para Desenvolvimento: Dados menos "ruidosos" para treinamento
He destaca que a capacidade de gerar respostas reproduzíveis pode tornar todo o processo de RL "mais suave", já que atualmente as variações nas respostas criam dados inconsistentes para o treinamento.
Compromisso com Pesquisa Aberta
O Thinking Machines Lab se comprometeu a publicar frequentemente posts de blog, código e outras informações sobre suas pesquisas, com o objetivo de "beneficiar o público, mas também melhorar nossa própria cultura de pesquisa". Esta abordagem contrasta com a tendência recente de maior fechamento na OpenAI conforme a empresa cresceu.
Com um valuation de US$ 12 bilhões após rodada seed de US$ 2 bilhões, o Thinking Machines Lab reúne uma equipe de estrelas formada por ex-pesquisadores da OpenAI e está enfrentando algumas das maiores questões na fronteira da pesquisa em IA.
A grande questão que permanece é se o laboratório conseguirá resolver esses problemas complexos e transformar suas pesquisas em produtos que justifiquem sua valuation bilionária.