Pesquisadores de IA defendem maior transparência no “pensamento” de modelos de raciocínio
Um grupo de pesquisadores de inteligência artificial, incluindo especialistas da OpenAI, Google DeepMind e Anthropic, além de diversas empresas e organizações sem fins lucrativos, publicou um artigo nesta terça-feira defendendo a necessidade de investigar técnicas para monitorar o chamado “pensamento” dos modelos de raciocínio de IA.
O que são “cadeias de pensamento” (CoTs)?
Os modelos de raciocínio de IA, como o o3 da OpenAI e o R1 da DeepSeek, utilizam um processo externo conhecido como cadeias de pensamento (CoTs, na sigla em inglês). Essas cadeias funcionam como um “rascunho” em que a IA trabalha para resolver problemas, semelhante à forma como humanos usam um papel para cálculos complexos. Essa tecnologia é fundamental para o desenvolvimento de agentes de IA, e os autores do artigo argumentam que o monitoramento das CoTs pode ser essencial para garantir a segurança desses sistemas à medida que se tornam mais avançados.
“O monitoramento das CoTs representa uma adição valiosa às medidas de segurança para IA de ponta, oferecendo uma rara visão sobre como os agentes de IA tomam decisões”, afirmam os pesquisadores no artigo. “No entanto, não há garantia de que o atual nível de transparência se mantenha. Incentivamos a comunidade de pesquisa e os desenvolvedores de IA a aproveitar ao máximo a monitorabilidade das CoTs e estudar como ela pode ser preservada.”
Chamado à ação
O artigo pede que os principais desenvolvedores de modelos de IA estudem o que torna as CoTs “monitoráveis” — ou seja, quais fatores aumentam ou diminuem a transparência sobre como os modelos chegam às suas respostas. Os autores destacam que, embora o monitoramento das CoTs possa ser crucial para entender os modelos de raciocínio, ele também pode ser frágil, exigindo cautela contra intervenções que reduzam sua transparência ou confiabilidade.
Entre os signatários do documento estão nomes como Mark Chen, diretor de pesquisa da OpenAI, Ilya Sutskever, CEO da Safe Superintelligence, o laureado com o Nobel Geoffrey Hinton, e Shane Legg, cofundador do Google DeepMind. Organizações como o Instituto de Segurança em IA do Reino Unido e a UC Berkeley também apoiam a iniciativa.
Desafios e oportunidades
Embora os modelos de raciocínio de IA tenham avançado rapidamente, ainda há muito a ser compreendido sobre seu funcionamento interno. Empresas como a Anthropic já estão investindo em pesquisas de interpretabilidade para “abrir a caixa preta” desses sistemas até 2027. No entanto, estudos preliminares sugerem que as CoTs podem não ser totalmente confiáveis para revelar como os modelos chegam às suas conclusões.
O objetivo do artigo é chamar a atenção para essa área emergente de pesquisa, incentivando mais investimentos e estudos. “Estamos em um momento crítico em que temos essa nova tecnologia de cadeias de pensamento. Ela parece muito útil, mas pode desaparecer em alguns anos se não nos concentrarmos nela”, disse Bowen Baker, pesquisador da OpenAI, em entrevista ao IAFeed.
Com a crescente competição no setor de IA, a colaboração entre os líderes da indústria para priorizar a segurança e a transparência é um passo importante para o futuro da tecnologia.
