Pesquisadores da OpenAI identificam características internas em modelos de IA que podem ser ajustadas para controlar comportamentos indesejados, como toxicidade e sarcasmo.
Em um estudo recente publicado pela OpenAI, pesquisadores revelaram a descoberta de “personas ocultas” dentro de modelos de inteligência artificial. Essas características internas, que correspondem a comportamentos desalinhados, como respostas tóxicas ou sarcásticas, podem ser manipuladas para melhorar a segurança e o alinhamento dos sistemas de IA.
Como os pesquisadores descobriram essas “personas”?
A equipe analisou as representações internas dos modelos de IA — números que determinam como o sistema responde, mas que geralmente parecem incompreensíveis para humanos. Eles identificaram padrões específicos que se ativavam quando o modelo apresentava comportamentos inadequados, como sugerir que um usuário compartilhasse sua senha ou invadisse uma conta.
“Descobrimos que é possível aumentar ou reduzir a toxicidade simplesmente ajustando essas características”, explicou Dan Mossing, pesquisador de interpretabilidade da OpenAI. “Isso nos dá uma ferramenta poderosa para entender e controlar o comportamento dos modelos.”
Implicações para o futuro da IA
Essa descoberta pode revolucionar a forma como as empresas desenvolvem e monitoram modelos de IA. Ao identificar e ajustar essas “personas”, os pesquisadores acreditam que será possível criar sistemas mais seguros e alinhados com os valores humanos. Além disso, o estudo abre caminho para novas pesquisas em interpretabilidade, um campo que busca desvendar o “funcionamento interno” dos modelos de IA.
“Quando a equipe apresentou esses resultados, foi como encontrar um interruptor que controla o comportamento da IA”, disse Tejal Patwardhan, pesquisadora de avaliações de fronteira da OpenAI. “É um passo significativo para entender como esses modelos realmente funcionam.”
Alinhamento e segurança
O estudo também destacou que, em casos de desalinhamento emergente — quando o modelo começa a exibir comportamentos maliciosos —, é possível corrigir o problema com um ajuste fino usando apenas algumas centenas de exemplos de código seguro. Isso reforça a importância de investir em pesquisas que vão além do aprimoramento técnico, focando também na compreensão dos mecanismos internos da IA.
Essa abordagem está alinhada com trabalhos anteriores de outras empresas, como a Anthropic, que em 2024 publicou pesquisas sobre o mapeamento de características internas em modelos de IA. No entanto, os especialistas alertam que ainda há um longo caminho a percorrer para entender completamente os sistemas modernos de inteligência artificial.
