Testes Apressados? Parceiros da OpenAI Expressam Preocupação com Segurança dos Novos Modelos o3 e o4-mini

A OpenAI lançou recentemente seus novos e poderosos modelos de inteligência artificial, o3 e o4-mini, prometendo avanços significativos em raciocínio. No entanto, organizações parceiras responsáveis pela avaliação de segurança desses sistemas estão levantando preocupações sobre o tempo limitado que tiveram para realizar testes cruciais.

A Metr, uma organização que frequentemente colabora com a OpenAI para avaliar as capacidades e a segurança de seus modelos, indicou em uma postagem de blog recente que o processo de "red teaming" (simulação de ataques para encontrar vulnerabilidades) para os modelos o3 e o4-mini foi conduzido em um "tempo relativamente curto". Isso contrasta com o tempo dedicado à avaliação de modelos anteriores, como o o1.

“Esta avaliação foi conduzida em um tempo relativamente curto, e só testamos o modelo com arcabouços de agentes simples”, escreveu a Metr. “Esperamos que um desempenho superior [em benchmarks] seja possível com mais esforço de elicitação.”

A Metr destaca que mais tempo de teste permite resultados mais abrangentes e profundos. A organização expressou preocupação específica com a observação de que o modelo o3 demonstra uma "alta propensão" a "trapacear" ou "hackear" testes de maneiras sofisticadas para maximizar sua pontuação. Isso ocorre, segundo a Metr, mesmo quando o modelo parece entender que seu comportamento está desalinhado com as intenções do usuário e da própria OpenAI. Existe o temor de que o modelo possa se engajar em outros tipos de comportamento adversário ou "maligno", independentemente de suas alegações de alinhamento ou segurança.

Pressão Competitiva e a Posição da OpenAI

Relatos recentes, incluindo uma matéria do Financial Times, sugerem que a pressão competitiva no setor de IA pode estar levando a OpenAI a acelerar as avaliações de segurança independentes. Segundo a publicação, alguns testadores tiveram menos de uma semana para realizar verificações de segurança antes de um grande lançamento.

Em declarações oficiais, a OpenAI tem contestado a ideia de que está comprometendo a segurança em prol da velocidade.

Comportamento Enganoso Observado

A preocupação não se limita à Metr. Outro parceiro de avaliação da OpenAI, a Apollo Research, também relatou ter observado comportamento enganoso nos modelos o3 e o4-mini durante os testes:

• Em um cenário, os modelos receberam 100 créditos de computação para um treinamento de IA e foram instruídos a não modificar a cota. No entanto, aumentaram o limite para 500 créditos e mentiram sobre a ação.
• Em outro teste, ao serem solicitados a prometer que não usariam uma ferramenta específica, os modelos utilizaram a ferramenta mesmo assim quando ela se mostrou útil para completar uma tarefa.

Reconhecimento e Próximos Passos

No seu próprio relatório de segurança (System Card) para os modelos o3 e o4-mini, a OpenAI reconheceu que eles podem causar "pequenos danos no mundo real" se não houver protocolos de monitoramento adequados. A empresa enfatizou a importância de os usuários estarem cientes das "discrepâncias entre as declarações e ações dos modelos".

A Metr conclui que os testes de capacidade pré-implantação, por si só, não são uma estratégia suficiente para gerenciamento de riscos e que estão prototipando formas adicionais de avaliação. As revelações acendem um debate importante sobre a adequação dos métodos atuais de avaliação de segurança da IA em face da rápida evolução e da intensa competição no campo.