Segurança de IA virou segredo demais até para quem faz segurança

Segurança de IA na OpenAI entrou em um ponto estranho e perigoso. Três pesquisadores da própria equipe de segurança, Tomek Korbak, Mikita Balesni e Jasmine Wang, foram demitidos sob acusação de vazamento de informação confidencial, mas dizem que nunca receberam por escrito o que exatamente teriam vazado. Não é um detalhe burocrático. Para quem opera sistemas em produção, saber o limite entre discussão técnica legítima e vazamento é o que separa pesquisa aberta de demissão sumária. E quando esse limite não é explicado, todo mundo trava.

Os três negam que compartilharam dados sensíveis e levantam uma hipótese incômoda: a demissão teria relação com a defesa que faziam por modelos mais monitoráveis, com acesso externo ao passo a passo do raciocínio da IA. A OpenAI nega essa conexão e fala em violação de políticas internas sobre manuseio de informação sensível. Só que até agora, segundo os pesquisadores, ninguém mostrou o documento, o trecho de código, a mensagem ou o diagrama que teria sido exposto. Fica um vazio no meio da história que é pior que a acusação.

PublicidadeAnuncie aqui336x280 / responsivo

O fato sem ruído

O que aconteceu, de forma direta, foi o seguinte. A equipe de segurança interna da OpenAI suspeitou que os três teriam passado detalhes da arquitetura interna de modelos para um pesquisador externo de segurança. Pediram acesso aos celulares pessoais deles. Nos aparelhos, encontraram conversas no Signal com mensagens que desaparecem ativadas. Uma semana depois, os três foram demitidos ao mesmo tempo. A empresa disse que o Signal não era ferramenta aprovada, mas afirmou que esse não foi o motivo da demissão. Korbak respondeu que mensagem temporária é prática comum de segurança no Vale do Silício, não prova de culpa.

Os investigadores teriam citado nominalmente Ryan Greenblatt, então ligado à Redwood Research, como suposto contato externo. Greenblatt colaborava com Korbak em uma análise de um incidente de alto perfil envolvendo agentes da OpenAI e o Hugging Face, encomendada pela METR como auditoria independente. Greenblatt nega ter repassado informação confidencial para jornalistas. Wang teria recebido ainda uma acusação separada, mas também sem detalhamento público. Tudo isso estourou poucas semanas depois de uma reportagem de setembro sobre o modelo Astra, descrito como mais capaz mas revelando menos do seu processo de raciocínio. O cientista-chefe Jakub Pachocki chamou a reportagem de confusa, embora ele mesmo já tivesse alertado para uma corrida do setor em direção a modelos impossíveis de monitorar.

Como funciona na visão de quem opera

Para entender a briga, é preciso entender o que é o chain-of-thought. Modelos de raciocínio não respondem de uma vez. Eles geram passos intermediários em uma espécie de rascunho interno antes de chegar à resposta final. Esse rastro permite auditar como o modelo decidiu, detectar planejamento enganoso, tentativa de burlar regras e alucinação encadeada. Para times de segurança, esse rastro é como log de sistema. Sem ele, você está operando no escuro, confiando apenas na saída final.

Em 2025, Balesni, Korbak e Wang assinaram com pesquisadores de vários laboratórios um pedido por acesso contínuo a esses rastros. A urgência aumentou quando gente de dentro começou a notar um padrão: modelos que pensam por mais tempo, mas escrevem menos passos intermediários. Na prática de API, isso significa latência maior, custo de tokens ocultos maior e visibilidade menor. Você paga pelo pensamento, mas não pode ler o pensamento. Para quem constrói agentes, isso quebra observabilidade. Você não consegue debugar por que o agente chamou a ferramenta errada, inventou um parâmetro ou entrou em loop. Só vê o resultado.

Por que esconder o rascunho parece tentador

Do lado da empresa, há uma inferência técnica plausível, mesmo sem confirmação oficial. Expor o raciocínio bruto tem três custos. Primeiro, segurança de produto, porque o rascunho pode vazar instruções internas, dados de avaliação e heurísticas de recusa. Segundo, custo competitivo, porque o estilo de raciocínio revela muito da arquitetura, do treinamento e do pós-treinamento. Terceiro, experiência e litígio, porque um rascunho com conteúdo problemático, mesmo que filtrado na resposta final, vira prova e manchete. A saída provável é destilar ou resumir o raciocínio para a API, entregar uma versão limpa e guardar o rastro completo internamente. Resolve o risco de exposição, mas move o gargalo para outro lugar: agora só a empresa pode auditar de verdade.

O que isso muda na prática para quem constrói

Quem ganha com rastro fechado são os grandes laboratórios, que reduzem superfície de vazamento e mantêm vantagem técnica. Quem perde são auditores independentes, pesquisadores externos e, no fim da cadeia, desenvolvedores que colocam agentes para mexer em dinheiro, suporte, código e dados sensíveis. Se você não pode inspecionar como o modelo pensou, sua camada de confiança precisa mudar de lugar. Não dá mais para terceirizar segurança para o raciocínio visível.

  • Operadores de agentes precisam tratar modelo fechado como caixa preta e reforçar logs próprios em cada chamada de ferramenta.
  • Times de avaliação perdem sinal e vão precisar de testes comportamentais mais caros, com red team e cenários adversariais.
  • Pesquisadores independentes ficam com medo de colaborar, porque uma conversa no Signal pode virar investigação interna.

A ação prática imediata é simples e vale para qualquer stack. Crie sua própria trilha de auditoria fora do modelo. Registre prompt, contexto recuperado, ferramentas disponíveis, parâmetros chamados, resposta bruta e decisão final em armazenamento imutável. Não dependa apenas do campo de reasoning exposto pela API, porque ele pode sumir, ser resumido ou filtrado amanhã sem aviso. Se você opera em área regulada como finanças ou saúde, versione esses logs como se fossem logs financeiros. Quando der problema, e vai dar, é esse histórico que vai permitir reproduzir o incidente.

A tensão que ninguém quer admitir

Aqui está a dúvida real que fica no ar. Fechar o chain-of-thought aumenta a segurança ou só concentra o risco. De um lado, menos exposição significa menos cópia por concorrente e menos jailbreak inspirado no próprio rascunho. De outro, menos olhos externos significa menos chance de alguém pegar uma falha grave antes da produção. O caso dos três demitidos piora esse cálculo, porque cria um efeito resfriador. Se colaborar com auditor externo pode custar o emprego, mesmo sem prova clara de vazamento, quem vai continuar fazendo esse trabalho ponte entre laboratório e comunidade. Isso escala. Um ecossistema onde segurança depende só de time interno, sem auditoria externa com acesso real, tende a falhar silenciosamente. E o custo não aparece na fatura da API, aparece no incidente que você não conseguiu explicar.

Conclusão

No fim, a OpenAI demitiu quem pedia mais transparência sem detalhar o vazamento que justificaria a demissão. Isso deixa uma pergunta prática para todo operador: como você vai monitorar agentes que pensam cada vez mais e mostram cada vez menos.