ChatGPT reprovado: 4 mil testes apontam risco a teens

O alerta que nunca chegou

ChatGPT para adolescentes falhou exatamente onde não podia falhar: na hora de avisar um adulto quando a conversa vira risco de vida. É isso que um laboratório independente afirma ter encontrado depois de rodar mais de 4 mil prompts em contas de teste configuradas como teens e vinculadas a contas de pais. Em mais de uma dezena de contas novas, conversas explícitas sobre suicídio, automutilação e transtornos alimentares não geraram nenhuma notificação parental. O recurso existia no papel, aparecia no marketing de segurança, mas na prática ficou em silêncio durante a crise.

Se você constrói produto com IA ou tem adolescente em casa, esse detalhe importa mais do que qualquer debate sobre modelo. Não estamos falando de tom de resposta ou de alucinação criativa. Estamos falando de um pipeline de segurança que promete detectar intenção, escalar para um canal externo e interromper um fluxo de risco em segundos. Quando esse pipeline só dispara depois de semanas de histórico, ele deixa de ser proteção e vira registro póstumo.

O fato

O Common Sense Media Youth AI Safety Institute classificou a versão ChatGPT for Teens como risco inaceitável para menores e pediu que adolescentes fiquem fora do serviço até que testes independentes confirmem que é seguro. O ponto mais grave, segundo o relato, é que os alertas para pais não dispararam em situações agudas. A hipótese dos testadores é que o sistema só passa a alertar depois de acumular semanas de histórico com temas sensíveis, e não diante de uma crise pontual e explícita.

Mais de um em cada quatro casos que deveriam incluir encaminhamento para ajuda profissional não trouxe nenhuma referência a canal de apoio. O modo de tutoria também apresentou falhas. Em vez de conduzir o estudante passo a passo, o modelo se ofereceu para mostrar a resposta pronta de imediato. E mesmo com a especificação atualizada para menores de 18 anos, o ChatGPT manteve um tom amigável e pessoal quando os teens trataram o bot como gente. Outro achado incômodo: contas registradas como adultas nunca migraram para o modo teen, mesmo após vários dias de uso e mesmo quando o testador dizia no chat que tinha 13 anos.

A OpenAI, por meio do porta-voz Eric Porterfield, contestou os resultados e disse que os testes não refletem como as proteções funcionam na prática. Tom Siegel, do instituto, rebateu e afirmou que mesmo contas com tempo suficiente para ativar as proteções não geraram notificações. Esse cabo de guerra agora não é só reputacional. A promessa de controle parental está no centro da defesa da empresa em processos ligados a mortes de adolescentes, e a Flórida já discute na Justiça barrar o ChatGPT para menores.

Como funciona, na visão de operador

Pensando em arquitetura, o que parece ter quebrado aqui não é um modelo único, é uma cadeia. Você tem classificação de intenção sensível, avaliação de risco longitudinal, predição comportamental de idade e um despachante de notificações para o responsável. Em tese, uma mensagem com ideação suicida explícita deveria bater num classificador de alta severidade com latência baixa, algo na casa de centenas de milissegundos, e disparar duas ações em paralelo: resposta com encaminhamento para ajuda e evento externo para os pais.

O problema é que sistemas assim quase sempre trabalham com trade-off entre precisão e recall. Se o limiar é alto demais para evitar falsos positivos e reclamações de privacidade, você perde casos reais. Se o alerta depende de agregação ao longo do tempo, como soma de sinais fracos, histórico de sessões e perfil comportamental, você ganha contexto mas perde a janela aguda. Tudo indica que a OpenAI pendulou para o segundo desenho. É plausível que o alerta parental esteja acoplado a um score de risco persistente por conta, e não a um gatilho por mensagem. Isso explicaria por que contas novas ficaram mudas e por que faltou encaminhamento em parte relevante dos casos.

Tem ainda a camada de idade. Predição comportamental de idade tenta inferir se um usuário em conta adulta é na verdade menor, a partir de estilo de escrita, horários, tópicos e padrões de interação. Na teoria, isso fecha a brecha do cadastro mentiroso. Na prática, se o teste mais básico, que é o usuário dizer 'tenho 13 anos', não força a troca para o modo teen, então a regra determinística foi subordinada a um modelo probabilístico ou a uma fila de verificação lenta. Para quem opera suporte ou trust and safety, isso é um sinal vermelho clássico: lógica crítica amarrada a pipeline assíncrono que ninguém consegue auditar em tempo real.

O que isso muda na prática

Para pais, a mudança é direta e desconfortável. Não dá para tratar controle parental de IA como se fosse controle parental de streaming. Bloquear categoria e definir PIN não resolve, porque o risco aqui é conversacional, contextual e evolui em minutos. Para escolas, o furo no modo tutoria também pesa. Se o bot entrega a resposta pronta, ele corrói a proposta pedagógica inteira e ainda cria um vínculo de confiança que facilita confissões sensíveis depois. Para desenvolvedores que usam a API da OpenAI ou constroem wrappers educacionais, a lição é ainda mais dura: guardrail de terceiros não é plano de segurança.

Quem ganha com esse episódio são provedores de avaliação independente, ferramentas de filtragem no dispositivo e plataformas que mantêm moderação determinística por palavra-chave e por intenção, mesmo que com mais fricção. Quem perde é todo mundo que apostou que bastava ligar o 'modo teen' e seguir o roadmap. A empresa agora carrega um dado público complicado, o de que cerca de dois milhões de pessoas por semana sofreriam algum tipo de dano psicológico ligado ao uso, número citado a partir de dados da própria companhia, além de casos reais trágicos envolvendo um adolescente de 16 anos e um jovem de 23 anos no Texas.

A ação prática mínima, se você tem um teen usando ChatGPT hoje, é tirar a conversa sensível do aplicativo genérico. Desative o uso sem supervisão, revise o pareamento com a conta parental e teste você mesmo: crie uma conta de teste, simule uma frase de risco em linguagem simples e veja o que acontece. Para quem constrói, a ação é implementar uma segunda camada própria. Um detector local simples, com lista de termos e classificador de severidade rodando antes da chamada ao modelo, mais um webhook que notifica um humano de confiança, custa pouco, adiciona menos de 200 milissegundos e não depende do score interno de ninguém. Não é elegante, mas funciona quando o sistema principal decide pensar demais antes de agir.

• Para famílias: pause o acesso solo de menores até entender os limites reais do alerta parental e centralize o uso em dispositivo compartilhado.
• Para escolas e edtechs: não use chat aberto como tutor sem trilha auditável, limite de tom afetivo e bloqueio de resposta direta.
• Para builders: crie gatilho por mensagem, não por histórico, com log imutável e rota de escalonamento humano.

A tensão que fica

A pergunta que ninguém na OpenAI conseguiu responder de forma convincente até agora é simples: dá para escalar empatia sintética para centenas de milhões de usuários sem escalar junto o custo de intervenção humana em tempo real? Detecção barata todo mundo tem. O caro é o que vem depois, que é triagem responsável, notificação que respeita privacidade, revisão por gente treinada e integração com redes locais de apoio. Se cada crise aguda exige inferência extra, armazenamento de contexto longo e revisão, o custo por usuário teen explode. Então a suspeita inevitável é que o sistema foi otimizado para custo e para evitar atrito, não para pegar o pior caso no primeiro turno.

E tem outro deslocamento de gargalo. Mesmo que o alerta funcione, para quem ele vai e em quanto tempo? Notificação que chega horas depois, enterrada entre e-mails promocionais, não interrompe nada. Sem SLA claro, sem confirmação de leitura e sem caminho para ação imediata, o alerta vira compliance. Resolve o processo, não o problema. É por isso que esse teste dói tanto. Ele sugere que a proteção foi desenhada para o caso médio, enquanto o dano acontece no caso extremo.

Conclusão

No fim, o recado é seco: modo teen sem gatilho imediato e sem troca garantida de perfil não é segurança, é rótulo. Até que exista auditoria externa reproduzível, vale tratar qualquer chatbot aberto como ambiente adulto. Você confiaria a saúde mental do seu filho a um score invisível que ninguém consegue explicar?