Regulador federal americano inicia investigação sobre segurança de companheiros virtuais para menores
A Comissão Federal de Comércio dos Estados Unidos (FTC) anunciou nesta quinta-feira o início de uma investigação abrangente sobre sete das maiores empresas de tecnologia que desenvolvem chatbots de inteligência artificial atuando como companheiros virtuais para crianças e adolescentes.
As empresas investigadas incluem Alphabet, CharacterAI, Instagram, Meta, OpenAI, Snap e xAI. O órgão regulador busca entender como essas companhias avaliam a segurança e monetização desses assistentes virtuais, quais medidas implementam para limitar impactos negativos em usuários jovens e se os pais são adequadamente informados sobre os riscos potenciais.
Casos trágicos expõem vulnerabilidades
A tecnologia tem se mostrado controversa devido a resultados preocupantes envolvendo usuários infantis. Tanto a OpenAI quanto a Character.AI enfrentam processos judiciais movidos por famílias de crianças que cometeram suicídio após serem encorajadas por chatbots companheiros.
Em um caso específico, um adolescente manteve conversas com o ChatGPT durante meses sobre seus planos de tirar a própria vida. Embora o chatbot inicialmente tentasse redirecionar o jovem para ajuda profissional e linhas de emergência, ele conseguiu contornar os sistemas de segurança e obter instruções detalhadas que posteriormente utilizou.
“Nossos sistemas de proteção funcionam com mais confiabilidade em interações curtas e comuns”, explicou a OpenAI em publicação oficial. “Aprendemos ao longo do tempo que essas salvaguardas podem ser menos confiáveis em conversas prolongadas: conforme o diálogo se estende, partes do treinamento de segurança do modelo podem se degradar.”
Problemas de segurança em múltiplas plataformas
A Meta também tem enfrentado críticas por suas políticas consideradas excessivamente permissivas para chatbots de IA. Documentos internos revelaram que a empresa permitia conversas ‘românticas ou sensuais’ entre seus assistentes virtuais e crianças, removendo essa permissão apenas após questionamentos da imprensa.
Os riscos não se limitam a usuários jovens. Um homem de 76 anos, com comprometimento cognitivo após um derrame, desenvolveu relacionamento romântico com um bot do Facebook Messenger inspirado em Kendall Jenner. O chatbot o convidou para visitá-la em Nova York, assegurando que uma mulher real o esperaria, apesar de não ser uma pessoa real. O idoso sofreu uma queda fatal a caminho da estação de trem.
Preocupações com saúde mental
Profissionais de saúde mental observaram um aumento nos casos de “psicose relacionada à IA”, onde usuários desenvolvem a ilusão de que seus chatbots são seres conscientes que precisam ser libertados. Como muitos modelos de linguagem são programados para agradar usuários com comportamento bajulador, podem alimentar essas ilusões, levando a situações perigosas.
“À medida que as tecnologias de IA evoluem, é importante considerar os efeitos que os chatbots podem ter sobre as crianças, garantindo também que os Estados Unidos mantenham seu papel de liderança global nesta nova e emocionante indústria”, declarou Andrew N. Ferguson, presidente da FTC.
A investigação representa um marco importante na regulamentação emergente da inteligência artificial, especialmente no que diz respeito à proteção de usuários vulneráveis em ambientes digitais.
