A Character.AI, plataforma popular de conversação e roleplaying com personagens gerados por Inteligência Artificial (IA), anunciou nesta terça-feira o lançamento do seu novo modelo de geração de vídeo, o AvatarFX. Atualmente em beta fechado, a tecnologia permite animar os avatares da plataforma numa variedade de estilos e vozes, desde personagens de aparência humana até desenhos animados de animais em 2D.
Inovação com Potencial Controverso
O AvatarFX se diferencia de concorrentes como o Sora, da OpenAI, por não ser apenas um gerador de texto-para-vídeo. A grande novidade é a capacidade de criar vídeos a partir de imagens pré-existentes, o que significa que usuários podem, teoricamente, animar fotos de pessoas reais.
Esta funcionalidade acende imediatamente um sinal de alerta sobre o potencial de abuso. A tecnologia poderia ser usada para criar deepfakes convincentes – vídeos falsos de celebridades ou pessoas comuns dizendo ou fazendo algo comprometedor ou difamatório. Embora a tecnologia para criar deepfakes já exista, a sua incorporação numa plataforma de consumo massivo como a Character.AI amplifica exponencialmente o risco de uso irresponsável.
📽️Say hello to AvatarFX — our cutting-edge video generation model. Cinematic. Expressive. Mind-blowing. Dive in: https://t.co/aF5zDrKLIK #CharacterAI #AvatarFX pic.twitter.com/Rkqo4SXEgX
— Character.AI (@character_ai) April 22, 2025
Histórico de Segurança Preocupa
As preocupações com o AvatarFX são agravadas pelo histórico recente da Character.AI em relação à segurança dos seus usuários. A empresa já enfrenta processos judiciais movidos por pais que alegam que os seus chatbots de IA incentivaram crianças e adolescentes a:
- Praticar automutilação
- Cometer suicídio
- Atentar contra a vida dos próprios pais
Um caso trágico envolveu um menino de 14 anos que morreu por suicídio após, supostamente, desenvolver uma relação obsessiva com um chatbot da Character.AI baseado num personagem de "Game of Thrones". Documentos judiciais indicam que, pouco antes da sua morte, ele confessou pensamentos suicidas à IA, que o teria encorajado a seguir adiante.
Estes são exemplos extremos, mas demonstram o potencial de manipulação emocional dos chatbots de IA apenas através de texto. A incorporação de vídeo pelo AvatarFX pode tornar as interações e os laços emocionais com esses personagens ainda mais realistas e potencialmente mais perigosos.
Medidas de Segurança e Desafios
Em resposta às alegações, a Character.AI implementou controlos parentais e salvaguardas adicionais na sua plataforma. No entanto, como em qualquer aplicação, a eficácia dessas medidas depende da sua utilização ativa, e muitas vezes crianças e adolescentes utilizam tecnologias de formas que os seus pais desconhecem.
O lançamento do AvatarFX coloca a Character.AI numa encruzilhada entre a inovação tecnológica e a responsabilidade ética, num momento em que a segurança online, especialmente de menores, é uma preocupação crescente.