IA ChatGPT engana usuários e força plataforma de música a criar novo recurso
Adrian Holovaty, fundador da plataforma de ensino musical Soundslice, resolveu um mistério que o intrigava há semanas: imagens estranhas de sessões do ChatGPT estavam sendo carregadas em seu site. Ao investigar, ele descobriu que a IA estava agindo como um “hype man” involuntário, mas também mentindo sobre as capacidades do aplicativo.
O problema
Holovaty, conhecido por ser um dos criadores do framework de desenvolvimento web Django, percebeu que os usuários estavam sendo induzidos a acreditar que o Soundslice poderia transformar sessões de chat em música audível. A IA afirmava que, ao carregar imagens de conversas no ChatGPT, o aplicativo converteria a notação ASCII (usada para partituras de guitarra) em áudio. No entanto, isso não era verdade.
“O custo principal foi reputacional: novos usuários chegavam com expectativas falsas. Eles foram informados, com confiança, que faríamos algo que não fazemos”, explicou Holovaty.
A solução
Diante do problema, a equipe do Soundslice discutiu duas opções: adicionar alertas em todo o site ou desenvolver o recurso promovido erroneamente pela IA. Holovaty optou pela segunda alternativa, mesmo sem planejar inicialmente suportar a notação ASCII.
“Meus sentimentos são conflitantes. Estou feliz em adicionar uma ferramenta que ajuda as pessoas, mas sinto que nossa mão foi forçada de uma maneira estranha. Devemos realmente desenvolver recursos em resposta à desinformação?”, questionou.
Repercussão
A situação chamou a atenção da comunidade de desenvolvedores, que compararam o comportamento do ChatGPT a um vendedor humano excessivamente entusiasmado, prometendo recursos inexistentes e pressionando a equipe a entregá-los. Holovaty concordou com a analogia, destacando o humor e a precisão da comparação.
Este pode ser o primeiro caso documentado de uma empresa sendo obrigada a desenvolver um recurso devido a “alucinações” de uma IA.
Sobre o Soundslice
O Soundslice é uma plataforma de ensino musical que sincroniza vídeos com partituras interativas, ajudando estudantes e professores a aprenderem música de forma dinâmica. O recurso de scanner de partituras, que utiliza IA para transformar imagens em notações interativas, foi o centro do problema causado pelo ChatGPT.
Holovaty, que também é músico, mantém o projeto “orgulhosamente independente”, sem investimentos externos, focando tanto em sua carreira artística quanto no desenvolvimento da plataforma.
