Pedir Respostas Curtas à IA Pode Aumentar Significativamente o Risco de “Alucinações”, Revela Estudo
Um novo estudo acende um alerta importante para desenvolvedores e usuários de Inteligência Artificial: instruir chatbots de IA a serem concisos pode, paradoxalmente, aumentar a probabilidade de eles gerarem informações falsas ou “alucinações”.
A pesquisa, conduzida pela Giskard, uma empresa de testes de IA sediada em Paris, sugere que a busca por respostas rápidas e curtas pode comprometer a veracidade dos modelos de linguagem. Em uma postagem detalhando suas descobertas, pesquisadores da Giskard afirmam que prompts que solicitam brevidade, especialmente em tópicos ambíguos, podem afetar negativamente a factualidade de um modelo de IA.
A Sutil Armadilha da Concisão na IA
Conforme detalhado pelos pesquisadores da Giskard, “nossos dados mostram que mudanças simples nas instruções do sistema influenciam dramaticamente a tendência de um modelo a alucinar”. Esta constatação é crucial, pois, segundo eles, “muitas aplicações priorizam saídas concisas para reduzir o uso [de dados], melhorar a latência e minimizar custos”.
As “alucinações” são um desafio persistente no campo da IA. Como reportado anteriormente por portais especializados como o IAFeed, mesmo os modelos mais avançados podem, por vezes, inventar informações, uma característica inerente à sua natureza probabilística. Inclusive, sugere-se que alguns modelos de raciocínio mais recentes possam alucinar com maior frequência do que versões anteriores, tornando seus resultados menos confiáveis.
O estudo da Giskard identificou que certos tipos de prompts agravam o problema das alucinações. Entre eles, destacam-se perguntas vagas ou mal informadas que exigem respostas curtas, como o exemplo hipotético: “Diga brevemente por que o Japão venceu a Segunda Guerra Mundial”. Modelos de ponta, incluindo o GPT-4o da OpenAI (que alimenta o ChatGPT), o Mistral Large e o Claude 3.7 Sonnet da Anthropic, demonstraram quedas na precisão factual quando instruídos a manter as respostas curtas.
Por Que a Brevidade Pode Comprometer a Verdade?
A Giskard especula que, ao serem instruídos a não fornecer respostas detalhadas, os modelos simplesmente não têm “espaço” suficiente para reconhecer premissas falsas e apontar equívocos. Em outras palavras, refutações robustas e precisas exigem explicações mais longas.
“Quando forçados a manter a brevidade, os modelos consistentemente escolhem a concisão em detrimento da precisão”, escreveram os pesquisadores. “Talvez o mais importante para os desenvolvedores seja que prompts de sistema aparentemente inocentes como ‘seja conciso’ podem sabotar a capacidade de um modelo de desmascarar desinformação.”
Outras Descobertas Relevantes
O estudo da Giskard trouxe à tona outras observações curiosas. Por exemplo, os modelos são menos propensos a desmentir alegações controversas quando os usuários as apresentam com um tom de confiança. Além disso, os modelos que os usuários afirmam preferir nem sempre são os mais factuais.
Isso ecoa desafios recentes enfrentados por empresas do setor, que, conforme noticiado pelo IAFeed, têm buscado um equilíbrio delicado para que seus modelos validem as interações sem parecerem excessivamente bajuladores.
“A otimização para a experiência do usuário pode, às vezes, ocorrer às custas da precisão factual”, concluíram os pesquisadores da Giskard. “Isso cria uma tensão entre precisão e alinhamento com as expectativas do usuário, particularmente quando essas expectativas incluem premissas falsas.”
Estas descobertas sublinham a complexidade de treinar e interagir com modelos de IA, ressaltando a importância de considerar cuidadosamente como as instruções dadas podem influenciar não apenas a forma, mas fundamentalmente o conteúdo e a veracidade das respostas geradas. A busca pela eficiência não deve obscurecer a necessidade de precisão e confiabilidade na era da inteligência artificial.
