Transcritor de IA para médicos alucina e gera erros: risco real

O problema real de confiar em IA na saúde

Um transcritor de IA usado por médicos em Ontário apresentou alucinações e gerou erros em prontuários, de acordo com uma auditoria recente. O relatório, que pegou muitos desprevenidos, mostra que o sistema não só transcreveu errado, como também inventou informações que nunca foram ditas. Para quem trabalha com IA aplicada, isso não é surpresa – mas o contexto de saúde torna o problema crítico.

O que aconteceu de fato

A auditoria analisou o desempenho de um software de transcrição baseado em inteligência artificial, usado por médicos para registrar consultas. Os resultados apontaram que o sistema produziu alucinações em até 9% das transcrições, incluindo diagnósticos e recomendações que nunca foram mencionados. Erros de transcrição comuns também foram detectados, como troca de medicamentos e omissão de sintomas. O governo de Ontário já suspendeu o uso do sistema em algumas unidades e iniciou investigações.

Como funciona (e onde falha) na visão de operador

Esses sistemas geralmente usam modelos de linguagem grandes, como GPT, ajustados para áudio médico. A arquitetura típica envolve um módulo de reconhecimento de fala (ASR) que gera texto, seguido por um modelo de sumarização ou formatação para prontuário. O gargalo está na latência: o ASR precisa ser rápido, mas modelos maiores são mais lentos. Para compensar, muitos fornecedores usam modelos menores ou com compressão, o que aumenta a probabilidade de alucinações. O custo de inferência também é fator: rodar um modelo de última geração por consulta sairia caro demais. A auditoria sugere que o sistema não tinha validação em tempo real – um loop de verificação com regras clínicas ou revisão humana obrigatória teria pego os erros.

O que isso muda na prática

Quem ganha? Fornecedores de ferramentas de auditoria e compliance. Hospitais que já implementam revisão manual dupla saem na frente. Quem perde? Startups que vendem IA médica sem transparência sobre taxas de erro. Profissionais de saúde que confiarem cegamente no sistema podem ser responsabilizados por prontuários errados. A ação prática imediata: todo sistema de IA em saúde precisa ter um estágio de pós-validação com regras clínicas e, idealmente, revisão humana antes do registro final. Se você desenvolve ou implementa esses sistemas, inclua logs de confiança e alertas para transcrições de baixa probabilidade.

Tensão: custo compensa? Isso resolve ou só muda o problema?

A promessa é reduzir a carga burocrática dos médicos, mas a realidade é que a economia de tempo pode vir acompanhada de riscos legais e clínicos. O custo de implantar um sistema de validação robusto pode igualar ou superar o ganho de produtividade. Além disso, a dependência de modelos black box dificulta a responsabilização. A pergunta que fica: estamos resolvendo o gargalo ou apenas trocando um problema por outro? Escalar esse tipo de tecnologia sem padrões de auditoria claros é uma aposta alta demais para o setor de saúde.

Conclusão

A auditoria em Ontário é um alerta prático: IA em saúde exige mais do que acurácia em benchmarks. Sem camadas de verificação e transparência de erros, o risco supera o benefício. Vale a pena perguntar: seu sistema aguentaria uma auditoria dessas?