Google AI Overview erra contagem de letras: o token é o culpado

Seu buscador virou um bot que não sabe soletrar

Se você perguntar ao Google quantos Ps tem na palavra 'poop', a resposta oficial é: um. Mas o AI Overview também vai te dizer que jornalismo se escreve com dois Ds: j-o-u-r-n-a-d-i-s-m. Não é piada.

O Fato: Google dobrou a aposta e tropeçou de novo

O Google está redesenhando a busca para colocar IA generativa no centro. E tropeçou feio de novo. O AI Overview, que há dois anos recomendava cola na pizza, agora não sabe contar letras. A empresa reconheceu o erro em nota, dizendo que 'contar dentro de palavras é um desafio conhecido para LLMs e estão trabalhando nisso.'

Como Funciona (Visão de Operador)

O problema é estrutural. LLMs não leem texto como humanos. Eles tokenizam. Uma palavra como 'strawberry' vira um ou mais tokens numéricos. O modelo não enxerga letras, apenas representações matemáticas. Por isso, perguntar quantos Rs tem em strawberry é um teste conhecido que toda IA reprova.

Matthew Guzdial, pesquisador da Universidade de Alberta, explica: 'O modelo tem um encoding para a palavra 'the', mas não sabe que é formada por T, H, E.' Corrigir isso mexe no núcleo da arquitetura transformer.

O Que Isso Muda na Prática

Na prática, ninguém vai parar de usar LLMs porque eles erram ortografia. Mas isso expõe um limite real. Se você depende do AI Overview para fatos exatos, precisa conferir cada saída. Quem constrói aplicações deve considerar: o que mais o modelo não está realmente entendendo?

Ação prática: nunca confie em contagens de caracteres ou perguntas de múltipla escolha sem validação externa. Se seu sistema depende de respostas literais, coloque uma camada de verificação pós inferência.

Tensão / Reflexão

O curioso é que o Google já tinha passado por isso. O erro não é novidade. E corrigir tokenização não está na lista de prioridades dos pesquisadores, porque o valor do LLM não está em soletrar.

Mas se a IA não consegue contar letras de forma confiável, quantas outras coisas básicas estão quebradas por baixo dos panos? Talvez o problema não seja o token, mas esperar que uma máquina de previsão estatística se comporte como um banco de dados.

Fechamento

Enquanto o Google patcha um erro e outro aparece, fica o lembrete: IA não é oráculo. É um modelo probabilístico que acerta muito, erra de vez em quando, e não tem noção do que é uma letra. Use com confiança, mas nunca sem supervisão.