Microsoft admitiu roubo em scraping de IA para treino

O problema não é teórico, é falta de clique

Scraping de IA deixou de ser um debate acadêmico sobre direitos autorais e virou um problema de sobrevivência para quem produz conteúdo. Documentos revelados no processo do New York Times contra OpenAI e Microsoft mostram que, a portas fechadas, um executivo de alto nível tratou a prática como roubo de trabalho em escala histórica. Em público, as mesmas empresas falavam em uso justo, inovação aberta e transformação da informação.

O choque entre o discurso interno e o externo é o que torna esse vazamento relevante para quem opera. Não é só sobre ética. É sobre arquitetura de dados, custo de aquisição, dependência de fornecedores e um modelo de negócio que pode estar corroendo a própria base que o alimenta. Quando o Copilot derruba em até 93% a taxa de cliques para o domínio do Times em comparação com a busca tradicional do Bing, não estamos falando de concorrência. Estamos falando de substituição direta da fonte.

O fato revelado nos documentos

O processo, aberto há três anos pelo New York Times, acusa OpenAI e Microsoft de violar direitos autorais ao treinar modelos generativos com conteúdo protegido. O que mudou agora foi a abertura de trechos antes censurados do processo, com citações de e-mails, apresentações e depoimentos internos.

Entre os pontos mais sensíveis, um documento interno da Microsoft, escrito em janeiro de 2024 pelo diretor de ciência aplicada Brent Hecht, descreve um 'doom loop', um ciclo de destruição em que respostas geradas pela IA reduzem o tráfego dos publishers, o que reduz a receita deles, o que reduz a produção de conteúdo novo, o que por fim degrada a qualidade dos próprios modelos. O texto reconhece que é altamente incomum um produto final ameaçar a base econômica de seus fornecedores essenciais, mas admite que foi exatamente isso que o negócio de LLMs criou com sua cadeia de suprimento de conteúdo.

Outros trechos citam o CEO Satya Nadella afirmando em depoimento que qualquer conteúdo com paywall deveria ser licenciado para treino ou para grounding, e que se soubesse que a OpenAI havia raspado material pago ele teria exigido o retreinamento dos modelos. Já o chefe do ChatGPT, Nick Turley, teria escrito que publishers enfrentam uma ameaça existencial de produtos amplamente substitutivos, que só ficarão mais substitutivos com o tempo. O presidente da OpenAI, Greg Brockman, teria descrito os modelos como excelentes em notícias. É importante dizer que essas frases vêm do resumo feito pelo Times, sem o contexto completo dos anexos, que seguem lacrados.

Como o scraping em escala industrial funciona na prática

Para quem constrói, o ponto central não é um crawler isolado. É um pipeline. Primeiro vem a descoberta em massa de URLs, depois a extração com renderização para driblar paywalls e scripts anti-bloqueio, depois a limpeza, a deduplicação e a remoção de metadados, e por fim a tokenização para pré-treino e mid-training. Os documentos falam em mais de 91 mil cópias de obras do Times apenas nos datasets de mid-training, além de alegações de bypass de paywall sem detecção e remoção deliberada de avisos de copyright.

Em termos de operador, isso tem três implicações diretas. A primeira é custo. Raspar é barato, licenciar é caro, mas retreinar é caríssimo. Retreinar um modelo de fronteira depois de remover dados contaminados pode custar dezenas de milhões de dólares em computação, sem contar o atraso no roadmap e o risco de regressão em benchmarks. É por isso que a fala de Nadella sobre exigir retreinamento importa tanto. Ela transforma um problema jurídico em risco operacional e financeiro.

A segunda é latência e arquitetura de produto. O Copilot como answer engine muda o fluxo. Em vez de indexar, ranquear e enviar o usuário para a fonte, ele resolve a consulta ali mesmo, com grounding parcial e citação mínima. Isso reduz cliques, como mostram os dados internos da Microsoft, e aumenta a dependência de conteúdo fresco que já não se paga. A terceira é rastreabilidade. Se avisos de copyright foram removidos no pré-processamento, fica quase impossível auditar proveniência, aplicar filtros de opt-out ou calcular remuneração por uso. Sem proveniência, qualquer acordo de licenciamento vira chute.

O que isso muda para quem publica e quem constrói

Para publishers, a mensagem é dura. O tráfego de busca, que já vinha caindo, pode colapsar quando a resposta sintética substitui o link. Menos clique significa menos assinatura, menos inventário de anúncios e menos sinal de engajamento para calibrar a redação. Para desenvolvedores e empresas que usam APIs da OpenAI, Anthropic, Google ou Microsoft, a mudança é menos visível, mas igualmente prática. O risco jurídico do output aumenta, a qualidade do grounding pode cair se as fontes secarem, e o custo de conformidade tende a subir.

Quem ganha no curto prazo são as plataformas que controlam a camada de resposta, porque capturam atenção e dados de interação. Quem perde são os produtores originais e, por tabela, todo mundo que precisa de informação atualizada e verificável. Se a fonte quebra, o modelo alucina mais ou congela no passado.

• Ação prática imediata: se você opera RAG ou agentes, implemente agora registro de proveniência por documento, com URL, data de coleta, licença e hash do conteúdo. Isso permite trocar fontes, remover material contestado e negociar licenças sem refazer todo o pipeline.
• Ação para publishers: bloqueie crawlers de treino via robots.txt e termos de uso, mas não pare aí. Monitore logs para detectar bypass de paywall, ofereça API licenciada com preço por chamada e exija citação com link direto como parte do contrato.
• Ação para builders: desenhe fallback para queda de qualidade da fonte, com avaliação contínua de frescor e cobertura, e provisione orçamento para dados licenciados como custo recorrente, não como despesa única.

Isso escala ou só move o gargalo?

Aqui está a tensão real que os documentos expõem e que ninguém conseguiu responder ainda. O argumento do uso justo depende, entre outros fatores, de que o novo uso não substitua o mercado da obra original. Mas os próprios dados e mensagens internas apontam para substituição. Chatbots que entregam a notícia ali mesmo, sem visita ao site, competem em vez de transformar. Se juízes vinham aceitando a tese do uso justo para treino, esse tipo de prova interna complica a defesa.

Do outro lado, licenciar tudo também não escala do jeito atual. Não existe balcão único para licenciar a web, os preços variam por editor, por região e por tipo de uso, e a latência de negociação é incompatível com ciclos semanais de treino. Se cada modelo precisar de milhares de contratos bilaterais, só os grandes labs sobrevivem. Isso concentra ainda mais o mercado e aumenta o poder de quem já tem acordos, como Microsoft e OpenAI.

E tem o paradoxo técnico. Mesmo que o licenciamento resolva o jurídico, ele não resolve o 'doom loop'. Pagar pelo passado não garante o futuro. Se a IA continuar drenando o tráfego que financia a apuração, haverá menos apuração para licenciar amanhã. A saída talvez passe por compartilhamento de receita atrelado a uso real em respostas, não apenas pagamento único por treino. Mas ninguém provou que esse modelo fecha a conta para os dois lados, e medir uso real em sistemas com cache, destilação e reescrita é um pesadelo de atribuição.

Conclusão

No fim, os documentos não provam sozinhos que houve violação, mas provam que dentro das empresas já havia consciência do estrago. O scraping alimentou modelos poderosos e baratos na entrada, com custo empurrado para quem produz.

A pergunta que fica para quem opera é simples e incômoda. Se o seu produto precisa da fonte viva para continuar bom, quanto você está disposto a pagar para mantê-la viva antes que ela seque?