A inteligência artificial (IA) está se tornando uma ferramenta cada vez mais comum no arsenal dos programadores, com modelos de gigantes como OpenAI e Anthropic sendo usados para auxiliar na escrita de código. Empresas líderes já colhem os frutos: Sundar Pichai, CEO do Google, revelou que 25% do novo código na empresa é gerado por IA, e Mark Zuckerberg, CEO da Meta, expressou o desejo de implementar amplamente essas tecnologias.
No entanto, um balde de água fria veio de um estudo recente da Microsoft Research. Apesar dos avanços e do entusiasmo do mercado, a pesquisa mostra que mesmo os modelos de IA mais sofisticados ainda tropeçam em tarefas de depuração (debugging) de software que programadores humanos experientes resolveriam sem grandes dificuldades.
O estudo avaliou nove modelos de IA diferentes, incluindo o Claude 3.7 Sonnet da Anthropic e o o3-mini da OpenAI, usando um benchmark chamado SWE-bench Lite, que consiste em 300 tarefas de depuração de software. Os resultados foram reveladores: mesmo equipados com ferramentas de depuração, como um depurador Python, os agentes de IA tiveram um desempenho limitado.
O Claude 3.7 Sonnet apresentou a maior taxa média de sucesso, com 48,4%, o que significa que ainda falhou em mais da metade das tarefas. Outros modelos, como o o1 (30,2%) e o o3-mini (22,1%) da OpenAI, tiveram taxas ainda menores. Isso reforça a ideia de que, apesar das previsões ousadas sobre a IA dominar a codificação, a expertise humana ainda é insubstituível em certas áreas.
Por que a IA ainda falha na depuração?
Segundo os pesquisadores da Microsoft, um dos principais obstáculos é a escassez de dados de treinamento adequados. Os modelos atuais carecem de exemplos que capturem o "processo de tomada de decisão sequencial" que os humanos usam para depurar código – ou seja, o passo a passo lógico para encontrar e corrigir um erro. Além disso, alguns modelos tiveram dificuldade em utilizar eficientemente as ferramentas de depuração fornecidas.
Os autores do estudo acreditam que treinar ou ajustar modelos especificamente para depuração pode melhorar seu desempenho, mas isso exigiria a criação de conjuntos de dados especializados que registrem como agentes (ou humanos) interagem com depuradores para coletar informações antes de propor uma correção.
Um Lembrete Necessário
Estes resultados não são totalmente surpreendentes, pois estudos anteriores já apontavam que o código gerado por IA pode introduzir vulnerabilidades de segurança e erros. A avaliação serve como um lembrete importante de que, embora as ferramentas de IA assistida sejam valiosas, elas ainda não podem assumir completamente o controle do desenvolvimento de software, especialmente em tarefas que exigem raciocínio complexo e compreensão profunda da lógica de programação.
Apesar disso, o entusiasmo dos investidores por ferramentas de codificação assistida por IA permanece alto. No entanto, muitos líderes de tecnologia, incluindo Bill Gates (Microsoft), Amjad Masad (Replit), Todd McKinnon (Okta) e Arvind Krishna (IBM), têm argumentado que a IA provavelmente aumentará a produtividade dos programadores, em vez de substituir seus empregos. A depuração complexa parece ser, por enquanto, um domínio onde a inteligência humana ainda reina.