Melhor agente de IA de código entregou completas só 26% das tarefas
Estudo com pedidos reais de programação mostra que o melhor agente de IA cumpre 70% dos requisitos, mas termina por inteiro só 26,4% das tarefas. O que revisar.

O agente de IA mais bem colocado num novo teste com pedidos reais de programação cumpriu, em média, 69,9% dos requisitos de cada tarefa, mas entregou a tarefa completa em só 26,4% dos casos. O dado está no Co-Design Bench, estudo publicado no fim de outubro por pesquisadores do Alibaba Group com a Universidade Fudan, a Universidade de Zhejiang, a Universidade Chinesa de Hong Kong, a Universidade Jiao Tong de Xangai e a Universidade Tecnológica de Nanyang. O trabalho ganhou repercussão neste fim de semana, em reportagem do The Decoder.
Como foi o teste
Os pesquisadores partiram de 26.314 sessões reais de programação e selecionaram 273 tarefas: ajustes em aplicações que já funcionavam, alguns com vídeo, áudio ou documento anexado ao pedido. Cada entrega foi conferida contra 2.331 critérios de aceite escritos por especialistas, que os modelos não viam durante o trabalho.
Dez modelos foram testados. Nenhum chegou perto de entregar a maioria das tarefas por inteiro. E, quando o pedido misturava três ou quatro tipos de mudança ao mesmo tempo, todos os dez pioraram.
O que isso muda para a sua empresa
1. O risco é a entrega “quase pronta”. Código que não roda é descoberto na hora. O perigo está no código que funciona e esqueceu um detalhe: uma regra de negócio, uma validação, um campo. Esse passa numa olhada rápida e aparece depois, em produção ou com o cliente.
2. Defina “pronto” antes de pedir. O estudo só conseguiu medir a falha porque tinha uma lista de critérios escrita antes. Na sua empresa vale o mesmo: toda tarefa entregue a um agente de IA precisa de critérios de aceite por escrito, e alguém com nome e sobrenome confere item por item antes de liberar.
3. Quebre pedidos grandes. Se o desempenho cai quando o pedido mistura muitas mudanças, a regra prática é pedir em partes menores, cada uma revisada antes da seguinte.
Em 29 anos de programação, aprendi que o atraso de um projeto raramente está no que ficou óbvio. Está no detalhe que ninguém conferiu. Com IA, isso continua valendo, só que mais rápido.
Publicado originalmente no IWA7 Insights, o blog da IWA7 Digital, que agora faz parte do Escovando Bytes.


