Los agentes de IA que programan solo terminan bien uno de cada cuatro encargos

Un nuevo test con peticiones reales de usuarios, creado por investigadores de Alibaba y varias universidades asiáticas, muestra que el mejor modelo cumple del todo solo el 26,4 % de las tareas. Las pruebas anteriores daban casi notas perfectas, así que el resultado cambia la…

Los agentes de IA que programan solo terminan bien uno de cada cuatro encargos

Los agentes de programación con IA, programas que escriben y modifican código por sí solos, siguen necesitando que una persona repase su trabajo casi siempre. Un equipo de investigadores de Alibaba y de varias universidades asiáticas ha creado una prueba nueva que lo demuestra. El mejor modelo evaluado cumple casi todos los requisitos, pero apenas acaba completamente bien una de cada cuatro tareas.

Un test pensado para los fallos reales

Los autores llaman Co-Design Bench a su prueba. Consiste en pedir a los agentes que reformen aplicaciones web existentes según peticiones de usuarios, a veces con imágenes, audios, vídeos o documentos como punto de partida. Las tareas van desde pequeños cambios, como extraer un importe de un ticket y actualizar todos los totales que dependen de él, hasta rediseños completos de proyectos.

Los investigadores explican por qué lo han hecho así: los tests habituales ya están saturados. Cuando los modelos pueden ejecutar, revisar y corregir su propio código, superan el 99 % de aciertos y las diferencias entre ellos casi no se distinguen. Por eso han elegido casos reales en los que los usuarios tuvieron que repetir la petición varias veces o deshacer cambios, es decir, tareas que ya habían dado problemas en la práctica.

Así se corrige

La evaluación es estricta. Un juez basado en IA prueba la aplicación terminada en un navegador, y un segundo juez revisa cada resultado positivo buscando maquetas o resultados copiados a mano. Solo suma puntos la función que de verdad funciona en la aplicación.

GPT-6 Astra lidera, pero no termina

Según el estudio, GPT-6 Astra, el mejor de los diez modelos probados, cumple de media cerca del 70 % de los requisitos de cada tarea. Sin embargo, solo los completa del todo en el 26,4 % de los casos. Lo habitual es que haga la mayor parte del trabajo y deje sin terminar al menos un detalle, así que quien usa estas herramientas casi siempre tiene que corregir a mano.

Detrás de él quedan Claude Opus 5 y Qwen3.8-Max, mientras que Grok 4.6 ocupa el último puesto. En las reformas más grandes, el modelo mucho más pequeño Qwen3.8-27B sube al segundo lugar, aunque los autores no sacan de ahí una ventaja general del modelo.

Cuantos más cambios juntos, peor

El rendimiento baja en todos los modelos cuando una tarea mezcla más tipos de cambios, como maquetación, diseño, interacción o contenido. Los investigadores señalan que estos requisitos entrelazados son lo normal en proyectos reales. Gastar más recursos tampoco resuelve el problema: GLM-5.2 consume casi seis veces más tokens (las piezas de texto que procesa la IA) que GPT-6 Astra en cambios pequeños y aun así obtiene resultados claramente peores.

El entorno pesa tanto como el modelo

En otra prueba, los investigadores usaron los mismos modelos en distintos «arneses», es decir, los programas que permiten al agente leer, escribir y ejecutar código. Qwen3.8-27B logró un 75 % o solo un 56 % en las reformas grandes según el entorno. Incluso qué modelo quedaba por delante cambiaba según el entorno.

Por eso, las clasificaciones que solo muestran el modelo cuentan solo una parte de la historia. Los autores recomiendan publicar siempre modelo y entorno de trabajo juntos. Para una empresa que quiera elegir un agente de programación, eso significa probar ambas piezas como un conjunto.

La prueba tiene límites: cada tarea plantea una sola petición fija, sin preguntas de seguimiento ni correcciones a mitad del trabajo, y los jueces de IA también pueden equivocarse. Un estudio de la organización de investigación METR ya había mostrado la distancia entre las notas de los tests y la utilidad real. Según ese trabajo, la proporción de código generado por IA que los responsables de proyectos aceptan quedaba unos 24 puntos porcentuales por debajo de las puntuaciones del conocido SWE-bench Verified.

Hay otro problema: los fallos en los entornos de prueba pueden permitir que un agente supere una tarea sin resolverla de verdad. Aun así, el efecto del entorno no está del todo claro. Otro estudio reciente apenas encontró beneficio medible en arneses más elaborados, pese a que consumían hasta tres veces más tokens.

Para quien busca un ayudante que programe sin supervisión, el mensaje es claro: por ahora, el agente acelera el trabajo, pero el último repaso sigue siendo cosa de personas.

Newsletter · gratis

La semana de la IA, en cinco minutos.

Únete a los lectores que empiezan la semana sabiendo qué pasa en la IA. Cada domingo, en tu correo.