AWS libera gratis UAEF, que alerta si un cambio hace caer el agente un 5%

Cada nota que baja más de un 5 % se marca como regresión y se clasifica en leve, moderada o grave. Así, los equipos pueden comparar cada versión con una anterior antes de sacarla al público.

AWS libera gratis UAEF, que alerta si un cambio hace caer el agente un 5%

AWS ha publicado UAEF (Universal Agent Evaluation Framework), una herramienta gratuita y de código abierto que sirve para comprobar si un cambio en un agente de IA lo ha hecho mejor o peor. Un agente de IA no solo responde preguntas: actúa, consulta datos, usa herramientas y se reparte el trabajo con otros agentes.

El problema que intenta resolver es conocido. Los agentes se construyen con distintos kits de software, como LangGraph, LangChain, Strands Agents o Amazon Bedrock AgentCore, y cada uno guarda el registro de sus pasos a su manera. Cuando un equipo cambia de herramienta, tiene que rehacer sus pruebas desde cero.

Un único sistema para todos los marcos

UAEF convierte esos registros en un formato común y, a partir de ahí, puntúa al agente. La herramienta no necesita saber con qué se construyó: unos adaptadores traducen cada registro al mismo formato y todas las medidas funcionan igual sobre él. Según AWS, el agente puede ejecutarse en un ordenador propio, detrás de un enlace web o en un entorno gestionado como AgentCore.

La evaluación cubre 36 medidas repartidas en siete áreas. La de uso de herramientas comprueba si el agente elige las correctas, en un orden sensato y con datos válidos. La de calidad de respuesta mira si contesta a lo que se le pregunta, si es precisa y si se inventa cosas. La de IA responsable revisa seguridad, sesgos, toxicidad y resistencia a las instrucciones escondidas que alguien pueda colar en un texto. Otras áreas miden el coste en tiempo, tokens y capacidad, la forma de sostener conversaciones de varios turnos, la coordinación entre agentes y la lógica de su razonamiento.

Cómo puntúa cada medida

Cada medida devuelve una nota entre 0 y 1, donde 1 es lo mejor, así que todas las áreas y el resultado final se leen en la misma escala. Hay dos tipos. Las medidas deterministas calculan la nota directamente a partir del registro y de la respuesta esperada, y dan el mismo resultado si se repiten. Las otras usan un modelo de lenguaje como juez, alojado en Amazon Bedrock, para valorar cualidades difíciles de reducir a una fórmula, como la relevancia de una respuesta o su seguridad. Los equipos también pueden añadir medidas propias.

AWS advierte de un riesgo: si el agente puede influir en su juez, puede influir en su propia nota. Por eso, explica la compañía, el contenido que produce el agente se trata como dato no fiable, se separa de las instrucciones del juez y cada valoración debe citar un fragmento literal de ese contenido. Si la cita no aparece, la nota se descarta. Aun así, las notas del juez son una señal para mejorar el agente, no una decisión de seguridad. Para proteger el agente en funcionamiento, AWS remite a Amazon Bedrock Guardrails.

Datos guardados y comparación

Cada evaluación puede guardarse como un experimento, con nombre y objetivo. Amazon DynamoDB guarda un resumen por experimento: número de evaluaciones, nota media de cada medida y media global, para poder listarlos y compararlos. Amazon S3 guarda el resultado completo en un archivo JSON, con la razón que dio el juez en cada caso. Las empresas que manejan datos sensibles pueden activar la eliminación de datos personales en la copia guardada, y la herramienta busca datos como correos, teléfonos o números de tarjeta antes de almacenar nada.

Con esos registros, un equipo puede marcar una versión como referencia y comparar las siguientes con ella. Cualquier nota que baje más de un 5 % se señala como regresión y se clasifica como leve, moderada o grave. Así se detecta un empeoramiento antes de que llegue a los usuarios.

El resultado cierra el ciclo. Los informes explican qué ha empeorado o mejorado y por qué. El equipo cambia el prompt, el modelo o las herramientas, y vuelve a evaluar. Es la forma en la que AWS quiere que se trabaje con agentes: pequeños cambios medidos uno a uno.

Lo que queda por demostrar

Las 12 organizaciones que han usado UAEF pertenecen a sectores muy regulados, donde una mala respuesta de un agente tiene consecuencias reales. Aun así, la herramienta es solo una parte del trabajo. La gratuidad tiene matices: puntuar con jueces de IA y guardar los resultados depende de servicios de AWS. AWS también advierte de que UAEF no debe usarse para tomar decisiones de seguridad.

El contexto explica por qué la compañía insiste en la evaluación. Casi el 90 % de los prototipos que Amazon construyó hace dos años nunca llegaron a producción, según ha reconocido AWS. Startups como Raindrop han levantado dinero para detectar fallos de los agentes una vez en uso. Hace poco, además, investigadores mostraron que un único prompt podía tomar el control de agentes de AgentCore, algo que AWS ha rebatido.

Si UAEF cumple lo que promete, el reto dejará de ser solo construir un agente que funcione y pasará a ser comprobar con método cada versión antes de sacarla al mercado.

Newsletter · gratis

La semana de la IA, en cinco minutos.

Únete a los lectores que empiezan la semana sabiendo qué pasa en la IA. Cada domingo, en tu correo.