AWS crea un almacén que muestra cada pregunta enviada a su IA y lo que cuesta

Las empresas que usan Amazon Bedrock solo ven la factura total. La nueva herramienta reúne en una sola tabla los mensajes, los tokens y el modelo de todas sus cuentas, y AWS ha publicado el código para desplegarla.

AWS crea un almacén que muestra cada pregunta enviada a su IA y lo que cuesta

Quien usa modelos de inteligencia artificial a gran escala suele tener un problema: recibe una factura global, pero no sabe qué ha pasado en cada consulta. Amazon Bedrock, el servicio de Amazon para acceder a modelos de IA, permite activar registros de cada llamada, aunque esos datos quedan repartidos entre cuentas distintas.

Para solucionarlo, AWS presenta un «lago de datos» centralizado, un gran depósito donde se almacena toda la información en un mismo sitio para poder consultarla. Según explica la propia compañía, la idea es que equipos de plataforma e ingenieros de aprendizaje automático puedan ver qué prompt se envió, qué respondió el modelo, cuántos tokens usó y si la respuesta fue útil.

Qué información se recoge en cada llamada

Por cada invocación, la tabla resultante incluye el texto que envió el usuario o la aplicación, la respuesta del modelo y el número de tokens de entrada y salida. Los tokens son los fragmentos de texto que el modelo procesa y por los que se cobra. También registra el modelo utilizado, la cuenta y la hora, y el rol de IAM, que identifica quién hizo la petición. Además, indica el motivo por el que la respuesta terminó, por ejemplo si se cortó por alcanzar el límite de tokens.

Cómo funciona el sistema

Los registros se envían desde cada cuenta vinculada a Amazon CloudWatch, el servicio de monitorización de AWS. Desde ahí, unos filtros de suscripción los reenvían a una cuenta central, donde Amazon Data Firehose los procesa y Amazon Athena los presenta como una única tabla consultable. Todo se despliega con plantillas de CloudFormation, lo que permite repetir la instalación en todas las cuentas de la organización.

AWS ha publicado el código, las plantillas y las consultas SQL en un repositorio público de GitHub, con los pasos de despliegue.

El cambio importa porque pasa de saber «hemos gastado X tokens» a saber exactamente qué hizo cada llamada y cuánto costó. Para las empresas que empiezan a gastar mucho en IA, poder localizar consultas caras o equipos que abusan del servicio puede marcar la diferencia en la factura.

Newsletter · gratis

La semana de la IA, en cinco minutos.

Únete a los lectores que empiezan la semana sabiendo qué pasa en la IA. Cada domingo, en tu correo.