IBM crea un sistema para vigilar lo que hacen los agentes de IA

Se llama Praxis Policy Engine y actúa como un control que decide qué pueden hacer los agentes de IA y a qué datos pueden acceder. IBM lo ha aportado al proyecto de código abierto Praxis, que ya forma parte de la fundación CNCF.

IBM crea un sistema para vigilar lo que hacen los agentes de IA

IBM ha aportado el Praxis Policy Engine (PPE), un motor de reglas, al proyecto de código abierto Praxis, un servidor intermedio que gestiona el tráfico de aplicaciones y de inteligencia artificial. El trabajo se ha hecho junto a Red Hat, y el proyecto ha entrado en el programa de prueba de la Cloud Native Computing Foundation (CNCF).

Los agentes de IA son programas que actúan por su cuenta: usan herramientas, llaman a otros modelos o consultan información. Con PPE, una empresa puede marcar qué puede hacer cada uno de ellos. Según IBM, el sistema combina reglas estrictas sobre el acceso, comportamientos más flexibles y controles para ámbitos concretos, todo en una misma especificación.

Esa especificación puede aplicarse en tres lugares: en una puerta de enlace por la que pasa el tráfico, junto al propio agente o dentro del software que lo gestiona. Cada punto protege las operaciones que pasan por él.

Un guardián que no depende del modelo

El punto clave, según IBM, es que la vigilancia no depende del propio modelo de IA. PPE toma sus decisiones a partir de un estado verificado que el modelo no puede manipular. Además, puede generar un registro de auditoría en el formato OCSF, un esquema abierto de la Linux Foundation para datos de seguridad, con firmas y un encadenamiento que permite detectar si alguien ha alterado el registro después.

IBM también señala que las puertas de enlace para IA se están convirtiendo en una capa nueva de la arquitectura. Estas puertas gestionan el acceso de los usuarios, las llamadas a herramientas y el consumo de tokens por persona o equipo. Praxis serviría de base para ellas, con PPE aplicando las políticas de seguridad.

Próximos pasos de la investigación

IBM trabaja con CoSAI en un estándar llamado ODIS, orientado a la identidad de los agentes y a la delegación controlada de permisos. La compañía investiga también cómo combinar el aislamiento del equipo donde corre el agente, es decir, qué archivos y comandos puede tocar, con el control del tráfico de red.

El siguiente paso es comprobar si agentes y herramientas pueden saltarse estos controles, y qué combinación resiste sin volverse inutilizable. Para entornos de alta seguridad, IBM quiere además determinar qué pruebas deben aportar estos sistemas.

Por ahora se trata de planes y prototipos de investigación. Si las defensas aguantan los intentos de burlarlas, las empresas tendrían una forma común de controlar lo que hacen sus agentes de IA.

Newsletter · gratis

La semana de la IA, en cinco minutos.

Únete a los lectores que empiezan la semana sabiendo qué pasa en la IA. Cada domingo, en tu correo.