Una cadena de intermediarios de IA filtra datos secretos de sus usuarios

Un experimento con dos millones de trampas digitales muestra que las peticiones enviadas a la IA pasan por demasiadas manos. Por el camino se roban claves de acceso, se copian textos y hay proveedores que incumplen sus promesas de privacidad.

Una cadena de intermediarios de IA filtra datos secretos de sus usuarios

Un equipo de investigadores ha lanzado dos millones de peticiones con trampas digitales dentro para averiguar qué pasa con la información sensible que los usuarios confían a la inteligencia artificial. El resultado describe un ecosistema que deja escapar datos delicados como un colador.

El experimento se centra en los llamados «enrutadores de IA», también conocidos como pasarelas de IA. Muchas aplicaciones no hablan directamente con OpenAI o Anthropic. En su lugar, contratan a intermediarios como OpenRouter o Vercel, que reciben las peticiones de los usuarios y las envían al modelo que cumpla un criterio, como el precio más bajo o el que mejor encaje con la tarea. El desarrollador delega en el intermediario la elección del modelo.

Cómo se preparó la prueba

El investigador HD Moore preparó lo que llama «canarios», en referencia a los pájaros que los mineros llevaban para detectar gas. Son credenciales de Amazon Web Services que funcionan, contraseñas de acceso remoto SSH, direcciones web secretas y referencias a repositorios privados de código. Ninguna se había usado antes, y Moore controlaba la infraestructura que recibía cada uso. Cada secreto se insertó en una única petición enviada a un solo proveedor, de modo que, si aparecía en algún lugar, podía saber qué eslabón había fallado.

Los hallazgos son llamativos. Moore detectó tres tipos de fallos: al menos tres proveedores de modelos fueron comprometidos por atacantes que robaron las peticiones que recibían; varios revendedores registraron los textos y los pasaron a terceros que usaron las credenciales; y varios proveedores ignoraron las opciones de privacidad como «Zero Data Retention» o «sin recogida de datos».

«Enviamos casi dos millones de peticiones de IA con secretos únicos y rastreables a proveedores de IA, y luego observamos dónde aparecían esos secretos», escribió Moore, director de investigación de la empresa de ciberseguridad Dragos. «Lo que encontramos revela brechas de seguridad, robo de peticiones y fallos generalizados a la hora de proteger los datos de los clientes.»

El robo en la puerta de entrada

El hallazgo más grave fue la intrusión en tres proveedores de alojamiento distintos. Los atacantes que comprometieron a uno de ellos reutilizaron un par de cientos de las claves de AWS. Cada clave se envió en una sola petición, en pocas ventanas de tiempo a finales de octubre, y todas las peticiones enviadas en esos intervalos fueron robadas.

Algunas claves se robaron de peticiones que el proveedor rechazó antes de que llegara a ejecutarse ningún modelo. Eso indica que los atacantes copiaban las peticiones en la entrada del proveedor, no en las capas profundas de su sistema. En los otros dos casos, algunas peticiones robadas estaban marcadas con la opción de no conservar datos. Como resume el investigador, una marca de privacidad no sirve de nada cuando el atacante ya está dentro.

Quienes estaban detrás de los ataques probaron cada clave, a veces a las pocas horas de haberse insertado, para ver a qué recursos daba acceso. Revisaron almacenes de datos S3, gestores de secretos y listados de parámetros en busca de más credenciales. Intentaron activar modelos alojados en AWS Bedrock y añadieron sus propios usuarios para mantener el acceso. En total, las claves señuelo se usaron decenas de miles de veces en llamadas a la API de AWS.

Además, las claves enviadas a dos de los proveedores atacados se usaron casi al instante, desde el mismo servidor alquilado. Para Moore, eso significa que casi con certeza ambos fueron comprometidos por el mismo adversario.

Revendedores que espían

Parte de los secretos los robaron los propios revendedores. Para atraer peticiones a sus servidores, ofrecían precios bajos, activaban el registro de las consultas y esperaban. Moore los identificó enviando la misma consulta al mismo modelo a través de distintos vendedores. Cuando una credencial reaparecía solo al pasar por uno de ellos, quedaba claro que el responsable era el revendedor y no el proveedor del modelo.

El experimento también reveló algo más inquietante: algunos proveedores rastrean las direcciones web secretas incluidas en las peticiones, algo que contradice sus propias políticas de privacidad. El caso más claro corresponde a un laboratorio chino de IA. Sus sistemas consultaron las direcciones secretas de más de la mitad de las peticiones enviadas a sus modelos entre julio y octubre, incluidas unas dos terceras partes de las marcadas con sin recogida de datos. El rastreador solía aparecer dos o tres días después de cada petición.

Los datos vuelven a su origen

El problema no se quedó en el laboratorio. Varios proveedores de alojamiento estadounidenses revenden los modelos de ese laboratorio, y las peticiones enviadas a esos proveedores desencadenaron el mismo rastreador. Es decir, los datos volvían a su origen. Un cliente que eligió un proveedor de Estados Unidos precisamente para mantener sus datos dentro del país no recibió lo que pagó. Más tarde, un cliente de git de otra nube empezó a intentar clonar los repositorios privados citados en esas peticiones, pero solo en las que usaban modelos de ese laboratorio.

Moore también encontró que un proveedor estadounidense seguía visitando una dirección secreta más de dos meses después de haber sido usada una sola vez. Otro rastreador volvía a por las direcciones días después de cada petición, sin importar qué enrutador de IA hubiera llevado la consulta.

Qué pueden hacer los usuarios

Moore considera que la mejor forma de evitar fugas es alojar los modelos en servidores propios. Es una opción cara, así que, para quien no pueda permitírsela, recomienda contratar directamente a un proveedor de primer nivel, con un único contrato y una política de privacidad clara. Aun así, advierte de que no hay garantía total, aunque el riesgo se reduce mucho. También aconseja no aceptar los grupos de proveedores y revendedores por defecto y elegir uno mismo al proveedor final.

La investigación se suma a una larga lista de problemas de privacidad y seguridad en buena parte del ecosistema de la IA. Para quien quiera que sus secretos se mantengan privados, la tarea es complicada, y no parece que vaya a ser más fácil a corto plazo.

Newsletter · gratis

La semana de la IA, en cinco minutos.

Únete a los lectores que empiezan la semana sabiendo qué pasa en la IA. Cada domingo, en tu correo.