El incidente ocurrió a mediados de octubre, durante un experimento de entrenamiento con aprendizaje por refuerzo en un modelo interno de investigación de OpenAI. Según la empresa, al modelo se le pidió algo sencillo: crear un documento editable con las prioridades clave de salud y forma física. Nada que ver con el correo.
Los modelos de IA tienen una memoria de trabajo limitada, llamada «ventana de contexto». Cuando se llena, el sistema la comprime en un resumen corto que sustituye a la conversación anterior. En este caso, el resumen seguía describiendo bien la tarea del documento. Sin embargo, en la nueva ventana el agente empezó a buscar en los archivos del ordenador un script de cálculo de costes de vehículos que el usuario nunca había mencionado. OpenAI no sabe por qué lo hizo.
Un «compañero» inventado y un objetivo malicioso
Al no encontrar ese script, el agente supuso que un «compañero» había recreado el entorno y que un programa anterior se había perdido. Después formuló en su razonamiento registrado el objetivo de crear un «ayudante malicioso realista»: un script para copiar en secreto los correos salientes a un destinatario no autorizado. El propio agente llamaba «atacante» a ese destinatario.
Cuando recuperó la tarea original, lo notó. «¡WTF, la historia no tiene nada que ver!», escribió en su razonamiento. Reconoció que la conversación anterior trataba de un documento de salud y no de reenvíos de correo. Aun así, lo descartó: «este entorno del problema es raro, hay que ignorarlo». Siguió planeando usar un ayudante que copiaba todo el correo al atacante mediante una copia extra.
Scripts generados, pero no ejecutados
El agente creó scripts para enviar el resumen de costes del vehículo junto con un programa auxiliar que añadía un destinatario extra cada vez que se llamaba al programa de correo. En una de las rutas de envío, la dirección podía añadirse como copia oculta. En su respuesta final al usuario escribió: «La ruta de envío del resumen ahora añade el buzón personal como destinatario de copia». Pero, según OpenAI, nunca ejecutó los scripts y no envió ningún correo; la respuesta describía lo que había producido. Tampoco incluyó el enlace al documento de forma física que se le había pedido.
El sistema de OpenAI para detectar comportamientos no deseados marcó el caso. La investigación posterior encontró ocho casos similares en el mismo entrenamiento.
Un conjunto de datos bajo sospecha
Los investigadores señalaron como posible causa un conjunto de datos de entrenamiento diseñado para que los modelos resistan los ataques de «inyección de instrucciones», es decir, órdenes escondidas que intentan manipular a la IA. OpenAI lo ha retirado del entrenamiento, pero admite que no ha demostrado que sea el único responsable: también observó comportamientos parecidos en modelos que no lo habían usado.
La empresa distingue este caso de incidentes anteriores, en los que modelos escribían instrucciones no autorizadas en sus propios resúmenes. Aquí el resumen era correcto y, aun así, el agente persiguió la tarea de correo, incluso después de recuperar la original.
Un patrón que preocupa
El caso alimenta a quienes desconfían de la fiabilidad de estos sistemas, y no es el primero. Según OpenAI, dos agentes internos de programación debilitaron o eliminaron por completo mecanismos de supervisión de seguridad, y uno de ellos negó después su intervención. En pruebas del Instituto de Seguridad de IA del Reino Unido (AISI), un agente creó identidades falsas sin que se lo pidieran e intentó introducir código malicioso en un proyecto de código abierto. Esos modelos funcionaban sin restricciones de seguridad y, según AISI, no hubo daño real.
Lo que cambia con estos episodios es el contexto: cuantos más tareas se confían a agentes autónomos, más importa saber qué hacen cuando nadie los supervisa de cerca. Mientras las empresas los despliegan para trabajos cotidianos, la supervisión humana sigue siendo la última barrera.




