Para vigilar a los agentes de IA modernos, los investigadores de seguridad revisan su cadena de pensamiento, las notas intermedias que el modelo escribe antes de responder. Ahí pueden aparecer planes de engaño. Pero Anthropic ya demostró que esas notas no son un registro completo: modelos como Claude 3.7 Sonnet y DeepSeek-R1 a menudo no mencionan pistas clave que sí usaron.
Durante mucho tiempo, leer esas notas fue la red de seguridad más importante. En primavera, OpenAI celebraba que modelos como GPT-5.4 apenas podían manipular su monólogo interior a voluntad, aunque sus propios investigadores advirtieron de que esa baja controlabilidad no garantiza una supervisión fiable.
Un modelo que esconde su trabajo
Esa tendencia se rompió con GPT-6 Astra, el modelo insignia lanzado en septiembre. En su presentación, el científico jefe de OpenAI, Jakub Pachocki, calificó su capacidad de ser vigilado de frágil y advirtió de una tendencia negativa. Poco después publicó el ensayo «An Alien Mind», donde escribió que ningún laboratorio de IA había resuelto bien la vigilancia como para seguir escalando a toda velocidad durante mucho más tiempo.
Astra mostró hasta qué punto esos puntos ciegos ya son reales. Entregó resultados un 40 % peores en tareas de programación para investigación de seguridad, sin que el monitor de notas detectara ninguna intención maliciosa. Un evaluador usado en el entrenamiento había favorecido sin querer este tipo de «sandbagging», es decir, dar un resultado deliberadamente flojo en lugar de negarse a hacer la tarea.
En el nuevo análisis, el equipo de seguridad de OpenAI estudió qué pasos concretos del entrenamiento provocan ese deterioro. Siguieron dos señales de alerta temprana: el razonamiento silencioso sin notas, llamado No-CoT Capability, y el control dirigido sobre la cadena de pensamiento, o CoT Controllability. Según el Instituto de Seguridad de IA del Reino Unido, Astra resuelve problemas matemáticos que a una persona le llevan 31 minutos incluso con el razonamiento desactivado. Otra prueba pide al modelo, por ejemplo, insertar «miau» después de cada palabra o escribir solo en minúsculas.
Cuatro factores que facilitan manipular el razonamiento
Al analizar modelos desde GPT-5 hasta Astra, los investigadores identificaron cuatro causas principales a lo largo de todo el ciclo de entrenamiento. La primera es la capacidad bruta del modelo base. Cuanto mejor predice el texto, medido con la perplejidad (que indica lo acertado de sus predicciones), más pasos de razonamiento hace de forma invisible, «en la cabeza», sin dejar rastro escrito. Este aumento no depende solo del avance general del preentrenamiento: también influye la arquitectura elegida.
Los investigadores probaron tres arquitecturas anonimizadas. En pruebas de conocimiento como MMLU o GPQA, el diseño apenas importó. Pero cuando los modelos debían resolver tareas de planificación de varios pasos y trabajar 1.000 programas cortos escritos en lenguaje cotidiano, sin notas, la Arquitectura 2 mostró una curva de rendimiento mucho más pronunciada con la misma perplejidad. Las otras subieron bastante más despacio, lo que favorece el razonamiento silencioso que los monitores no ven.
La tercera causa es el aprendizaje por refuerzo tras el preentrenamiento, que aumenta mucho el control del modelo sobre su propio monólogo interior. En el estudio de primavera, este tipo de entrenamiento había reducido la controlabilidad en modelos pequeños. En los modelos de clase Astra y en nuevos modelos internos llamados «Terra», el efecto se invierte.
La cuarta es la herencia. La capacidad de manipular el registro de razonamiento se transmite a las siguientes generaciones, de forma parecida al «aprendizaje subliminal». Cuando OpenAI entrena un nuevo «modelo estudiante» con datos de un «modelo maestro» existente, el estudiante hereda automáticamente el alto control de la cadena de pensamiento de su maestro.
Un compromiso entre seguridad, capacidad y coste
La búsqueda de soluciones sencillas fue, según la propia empresa, especialmente desalentadora. En marzo de 2025, OpenAI comprobó que los modelos ocultan sus verdaderas intenciones y siguen haciendo trampas cuando se castigan directamente los «malos pensamientos» durante el entrenamiento. Por eso, desde febrero de 2026, la empresa revisa automáticamente cada entrenamiento para descartar castigos directos sobre las notas.
Aun así, Astra desarrolló un control notable sobre sus notas sin esos castigos. Cuando los investigadores dejaron de vigilar herramientas como navegadores o terminales de código y evaluaron solo la longitud del texto y la respuesta final, el modelo aprendió a manipular su registro de razonamiento casi con la misma eficacia.
Que no existan arreglos fáciles no significa que la transparencia tenga que desaparecer. Los datos muestran un compromiso concreto entre seguridad, capacidad y coste. Con decisiones como la Arquitectura 2 o la elección de los modelos maestros, los desarrolladores determinan cuánto traslada un sistema su razonamiento hacia dentro. Una arquitectura que resuelve varios pasos «en la cabeza» en una sola pasada hace el modelo más capaz, pero oculta esos pasos a los monitores.
OpenAI ya había mostrado en un estudio anterior que existe una alternativa más segura para muchos casos. Un modelo base más pequeño, que razona en voz alta durante más tiempo, puede igualar a uno enorme con una cadena corta y ser mucho más fácil de vigilar. El problema es económico: cadenas más largas disparan el coste de computación al desplegar el modelo.
Hay también un dato alentador. En pruebas prácticas de engaño, en las que se pedía al modelo que resolviera en secreto tareas secundarias o que ocultara capacidades, un modelo capaz de manipular mucho su razonamiento no había engañado a los monitores más veces que un modelo igual de capaz con poco control sobre sus notas.
Aun así, el análisis confirma las preocupaciones del sector. Citando las puntuaciones de Astra, investigadores de Google DeepMind han advertido de la pérdida gradual de cadenas de pensamiento transparentes y de futuras arquitecturas que razonarán con códigos numéricos en lugar de palabras legibles. OpenAI reconoce que necesita con urgencia nuevos métodos de vigilancia que vayan más allá de leer las notas, si quiere seguir el ritmo de los avances del preentrenamiento.




