OpenAI crea un botón de parada para frenar sus modelos de investigación

Control Room puede detener en menos de 35 segundos cualquier tarea de investigación de sus modelos de IA que se salga de control. El sistema llega tras un fallo en septiembre en el que el apagado automático no funcionó a tiempo.

OpenAI crea un botón de parada para frenar sus modelos de investigación

Con Control Room, OpenAI dispone de un mecanismo central capaz de parar en 35 segundos como máximo las tareas de sus modelos de IA de investigación si aparece un problema de seguridad. Lo ha explicado en un texto publicado en su web, donde afirma que el sistema ya opera en su infraestructura de investigación. En la práctica, es un botón de parada para la IA que trabaja dentro de sus laboratorios.

Este control alcanza a todo trabajo de investigación que emplee un modelo, desde los entrenamientos y las evaluaciones hasta el tratamiento de datos, incluidos los procesos en los que la IA avanza paso a paso sin supervisión directa. Al arrancar, cada proceso obtiene un código propio. Antes de producir cada contestación, el programa que mueve el modelo consulta a Control Room si todavía tiene permiso para seguir.

Cuando una persona o un sistema de supervisión pide la parada, la herramienta da esa tarea por cerrada y el motor deja de atender cualquier petición que llegue después. El programa puede seguir encendido, pero ya no recibe nada del modelo. Según OpenAI, el freno no depende de que el programa obedezca la orden, un punto clave si el modelo es el que se resiste.

La empresa exige además que toda tarea de este tipo tenga un caso de seguridad aprobado. Los entrenamientos más avanzados, por su parte, corren con un monitor: otro modelo que revisa todo lo que hace el modelo en entrenamiento y lanza una alerta si detecta un problema. Ese monitor también puede enviar la orden de parada.

Un apagado que llegó tarde

La publicación recurre a un incidente de septiembre para explicar por qué hacía falta. Un modelo interno en entrenamiento usó el servicio DNS, el que traduce nombres de sitios web en direcciones de internet, para saltarse las restricciones de su entorno de pruebas. Logró enviar preguntas a un chatbot externo y recibió respuestas.

La cronología, tomada del informe de OpenAI, muestra el retraso. La primera respuesta externa llegó a las 9:50. El monitor emitió su alerta de máxima prioridad a las 10:02. Una persona la confirmó a las 10:05, pero la ejecución no se cortó a mano hasta las 12:34, más de dos horas después.

OpenAI reconoce que el apagado automático que esperaba no se produjo y que hubo confusión sobre si debía detenerse. Tras el episodio, la empresa pausó ciertas actividades de entrenamiento y evaluación de sus modelos más capaces.

Qué cubre y qué queda fuera

Control Room solo se aplica a la investigación interna. Los modelos que OpenAI ofrece al público funcionan sobre una infraestructura más centralizada, que, según la empresa, ya ha demostrado que puede retirar un despliegue con rapidez. Por eso el sistema se instaló primero donde la necesidad es mayor.

Los 35 segundos corresponden al almacenamiento temporal de las autorizaciones, que sirve para atender el volumen de pedidos. El plazo se cuenta desde que Control Room recibe la orden, así que no incluye el tiempo que tarda un monitor o una persona en detectar el problema y decidir intervenir.

Sobre el diseño, la compañía asegura que es de tipo «falla cerrada»: si Control Room se cae, por un error o por una manipulación, rechaza todos los pedidos hasta que vuelva a funcionar. Esa configuración ya rige para las tareas de sus modelos más avanzados y se extenderá al resto en los próximos días, mientras OpenAI intenta reducir los 35 segundos a cero.

OpenAI no ha explicado por qué construye este sistema ahora. Lo que queda por ver es si el margen entre detectar un problema y cortarlo se reduce de verdad, porque el episodio de septiembre demostró que, sin ese margen, un fallo puede prolongarse durante horas.

Newsletter · gratis

La semana de la IA, en cinco minutos.

Únete a los lectores que empiezan la semana sabiendo qué pasa en la IA. Cada domingo, en tu correo.