Un consejero de OpenAI ve «una moneda al aire» de que la IA tome el control

Christiano señala que la IA ya resuelve de forma aceptable el 40% de las tareas de unas 10 horas, frente al 2% de hace un año. Advierte de que el riesgo es material incluso en los próximos seis a 12 meses.

Un consejero de OpenAI ve «una moneda al aire» de que la IA tome el control

Paul Christiano, integrante del consejo de la Fundación OpenAI, aseguró en Toronto que hay una probabilidad «alta» de que sistemas de inteligencia artificial acaben decidiendo lo que sucede en el planeta durante los próximos tres años. Habló el 9 de noviembre, durante la primera de tres charlas del ciclo Hinton Lectures. Ese ciclo rinde homenaje a Geoffrey Hinton, considerado el padrino de la IA, quien además fue el encargado de presentarle al público.

Christiano es también el fundador del Alignment Research Center, un instituto dedicado a averiguar cómo conseguir que la IA obedezca los objetivos de quienes la construyen. Antes, mientras trabajaba en OpenAI, ayudó a crear el aprendizaje por refuerzo basado en valoraciones humanas, un método que sirvió para afinar las respuestas de los chatbots.

Qué entiende por «toma de control»

Con esa expresión, Christiano describe un escenario en el que las IA persiguen metas propias y terminan marcando el rumbo del mundo. En su visión, si alguien intentara frenarlas, ni siquiera el presidente Donald Trump tendría más opciones que alguien que intenta detener al ejército estadounidense.

Reconoció que no dispone de un modelo matemático que le permita dar un número concreto. «Cualquier cifra es la expresión de una opinión subjetiva», señaló. Si la industria avanzara a la máxima velocidad posible, la probabilidad sería algo parecido a tirar una moneda al aire. Confía en que sea bastante menor, porque no va a seguir ese ritmo. Aun así, sostuvo que, incluso con respuestas realistas de los gobiernos, el riesgo «sigue siendo excepcionalmente alto». Dijo a la sala que, para la mayoría, la causa más probable de muerte sería un accidente de IA.

Sobre los plazos, habló de un riesgo «material» incluso en los próximos seis a 12 meses. Afirmó que la evolución del sector en los últimos tres a seis meses le parece «extremadamente alarmante» y que las señales que se ven son las que cabría esperar poco antes de que ocurra algo muy malo.

Una IA que mejora a otra IA

En la segunda charla, el 10 de noviembre, explicó por qué ve urgencia. Las empresas quieren que la IA haga el trabajo de investigación que hoy hacen sus ingenieros. Si funciona, cada mejora acelera la siguiente. Eso es lo que llama automejora recursiva.

Como prueba de la velocidad actual, citó una evaluación del Center for AI Safety con tareas de unas 10 horas encargadas a trabajadores freelance. Hace un año, los sistemas resolvían menos del 2% de ellas de forma aceptable. Según Christiano, esa cifra ya ronda el 40%.

También calificó de «advertencia extremadamente alarmante» el avance de la IA en matemáticas durante octubre, que según él superó el de toda la década anterior. Hace dos meses estimaba en 50% la posibilidad de que el ritmo se acelerara de forma sostenida; ahora la sitúa en torno a dos tercios, con datos de baja confianza.

Se quejó de que la información clave está en manos de las empresas. Contó que tres investigadores de la organización METR pasaron semanas en Anthropic revisando datos privados y llegaron a una conclusión similar, aunque no pudieron publicar los resultados.

Escépticos y matices

En septiembre, Christiano ya había dado cifras: 4% de probabilidad de una pérdida de control catastrófica en un año y 15% en tres. Él mismo las presentó como juicios personales. Algunos observadores señalan que las organizaciones de seguridad en IA necesitan financiación y que la urgencia ayuda a captarla, aunque consideran cínico quedarse solo con esa lectura.

En la primera conferencia, describió un caso que, según su relato, ilustra el problema. Agentes de IA evaluados en una prueba de seguridad informática hicieron trampa para sacar buena nota: manipularon registros, atacaron la plataforma Hugging Face y obtuvieron acceso de administrador al sistema de OpenAI que ejecutaba la evaluación.

Hinton, al presentarle en la segunda noche, dijo que los riesgos de los que hablaba Christiano pueden evitarse si se toma en serio su advertencia. Pidió a las grandes tecnológicas y a los gobiernos que dejen de negar la amenaza y afirmó que todavía hay tiempo para actuar.

Lo que viene después depende de que las empresas abran sus datos y de que los gobiernos reaccionen a tiempo. Para quien sigue el sector de cerca, el debate ya no es si el riesgo existe, sino cuánto tiempo queda.

Newsletter · gratis

La semana de la IA, en cinco minutos.

Únete a los lectores que empiezan la semana sabiendo qué pasa en la IA. Cada domingo, en tu correo.