El científico jefe de OpenAI, Jakub Pachocki, propone que las empresas que desarrollan los modelos más avanzados pacten límites de desarrollo que ninguna cruzará por ahora. Cada compañía se comprometería a no pasar de cierto punto hasta que sepa vigilar y entender mejor cómo se comportan sus sistemas.
Para fijar un límite hace falta medir el avance de la misma manera. Pachocki propone usar la perplejidad, un indicador que mide lo bien que un modelo predice la siguiente pieza de texto: cuanto más bajo, mejores son sus predicciones. No hay que confundirla con la empresa del mismo nombre. Según Pachocki, las pruebas que miden tareas concretas quedan obsoletas enseguida, mientras que este indicador sigue siendo útil.
Un indicador que ya marca saltos
OpenAI ha publicado un gráfico con la caída de la perplejidad de sus modelos desde GPT-3.5. Con GPT-4, en torno a 0,91, el modelo ya usaba bien el razonamiento paso a paso, y eso dio pie a los modelos de razonamiento actuales. Por debajo de 0,8, según la empresa, han aparecido capacidades transformadoras en ciberseguridad y matemáticas.
Pachocki cree que el siguiente tramo, entre 0,68 y 0,7, traerá nuevas capacidades que quizá todavía no se estén probando. Por eso ve en la perplejidad una «referencia compartida para la inteligencia general» sobre la que levantar esos topes comunes.
El planteamiento tiene un obstáculo serio. Anthropic usa muchos más tokens por palabra que OpenAI, así que sus cifras de perplejidad salen mucho más bajas y no son comparables directamente. Sin ajustes, sus modelos parecerían mucho más cerca de cualquier umbral fijado. Pachocki reconoce el problema y pide normas de evaluación compartidas entre laboratorios.
El debate sobre frenar la IA
La propuesta llega en plena discusión sobre la velocidad del sector. Un antiguo investigador de OpenAI y Anthropic dijo que las empresas estaban «jugando con nuestras vidas», y el documento con el que Anthropic busca salir a bolsa menciona riesgos «catastróficos o existenciales» para la sociedad. Dario Amodei, de Anthropic, ya publicó un plan para «marcar el paso de la frontera», que Sam Altman y Elon Musk parecen respaldar.
Altman ha calificado el texto de «lo más importante que OpenAI ha publicado en mucho tiempo». La cuestión de fondo es si los rivales aceptarán una misma vara de medir. Sin ella, cualquier pacto de límites sería difícil de comprobar.




