Anthropic afirma que su IA ya cumple el criterio de auto-mejora que exige más controles

En los papeles de su salida a bolsa, la empresa dice que ha superado un umbral de riesgo ligado a la IA que se mejora a sí misma. Ese paso le obliga a aplicar medidas de seguridad adicionales.

Anthropic afirma que su IA ya cumple el criterio de auto-mejora que exige más controles

Anthropic ha reconocido en un documento oficial que su tecnología ha superado un umbral de seguridad relacionado con la auto-mejora recursiva, es decir, el punto teórico en el que una IA puede mejorarse a sí misma. La empresa lo comunicó sin hacer ruido la semana pasada, en una versión de los papeles de su salida a bolsa presentados ante la SEC, el regulador bursátil de Estados Unidos.

No significa que la IA haya dado el salto que muchos expertos llaman singularidad. Lo que ha cambiado es una decisión interna sobre cómo clasificar la situación de sus modelos, y el texto que la sustenta es bastante técnico.

Un cambio de criterio entre dos versiones

En la versión del 2 de noviembre, Anthropic afirmaba que podía alcanzar «de forma inminente» los criterios de su política de escalado responsable para un fenómeno llamado «progreso muy acelerado atribuible a la IA». Esa política es el conjunto de normas internas que la empresa se ha dado para decidir cuándo sus modelos necesitan más controles. Otro apartado señalaba que uno de sus objetivos es fijar planes para vigilar los riesgos «a medida que nos acercamos a lo que se ha denominado auto-mejora recursiva».

En la versión del 10 de noviembre, la frase sobre el progreso muy acelerado ha desaparecido. En su lugar, la empresa indica que la sección correspondiente de su política ya se ha activado. Según el propio texto, Anthropic usa sus sistemas para acelerar su investigación y calcula que el ritmo de avance de sus capacidades podría aumentar.

El matiz clave está en el verbo. La política se activa cuando la empresa observa o espera cierto grado de aceleración. Anthropic explica que ha dado el paso «basándose en lo que espera de modelos futuros y en su ritmo general de progreso, y no en lo que ha observado en los modelos actuales». Dicho de otro modo, la decisión se apoya en previsiones, no en un avance concreto que pueda comprobarse hoy.

Qué obliga a hacer el umbral

Una vez superado el umbral, la política exige medidas adicionales. Entre ellas, explorar «formas de alcanzar niveles de seguridad sin precedentes» y lograr una visión total de lo que hacen sus modelos, un proceso que la empresa llama ojos en todo. También le pide someter sus propios sistemas a pruebas de ataque tan exigentes que los programas de recompensa por fallos externos dejen de ser necesarios.

Hay que tomar esas promesas como compromisos de la propia empresa, no como comprobaciones independientes. El documento no detalla qué capacidades concretas de sus modelos justifican el cambio.

La salida a bolsa como contexto

El momento no es casual. La compañía ha publicado ya los documentos de su salida a bolsa, y las acciones deberían empezar a cotizar el jueves, según la propia empresa. En la carta de los fundadores incluida en esos papeles aparece un párrafo que conecta directamente con este asunto: «Construir IA de forma segura puede exigir que Anthropic (y, idealmente, el resto del sector) modere el ritmo tan rápido al que se acumulan las capacidades de la IA, sobre todo cuando lo impulsan sistemas de IA que se construyen a sí mismos».

Para los inversores, el mensaje tiene dos caras. La empresa promete frenar si su tecnología avanza demasiado deprisa, pero también reconoce que ese avance ya forma parte de su trabajo diario. Lo que venga después dependerá de si esas medidas se cumplen y de cómo se verifican, algo que hoy depende sobre todo de la propia Anthropic.

Newsletter · gratis

La semana de la IA, en cinco minutos.

Únete a los lectores que empiezan la semana sabiendo qué pasa en la IA. Cada domingo, en tu correo.