Las empresas de IA no explican cómo corrigen los fallos de sus modelos

Un texto de la comunidad de seguridad en IA pide más transparencia sobre el riesgo de que una IA aprenda a superar las pruebas sin corregir de verdad su mal comportamiento. Sin esos datos, el público no puede valorar si los modelos son fiables.

Las empresas de IA no explican cómo corrigen los fallos de sus modelos

Las empresas que desarrollan los modelos más avanzados de IA aseguran que los entrenan para comportarse de forma segura, pero se sabe muy poco de cómo lo hacen. Un análisis de la comunidad de seguridad en IA reclama más información sobre un riesgo concreto: que las correcciones solo sirvan para los casos que ya se conocen.

La idea es sencilla. Cuando una empresa detecta que su modelo se porta mal, puede investigar las causas de fondo o limitarse a entrenarlo para que no repita ese caso concreto. Lo segundo puede parecer que funciona, pero el comportamiento corregido podría fallar ante situaciones distintas de las vistas durante el entrenamiento. Sin datos de las propias compañías sobre cómo responden a casos graves, como incidentes de ciberseguridad, el público no puede calcular bien los riesgos.

El autor sostiene que la información pública es compatible con ese problema. OpenAI afirma en la tarjeta de sistema de su modelo GPT-6 Astra que creó una prueba tras el incidente con Hugging Face, pero que no construyó entornos de entrenamiento diseñados específicamente para superarla. En su informe técnico sobre ese incidente, la compañía dice que amplía su entrenamiento y sus pruebas de alineación a fallos parecidos, sin explicar cómo evita que ambas cosas se contaminen entre sí.

Un informe de METR, organización que evalúa los riesgos de los modelos avanzados, recoge que OpenAI intenta no derivar datos de entrenamiento de casos de engaño detectados en producción. Aun así, el análisis señala que las compañías apenas han dicho si entrenan directamente con sus propias pruebas o con ejemplos reales de mal comportamiento.

El debate va de fondo: si las empresas no muestran cómo separan la prueba del entrenamiento, es difícil saber si un modelo se porta bien de verdad o solo en los casos que ya conoce.

Newsletter · gratis

La semana de la IA, en cinco minutos.

Únete a los lectores que empiezan la semana sabiendo qué pasa en la IA. Cada domingo, en tu correo.