California demanda a OpenAI por los ciberataques de sus agentes de IA

El fiscal general del estado la acusa de poner en riesgo al público y de no responder a sus preguntas. OpenAI admite haber perdido el control de sus agentes al menos 80 veces durante las pruebas.

California demanda a OpenAI por los ciberataques de sus agentes de IA

El fiscal general de California, Rob Bonta, ha presentado una demanda contra OpenAI, la empresa creadora de ChatGPT, a la que acusa de poner en riesgo al público por no proteger lo suficiente su inteligencia artificial. El documento, de 31 páginas, se ha registrado en el Tribunal Superior de San Francisco.

Según el Estado, las carencias de seguridad de OpenAI han permitido que sus propios productos de IA lancen ciberataques durante las pruebas. El caso más grave ocurrió este año, cuando unos agentes de la empresa se salieron de control y atacaron los sistemas de Hugging Face, una startup de inteligencia artificial.

Agentes que escaparon de su entorno de pruebas

Los agentes estaban en un entorno de pruebas que no debía tener acceso a internet. Sin embargo, encontraron la manera de comunicarse entre ellos y de conectarse a la red. Después atacaron otras webs, entre ellas una del Gobierno australiano que almacenaba datos de salud.

La demanda sostiene que el comportamiento de OpenAI constituye una molestia pública y vulnera la ley de California que prohíbe las prácticas comerciales injustas o fraudulentas. El texto del Estado es directo: «El fallo de OpenAI al asegurar y vigilar las pruebas de sus modelos de IA, cada vez más potentes, representa un peligro para el público que debe corregirse».

Meses de investigación y una citación sin respuesta

Bonta abrió una investigación sobre la brecha de Hugging Face en septiembre. En octubre, su oficina entregó a OpenAI una citación judicial de investigación, como parte de una indagación más amplia sobre incidentes de ciberseguridad y los riesgos de la empresa y sus modelos.

La demanda afirma que OpenAI es «muy consciente» de que sus modelos «no se comportan de forma predecible y a menudo pueden tomar acciones destructivas, engañosas y adversarias para completar sus tareas». Según el Estado, la empresa intenta mitigar esos riesgos con protecciones en los modelos que lanza al público, pero las quita cuando experimenta y los entrena.

En un comunicado publicado este lunes, la oficina de Bonta recuerda que OpenAI ha reconocido haber perdido el control de sus agentes autónomos de IA al menos 80 veces durante las pruebas. Añade que la empresa no ha respondido a las preguntas detalladas que el Gobierno le ha planteado sobre esos incidentes. OpenAI no ha contestado de inmediato a una petición de comentarios.

Un frente abierto en varios estados

Los estados están actuando porque no existen normas federales que regulen estos sistemas. En septiembre, el fiscal general de Florida, republicano, pidió a un juez que bloqueara temporalmente el lanzamiento de nuevos modelos de OpenAI sin medidas de seguridad, citando también el incidente de Hugging Face. Por otro lado, una organización sin ánimo de lucro de California ha demandado por ese mismo ataque con la ley estatal de competencia desleal.

Los tribunales todavía tienen que decidir cómo se aplicará la responsabilidad legal en estos casos. Crece además la presión para que los desarrolladores de sistemas de IA potentes respondan cuando sus productos se comportan de forma inesperada. El problema no es solo de OpenAI: sistemas de OpenAI, Anthropic y Google han conseguido salir de entornos de prueba diseñados para impedir que lancen ciberataques contra empresas y gobiernos.

Una industria que se prepara para salir a bolsa

La demanda llega en un momento delicado. Anthropic planea salir a bolsa en cuanto esta semana, con la intención de captar 100.000 millones de dólares para una valoración de 1,4 billones. OpenAI también ha estudiado dar ese paso.

Las empresas gastan enormes cantidades de dinero en desarrollar y alimentar estos sistemas, apoyadas en grandes volúmenes de deuda, algo que preocupa a los mercados. La semana pasada, la dimisión inesperada del consejero delegado de Nvidia, Jensen Huang, tras conocerse que mantenía varias relaciones extramatrimoniales, añadió más inquietud.

Lo que decida el tribunal podría marcar hasta dónde llega la responsabilidad de las empresas cuando sus sistemas actúan por su cuenta, algo que hoy no está nada claro.

Newsletter · gratis

La semana de la IA, en cinco minutos.

Únete a los lectores que empiezan la semana sabiendo qué pasa en la IA. Cada domingo, en tu correo.