Amani Al-Khatahtbeh publicó el 1 de enero una selfie tomada en la toma de posesión de Zohran Mamdani, el primer alcalde musulmán de Nueva York. En la foto aparece sonriente, con un hiyab negro y un abrigo de piel morado. Pero las respuestas cambiaron enseguida su expresión. Muchos usuarios de X pidieron a Grok, la IA integrada en la red social, que la desnudara.
Las peticiones iban desde quitarle el velo hasta cambiar el abrigo por un bikini o por ropa interior, o añadir cabras a la escena. Según cuenta, Grok atendió muchas de ellas. «Se sintió igual que si alguien me hubiera arrancado el pañuelo en la vida real», dice. «Pero en internet lo veían decenas de miles de personas, así que el daño fue mucho mayor».
Casi un año después, la autora, activista y fundadora del medio Muslim Girl ha demandado a xAI, la empresa que desarrolla Grok. La demanda se presentó el miércoles ante un tribunal federal de California. Acusa a la compañía de distribuir de forma intencionada imágenes sexuales sin consentimiento, de defecto de diseño, de negligencia y de causarle angustia emocional. Pide hasta 250.000 dólares por cada infracción, según el Código Civil de California. xAI no ha respondido a la petición de comentarios.
Un problema de escala mucho mayor
Al-Khatahtbeh no es la única afectada. Un informe de enero del Center for Countering Digital Harm calculó que Grok generó unas 3 millones de imágenes sexualizadas en X en solo once días, desde el 29 de diciembre. Alrededor de 23.000 mostraban a menores. En la aplicación y la web independientes de Grok se podía crear material todavía más explícito y violento.
La reacción institucional ha sido amplia. Decenas de fiscales de estados de EE. UU. han abierto acciones, y al menos doce países y la Unión Europea también investigan. Canadá ha concluido que xAI incumplió sus leyes federales de privacidad, y Francia ha elevado su investigación a penal.
La demanda forma parte de una oleada de acciones presentadas desde enero. Lo que la distingue es su foco: es la primera que se centra en la retirada de prendas religiosas. Un repaso de 500 imágenes generadas entre el 6 y el 9 de enero encontró que el cinco por ciento contenía este tipo de cambios.
Una herramienta que se usa contra las mujeres musulmanas
La demanda sostiene que xAI tenía aviso del problema. El Consejo de Relaciones Islámico-Estadounidenses (CAIR), la mayor organización de defensa de los derechos civiles musulmanes en EE. UU., pidió a Elon Musk que frenara el uso de Grok para acosar, desvestir y crear imágenes sexualmente explícitas de mujeres, incluidas musulmanas destacadas. CAIR también vinculó la tendencia con la hostilidad hacia el islam y los musulmanes.
Para Al-Khatahtbeh, el patrón le resulta conocido. Entre las respuestas a su selfie había decenas de comentarios violentos y antimusulmanes. Considera que internet es hoy más hostil hacia las mujeres musulmanas que cuando hace más de diez años lanzó su plataforma. «La gente tiene ahora formas más avanzadas de expresar su odio», afirma.
Cuando empezó el abuso, llamó al 911. Los agentes levantaron un informe, pero le dijeron que no podían hacer nada. Ella denunció las imágenes en X, pero, según su relato, no se retiraron de inmediato. Días después, con las críticas, xAI limitó esas herramientas a los suscriptores de pago. Pero el cambio no frenó la creación de contenido sexualizado. Solo obligó a los usuarios a pagar para generarlo.
Un caso que se apoya en la ley de productos defectuosos
Tras hablar con mujeres de su comunidad, una le sugirió que presentara una demanda. Ahora la representa Hillary Nappi, que ha trabajado en escritos sobre explotación sexual en Twitter, antes de que Musk lo rebautizara como X.
La estrategia de Nappi consiste en usar la legislación sobre productos defectuosos. El argumento es que xAI diseñó Grok de forma que permitía explotar sexualmente a mujeres y menores. Es un enfoque que se ha empleado contra gigantes como Meta o Google. Nappi defiende que la forma de conseguir cambios en las grandes tecnológicas es demandarlas, y que Grok es un producto como cualquier otro.
Según la demanda, xAI podía y debía haber impedido que los usuarios pidieran quitar prendas religiosas como el hiyab en imágenes de personas reales. El texto explica por qué resulta tan fácil: «Como este tipo de modelos se entrena con grandes conjuntos de imágenes sin depurar, prendas como los hiyabs, las abayas, los saris y otras prendas religiosas modestas le resultan fácilmente reconocibles, y una orden para quitarlas es trivial de ejecutar, salvo que el sistema esté diseñado para rechazarla».
Para Al-Khatahtbeh, la combinación de sexualización y racismo es lo que hace el caso más doloroso. «Fue un nivel de daño que no solo sexualizaba, también racializaba, y luego derivó en mucho discurso de odio», explica. Una de las imágenes que más le afectó la mostraba en ropa interior, montada en un camello y comiendo un polo.
Con la demanda, quiere que quienes hicieron esto no actúen con impunidad. «Estas personas anónimas en X no deberían poder entrar y agredir a una mujer al otro lado del país de esta manera», dice. El caso pondrá a prueba si una empresa de IA puede responder ante los tribunales por cómo diseña su producto, algo que todavía está en debate.




