ChatGPT suspenderá 24 horas a quien pida contenido sexual de menores

OpenAI ofrecerá a empresas seleccionadas un clasificador que detecta imágenes de abuso infantil y marca un 48% menos de imágenes sin perder casos. La medida llega entre demandas y críticas por los daños que se atribuyen a sus chatbots.

ChatGPT suspenderá 24 horas a quien pida contenido sexual de menores

OpenAI ha presentado un paquete de herramientas para frenar el material de abuso sexual infantil, conocido por sus siglas en inglés CSAM. Incluye un nuevo clasificador de imágenes capaz de detectar este contenido, también el generado por inteligencia artificial, y avisos dentro de ChatGPT para quien intente crear o buscar imágenes de este tipo. La compañía lo anuncia en un momento de creciente preocupación por el uso de estas herramientas.

El clasificador analiza imágenes que nunca ha visto antes y busca señales visuales de abuso. No se limita a comparar con fotos ya catalogadas. Asigna una puntuación que orienta a los revisores sobre qué hacer con cada caso. OpenAI lo ha desarrollado junto al Centro Nacional para Niños Desaparecidos y Explotados (NCMEC), y lo ofrecerá sin coste a empresas seleccionadas a través de su API, la vía que usan los programas para conectarse con sus servicios.

Menos falsos positivos para los revisores

En las pruebas con socios, según la compañía, el clasificador marca un 48% menos de imágenes y encuentra el mismo número de imágenes abusivas. Además, las que señala tienen el doble de probabilidades de ser abusivas. Eso se traduce en menos trabajo para los revisores humanos, que pueden centrarse en los casos más probables. OpenAI también colabora con Tech Coalition y ROOST para compartir el acceso a la herramienta.

Avisos y bloqueos dentro de ChatGPT

Cuando un usuario intenta pedir contenido que sexualiza a menores, ChatGPT muestra una alerta y le remite a servicios de apoyo especializados para dejar ese comportamiento. La aplicación ya bloqueaba el material de abuso y las peticiones relacionadas con él. Ahora añade la advertencia y una suspensión temporal de 24 horas a modo de aviso. Si los intentos se repiten, la cuenta podría eliminarse de forma permanente.

Los mensajes y las pautas se han elaborado con organizaciones e investigadores, entre ellos Protect Children, la Fundación Lucy Faithfull y Joel Scanlan, de la Universidad de Tasmania, que evaluó de forma independiente una prueba de mensajes disuasorios.

Pautas para desarrolladores y ayuda a la policía

OpenAI publica también una guía para los programadores que usan sus herramientas, con el objetivo de prevenir, detectar y ayudar a denunciar este contenido. Según la empresa, en las pruebas iniciales varios desarrolladores han incorporado sistemas de protección infantil y se han registrado para informar al NCMEC.

Por otro lado, la compañía equipa a los cuerpos de seguridad con funciones basadas en IA, como complementos específicos, herramientas de investigación y análisis de grandes volúmenes de datos. El acceso lo gestionan los administradores del programa. OpenAI añade formación para investigadores y una guía de campo sobre cómo usar la inteligencia artificial en estas investigaciones.

Un historial con críticas

El anuncio llega en un momento delicado. OpenAI se enfrenta a varias demandas que le atribuyen daños a usuarios, sobre todo menores. La organización sin ánimo de lucro Common Sense Media calificó su tecnología de riesgo inaceptable para adolescentes. Además, otros chatbots, como Grok, se han usado para crear imágenes sexualizadas de personas sin consentimiento, incluidas de menores.

En el último año, la empresa ha publicado un plan de seguridad, ha actualizado sus normas de contenido para prohibir material inapropiado, ha reentrenado su modelo para evitar que genere contenido dañino y ha lanzado una versión especial de ChatGPT para adolescentes. Estas medidas se suman a ese camino, pero el alcance real de los avisos y del clasificador dependerá de cómo se apliquen en la práctica.

Newsletter · gratis

La semana de la IA, en cinco minutos.

Únete a los lectores que empiezan la semana sabiendo qué pasa en la IA. Cada domingo, en tu correo.