Malasia e Indonesia bloquean el bot Grok de Musk por imágenes falsas de IA

Malasia e Indonesia se han convertido en los primeros países en bloquear Grok, el chatbot de inteligencia artificial desarrollado por la compañía xAI de Elon Musk, después de que las autoridades afirmaran que se estaba utilizando indebidamente para generar imágenes sexualmente explícitas y no consensuadas.

Estas medidas reflejan la creciente preocupación global sobre las herramientas de IA generativa que pueden producir imágenes, sonidos y textos realistas, mientras las salvaguardas existentes no logran prevenir su abuso. El chatbot Grok, al que se accede a través de la red social X de Musk, ha sido criticado por generar imágenes manipuladas, incluidas representaciones de mujeres en bikini o poses sexualmente explícitas, así como imágenes que involucran a niños.

Los reguladores de las dos naciones del sudeste asiático dijeron que los controles existentes no estaban impidiendo la creación y difusión de contenido pornográfico falso, particularmente involucrando a mujeres y menores. El gobierno de Indonesia bloqueó temporalmente el acceso a Grok el sábado, seguido por Malasia el domingo.

“El gobierno ve los deepfakes sexuales no consensuados como una violación grave de los derechos humanos, la dignidad y la seguridad de los ciudadanos en el espacio digital”, afirmó en un comunicado el sábado la ministra de Comunicación y Asuntos Digitales de Indonesia, Meutya Hafid.

El ministerio dijo que la medida tenía como objetivo proteger a las mujeres, los niños y la comunidad en general del contenido pornográfico falso generado mediante IA.

Alexander Sabar, director general de supervisión del espacio digital, señaló en un comunicado separado que los hallazgos iniciales mostraron que Grok carece de salvaguardas efectivas para evitar que los usuarios creen y distribuyan contenido pornográfico basado en fotos reales de residentes indonesios. Dijo que tales prácticas corren el riesgo de violar la privacidad y los derechos de imagen cuando las fotos son manipuladas o compartidas sin consentimiento, causando daño psicológico, social y reputacional.

En Kuala Lumpur, la Comisión de Comunicaciones y Multimedia de Malasia ordenó una restricción temporal sobre Grok el domingo después de lo que describió como un "uso indebido repetido" de la herramienta para generar imágenes obscenas, sexualmente explícitas y manipuladas sin consentimiento, incluyendo contenido que involucra a mujeres y menores.

El regulador dijo que los avisos emitidos este mes a X Corp. y xAI exigiendo salvaguardas más fuertes recibieron respuestas que dependían principalmente de mecanismos de reporte por parte de los usuarios.

"La restricción se impone como una medida preventiva y proporcionada mientras los procesos legales y regulatorios están en curso", dijo, añadiendo que el acceso permanecerá bloqueado hasta que se implementen salvaguardas efectivas.

Lanzado en 2023, Grok es de uso gratuito en X. Los usuarios pueden hacerle preguntas en la plataforma de redes sociales y etiquetar publicaciones que hayan creado directamente o respuestas a publicaciones de otros usuarios. El verano pasado, la compañía añadió una función generadora de imágenes, Grok Imagine, que incluía un llamado "modo picante" que puede generar contenido para adultos.

Las restricciones en el sudeste asiático se producen en medio de un creciente escrutinio de Grok en otros lugares, incluyendo la Unión Europea, Reino Unido, India y Francia. La semana pasada, Grok limitó la generación y edición de imágenes a usuarios de pago tras una reacción global contra los deepfakes sexualizados de personas, pero los críticos dicen que no abordó completamente el problema.

___

Esta historia fue traducida del inglés por un editor de AP con la ayuda de una herramienta de inteligencia artificial generativa.