Crecen críticas a Grok por imágenes sexualizadas de mujeres y niños

Pocos días después de que estallara una reacción global contra el chatbot Grok de Elon Musk por generar deepfakes sexualizados de personas, el secretario de Defensa Pete Hegseth anunció que el Pentágono adoptará la tecnología.

Hegseth manifestó el lunes que Grok pronto se desplegará en "todas las redes clasificadas y no clasificadas" a lo largo del departamento. Los funcionarios de Estados Unidos están respaldando la tecnología incluso cuando gobiernos de todo el mundo la han condenado.

La alarma gira en torno a las aplicaciones de nudificación que utilizan inteligencia artificial para generar imágenes de apariencia real, llamadas "deepfakes", sexualmente explícitas.

Aquí un vistazo a la controversia:

Solicitudes de nudificación

El problema surgió después del lanzamiento el año pasado de Grok Imagine, un generador de imágenes de IA que permite a los usuarios crear videos e imágenes en base a instrucciones en texto. Incluye un llamado "modo picante" que puede generar contenido para adultos.

El problema se intensificó a finales del mes pasado cuando Grok, que se aloja en X, aparentemente comenzó a conceder un gran número de solicitudes de usuarios para modificar imágenes publicadas por otros, con solicitudes como "ponla en un bikini transparente".

El problema se amplificó porque Musk presenta su chatbot como una alternativa más atrevida con menos salvaguardias que sus rivales, y porque las imágenes de Grok son públicamente visibles y, por lo tanto, pueden difundirse fácilmente.

Respuesta de Musk

En aparente respuesta a la lluvia de críticas, Grok dijo que estaba limitando las funciones de generación y edición de imágenes a suscriptores pagos.

El viernes, el chatbot respondía a las solicitudes de alteración de imágenes con el mensaje: "La generación y edición de imágenes están actualmente limitadas a suscriptores de pago. Puedes suscribirte para desbloquear estas funciones".

Solo estaba concediendo solicitudes públicamente visibles de usuarios de X con marcas de verificación azules otorgadas a suscriptores premium que pagan 8 dólares al mes por funciones adicionales.

El martes, The Associated Press confirmó que los usuarios gratuitos aún podían usar la herramienta de edición de imágenes en X haciendo clic en el botón "Editar imagen" que aparece en cada imagen publicada en la plataforma en lugar de etiquetar a Grok con una solicitud. El sitio web y la aplicación independientes de Grok también seguían concediendo solicitudes de edición de imágenes el martes.

La empresa de inteligencia artificial de Musk, xAI, ha estado respondiendo a solicitudes de comentarios con la respuesta automatizada, "Mentiras de los medios tradicionales".

X ha dicho anteriormente que tomará medidas para eliminar contenido ilegal, incluido material de abuso sexual infantil, suspendiendo permanentemente cuentas de usuarios, "y trabajando con gobiernos locales y fuerzas del orden según sea necesario". Musk ha advertido que "cualquiera que use Grok para crear contenido ilegal sufrirá las mismas consecuencias que si suben contenido ilegal".

Sin embargo, los gobiernos no están satisfechos y han exigido que Musk haga más para controlar el contenido explícito o abusivo.

Malasia

Las autoridades advirtieron el martes que tomarían acciones legales contra X y xAI, acusando a las empresas de no garantizar la seguridad de los usuarios.

La Comisión de Comunicaciones y Multimedia de Malasia indicó en un comunicado que ha contratado a un abogado y pronto iniciará procedimientos legales.

Señaló que Grok está siendo utilizado para generar y distribuir contenido dañino, incluyendo imágenes sexualmente explícitas, indecentes, extremadamente ofensivas, así como imágenes manipuladas sin consentimiento.

El anuncio se produjo días después de que prohibiera Grok hasta que se implementen salvaguardias efectivas, señalando que ya ha escrito a X y xAI exigiendo protecciones más fuertes.

Indonesia

La nación del sudeste asiático bloqueó temporalmente el acceso a Grok el sábado.

"El gobierno ve los deepfakes sexuales no consensuados como una violación grave de los derechos humanos, la dignidad y la seguridad de los ciudadanos en el espacio digital", declaró la ministra de Comunicación y Asuntos Digitales de Indonesia, Meutya Hafid, en un comunicado.

A Grok, según funcionarios, le faltan barreras para evitar que los usuarios creen y distribuyan contenido pornográfico basado en fotos reales de residentes indonesios, lo que corre el riesgo de violar la privacidad y los derechos de imagen cuando las fotos son manipuladas o compartidas sin consentimiento.

Reino Unido

El regulador de medios del Reino Unido lanzó el lunes una investigación para determinar si Grok violó su deber de proteger a las personas del contenido ilegal. El regulador, Ofcom, sostuvo que las imágenes generadas por Grok de niños siendo sexualizados o personas siendo desnudadas pueden equivaler a pornografía o material de abuso sexual infantil.

La secretaria de Tecnología, Liz Kendall, calificó las imágenes generadas por IA como "herramientas de abuso" y dijo que el gobierno laborista apuntaría a la fuente del problema al convertir en delito que las empresas suministren herramientas para crear imágenes desnudas sin consentimiento.

Kendall apuntó que X podría enfrentar una posible multa de Ofcom de hasta el 10% de sus ingresos globales calificados dependiendo del resultado de la investigación y una posible orden judicial que bloquee el acceso al sitio.

"Pueden elegir actuar antes para asegurar que este material aborrecible e ilegal no pueda compartirse en su plataforma," aseguró Kendall en el Parlamento.

Musk durante el fin de semana llamó al gobierno británico "fascista" y lo acusó de sofocar la libertad de expresión.

Bajo la Ley de Seguridad en Línea del Reino Unido, las plataformas de redes sociales deben prevenir y eliminar material de abuso sexual infantil cuando tengan conocimiento de ello.

Unión Europea

El principal funcionario del bloque de 27 naciones para asuntos tecnológicos advirtió a X que debe abordar el problema.

"X ahora tiene que arreglar su herramienta de IA en la UE - y tiene que hacerlo rápidamente. Si no, no dudaremos en utilizar la DSA en su totalidad para proteger a los ciudadanos de la UE", publicó Henna Virkkunen en X, refiriéndose a la Ley de Servicios Digitales. Ella es la vicepresidenta ejecutiva para la soberanía tecnológica, seguridad y democracia en la Comisión Europea, el brazo ejecutivo del bloque.

La Comisión ha ordenado, bajo las regulaciones digitales del bloque, que X retenga todos los documentos internos y datos relacionados con Grok hasta finales de 2026, sostuvo un portavoz la semana pasada.

La orden es parte de una investigación más amplia bajo la Ley de Seguridad Digital de la UE, y sigue una orden similar para retener archivos después de que Grok difundiera contenido de negación del Holocausto el año pasado.

Bajo la ley de la UE, "todas las plataformas tienen que poner su propia casa en orden, porque lo que están generando aquí es inaceptable", dijo el portavoz Thomas Regnier. "Y el cumplimiento de la ley de la UE no es una opción. Es una obligación".

Francia

La fiscalía de París anunció que está ampliando una investigación en curso sobre X para incluir deepfakes sexualmente explícitos después de que los funcionarios recibieran quejas de legisladores.

Tres ministros del gobierno alertaron a los fiscales sobre "contenido manifiestamente ilegal" generado por Grok y publicado en X, según un comunicado del gobierno.

El gobierno también señaló problemas con el regulador de comunicaciones del país sobre posibles violaciones de la Ley de Servicios Digitales.

India

El gobierno indio emitió un ultimátum a X, exigiendo que elimine todo "contenido ilegal" y tome medidas contra los usuarios infractores.

El ministerio acusó a Grok de "uso indebido grave" de la IA y fallas serias en sus salvaguardias y aplicación al permitir la generación y el intercambio de "imágenes o videos obscenos de mujeres de manera denigrante o vulgar para denigrarlas indecentemente".

El ministerio advirtió que el incumplimiento del plazo de 72 horas expondría a la empresa a problemas legales mayores, pero el plazo pasó sin una actualización pública de India.

Brasil

La legisladora Erika Hilton dijo que denunció a Grok y X ante la fiscalía federal de Brasil y el organismo de protección de datos del país.

En una publicación en redes sociales, acusó a ambos de generar y luego publicar imágenes sexualizadas de mujeres y niños sin consentimiento.

Afirmó que las funciones de IA de X deberían desactivarse hasta que se lleve a cabo una investigación.

Hilton, una de las primeras legisladoras transgénero de Brasil, denunció cómo los usuarios podrían hacer que Grok alterara digitalmente cualquier foto publicada, incluyendo "cambiar la ropa de mujeres y niñas por bikinis o hacerlas sugestivas y eróticas".

___________________________________

La corresponsal Kaitlyn Huamani en Los Ángeles contribuyó con esta nota.

___________________________________

Esta historia fue traducida del inglés por un editor de AP con ayuda de una herramienta de inteligencia artificial generativa.