¿Por qué TikTok permitió a sus usuarios ver a Perez Hilton autolesionarse?

A primera vista, la transmisión en vivo de Perez Hilton debería haber hecho saltar las alarmas de inmediato.

El famoso bloguero fue trasladado de urgencia al hospital esta semana después de que sus seguidores de TikTok denunciaran una transmisión en directo preocupante. Según los informes, los espectadores, preocupados, vieron al influencer (48) autolesionarse en un video transmitido en la aplicación, tras lo cual los servicios de emergencia llegaron rápidamente a su casa en Miami, Florida, EE. UU. La cuenta de TikTok de Hilton fue suspendida minutos después.

Las normas de TikTok prohíben el contenido que muestre suicidio o autolesiones. La mayoría de las veces, los sofisticados sistemas automatizados de moderación de contenido de TikTok funcionan: la empresa afirma tener una tasa de eliminación proactiva del 99,3 % de los videos que infringen sus normas de alguna manera, y suspendió más de 50 millones de transmisiones en directo entre enero y marzo de este año por infringir sus normas, lo que equivale a aproximadamente una de cada 40 publicadas. Se ha contactado con TikTok para obtener comentarios.

TikTok afirma que el contenido subido a su plataforma es revisado por sistemas automatizados según sus normas comunitarias, y que el material que se considere que infringe las normas puede eliminarse automáticamente o remitirse a moderadores humanos para su revisión. La compañía indica que utiliza “clasificadores de seguridad y modelos de aprendizaje profundo” para identificar contenido potencialmente dañino, mientras que un motor de decisión clasifica las presuntas infracciones según factores como la gravedad del posible daño y el público al que se espera que lleguen.

Pero a menudo es en los detalles donde el sistema muestra sus puntos más débiles, y en una transmisión en directo como la de Hilton, cada segundo cuenta, tanto para el emisor como para el espectador.

En parte, este fallo pone de manifiesto la debilidad de la inteligencia artificial. Esta tecnología es eficaz para detectar imágenes dañinas conocidas, como cuchillos y otros objetos punzantes (puede, por ejemplo, diferenciar entre un cuchillo de cocina y un arma blanca), frases prohibidas y patrones familiares a gran escala. Sin embargo, es mucho menos capaz de comprender a una persona y su angustia, su intención y la urgencia de lo que puede derivarse de ello en una fracción de segundo.

La fama de Hilton y su enorme presencia en redes sociales ampliaron la audiencia potencial a la que se dirigía, pero, como bien sabe cualquiera que se haya vuelto viral de repente, lo mismo puede ocurrir con adolescentes desconocidos que transmiten para una docena de personas, luego para cien y después para mil. La responsabilidad es la misma: impedir que quienes se autolesionan tengan acceso a una plataforma y garantizar que los usuarios no tengan que presenciarlo.

Es aquí donde las redes sociales demuestran su inexperiencia. Las cadenas de televisión utilizan productores, salas de control y cadenas de mando editoriales para saber cuándo interrumpir la transmisión. La Oficina de Comunicaciones del Reino Unido también impone normas a los medios destinadas a proteger a la audiencia de contenido dañino, incluidas las representaciones de suicidio y autolesiones. La gran promesa y fortaleza de las redes sociales reside en que cualquiera puede “hacer su propia transmisión” —el lema original de YouTube— sin necesidad de autorización. El problema es que pueden emitir cualquier cosa.

Este no es un fallo exclusivo de TikTok. Como hemos visto en incidentes angustiosos anteriores, incluidos ataques terroristas transmitidos en directo por redes sociales, las copias de las grabaciones se difundieron rápidamente a otras plataformas, cuyos sistemas de moderación automatizados fallan o simplemente no las detectan. Esa es la cruda realidad de un mundo impulsado por algoritmos: el material más impactante es el que genera conversación —a menudo advertencias para evitarlo— que los sistemas de recomendación interpretan como interacción positiva. Un estudio publicado a principios de este año reveló que interactuar con contenido sobre salud mental podría saturar rápidamente los feeds de TikTok con más contenido de este tipo, incluyendo material potencialmente dañino.

Las plataformas siempre argumentan, con cierta razón, que moderar miles de millones de publicaciones y transmisiones en vivo es imposible sin automatización. Y tienen razón. Pero si se opta por prescindir del juicio humano en incidentes como este, las automatizaciones de IA implementadas deben estar a la altura de las circunstancias, y en este caso, el sistema falló con Hilton y sus seguidores.

Perez Hilton necesitaba ayuda. Su audiencia necesitaba protección. TikTok no les brindó ninguna de las dos con la suficiente rapidez. Y las plataformas que afirman permitir que cualquiera transmita en directo deben estar completamente seguras de saber cuándo poner fin al espectáculo.

Si experimentas sentimientos de angustia o tienes dificultades para afrontar una situación, puede hablar con los Samaritanos de forma confidencial llamando al 116 123 (Reino Unido e Irlanda) o visitar el sitio web de los Samaritanos para encontrar información sobre la sucursal más cercana.

Si resides en EE. UU., y tú o alguien que conoces necesita ayuda de salud mental de inmediato, llama o envía un mensaje de texto al 988, o visita 988lifeline.org para acceder al chat en línea de la Línea de Ayuda para Crisis y Suicidio 988. Esta es una línea de ayuda gratuita y confidencial disponible para todos las 24 horas del día, los siete días de la semana. Si te encuentras en otro país, puedes visitar www.befrienders.org para encontrar una línea de ayuda cerca de ti.

Traducción de Sara Pignatiello