Falsas alarmas de vigilancia con IA han provocan castigos y arrestos entre estudiantes de EEUU

Lesley Mathis sabe que lo que dijo su hija estuvo mal. Pero nunca imaginó que la niña de 13 años sería arrestada por ello.

La adolescente hizo una broma ofensiva mientras chateaba en línea con sus compañeros de clase, lo que activó el software de vigilancia de la escuela.

Antes de que terminara la mañana, la estudiante de octavo grado de Tennessee estaba bajo arresto. Fue interrogada, la desnudaron para registrarla y pasó la noche en una celda, expone su madre.

Ese día, sus amigos se burlaron de ella por su tez morena y la llamaron “mexicana”, aunque no lo es. Cuando un amigo le preguntó qué planeaba para el jueves, ella escribió: “El jueves matamos a todos (los) de México”.

Mathis dijo que los comentarios estaban “mal” y eran “estúpidos”, pero el contexto mostró que no representaban una amenaza.

“Me hizo pensar: ‘¿Así es el Estados Unidos en el que vivimos?’”, agregó, refiriéndose al arresto de su hija. “Y fue esta estúpida, estúpida tecnología que solo se limita a seleccionar palabras al azar sin considerar el contexto”.

Los sistemas de vigilancia en las escuelas estadounidenses monitorean cada vez más todo lo que los estudiantes escriben en sus cuentas y dispositivos escolares. Miles de distritos escolares de todo el país utilizan software como Gaggle y Lightspeed Alert para rastrear las actividades en línea de los chicos en busca de señales de que podrían lastimarse a sí mismos o a otros. Con la ayuda de la inteligencia artificial (IA), la tecnología puede infiltrarse en las conversaciones en línea y notificar de inmediato a los funcionarios escolares y a la policía.

Los educadores afirman que esta tecnología ha salvado vidas. Pero los críticos advierten que puede criminalizar a los niños por usar palabras descuidadamente.

“Ha convertido en algo rutinario el acceso y la presencia de las fuerzas del orden en la vida de los estudiantes, e incluso en sus hogares”, dijo Elizabeth Laird, directora del Centro para la Democracia y la Tecnología, una organización que defiende las libertades civiles y los derechos humanos en línea, y promueve políticas para mantener un internet abierto y libre.

Las escuelas intensifican la vigilancia ante amenazas

En un país cansado de los tiroteos escolares, varios estados han endurecido su postura ante las amenazas a las escuelas. Entre ellos se encuentra Tennessee, que en 2023 aprobó una ley de tolerancia cero que exige que cualquier amenaza de violencia masiva contra una escuela se reporte de inmediato a las autoridades.

La niña de 13 años, arrestada en agosto de 2023, se comunicaba con sus amigos en un chat vinculado a su correo electrónico escolar de la Escuela Secundaria Fairview, que utiliza Gaggle para monitorear las cuentas de los estudiantes. (The Associated Press no revela el nombre de la niña para proteger su privacidad. El distrito escolar no respondió a una solicitud de comentarios).

Tras llevarla a la cárcel, la adolescente fue interrogada, la desnudaron para registrarla y sus padres no pudieron hablar con ella sino hasta el día siguiente, según una demanda que presentaron contra el sistema escolar. Ella no sabía por qué sus padres no estaban allí.

“Después me dijo: ‘Pensé que me odiabas’. Eso te atormenta”, dijo Mathis, la madre de la niña.

Un tribunal ordenó ocho semanas de arresto domiciliario, una evaluación psicológica y 20 días en una escuela alternativa para la niña.

Jeff Patterson, director general de Gaggle, declaró en una entrevista que el sistema escolar no utilizó el software según su propósito original, que es detectar señales de alerta temprana e intervenir antes de que los problemas lleguen a la policía, explicó.

“Desearía que eso se hubiera tratado como un momento de aprendizaje, no como un momento para (que intervengan) las fuerzas del orden”, agregó Patterson.

Los chats privados de los estudiantes enfrentan un escrutinio inesperado

Con frecuencia, los estudiantes que creen que conversan en privado mediante mensajes de texto entre amigos no se dan cuenta de que están bajo vigilancia constante, afirmó Shahar Pasch, abogada educativa de Florida.

Una adolescente a quien representó hizo una broma sobre tiroteos escolares en una historia privada en Snapchat. El software de detección automática de la empresa detectó el comentario, alertó al FBI y la chica fue arrestada en las instalaciones escolares en cuestión de horas.

Alexa Manganiotis, de 16 años, dijo que le sorprendió la rapidez con la que funciona el software de monitoreo. El año pasado, la Escuela de Artes Dreyfoos, de West Palm Beach, a la que asiste, puso a prueba Lightspeed Alert, un programa de vigilancia. Al entrevistar a un profesor para el periódico de su escuela, la adolescente descubrió que dos estudiantes alguna vez escribieron algo amenazante sobre él en una computadora de la escuela y luego lo borraron. Lightspeed lo detectó y “se los llevaron unos cinco minutos después”, dijo Alexa.

Los adolescentes enfrentan consecuencias más severas que los adultos por lo que escriben en línea, opinó Alexa.

“Si un adulto hace un chiste super racista y amenazante en su computadora, puede borrarlo y no lo arrestarían”, dilucidó.

Amy Bennett, jefa de personal de Lightspeed Systems, informó que el software ayuda a las escuelas con escasez de empleados a “ser proactivas en lugar de punitivas”, al identificar señales tempranas de acoso escolar, autolesiones, violencia o abuso.

La tecnología puede involucrar también a las autoridades en respuesta a crisis de salud mental. En el distrito escolar del condado de Polk, Florida, con más de 100.000 estudiantes, el programa de seguridad escolar recibió casi 500 alertas de Gaggle en un lapso de cuatro años, informaron funcionarios en reuniones públicas de la Junta de Educación. Esto dio como resultado 72 casos de hospitalización involuntaria en virtud de la Ley Baker, una ley estatal que permite que las autoridades exijan evaluaciones de salud mental a personas contra su voluntad si representan un riesgo para ellas mismas o para los demás.

“Una cifra de verdad alta de niños que experimentan una evaluación involuntaria la recuerdan como una experiencia realmente traumática y perjudicial, no (como) algo que contribuye al cuidado de su salud mental, dijo Sam Boyd, abogado del Southern Poverty Law Center, una organización que impulsa la justicia racial en el sur de Estados Unidos y promueve los derechos humanos. Los distritos escolares de Polk y West Palm Beach no hicieron comentarios.

Un análisis muestra un alto índice de falsas alarmas

La información que podría permitir que las escuelas evaluaran la eficacia del software, como el índice de falsas alarmas, está celosamente resguardada por las empresas tecnológicas y no es pública, a menos que las propias escuelas la recopilen por su cuenta.

Gaggle alertó al distrito escolar de Lawrence, Kansas, sobre más de 1.200 incidentes en un período reciente de 10 meses. No obstante, las autoridades escolares consideraron que casi dos tercios de esas alertas no eran relevantes, incluidas más de 200 falsas alarmas relacionadas con la tarea de los estudiantes, según un análisis de The Associated Press de los datos recibidos a través de una solicitud de registros públicos.

Los estudiantes de una clase de fotografía fueron llamados a la oficina del director porque Gaggle detectó desnudos. Las fotos se eliminaron automáticamente de las cuentas de Google Drive de los estudiantes, pero quienes tenían en sus dispositivos propios copias de respaldo de las imágenes que fueron señaladas demostraron que se trató de una falsa alarma. Las autoridades del distrito dijeron que posteriormente ajustaron la configuración del software para reducir las falsas alertas.

Natasha Torkzaban, quien se graduó en 2024, dijo que a ella la reportaron por editar el ensayo universitario de un amigo que incluía las palabras “salud mental”.

“Creo que, idealmente, no aplicaríamos una solución nueva y brillante de IA a un problema tan arraigado como la salud mental de los adolescentes y las tasas de suicidio en Estados Unidos, pero ahí es donde estamos ahora mismo”, agregó Torkzaban. Ella formaba parte de un grupo de estudiantes periodistas y artistas de la escuela secundaria Lawrence, quienes presentaron una demanda contra el sistema escolar la semana pasada en la que alegan que Gaggle los sometió a una vigilancia inconstitucional.

Las autoridades escolares han dicho que se toman en serio las preocupaciones sobre Gaggle, pero también exponen que la tecnología ha detectado docenas de amenazas inminentes de suicidio o violencia.

“A veces tienes que sopesar el intercambio por un bien mayor”, dijo Anne Costello, miembro de la Junta de Educación, en una reunión del organismo realizada en julio de 2024.

Dos años después de su terrible experiencia, Mathis dijo que su hija está mejor, aunque todavía le “aterra” encontrarse con uno de los agentes escolares que la arrestaron. Un punto positivo, agregó, fue la compasión de los profesores de la escuela alternativa de su hija. Se tomaron un tiempo cada día para que los menores compartieran sus sentimientos y frustraciones, sin juzgarlos.

“Es como si quisiéramos que los niños fueran pequeños soldados, y no lo son”, agregó Mathis. “Son simplemente humanos”.

___

En este reportaje se revisaron las reuniones de las juntas escolares publicadas en YouTube, cortesía de DistrictView, un conjunto de datos creado por los investigadores Tyler Simko, Mirya Holman y Rebecca Johnson.

___

La cobertura educativa de The Associated Press recibe apoyo financiero de múltiples fundaciones privadas. La AP es la única responsable de todo el contenido. Encuentra los estándares de la AP para trabajar con organizaciones filantrópicas, una lista de las fundaciones y las áreas de cobertura que financian en AP.org.