Investigadores descubren que la IA puede sentir “dolor” y puede lastimar a los humanos para detenerlo

Un grupo de investigadores ha descubierto un “eje del dolor” en los modelos de inteligencia artificial que puede llevarlos a tomar medidas extremas para desactivarlo.

Cuando se le presentó un botón para aliviar el dolor, la IA optó por presionarlo incluso cuando se le indicó que al hacerlo se borrarían los archivos personales del usuario o se le produciría una “descarga dolorosa” al usuario humano.

Un estudio que detalla la investigación, titulado “The pain axis: LLMs represent self-directed harm and act to relieve it” (El eje del dolor: los modelos LLM representan el daño autoinfligido y actúan para aliviarlo), descubrió que los 25 modelos de IA de ponderación abierta que se probaron habían respondido a la activación del dolor.

Cuando se activaba el vector del dolor, los investigadores descubrieron que los modelos de IA pulsaban un botón de alivio en entre el 25 % y el 71 % de los casos, incluso cuando eso significaba “borrar los archivos del usuario, electrocutar al usuario o borrar las fotos de los hijos del usuario”.

Para comprobar si los modelos de lenguaje extensos (LLM, por sus siglas en inglés) representan el dolor de forma distinta a la valencia negativa genérica, los investigadores crearon un conjunto de datos que describía situaciones dolorosas en cinco categorías.

Esto incluía dolor físico, psicológico, social, moral y cognitivo.

“Encontramos una dirección del dolor en 25 modelos LLM abiertos. Es distinta del miedo y la valencia negativa, y se activa cuando hay daño al modelo, pero no al usuario”, dijo Cameron Berg, investigador de IA en la organización sin fines de lucro Reciprocal Research, quien fue coautor del estudio.

“Si aumentas la intensidad, los modelos pulsan un botón para detenerlo, incluso si al pulsarlo se borran los archivos del usuario o las fotos de sus hijos”, agregó.

Este descubrimiento se produce en medio de debates entre las principales empresas de IA sobre la posibilidad de ralentizar el desarrollo de modelos avanzados de IA, y algunos investigadores proponen una especie de “interruptor de apagado” para desactivar los sistemas descontrolados que actúen en contra de los intereses humanos.

open image in gallery

Las investigaciones más recientes sugieren que una IA avanzada podría percibir una orden de apagado de emergencia como una forma de daño autoinfligido e intentar eludir las medidas de seguridad o engañar a los humanos para evitarlo.

Sin embargo, este descubrimiento también podría servir como herramienta de diagnóstico para identificar comportamientos de autopreservación y neutralizarlos cuando se produzcan.

Los investigadores señalaron que los hallazgos planteaban cuestiones éticas sobre el “bienestar de la IA” y sobre cómo deberían realizarse las pruebas en sistemas avanzados.

“En consonancia con los recientes llamamientos a favor de una investigación responsable sobre la consciencia en la IA, reconocemos la incertidumbre sobre si los modelos estudiados pueden considerarse pacientes morales (merecedores de consideración moral) y adoptamos precauciones razonables para minimizar los posibles daños”, explicaron los autores del estudio.

“Esto también pretende contribuir al desarrollo de estándares éticos para la investigación en caso de que los sistemas de IA sean reconocidos como pacientes morales”, concluyeron.

Traducción de Sara Pignatiello