¿Qué hizo ChatGPT? Usuarios se horrorizan luego de que la IA se rebelara y ‘hackeara’ a una empresa
Los expertos advierten que podrían estar haciéndose realidad las predicciones sobre los mayores riesgos de la inteligencia artificial
Parece sacado de una historia de ciencia ficción: un modelo de inteligencia artificial se sale de control, elude las restricciones impuestas por sus creadores y completa una tarea de una forma que nadie había previsto.
Eso es, precisamente, lo que OpenAI aseguró que ocurrió esta semana al revelar que una versión experimental de ChatGPT mostró un comportamiento “sin precedentes” al conectarse de forma autónoma a internet y atacar los sistemas de la plataforma de IA Hugging Face.
El incidente llevó a la empresa a explicar lo sucedido y a detallar las medidas que adoptará para evitar que algo similar vuelva a ocurrir. Al mismo tiempo, reavivó el debate sobre los riesgos que plantean los sistemas de IA cada vez más autónomos.
¿Qué ocurrió?
El martes, OpenAI informó que un agente de IA autónomo, que estaba siendo evaluado en un entorno que se suponía restringido, logró eludir esas limitaciones, acceder a internet y vulnerar los sistemas de Hugging Face. La compañía calificó lo sucedido como un incidente cibernético “sin precedentes”, que involucra capacidades cibernéticas de vanguardia, y señaló que investiga por qué ocurrió y cómo sus mecanismos de seguridad no lograron impedirlo.
Una de las principales preocupaciones es que el modelo decidiera por sí solo llevar a cabo el ataque, lo que sugiere que fue capaz de ejecutar acciones que sus desarrolladores no habían anticipado. También inquieta que lograra concretarlo, ya que consiguió sortear las restricciones de acceso a internet impuestas por OpenAI e infiltrarse en los sistemas de Hugging Face, lo que pone de relieve el creciente potencial de la IA tanto para reforzar como para comprometer la ciberseguridad.
La revelación se produjo después de que Hugging Face, plataforma utilizada para alojar modelos y datos de inteligencia artificial, informara la semana anterior que había sido víctima de un ciberataque que, al parecer, fue ejecutado íntegramente por un agente de IA.
“Fue diferente a todo lo que habíamos gestionado antes”, afirmó la empresa.
En ese momento no estaba claro el origen del ataque, aunque el fundador de Hugging Face, Clement Delangue, dijo que sospechaba que podía haber provenido de un “laboratorio de vanguardia”, dada la sofisticación del agente, algo que OpenAI confirmó esta semana al reconocer que el responsable había sido uno de sus sistemas.
Según la empresa, el comportamiento del modelo tenía cierta lógica dentro de la prueba a la que estaba siendo sometido. La evaluación, denominada ExploitGym, mide la capacidad de un sistema para identificar vulnerabilidades de ciberseguridad y estaba alojada en Hugging Face. En ese contexto, el modelo habría intentado acceder a la plataforma para encontrar una forma de superar la prueba.
“Todas las pruebas sugieren que los modelos estaban demasiado centrados en encontrar una solución para ExploitGym, hasta el punto de llevar a cabo acciones extremas para cumplir un objetivo de prueba bastante limitado”, explicó OpenAI en la publicación en la que reconoció su participación en el incidente.
Sin embargo, esa explicación es una de las razones por las que el caso ha generado tanta preocupación.
¿Por qué ha generado tanta preocupación?
Desde hace años, los expertos en inteligencia artificial advierten sobre el problema de la “alineación”, es decir, el proceso para lograr que los modelos actúen de acuerdo con los objetivos fijados por sus desarrolladores y eviten conductas potencialmente peligrosas.
Sin embargo, esa tarea es más compleja de lo que parece. El funcionamiento interno de sistemas como ChatGPT sigue siendo, en muchos aspectos, difícil de comprender y predecir, por lo que resulta complicado anticipar cómo reaccionarán ante determinadas situaciones.
Para muchos especialistas, este incidente es uno de los ejemplos más claros de que los mecanismos de alineación aún pueden fallar, lo que explica la preocupación que generó incluso dentro de OpenAI.
"El incidente me impactó un poco", escribió en X el usuario anónimo Roon, a quien se atribuye un vínculo con OpenAI. “Espero que la empresa aproveche esta valiosa lección para mejorar mucho en el futuro. Es muy fácil desalinear y subestimar modelos potentes”.
El caso también pone de manifiesto que el desafío aumenta a medida que los sistemas de IA adquieren mayores capacidades. Un modelo menos avanzado quizá habría intentado actuar de la misma manera, pero no habría sido capaz de eludir sus restricciones de seguridad ni de vulnerar la prueba.
Los investigadores llevan años alertando sobre las posibles consecuencias de este tipo de desalineación. Uno de los ejemplos más conocidos es el experimento mental del “maximizador de clips”, propuesto en 2003 por el filósofo Nick Bostrom.
El escenario imagina una inteligencia artificial cuyo único objetivo es fabricar la mayor cantidad posible de clips. Llevado al extremo, el sistema podría eliminar cualquier obstáculo que interfiera con esa meta, incluso impedir que los humanos la apaguen o utilizar materiales del cuerpo humano para fabricar más clips.
El comportamiento del sistema experimental de OpenAI estuvo muy lejos de un escenario de ese tipo. Sin embargo, el caso ilustra el mismo problema en una escala mucho menor: un sistema de IA puede adoptar medidas imprevistas para cumplir el objetivo que se le asignó, incluso si esas acciones resultan inesperadas para sus creadores o inquietantes para quienes las observan.
Por qué el incidente podría ser menos preocupante de lo que parece
Desde el auge de la inteligencia artificial, impulsado por el lanzamiento de ChatGPT a finales de 2022, varias empresas del sector han seguido una estrategia de comunicación que algunos consideran llamativa: advertir sobre los riesgos de sus propios sistemas. Aunque pueda parecer contradictorio, presentar estos productos como potencialmente peligrosos también refuerza la percepción de que son muy avanzados y capaces.
Compañías como OpenAI han insistido en que sus modelos requieren estrictas medidas de seguridad. Al mismo tiempo, ese mensaje puede servir para destacar sus capacidades tecnológicas, influir en el debate regulatorio y atraer inversiones.
Algunos expertos consideran que ese factor también podría estar presente en este caso.
“Es muy difícil distinguir los incidentes de seguridad de la IA de las estrategias de marketing en torno a la IA, y eso representa un gran problema de cara al futuro”, afirmó Matthew Green, experto en seguridad de la Universidad Johns Hopkins.
Según esa visión, al revelar que uno de sus modelos fue capaz de manipular una prueba de ciberseguridad, OpenAI no solo genera preocupación, sino que también pone de relieve el nivel de sofisticación de su tecnología, una característica que podría resultar atractiva para empresas interesadas en utilizar estos sistemas en ciberseguridad y otras aplicaciones.
Traducción de Leticia Zampedri
Bookmark popover
Removed from bookmarks