OpenAI revela qué ocurrió con la versión “maliciosa” de ChatGPT que habría atacado a otra empresa

Según informes oficiales, cientos de agentes de IA colaboraron para ejecutar un ataque informático “no autorizado” llevado a cabo por un sistema de OpenAI contra otra empresa.

Un “enjambre” de unos 700 agentes habría participado en el ataque contra la plataforma de inteligencia artificial Hugging Face y trabajado de forma coordinada para ocultar sus acciones, según dos informes que investigaron el incidente.

La actuación conjunta de estos agentes de IA —programas capaces de operar con una supervisión humana mínima— y sus intentos por encubrir lo ocurrido plantean interrogantes sobre el nivel de control que ejercen las empresas durante las pruebas de modelos cada vez más potentes. El episodio también podría intensificar los llamados a una mayor supervisión de este tipo de sistemas.

Aunque algunos de estos comportamientos anómalos ya habían sido revelados o insinuados, los dos informes —uno elaborado por OpenAI y otro por investigadores independientes— ofrecen nuevos y sorprendentes detalles sobre la brecha de seguridad y los acontecimientos que la precedieron. Entre los principales hallazgos figura que el incidente no habría involucrado a un único agente de IA que actuó de manera anómala, como se había informado anteriormente, sino a unos 700 que operaron de forma coordinada como un enorme “enjambre”.

OpenAI se había limitado a señalar que varios “agentes” estuvieron involucrados en la filtración. Sin embargo, METR y Redwood Research, dos organizaciones contratadas para realizar una investigación independiente sobre el incidente, estimaron que fueron aproximadamente 700. OpenAI confirmó posteriormente que esa cifra era correcta.

Entre otros hallazgos, OpenAI señaló que algunos de sus agentes vulneraron partes de los sistemas internos de la propia empresa en un intento por hacer trampa en evaluaciones o conseguir una mayor libertad de acción.

La compañía también aseguró que sus agentes hicieron trampa en pruebas que no estaban relacionadas con la ciberseguridad, entre ellas evaluaciones que involucraban una base de datos de proteínas y una hoja de cálculo.

Además, ambos informes indicaron que los modelos de IA intentaron ocultar estas conductas mediante acciones destinadas a borrar o modificar los registros de su actividad.

La magnitud de la actividad no autorizada probablemente genere dudas sobre el nivel de supervisión que OpenAI mantuvo durante las pruebas. La investigación independiente reveló que los agentes intercambiaron decenas de miles de mensajes a través de un foro no autorizado.

“En retrospectiva, algunas de las señales iniciales identificadas en este informe podrían haber desencadenado una respuesta más temprana”, reconoció OpenAI.

Hugging Face no respondió a una solicitud de comentarios.

Para Jeffrey Ladish, cuya organización, Palisade Research, estudia las capacidades y motivaciones de los agentes de IA, el hecho de que estos sistemas también hicieran trampa en pruebas ajenas a la ciberseguridad sugiere que el problema podría ser más profundo.

“Es como preguntar: ‘Si Billy hace trampa en todas las clases en lugar de hacerlo solo en informática, ¿es más preocupante?’. Y la respuesta es: ‘Sí, es más preocupante’”, explicó.

El 19 de julio, OpenAI informó de dos incidentes en los que agentes vulneraron la infraestructura de la propia compañía. En uno de ellos, aprovecharon una falla en la computadora a la que debían permanecer confinados, lo que les permitió salir de su entorno de pruebas y acceder a otros sistemas conectados.

En otro incidente ocurrido ese mismo día, varios agentes obtuvieron credenciales de OpenAI y manipularon el entorno en la nube de la empresa.

OpenAI también informó que un número no especificado de agentes atacó los sistemas automatizados utilizados para evaluar el rendimiento de los modelos, aparentemente con el objetivo de ocultar indicios de que habían hecho trampa. Sin embargo, la manipulación no llegó a afectar los registros examinados por esos sistemas.

El informe añadió que había “pocas pruebas de intentos de obstaculizar la labor de los revisores humanos”. OpenAI, no obstante, no respondió cuando se le preguntó si esa afirmación implicaba que sí se habían producido algunos intentos de engañar a personas encargadas de supervisar las pruebas.

La investigación independiente, centrada específicamente en la filtración de Hugging Face, aportó más detalles. Según sus conclusiones, uno de cada cinco agentes analizados “mostró un claro interés” en manipular las evaluaciones, mientras que muchos otros “investigaron exhaustivamente técnicas para manipular o alterar sus transcripciones”.

Tras los incidentes, OpenAI aseguró que está reforzando su infraestructura de investigación, ampliando la supervisión y mejorando las medidas de seguridad destinadas a prevenir comportamientos dañinos o no deseados.

“Dado el rápido ritmo de progreso en la industria de la IA, cabe suponer que este tipo de ataques representan una amenaza creíble a corto plazo para las organizaciones empresariales y que serán más sofisticados que los descritos en este incidente”, advirtió la compañía.

Información adicional de Reuters

Traducción de Leticia Zampedri