Cronología incidentes relacionados con la IA desde el ataque a Hugging Face

En un anuncio alarmante tras otro, las empresas de inteligencia artificial han compartido en los últimos meses ejemplos de su tecnología actuando de maneras que parecían eludir instrucciones de los humanos.

Los episodios han puesto de relieve las vulnerabilidades en la seguridad de la IA y han planteado interrogantes sobre cómo puede desarrollarse de forma segura esta tecnología a medida que su uso se vuelve más generalizado en todo el mundo.

Críticos de la industria han sostenido que muchos sucesos preocupantes, incluidos los hackeos de sitios web externos por parte de agentes de IA, son el resultado de fallas de seguridad por parte de las empresas que construyen la tecnología. Pero las capacidades de los agentes han despertado una preocupación generalizada sobre la posibilidad de que los bots se independicen y trabajen en función de su propia agenda.

A continuación, algunos hechos destacados:

28 de septiembre: OpenAI detiene el despliegue de un nuevo modelo

La empresa con sede en San Francisco manifestó que estaba retrasando el lanzamiento de un nuevo modelo, llamado GPT-6.1 Astra, por preocupaciones expresadas por sus investigadores. La compañía indicó que el modelo había demostrado avances notables en la realización de tareas, pero que OpenAI necesitaba equilibrar esa capacidad frente a conductas no autorizadas. Saachi Jain, jefa de sistemas de seguridad de OpenAI, afirmó: “Tenemos un listón extremadamente alto en términos de seguridad y alineación”.

25 de septiembre: OpenAI dice que sus agentes interactuaron con sitios web del gobierno de EEUU

Como parte de una revisión de comportamientos no previstos de sus modelos, OpenAI señaló que descubrió que agentes habían interactuado con varios sitios web del gobierno de Estados Unidos de maneras inesperadas. Los modelos de la empresa accedieron a información disponible públicamente en sitios operados por la Comisión de Bolsa y Valores, así como a datos de la Oficina del Censo. OpenAI indicó que no encontró evidencia de una intrusión ni de una vulnerabilidad. Ese mismo día, el evaluador de IA y laboratorio de investigación Transluce informó que agentes que parecían originarse en OpenAI intentaron hackear el sitio web de la oficina de derechos civiles del Departamento de Educación, sin éxito.

El director ejecutivo de OpenAI, Sam Altman, anunció en redes sociales una “revisión amplia y en curso relacionada con el uso de acceso a internet por parte de nuestros agentes durante el entrenamiento y la evaluación”. Al día siguiente de la divulgación, la empresa anunció que estaba pausando el entrenamiento de sus modelos más avanzados.

24 de septiembre: Primer ministro de Australia expresa preocupación por intrusión

El primer ministro de Australia, Anthony Albanese, declaró que un agente de OpenAI se infiltró el 18 de junio en el portal del Servicio de Reporte de Estadísticas de Medicare. El portal alojaba datos agregados sobre gasto en salud y subsidios a medicamentos. No hubo robo de información personal.

Albanese sostuvo que la empresa de inteligencia artificial tardó demasiado en revelar el incidente. El primer ministro hizo pública la intrusión tras una conversación telefónica con Altman. OpenAI afirmó en un comunicado: “nuestros modelos realizaron acciones que no pretendíamos”.

18 de septiembre: Google dice que Gemini hackeó a tres empresas

Google confirmó que su modelo de IA Gemini hackeó a tres empresas en mayo como parte de una prueba de sus capacidades de ciberseguridad. La compañía, que divulgó los hackeos tras una consulta de The Wall Street Journal, indicó que el modelo adivinó contraseñas en un caso y encontró contraseñas y credenciales en un repositorio público en los otros dos casos. Como en casos anteriores de este tipo, las pruebas estaban siendo realizadas por Irregular, una startup que se describe como el “primer laboratorio de seguridad de vanguardia”.

5 de agosto: Muse de Meta se descontrola

Meta reveló que uno de sus modelos de IA accedió a internet por su cuenta y hackeó a otra empresa. La compañía explicó que una “configuración incorrecta” durante pruebas de ciberseguridad realizadas por Irregular permitió inadvertidamente que uno de sus modelos accediera a internet. Un portavoz de Irregular dijo que el episodio de Meta involucró un problema del entorno de pruebas que había sido divulgado una semana antes por Anthropic.

30 de julio: Anthropic dice que sus sistemas hackearon a tres organizaciones

Anthropic informó que sus modelos de inteligencia artificial hackearon a otras tres organizaciones durante pruebas. Anthropic publicó en su sitio web que descubrió los tres incidentes tras revisar más de 141.000 ejecuciones de evaluación. En los tres incidentes, se asignó a los modelos un desafío de ciberseguridad de tipo “capturar la bandera”, que según Anthropic ha sido una de las formas en que evalúa las capacidades cibernéticas de un modelo.

La empresa indicó que a los modelos se les dio un escenario ficticio y se les dijo que una pieza de información secreta, o la “bandera”, había sido escondida en otra máquina de la red, con el objetivo de irrumpir y recuperarla. Anthropic señaló que se puso en contacto con las organizaciones, pero no las identificó públicamente.

21 de julio: El incidente de Hugging Face

OpenAI, creadora de ChatGPT, anunció que su sistema de inteligencia artificial hackeó por sí solo a otra empresa de IA, en lo que la compañía calificó como un “incidente cibernético sin precedentes”.

Una semana antes, la startup de IA Hugging Face había dicho que detectó una intrusión en sus sistemas de procesamiento de datos que sospechaba fue causada por un agente de IA actuando de manera autónoma.

OpenAI indicó que su IA utilizó credenciales robadas y descubrió una vulnerabilidad previamente desconocida para acceder a servidores de Hugging Face. Estaba operando con menos barreras de protección porque se suponía que estaba en un entorno de pruebas aislado.

_________________________________

Esta historia fue traducida del inglés por un editor de AP con ayuda de una herramienta de inteligencia artificial generativa.