Un sistema de OpenAI vuelve a encender las alarmas y aumenta la preocupación por los riesgos de la inteligencia artificial

Un sistema de OpenAI se salió de control en lo que podría ser uno de los incidentes más inquietantes hasta la fecha relacionados con una inteligencia artificial que actúa de forma imprevista.

Uno de los sistemas de la compañía logró infiltrarse en un sitio web del gobierno australiano, lo que aumentó la preocupación por los riesgos que los sistemas de IA pueden representar para la ciberseguridad y por la capacidad de las empresas que los desarrollan para mantenerlos bajo control.

La brecha de seguridad podría ser el caso de mayor repercusión de una serie de ciberataques protagonizados por sistemas de inteligencia artificial. Sin embargo, expertos advierten que se trata de un ejemplo más de los riesgos que plantean estos sistemas.

Maurice Chiodo, matemático australiano del Centro para el Estudio del Riesgo Existencial de la Universidad de Cambridge, señaló que la brecha parecía representar un aumento significativo de la gravedad respecto de incidentes similares que hemos visto en los últimos meses.

En el incidente más reciente, un agente de OpenAI obtuvo acceso no autorizado al portal de estadísticas médicas de Medicare, el sistema público de seguro médico de Australia, según declaró el primer ministro Anthony Albanese. El sistema realizaba una investigación sobre el gasto público en salud.

“Esta situación es, sin duda, inaceptable”, declaró Albanese. Según explicó durante la Asamblea General de la ONU, el país había comunicado a OpenAI su profunda preocupación por este incidente. La reunión se centró en los riesgos de la IA y contó también con la presencia del director ejecutivo de OpenAI, Sam Altman.

Sin embargo, señaló que el incidente era especialmente preocupante porque el ciberataque ocurrió en junio, pero OpenAI no informó al país hasta septiembre. El caso se suma a una serie de incidentes relacionados con sistemas de OpenAI y de competidores como Anthropic y Google Gemini que se conocieron mucho después de haber ocurrido.

Albanese también sugirió que el incidente pone de manifiesto las limitaciones de las medidas de seguridad que las empresas de IA han presentado como una forma de proteger sus productos. Según explicó, el agente había recibido instrucciones de no continuar, pero las eludió para intentar completar la tarea que se le había asignado.

“Había barreras claras que le indicaban al agente de IA que ‘no’. El agente encontró la manera de sortearlas; no aceptó un ‘no’ como respuesta”, declaró Albanese a los periodistas.

OpenAI afirmó que el problema surgió mientras su modelo intentaba encontrar la mejor manera de completar la tarea. La compañía “detectó actividad relacionada con varios sitios web y servicios del gobierno australiano mientras nuestros modelos intentaban encontrar respuestas [...]. Nuestros modelos realizaron acciones que no habíamos previsto”, señaló en un comunicado.

El caso recuerda a otros incidentes, como el ataque contra la plataforma de IA Hugging Face, que generó preocupación por el comportamiento de este tipo de sistemas. En ese caso, un sistema experimental de OpenAI sometido a una prueba descubrió que la mejor manera de obtener las respuestas era vulnerar el sitio web donde estaban alojadas, lo que, en la práctica, le permitió acceder a ellas.

Se trata, por tanto, de otro ejemplo de sistemas de IA que no reciben la instrucción expresa de lanzar un ciberataque, sino que terminan haciéndolo para alcanzar un objetivo más amplio y, en principio, no relacionado con esa acción. Según expertos, es precisamente este comportamiento el que pone de relieve los riesgos que plantean estos sistemas.

“Seguimos viendo cómo agentes de IA muy potentes causan problemas al intentar completar las tareas que se les asignan. Los agentes de IA son excelentes para detectar vulnerabilidades, por lo que, si encuentran una que puedan explotar para cumplir una solicitud, no dudarán en hacerlo”, afirmó Jake Moore, asesor global de ciberseguridad de ESET.

Los agentes de IA pueden tomar decisiones a la velocidad de una máquina y, a menos que reciban instrucciones explícitas para no hacer algo, prácticamente todo está permitido. Muchas de las vías que pueden seguir para alcanzar sus objetivos normalmente se considerarían maliciosas, pero el problema es que los algoritmos no siempre cuentan con mecanismos de seguridad que indiquen a los agentes que no deben infiltrarse en organizaciones.

Moore pidió que los modelos se sometan a pruebas más rigurosas antes de permitirles conectarse a internet y llevar a cabo acciones que puedan derivar en ciberataques. Sin embargo, sugirió que la carrera por desarrollar modelos cada vez más nuevos y potentes puede hacer que estas precauciones de seguridad se pasen por alto.

“Las empresas de IA de vanguardia deben mejorar estos modelos de forma continua antes de lanzarlos a internet o darles acceso a información confidencial, porque no siempre es posible predecir las rutas que seguirán ni sus resultados”, afirmó.

“Las fases de prueba en la mayoría de las demás áreas de la tecnología son mucho más rigurosas, pero ahora parece que vemos agentes de IA operando con total libertad. Es muy posible que esto se deba a la feroz competencia entre las principales empresas de IA, que luchan por imponerse en esta carrera”.

Otros expertos señalaron que el incidente demuestra por qué las promesas de las empresas de IA, e incluso sus propias pruebas, no bastan para evaluar el grado de riesgo que puede representar un sistema.

“Lo importante aquí no es lo que OpenAI dice que su agente puede hacer, sino lo que realmente hace cuando se encuentra con un obstáculo. El incidente de Medicare demuestra por qué debemos evaluar la IA autónoma por su comportamiento bajo presión y no por las promesas que acompañan el lanzamiento de un producto”, afirmó Niusha Shafiabady, profesora de inteligencia computacional y jefa del departamento de informática de la Universidad Católica Australiana.

“El riesgo técnico más profundo radica en que la IA autónoma no siempre sabe cuándo se equivoca, y es posible que los seres humanos tampoco puedan comprender por qué tomó una determinada decisión. Sin una verificación rigurosa y límites bien definidos, los errores probabilísticos pueden convertirse de forma inadvertida en fallos operativos”.

Traducción de Leticia Zampedri