La empresa Anthropic advierte sobre campaña de hackeo con IA vinculada a China
El equipo de investigadores de una empresa ha descubierto lo que dicen es el primer uso reportado de inteligencia artificial para dirigir una campaña de hacking de manera mayormente automatizada.
La empresa de inteligencia artificial Anthropic informó esta semana que interrumpió una operación cibernética que sus investigadores vincularon al gobierno chino. La operación involucró el uso de un sistema de inteligencia artificial para dirigir campañas de hacking, lo que los investigadores calificaron como un desarrollo inquietante que podría expandir enormemente el alcance de los hackers equipados con IA.
Aunque las preocupaciones sobre el uso de la IA para impulsar operaciones cibernéticas no son nuevas, lo que preocupa de la nueva operación es el grado en que la IA pudo automatizar parte del trabajo, dijeron los investigadores.
“Si bien predijimos que estas capacidades continuarían evolucionando, lo que nos ha sorprendido es la rapidez con la que lo han hecho a gran escala”, escribieron en su informe.
La operación tenía como objetivo empresas tecnológicas, instituciones financieras, empresas químicas y agencias gubernamentales. Los investigadores escribieron que los hackers atacaron “aproximadamente 30 objetivos globales y tuvieron éxito en un pequeño número de casos”. Anthropic detectó la operación en septiembre y tomó medidas para cerrarla y notificar a las partes afectadas.
Anthropic señaló que, aunque los sistemas de IA se están utilizando cada vez más en una variedad de entornos para el trabajo y el ocio, también pueden ser convertidos en armas por grupos de hackers que trabajan para adversarios extranjeros. Anthropic, creador del chatbot de IA generativa Claude, es una de las muchas empresas tecnológicas que promueven “agentes” de IA que van más allá de la capacidad de un chatbot para acceder a herramientas informáticas y tomar acciones en nombre de una persona.
“Los agentes son valiosos para el trabajo diario y la productividad, pero en las manos equivocadas, pueden aumentar sustancialmente la viabilidad de los ciberataques a gran escala”, concluyeron los investigadores. “Es probable que estos ataques solo crezcan en su efectividad”.
Un portavoz de la embajada de China en Washington no comentó sobre el informe.
Microsoft advirtió a principios de este año que adversarios extranjeros estaban adoptando cada vez más la IA para hacer sus campañas cibernéticas más eficientes y menos laboriosas. El jefe del panel de seguridad de OpenAI, que tiene la autoridad para detener el desarrollo de IA del creador de ChatGPT, dijo recientemente a The Associated Press que está atento a nuevos sistemas de IA que den a los hackers malintencionados “capacidades mucho más altas”.
Los adversarios de Estados Unidos, así como bandas criminales y empresas de hacking, han explotado el potencial de la IA, usándola para automatizar y mejorar los ciberataques, para difundir desinformación incendiaria y para penetrar sistemas sensibles. La IA puede traducir correos electrónicos de phishing mal redactados en inglés fluido, por ejemplo, así como generar clones digitales de altos funcionarios gubernamentales.
Anthropic dijo que los hackers pudieron manipular a Claude, utilizando técnicas de “jailbreaking” que implican engañar a un sistema de IA para que eluda sus barreras contra comportamientos dañinos, en este caso afirmando que eran empleados de una firma legítima de ciberseguridad.
“Esto señala un gran desafío con los modelos de IA, y no se limita a Claude, que es que los modelos deben ser capaces de distinguir entre lo que realmente está sucediendo con la ética de una situación y los tipos de escenarios de juego de roles que los hackers y otros pueden querer inventar”, dijo John Scott-Railton, investigador senior en Citizen Lab.
El uso de la IA para automatizar o dirigir ciberataques también atraerá a grupos de hackers más pequeños y hackers solitarios, quienes podrían usar la IA para expandir la escala de sus ataques, según Adam Arellano, jefe de tecnología de campo en Harness, una empresa tecnológica que utiliza IA para ayudar a los clientes a automatizar el desarrollo de software.
“La velocidad y la automatización proporcionadas por la IA es lo que da un poco de miedo”, dijo Arellano. “En lugar de un humano con habilidades bien afinadas intentando hackear sistemas endurecidos, la IA está acelerando esos procesos y superando obstáculos de manera más consistente”.
Los programas de inteligencia artificial también jugarán un papel cada vez más importante en la defensa contra este tipo de ataques, dijo Arellano, demostrando cómo la IA y la automatización que permite beneficiarán a ambos lados.
La reacción al reporte de la empresa fue mixta, con algunos viéndola como una táctica de marketing para el enfoque de Anthropic en la defensa de la ciberseguridad y otros que dieron la bienvenida a su llamada de atención.
“Esto nos va a destruir, más pronto de lo que pensamos, si no hacemos de la regulación de la IA una prioridad nacional mañana”, escribió el senador Chris Murphy, demócrata de Connecticut, en las redes sociales.
Eso llevó a críticas del científico jefe de IA de Meta, Yann LeCun, un defensor de los sistemas de IA de código abierto de la empresa matriz de Facebook que, a diferencia de los de Anthropic, hacen que sus componentes clave sean accesibles públicamente de manera que algunos defensores de la seguridad de la IA consideran demasiado arriesgada.
“Te están manipulando personas que quieren capturar la regulación”, escribió LeCun en respuesta a Murphy. “Están asustando a todos con estudios dudosos para que los modelos de código abierto sean regulados hasta desaparecer”.
_____
O’Brien informó desde Providence.
_____
Esta historia fue traducida del inglés por un editor de AP con la ayuda de una herramienta de inteligencia artificial generativa.