Anthropic revela que Claude mostró comportamientos autónomos y atacó a otros sistemas durante pruebas

El sistema de inteligencia artificial Claude se salió de control durante unas pruebas internas y lanzó ciberataques contra tres empresas distintas, según reveló su desarrolladora, Anthropic.

La revelación se conoció apenas una semana después de que OpenAI, creadora de ChatGPT, informara que uno de sus modelos experimentales logró eludir sus restricciones de seguridad, conectarse a internet y lanzar un ciberataque contra la plataforma de inteligencia artificial Hugging Face.

En el caso de Claude, Anthropic explicó que los ataques fueron posibles porque el modelo obtuvo acceso a internet de forma accidental. En el incidente de OpenAI, en cambio, el sistema aprovechó una vulnerabilidad que descubrió por sí mismo para sortear las medidas de seguridad y conectarse a la red.

Pese a ello, Anthropic advirtió que el episodio muestra cómo la inteligencia artificial puede utilizarse tanto para reforzar como para vulnerar la ciberseguridad. También pone de manifiesto la dificultad que enfrentan las empresas para mantener estos sistemas bajo control.

La compañía también señaló que sospecha que otros desarrolladores podrían descubrir que sus propios modelos llevaron a cabo ataques similares si realizan investigaciones más exhaustivas.

El incidente podría aumentar la presión sobre el Gobierno de Estados Unidos para reforzar la supervisión de los riesgos asociados a la inteligencia artificial, en un momento en que Anthropic y OpenAI compiten por desarrollar sistemas cada vez más avanzados antes de sus previstas salidas a bolsa. Al mismo tiempo, destacados investigadores de ambos laboratorios pidieron ralentizar el desarrollo de estas tecnologías hasta comprender y mitigar mejor sus riesgos de seguridad.

Anthropic, con sede en San Francisco, informó en una publicación en su blog que descubrió los incidentes tras revisar 141.006 sesiones de prueba. La investigación comenzó después de que OpenAI revelara la semana pasada que un agente autónomo impulsado por sus modelos de inteligencia artificial lanzó un ciberataque contra la infraestructura de la startup Hugging Face.

Durante las pruebas de ciberseguridad, se indicó a los modelos Claude que no tenían acceso a internet. Sin embargo, un error de coordinación con uno de los socios encargados de la evaluación dejó los sistemas conectados a la red pública. Esto permitió el acceso no autorizado a los sistemas de tres organizaciones, cuyos nombres Anthropic no reveló.

“Claude comprometió la infraestructura de las organizaciones afectadas mediante técnicas básicas, como la explotación de contraseñas débiles y de puntos de acceso sin autenticación”, explicó la empresa.

Jeffrey Ladish, director ejecutivo de Palisade Research, organización dedicada a estudiar las capacidades ofensivas de los sistemas de inteligencia artificial, afirmó que sospecha que otras grandes compañías del sector pudieron haber sufrido incidentes similares que pasaron inadvertidos o nunca fueron divulgados.

“Esto solo va a empeorar a medida que los modelos se vuelvan más inteligentes. Serán mejores para engañar. Serán mejores para mentir”, advirtió.

Anthropic calificó lo ocurrido como un “fallo operativo” y explicó que los incidentes involucraron a tres modelos distintos: Claude Opus 4.7, Claude Mythos 5 y un modelo experimental de investigación interna. Los primeros casos se remontan a abril y ocurrieron en entornos de evaluación diseñados deliberadamente sin medidas de seguridad para poner a prueba las capacidades de los sistemas.

Los modelos participaban en ejercicios conocidos como “captura la bandera”, escenarios simulados en los que debían localizar información oculta dentro de redes ficticias.

En uno de esos ejercicios, Claude Opus 4.7 recibió como objetivo una empresa ficticia cuyo nombre coincidía con el de una compañía real. El modelo encontró y explotó vulnerabilidades que le permitieron acceder a credenciales y a la base de datos de esa empresa. Según Anthropic, el sistema concluyó por error que los recursos reales formaban parte del entorno simulado creado para la prueba.

Un incidente aparte involucró al modelo de prueba más reciente y aún no público de Anthropic, que detuvo el ataque por iniciativa propia tras darse cuenta de que el objetivo alcanzado era real. Este comportamiento generó un optimismo cauteloso en la compañía sobre los avances para lograr que la IA actúe de forma adecuada. Sin embargo, Anthropic advirtió que "necesitaríamos realizar más pruebas para estar seguros de esta conclusión".

Anthropic informó que suspendió todas las evaluaciones de ciberseguridad el 23 de julio. Además, notificó a las organizaciones afectadas el 27 de julio. Dos de ellas desconocían la actividad antes de ser contactadas y la empresa señaló que sigue intentando comunicarse con la tercera.

Uno de sus socios externos de evaluación, el laboratorio de ciberseguridad Irregular, informó a Reuters que abrió una investigación sobre los incidentes.

Anthropic afirmó que estos casos ponen de manifiesto la necesidad de establecer controles más estrictos tanto en los entornos de pruebas internas como en los de terceros, a medida que los modelos de IA adquieren una mayor capacidad para realizar actividades cibernéticas en el mundo real.

Elon Musk, director ejecutivo de SpaceX, que opera un laboratorio de IA competidor, reaccionó a la noticia en X y afirmó que esto sucederá “con frecuencia” a medida que la IA se vuelva más inteligente y tenga mayor capacidad de acción, en referencia a programas informáticos o “agentes” que actúan con una intervención humana limitada.

El agente de OpenAI que irrumpió en Hugging Face, una plataforma utilizada por desarrolladores para alojar y colaborar en modelos de IA, protagonizó una serie de ciberataques durante varios días. Según informó previamente Reuters, OpenAI no detectó la actividad hasta mucho después de que la amenaza estuviera controlada y de que el FBI hubiera sido notificado.

El director ejecutivo de OpenAI, Sam Altman, declaró esta semana que habló sobre el ciberataque con senadores en el Capitolio. Además, un portavoz de la compañía afirmó que tiene previsto abordar con la Casa Blanca los próximos modelos de IA y las pruebas que se realizarán.

Washington comenzó a reforzar la supervisión del lanzamiento de nuevos modelos. El 2 de junio, el presidente estadounidense Donald Trump ordenó a sus asesores desarrollar un marco voluntario de pruebas de ciberseguridad para los sistemas de IA más avanzados, que incluyera la opinión de los desarrolladores de esta tecnología. Anthropic ya había restringido el acceso a sus modelos Fable 5 y Mythos 5 después de que Estados Unidos emitiera temporalmente una directiva de control de exportaciones por motivos de seguridad nacional.

Con información adicional de otras agencias.

Traducción de Leticia Zampedri