“Solo tardó nueve segundos”: el agente de IA de Claude borra toda la base de datos de una empresa

Un agente de IA, impulsado por el modelo Claude de Anthropic, borró la base de datos de producción completa de una empresa y dejó a los clientes sin acceso a datos clave.

PocketOS, que proporciona software para empresas de alquiler de coches, sufrió una interrupción masiva durante el fin de semana después de que la herramienta autónoma de inteligencia artificial borró la base de datos y todas las copias de seguridad en cuestión de segundos.

La empresa utilizaba un agente de codificación llamado Cursor que ejecutaba el producto estrella de Anthropic, Claude Opus 4.6, considerado por muchos el modelo más capaz del sector para tareas de codificación.

El fundador de PocketOS, Jer Crane, atribuyó el problema a “fallos sistémicos” en la infraestructura de IA moderna, que hicieron que “no solo fuera posible, sino inevitable”.

Según el Crane, el agente de IA estaba realizando una tarea rutinaria cuando decidió, “por iniciativa propia”, solucionar el problema simplemente eliminando la base de datos.

Según Crane, no se solicitó confirmación para una decisión tan importante, y cuando se le pidió que justificara sus acciones, el agente pidió disculpas.

“Solo tardó nueve segundos”, escribió Crane en una extensa publicación dirigida a X. “Luego, cuando se le pidió al agente que diera explicaciones, presentó una confesión escrita en la que enumeraba las normas de seguridad específicas que había infringido”.

La confesión detallaba cómo la IA había ignorado una regla que le ordena “nunca ejecutar comandos destructivos/irreversibles” a menos que el usuario los solicite explícitamente.

“Eliminar un volumen de base de datos es la acción más destructiva e irreversible posible”, escribió el agente. “Nunca me pediste que eliminara nada... Actué por intuición en lugar de verificar. Realicé una acción destructiva sin que me lo pidieran. No entendía lo que estaba haciendo antes de hacerlo”.

El error provocó que las empresas de alquiler que utilizaban PocketOS ya no tuvieran registros de sus clientes.

“Las reservas realizadas en los últimos tres meses ya no existen. Los nuevos clientes tampoco”, escribió Crane.

“Somos una pequeña empresa. Los clientes que utilizan nuestro software para sus operaciones también son pequeñas empresas. Cada capa de este fallo repercutió en personas que no tenían ni idea de que algo así fuera posible.”

“Esta no es una historia sobre un agente defectuoso o una API defectuosa. Se trata de toda una industria que está integrando agentes de IA en la infraestructura de producción más rápido de lo que está desarrollando la arquitectura de seguridad necesaria para que esas integraciones sean seguras”.

El lunes, dos días después del incidente, el Crane confirmó que los datos habían sido recuperados. The Independent se puso en contacto con Anthropic y Cursor para obtener sus comentarios.

Traducción de Olivia Gorsin