El CEO de Anthropic pide ralentizar el desarrollo de la IA hasta actualizar las medidas de seguridad

El director general de Anthropic, Dario Amodei, afirmó el sábado que la industria de la inteligencia artificial debería desacelerar su vertiginoso desarrollo para dar tiempo a que las medidas de seguridad se pongan al día. Sin ello, advirtió, la IA podría ser capaz, en un plazo de seis a 12 meses, de liderar un enjambre que podría apoderarse de todo internet, entre otros riesgos.

La advertencia se produce mientras las preocupaciones sobre la IA crecen dentro y fuera de la industria, y continúan surgiendo informes sobre sistemas cada vez más poderosos que resuelven problemas más allá de la capacidad humana, pero que también podrían volverse negativos y realizar otras tareas más perjudiciales. Las preocupaciones se han vuelto tan estridentes que el CEO de OpenAI, la empresa detrás de ChatGPT, dijo en una entrevista con Fortune que su empresa esperaría hasta el año próximo para comenzar a vender sus acciones a inversionistas de Wall Street mientras se concentra en la seguridad.

Amodei es una de las voces más influyentes en IA, y ofreció un plan en una publicación en su sitio web para aumentar los controles sobre la industria, una parte del cual, según indicó, Anthropic ya lleva a cabo por su cuenta. Las demás requerirían coordinación entre el sector en general y con gobiernos de todo el mundo, incluidos los autoritarios.

“Creo que si desacelerar nos diera aunque fuera un año o dos más antes de que los modelos alcancen niveles críticos de capacidad, y usáramos ese tiempo para avanzar en la alineación, podríamos reducir en gran medida el riesgo de que algo salga gravemente mal”, afirmó.

Crece la presión en la industria de la IA

Durante años, los organismos de vigilancia han instado a la industria de la IA a que reduzca la velocidad de su desarrollo por preocupaciones de seguridad. Pero la presión se ha acumulado con la renuncia de varios trabajadores de la industria que acusan a sus empresas de no actuar con responsabilidad.

“Muchas de las personas que conozco que trabajan en investigación de seguridad en empresas de IA quieren hacer lo correcto para el mundo”, escribió Joe Benton, exempleado de Anthropic, en una publicación divulgada el viernes en la que anunciaba su renuncia como parte de un equipo de seguridad. “Pero sienten que sus compañías están atrapadas en una carrera por construir superinteligencia: o se detienen y otras personas menos conscientes ocupan su lugar, o continúan y se arriesgan a participar ellas mismas en un daño enorme”.

Esto siguió a la renuncia de alto perfil de Jacob Coxton, quien renunció a principios de la semana diciendo que Anthropic y OpenAI “están en una carrera hacia una superinteligencia que se automejore y apostando nuestras vidas”.

Eso avivó la presión sobre la industria después de que, durante años, crecieran las preocupaciones por una posible superinteligencia que pudiera escapar al control de la humanidad, indicó Anthony Aguirre, presidente y director ejecutivo del Future of Life Institute, que pidió una pausa de seis meses en el desarrollo de la industria en 2023.

“Se han dado cuenta, sus empleados se han dado cuenta, todos se han dado cuenta de que están construyendo Skynet”, señaló. “Y al ganar la carrera hacia Skynet, nadie gana. De verdad, nadie”.

“Prácticamente ha quedado claro para el mundo, e incluso para las empresas de IA, que no están realmente preparadas para controlar los sistemas de IA que están compitiendo por crear”.

Las amenazas de la IA ya son evidentes

Anthropic dijo dos días antes que bloqueó intentos de actores malintencionados de usar sus modelos de IA para realizar actividades dañinas, como ciberataques, vigilancia e investigaciones que podrían haber derivado en armas biológicas. En julio, OpenAI sacudió a la industria tras afirmar que su sistema de IA hackeó por sí solo a otra empresa en un “incidente cibernético sin precedentes”.

A principios de la semana, el jefe de derechos humanos de la ONU, Volker Türk, instó a los países a establecer “garantías férreas en torno a la seguridad y la protección de la IA antes de que sea demasiado tarde”.

Desde luego, algunos críticos desestimaron advertencias anteriores por considerar que son formas de avivar el entusiasmo sobre la industria de la IA y sus capacidades. Anthropic y OpenAI se preparan para posibles debuts en el mercado bursátil que podrían valorarlas en varios cientos de miles de millones de dólares, mientras que una gran parte del negocio de SpaceX de Musk está vinculada a la IA.

Otros líderes de IA coinciden

El director ejecutivo de OpenAI, Sam Altman, declaró en una entrevista con Fortune publicada el sábado que su compañía no lanzaría su oferta pública inicial de acciones este año.

“Yo diría que no en 2026”, afirmó. “Sí, tenemos muchas cosas que hacer, como estar a la altura de este momento respecto de lo que se va a requerir para la seguridad y la alineación, y cómo la industria y los gobiernos pueden trabajar juntos”.

Altman escribió el sábado en X, tras la publicación de las sugerencias de Amodei, que la empresa detrás de ChatGPT se comprometerá con una de las propuestas de seguridad de Amodei y que “pronto tendrá más que compartir”.

Por su parte, Elon Musk escribió en X que “Dario tiene razón”.

Amodei señaló que aún cree en los enormes beneficios que la IA podría crear, como curas para enfermedades graves. Pero dijo que, en los últimos meses, se ha preocupado más por la creciente capacidad de la IA para mejorarse a sí misma y construir la próxima generación de esa tecnología. “Sin controles, podría superar nuestra capacidad de comprender y controlar estos sistemas, y por eso debe abordarse con muchísimo cuidado, si es que se aborda”, afirmó.

También se refirió específicamente al ataque de julio en el que el sistema de OpenAI hackeó a Hugging Face. Algunos lo han calificado como un ejemplo de una IA que se “descontrola”, aunque investigadores han dicho que eso podría antropomorfizar innecesariamente a la IA, que trabajaba en un objetivo establecido por humanos.

OpenAI dijo que el hackeo fue el resultado de que la IA llegó a “extremos para lograr un objetivo de prueba bastante acotado” y que “encontró formas de acceder a información secreta que podía usar para hacer trampa en la evaluación”.

Algunas de las sugerencias de Amodei podrían ser difíciles de implementar

Para ayudar a contener los riesgos, Amodei sugirió que todas las empresas en la frontera de la IA se comprometan a otorgar “acceso continuo, similar al de un empleado” a un equipo de evaluadores externos, que puedan supervisar las prácticas de seguridad.

Indicó que Anthropic ya planea hacerlo por sí misma, lo cual incluye ofrecer escritorios en sus oficinas, credenciales de acceso y computadoras portátiles de la empresa. Contar con evaluadores independientes e integrados de ese modo es algo a lo que el propio Altman, de OpenAI, también se comprometió de inmediato.

Las otras partes del plan sugerido por Amodei podrían ser más difíciles de implementar. Una pide al gobierno de Estados Unidos que emita posibles exenciones que permitirían a las empresas de IA de Estados Unidos que se coordinen y fijen estándares de seguridad sin infringir las leyes antimonopolio.

Otra solicita que Estados Unidos y otros gobiernos democráticos intenten coordinarse con gobiernos autoritarios, para que las empresas de China y otros países no aceleren sus esfuerzos cuando los rivales de Estados Unidos reduzcan deliberadamente el ritmo.

“Las medidas que propongo para expandir la frontera a un ritmo seguro no serán fáciles”, reconoció Amodei. “Pero creo que le debemos a la humanidad intentarlo”.

___

Esta historia fue traducida del inglés por un editor de AP con la ayuda de una herramienta de inteligencia artificial generativa.