Un empleado de Anthropic ve un 10% de probabilidad de que la IA acabe con la humanidad en 10 años

Los empleados actuales y antiguos de Anthropic, una empresa estadounidense de inteligencia artificial fundada por antiguos líderes de OpenAI, afirman creer que la IA podría acabar con la humanidad en los próximos 10 años.

“¡Realmente creemos que la IA podría acabar con todos los humanos! Personalmente, creo que esto ocurrirá en más del 10 % de los casos en la próxima década. Creo que Anthropic está haciendo todo lo posible, pero aún no tenemos un plan para resolver el problema de la alineación para la superinteligencia y no estamos claramente encaminados a lograrlo”, escribió Evan Hubinger, líder de ciencia de alineación de Anthropic, el martes por la noche en X.

Sus comentarios se produjeron después de que Jacob Coxon, investigador de IA en Anthropic, renunció a la empresa y publicó en X un artículo donde detallaba su salida.

“Quienes desarrollan la IA creen firmemente que podría acabar con todos nosotros para finales de la década”, afirmó Coxon. “Esto no es una estrategia de marketing. De hecho, muchos ejecutivos e investigadores sénior intentan sonar sensatos en la prensa, pero en privado oigo a esas mismas personas expresar su temor. Ninguna otra actividad humana representa este nivel de peligro”.

Estas declaraciones se producen en un momento en que la IA se está convirtiendo en una parte cada vez más habitual de la vida diaria de millones de estadounidenses, al tiempo que aumentan los temores sobre los peligros potenciales de esta tecnología. La preocupación por que la IA se vuelva incontrolable no es nueva, ya que Elon Musk y destacados investigadores y académicos advirtieron repetidamente que los sistemas cada vez más potentes podrían suponer graves riesgos para la humanidad.

open image in gallery

Estas preocupaciones se intensificaron tras incidentes recientes relacionados con sistemas de IA, incluido un modelo de OpenAI que vulneró la seguridad de Hugging Face en julio. Por su parte, Anthropic afirma estar centrada en el desarrollo de una IA potente, segura y fiable; su chatbot, Claude, está entrenado para seguir principios de seguridad diseñados para ofrecer respuestas útiles, y así evitar comportamientos dañinos o arriesgados y recurrir a la intervención humana cuando sea necesario.

Alrededor de las 2 a. m. del miércoles, Samuel Marks, responsable de la supervisión escalable de Anthropic, también respondió a la publicación de Coxon, afirmando que estaba “[Escribiendo esto a título personal, no en nombre de mi empleador (Anthropic)]”.

“Los desarrolladores de IA creen que su tecnología podría provocar la extinción humana (o consecuencias igualmente nefastas). Esto podría ocurrir en los próximos años. En general, cuanto más alto sea el cargo del empleado, mayor será su preocupación”, escribió Marks.

The Independent se puso en contacto con Anthropic y Coxon para recabar sus comentarios.

open image in gallery

OpenAI, una empresa de IA independiente pero líder en el sector, rechazó hacer comentarios sobre la publicación de Coxon cuando se comunicaron desde The Independent. Sin embargo, un portavoz señaló varias actualizaciones que la empresa publicó en las últimas semanas, en las que detalla sus esfuerzos por mejorar la seguridad y la coherencia de la IA. Esto incluye la investigación sobre monitoreo y medidas de seguridad, el aplazamiento del desarrollo cuando sea necesario y el apoyo a estándares de seguridad compartidos y la coordinación internacional.

En otras partes de sus publicaciones de renuncia, Coxon dijo que pasó los últimos tres años realizando investigaciones de preentrenamiento tanto en OpenAI como en Anthropic, y afirmó que ninguna de las dos compañías está actuando de manera responsable.

“Están corriendo a toda velocidad hacia la superinteligencia automejorada y jugando con nuestras vidas”, escribió Coxon en X.

La automejora se refiere a la idea de que los sistemas de IA podrían mejorar sus propias capacidades con poca intervención humana. La automejora recursiva, como se la suele llamar, aún no es posible, pero los laboratorios de IA están trabajando para lograrla.

“No subestimen el poder de esta tecnología. Pronto se convertirá en sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales. Todos hemos sido testigos del progreso en cada uno de estos ámbitos, y este progreso no se está ralentizando”, afirmó Coxon.

Traducción de Olivia Gorsin