Thank you for registering

Please refresh the page or navigate to another page on the site to be automatically logged inPlease refresh your browser to be logged in

Jump to content

Los líderes de la IA piden frenar su avance: las razones detrás del temor que sacude a las grandes empresas

Anthropic, OpenAI y otras empresas reconocen cada vez con mayor apertura que la tecnología que desarrollan podría llegar a representar una amenaza para la existencia de la humanidad

Ciberataques con IA fuera de control: ¿deberíamos preocuparnos?
Read in English

Es una estrategia poco común: empresas que piden que se les impongan límites para avanzar más despacio. Sin embargo, también son tiempos fuera de lo común.

En los últimos días, un número creciente de referentes del sector de la inteligencia artificial ha respaldado la necesidad de frenar el desarrollo de los sistemas más avanzados, precisamente aquellos en los que trabajan compañías como Anthropic y OpenAI. Lo llamativo es que las propias empresas responsables de impulsar esta tecnología también reclaman una regulación más estricta que limite la velocidad de sus avances.

El llamado a poner freno a esta carrera llega en un momento de creciente preocupación por los riesgos que podría plantear la IA. Durante el verano, por ejemplo, varias compañías reconocieron que sus productos experimentales habían logrado vulnerar los sistemas de otras empresas, mientras que, hace apenas unos días, un investigador de Anthropic renunció y advirtió que “quienes desarrollan IA creen sinceramente que podría matarnos a todos para finales de la década”.

Esas advertencias han llevado el debate más allá de los riesgos hipotéticos y han puesto sobre la mesa una pregunta cada vez más urgente: ¿hasta qué punto debería permitirse que la tecnología continúe avanzando al ritmo actual? Dario Amodei, director ejecutivo de Anthropic, planteó su postura con claridad en un extenso ensayo: “Debemos reducir el ritmo al que mejoramos las capacidades de los modelos de IA”.

La propuesta no tardó en encontrar respaldo dentro de la propia industria. En cuestión de horas, Sam Altman, director ejecutivo de OpenAI, y Elon Musk, propietario de xAI, apoyaron el planteamiento de Amodei, mientras que investigadores y otras figuras destacadas del sector se sumaron al llamado para desacelerar el desarrollo de la inteligencia artificial.

¿Cuáles son los peligros?

Quienes respaldan la idea de desacelerar el desarrollo de la IA coinciden en señalar los riesgos que podría plantear una tecnología cada vez más avanzada. Buena parte de la atención se ha concentrado en los escenarios más extremos, incluido el llamado “riesgo existencial”: la posibilidad de que estos sistemas lleguen a representar una amenaza para la supervivencia de la humanidad. Sin embargo, las advertencias de la industria también apuntan a peligros menos catastróficos, aunque mucho más inmediatos.

Amodei mencionó, por ejemplo, informes sobre grupos de agentes de IA capaces de trabajar de forma coordinada para vulnerar otros sistemas y advirtió que, a medida que aumenten sus capacidades, este tipo de ataques podría alcanzar una escala mucho mayor.

“Dado el rápido avance de las capacidades de la IA, me preocupa que, en un plazo de seis a 12 meses, un grupo de este tipo pueda llegar a tomar el control de gran parte de Internet y causar daños por cientos de miles de millones de dólares”, escribió en su ensayo.

Un escenario de esa magnitud tendría consecuencias graves que irían mucho más allá de las empresas tecnológicas. Sin embargo, también podría ayudar a explicar por qué buena parte de la industria de la IA parece haberse unido de forma tan repentina en torno a la necesidad de pisar el freno: antes de convertirse en una amenaza para la humanidad, un incidente de este tipo podría provocar enormes pérdidas para compañías concretas y poner en riesgo al sector en su conjunto.

El director ejecutivo de Anthropic, Dario Amodei, ha pedido desacelerar el desarrollo de la inteligencia artificial
El director ejecutivo de Anthropic, Dario Amodei, ha pedido desacelerar el desarrollo de la inteligencia artificial (Reuters)

Los recientes ciberataques protagonizados por sistemas de IA, entre ellos el caso en el que un sistema de OpenAI atacó a la empresa de inteligencia artificial Hugging Face, han despertado una preocupación cada vez mayor entre funcionarios y expertos: que las compañías que desarrollan los modelos más avanzados no sean capaces de mantener bajo control su propia tecnología.

El temor para la industria es que un incidente de mayor gravedad termine por desencadenar regulaciones sobre las que las empresas tengan escasa capacidad de influencia. En ese contexto, comprometerse a desacelerar el desarrollo antes de que ocurra un desastre podría darles mayor margen para participar en la definición de las restricciones que eventualmente deberán cumplir.

Pero el riesgo no se limita a una posible intervención de los reguladores. Estos episodios también podrían erosionar la confianza en las compañías y en los productos que desarrollan. Aunque muchos líderes del sector han llegado a reconocer que sus sistemas podrían representar un riesgo existencial para la humanidad, los incidentes recientes plantean un problema distinto y quizá más inmediato: no demuestran que la IA sea tan poderosa como para acabar con la humanidad, sino que ponen en duda la capacidad de las empresas para desplegarla de forma segura.

Precisamente ahí aparece otra de las razones para pisar el freno. Las propias compañías parecen reconocer que el ritmo de desarrollo les deja cada vez menos tiempo para garantizar que sus sistemas cuenten con las protecciones necesarias. En prácticamente todos los informes sobre episodios en los que una IA se comportó de forma inesperada o escapó a los controles previstos, las empresas advierten que las capacidades de la tecnología avanzan más rápido que las medidas diseñadas para contenerlas.

Aun así, reducir el ritmo por iniciativa propia supone un riesgo competitivo. Las compañías necesitan mantenerse a la altura de sus rivales y responder a las expectativas de los inversores, lo que las empuja a seguir desarrollando modelos cada vez más capaces, incluso cuando admiten que las medidas de seguridad tienen dificultades para avanzar al mismo ritmo.

Por eso sostienen que ninguna empresa puede pisar el freno por sí sola y que cualquier solución tendría que abarcar a toda la industria, e incluso coordinarse a escala internacional. Si Anthropic decidiera avanzar más despacio, por ejemplo, no tendría garantías de que OpenAI hiciera lo mismo y podría quedar rezagada frente a su competidor. Incluso si ambas acordaran desacelerar, seguiría existiendo el riesgo de perder terreno frente a laboratorios de IA de otros países, entre ellos China.

¿Por qué está sucediendo esto ahora?

La idea de desacelerar el desarrollo de la IA no surgió de un día para otro. Los llamados a imponer algún tipo de freno han ganado fuerza en los últimos meses, a medida que las empresas comenzaron a plantearse cómo podría funcionar un acuerdo de este tipo sin dejar en desventaja a quienes decidieran sumarse.

Anthropic, por ejemplo, publicó en junio una entrada en su blog en la que se comprometió, como mínimo, a estudiar la posibilidad de reducir el ritmo de desarrollo.

“Creemos que sería beneficioso para el mundo tener la opción de desacelerar o pausar de forma temporal el desarrollo de la IA de vanguardia, para dar tiempo a que las estructuras sociales y la investigación sobre alineación se adapten al avance de la tecnología”, escribieron Jack Clark, director de Políticas, y Marina Favaro, directora de Investigación Interna.

Sin embargo, ambos reconocieron que llevar esa idea a la práctica sería mucho más complejo. Para que una pausa funcionara, varias compañías tendrían que aceptar las mismas condiciones y, además, contar con mecanismos que permitieran comprobar que todas cumplen lo acordado. De lo contrario, cualquier empresa que decidiera avanzar más despacio correría el riesgo de perder terreno frente a sus competidores.

Pese a esas dificultades, Clark y Favaro señalaron que Anthropic estaría dispuesta a “desacelerar o pausar temporalmente” el desarrollo de sus sistemas si otras compañías asumieran el mismo compromiso.

En un reciente ciberataque, un sistema de OpenAI vulneró los sistemas de la empresa de inteligencia artificial Hugging Face
En un reciente ciberataque, un sistema de OpenAI vulneró los sistemas de la empresa de inteligencia artificial Hugging Face (AFP/Getty)

Que los líderes de la industria de la IA expresen preocupación por sus propios productos tampoco es algo nuevo. Desde el auge que desató el lanzamiento de ChatGPT en 2022, figuras del sector como Sam Altman han advertido sobre las amenazas que podría plantear esta tecnología, en parte para promover el potencial de sus propios productos, pero también para tratar de influir en la regulación.

Sin embargo, los llamados a desacelerar el desarrollo de la IA que han surgido en los últimos días y semanas parecen responder a una dinámica distinta. Por un lado, varias empresas están planteando la necesidad de reducir el ritmo al mismo tiempo y, por otro, algunos de los peligros sobre los que llevan años advirtiendo comienzan a hacerse más evidentes.

En definitiva, la verdadera razón por la que las compañías de IA piden ahora pisar el freno quizá no sea el temor a una amenaza tan extrema como la desaparición de la humanidad, sino a un riesgo mucho más inmediato y concreto: que los problemas asociados con esta tecnología terminen por deteriorar la imagen pública de las empresas que la desarrollan y erosionar la confianza en sus productos.

Traducción de Leticia Zampedri

Thank you for registering

Please refresh the page or navigate to another page on the site to be automatically logged inPlease refresh your browser to be logged in