Anthropic propone crear mecanismo global para pausar el desarrollo de IA avanzada

La empresa tecnológica Anthropic propone que las principales firmas de inteligencia artificial del mundo desarrollen una forma coordinada de pausar el desarrollo de sistemas avanzados de IA, y advierte que esta tecnología mejora tan rápido que existe el riesgo de que los humanos pierdan el control.

La empresa detrás del chatbot Claude señaló el jueves en una publicación de blog que, a medida que la IA de vanguardia se vuelve cada vez más rápida para ejecutar tareas, “sería bueno para el mundo tener la opción de desacelerar o pausar temporalmente” su desarrollo.

Anthropic indicó que su instituto interno de investigación planea explorar el tema en colaboración con otros y “tomar medidas” para ayudar a construir los sistemas que permitan una desaceleración o pausa creíble, sin dar más detalles.

Los modelos de IA se vuelven cada vez más rápidos, y presentan aumentos acelerados en la velocidad con la que pueden realizar tareas de software como programar por sí solos, afirmó la empresa. Con base en las tendencias actuales y con suficiente potencia de cómputo, un sistema de IA podría ser capaz de diseñar y desarrollar a su propio sucesor, en lo que se conoce como “automejora recursiva”.

La IA capaz de construirse a sí misma sería un gran hito tecnológico que aportaría beneficios en la ciencia, la atención médica y otras áreas, sostuvo Anthropic, pero “también podría aumentar los riesgos de que los humanos pierdan el control sobre los sistemas de IA”.

Algunas figuras de la industria tecnológica llevan mucho tiempo advirtiendo sobre un escenario así.

La publicación de Anthropic se produce después de otra advertencia emitida esta semana por un equipo de investigadores de la Universidad de Toronto, que mostró cómo herramientas de IA podrían usarse para crear un nuevo tipo de “gusano” de IA que adapta su estrategia de hackeo a medida que se propaga de dispositivo en dispositivo y toma el control de una vasta red informática.

“Creo que es realmente importante que la gente entienda que no son solo los modelos de lenguaje más grandes y potentes los que plantean las preocupaciones de seguridad”, dijo en una entrevista el investigador principal, Nicolas Papernot.

Los autores de la publicación de Anthropic, el cofundador de la empresa Jack Clark y Marina Favaro, directora del instituto de investigación, explicaron que la pausa se usaría para permitir que “las estructuras sociales y la investigación de alineación” se mantengan al ritmo de los avances de la IA. La alineación es la forma abreviada que usa la industria para referirse a garantizar que la tecnología coincida con los valores e intenciones humanos.

La coordinación propuesta permitiría que los laboratorios de IA avanzada verifiquen que los rivales globales realmente han detenido o desacelerado su trabajo, “y que un actor malintencionado no pueda usar el amparo de una desaceleración coordinada para adelantarse en secreto”.

La empresa afirmó que se necesita un mecanismo global coordinado porque, sin él, una desaceleración en el desarrollo de la IA podría permitir que los actores “menos cautelosos” alcancen a los demás y aumenten la presión sobre empresas y gobiernos mientras toman decisiones difíciles sobre la seguridad de la IA.

La publicación de Anthropic aparece mientras la propia empresa compite con OpenAI, creadora de ChatGPT, para vender acciones en el mercado bursátil, en una oferta pública inicial que podría valorarla en casi un billón de dólares.

___

Esta historia fue traducida del inglés por un editor de AP con la ayuda de una herramienta de inteligencia artificial generativa.