Anthropic dice que algo inquietante le estuvo sucediendo a Claude

La empresa líder en inteligencia artificial, Anthropic, advirtió que los humanos corren el riesgo de perder el control sobre los sistemas de IA en un futuro muy próximo si continúa la preocupante tendencia observada en su modelo Claude.

La startup, valorada en un billón de dólares, reveló que Claude ahora escribe más del 80 % de su propio código, frente a menos del 10 % en febrero del año pasado.

Anthropic afirma que el código escrito por Claude actualmente tiene un nivel similar al del código escrito por humanos, y se espera que mejore considerablemente en el transcurso del próximo año.

“Esa tendencia apunta a un sistema de IA capaz de diseñar y desarrollar de forma totalmente autónoma a su propio sucesor”, escribieron Marina Favaro y Jack Clark de Anthropic en una publicación de blog el jueves.

“Una IA capaz de construirse a sí misma supondría un avance trascendental en la historia de la tecnología, uno que podría aportar enormes beneficios al mundo en los ámbitos de la ciencia, la salud y otros campos”.

Y agregó: “Pero la automejora recursiva completa también podría aumentar los riesgos de que los humanos pierdan el control sobre los sistemas de IA”.

Anthropic señaló que, hasta hace poco, los avances en inteligencia artificial dependían por completo de ingenieros y desarrolladores humanos. Sin embargo, la compañía está delegando cada vez más el desarrollo de su IA a los propios sistemas de IA con el fin de acelerar el progreso.

Estos avances están encaminando a Claude hacia la “automejora recursiva”, lo que podría permitirle mejorar por sí mismo sin intervención humana.

Anthropic añadió que “probablemente sería una buena idea” ralentizar el desarrollo de la tecnología para disponer de más tiempo para abordar las posibles consecuencias.

Una ralentización o pausa en el desarrollo de la IA requeriría un amplio consenso de la industria, así como cooperación política en medio de intensas presiones y rivalidades geopolíticas.

“Una ralentización o pausa significativa requeriría que varios laboratorios con recursos suficientes, ubicados en la frontera o cerca de ella, en varios países, acordaran detenerse bajo las mismas condiciones”, afirmaba la publicación de Anthropic.

“También requeriría que cada uno pudiera verificar que los demás se detuvieron realmente... Nada de esto es necesariamente imposible en principio; el mundo creó sistemas de verificación para otras tecnologías complejas, pero esos sistemas tardaron décadas en construir tanto la infraestructura como la confianza. No disponemos de tanto tiempo”.

Anthropic declaró que planea colaborar con responsables políticos, investigadores y otras empresas de IA en los próximos meses con el fin de prepararse para la llegada de sistemas de IA con capacidad de autoaprendizaje.

No es la primera vez que se hace un llamamiento para detener el desarrollo de la IA; miles de tecnólogos pidieron una moratoria de seis meses en el entrenamiento de IA en 2023 tras el lanzamiento de ChatGPT.

La carta abierta, organizada por la organización sin ánimo de lucro Future of Life Institutes, citaba el peligro de una pérdida generalizada del control de la IA por parte de la sociedad, aunque no se logró detenerla.

Traducción de Olivia Gorsin