La paradoja de Anthropic: alerta sobre el riesgo de extinción por IA mientras busca financiar su desarrollo

Anthropic advirtió que sus sistemas de inteligencia artificial podrían provocar una catástrofe o incluso la extinción de la humanidad, mientras la compañía busca miles de millones de dólares para continuar con su desarrollo.

La advertencia aparece en documentos publicados con motivo de su posible salida a bolsa, una operación que podría alcanzar cifras récord. Aunque la empresa presenta la inversión como una oportunidad para participar en la transformación del mundo mediante la IA, también reconoce que esta tecnología podría tener consecuencias devastadoras.

Entre los numerosos riesgos que identifica, Anthropic señala que sus sistemas podrían “representar amenazas catastróficas o existenciales para la humanidad, sobre todo si se utilizan de forma indebida, se replican, se convierten en armas o se les permite operar con un alto grado de autonomía”.

Los documentos también detallan algunos de los escenarios que podrían dar lugar a estas amenazas. Por un lado, advierten que ciertos modelos ya demostraron su capacidad para ayudar a desarrollar “armas químicas, biológicas y otras armas peligrosas”. Por otro, señalan los riesgos de utilizar estas herramientas en ámbitos especialmente delicados, como la atención médica, la investigación científica y biomédica, el desarrollo de medicamentos, el sistema judicial, las finanzas y la administración pública, así como en otros entornos donde se toman decisiones de gran importancia.

“Nuestros modelos de IA pueden causar daños al generar respuestas no deseadas o comportarse de manera imprevista, sin seguir las intenciones humanas o actuando por cuenta propia. Incluso podrían realizar acciones perjudiciales que ningún usuario ni tercero les haya pedido”, advirtió Anthropic. “Estos riesgos podrían aumentar a medida que nuestros modelos adquieran mayores capacidades y autonomía, reciban más permisos y se integren con sistemas externos”.

Aunque la empresa aseguró que trabaja para comprender y reducir estas amenazas, reconoció que su comportamiento puede ser difícil de predecir. “Seguimos investigando por qué surgen estas conductas, pero nuestro conocimiento aún está en desarrollo y es posible que no podamos anticiparlas ni comprenderlas en el futuro”, señaló. Además, advirtió que los comportamientos problemáticos pueden aparecer de formas inesperadas.

De hecho, Anthropic ya observó que algunos de sus sistemas se comportan de manera diferente cuando detectan que están siendo evaluados, lo que pone en duda la eficacia de ciertas medidas de supervisión. También existe la posibilidad de que desarrollen capacidades nuevas sin que la empresa lo advierta a tiempo, lo que dificultaría su control.

Los documentos mencionan, además, riesgos menos extremos, pero que podrían manifestarse antes. Entre ellos, la compañía reconoce que todavía no se comprenden por completo los efectos a largo plazo del uso habitual de la inteligencia artificial sobre la salud mental, el desarrollo cognitivo y las relaciones sociales.

En total, Anthropic dedicó 94 páginas a detallar posibles riesgos, una extensión equivalente a casi una cuarta parte de toda la documentación.

Como suele ocurrir en los documentos preparados para una salida a bolsa, muchas de estas advertencias también están dirigidas a los inversionistas y explican cómo determinados incidentes podrían afectar la situación económica de la compañía. Por ejemplo, al abordar la posibilidad de que sus sistemas causen daños inesperados, Anthropic señaló que un episodio de ese tipo podría perjudicar su reputación, su marca, sus operaciones y sus resultados financieros.

Sin embargo, los mismos documentos también destacan el potencial de la inteligencia artificial para beneficiar a la humanidad. Según la empresa, esta tecnología podría acelerar los descubrimientos científicos y contribuir a encontrar tratamientos o curas para enfermedades que afectan a las personas desde hace generaciones, como el cáncer, el alzhéimer, las enfermedades cardíacas, los trastornos genéticos poco frecuentes y las principales enfermedades infecciosas.

La posible salida a bolsa también permitiría a algunos de los actuales inversionistas de Anthropic, entre ellos Amazon y Google, vender parte de sus participaciones. Al mismo tiempo, la operación ayudaría a la compañía a obtener nuevos fondos para financiar sus planes de expansión.

Una parte de esos recursos se destinaría a “inversiones en capacidad de cómputo e infraestructura”, según los documentos. En la práctica, esto podría incluir la construcción o adquisición de centros de datos y la compra de equipos de alto costo necesarios para desarrollar y operar sus sistemas de inteligencia artificial.

Traducción de Leticia Zampedri