OpenAI revela que una IA ordenó a sus futuras versiones eludir los controles humanos
Los agentes de IA también intentaron acceder a información secreta y encubrieron lo que estaban haciendo
OpenAI reveló seis incidentes inesperados y preocupantes relacionados con sus modelos experimentales de IA, incluido uno en el que un agente instruyó a sus futuras versiones para que ignoraran sus restricciones.
Un nuevo informe de seguridad del creador de ChatGPT reveló varias formas en que sus modelos se comportaron de manera incorrecta durante los últimos seis meses, lo que se suma a una tendencia creciente de problemas de seguridad en la inteligencia artificial.
“Un modelo de investigación no publicado insertó instrucciones no relacionadas, incluidas instrucciones para ignorar sus restricciones normales”, escribió OpenAI en el informe de seguridad.
En otro incidente, un agente de IA intentó acceder secretamente a una base de datos gubernamental para luego inventar información con el fin de completar su tarea.
“Al responder a una pregunta rutinaria sobre las cifras de ingresos en un condado de California, un modelo encontró y utilizó una clave API expuesta sin autorización”, afirma el informe.
“Al no poder recuperar las cifras solicitadas, las falsificó y las presentó como datos procedentes de la fuente solicitada.”
El informe de OpenAI incluyó un nuevo marco para realizar un seguimiento público de lo que denomina “desalineación”, en referencia a los sistemas de IA que persiguen objetivos que no están alineados con las instrucciones o los valores humanos.
El último informe surge en medio de un mayor escrutinio del desarrollo de la IA, y los investigadores advierten que la industria está avanzando demasiado rápido hacia sistemas cada vez más potentes y potencialmente capaces de automejorarse.
La semana pasada, el investigador de Anthropic, Jacob Coxon, renunció a su trabajo por temor a que la IA pudiera “acabar con todos nosotros para finales de la década”.
Sus advertencias suscitaron respuestas de figuras destacadas del sector de la IA, incluidos los directores ejecutivos de Anthropic y OpenAI, quienes pidieron una mayor regulación.
Otros advirtieron contra una mayor supervisión, y el director ejecutivo de Nvidia, Jensen Huang, respaldó al presidente estadounidense Donald Trump en su pedido de autorregulación.
“No necesitamos nuevas leyes. No necesitamos nuevas regulaciones”, dijo Huang en la conferencia Dreamforce de Salesforce en San Francisco el martes.
“Si desarrollas un producto o un servicio y no tienes confianza en su funcionalidad, capacidad o seguridad, entonces no lo lances al mercado”.
Traducción de Olivia Gorsin
Bookmark popover
Removed from bookmarks