Un estudio explica por qué ChatGPT y otros modelos de IA odian decir “no lo sé”

Los modelos de IA como ChatGPT “alucinan”, o se inventan hechos, principalmente porque están entrenados para hacer conjeturas en lugar de admitir una falta de conocimiento, revela un nuevo estudio.

La alucinación es una de las principales preocupaciones de los modelos generativos de IA, ya que su capacidad conversacional significa que pueden presentar información falsa con un grado de certeza bastante alto.

A pesar de los rápidos avances de la tecnología de IA, la alucinación sigue afectando incluso a los modelos más recientes.

Los expertos del sector afirman que es necesario profundizar en la investigación y la acción para combatir la alucinación por IA, sobre todo a medida que esta tecnología se utiliza cada vez más en los ámbitos médico y jurídico.

Aunque hay varios factores que contribuyen a la alucinación de la IA, como los datos de entrenamiento defectuosos y la complejidad de los modelos, la razón principal es que los algoritmos funcionan con “incentivos equivocados”, señalan en un nuevo estudio investigadores de OpenAI, el fabricante de ChatGPT.

“La mayoría de las evaluaciones miden el rendimiento de los modelos de un modo que fomenta las conjeturas en lugar de la honestidad sobre la incertidumbre”, explican.

Es como si un estudiante intentara hacer un examen de opciones múltiples adivinando a lo loco, ya que dejar en blanco no le garantiza ningún punto.

Los investigadores señalan que “del mismo modo, cuando a los modelos se los califica solo por su precisión, el porcentaje de preguntas que aciertan exactamente, se los anima a adivinar en lugar de decir 'no lo sé'”.

Los modelos de IA aprenden mediante un proceso de predicción de la siguiente palabra en grandes bloques de texto.

A veces hay patrones consistentes, pero en muchos casos los datos de entrenamiento pueden ser aleatorios.

La alucinación es especialmente frecuente cuando se plantean a los modelos de IA preguntas cuyas respuestas no pueden determinarse por motivos como la falta de información o la ambigüedad.

En este tipo de preguntas cargadas de incertidumbre, los modelos de IA hacen conjeturas estratégicas. Esto puede mejorar su precisión con el tiempo a medida que obtienen más datos, pero también aumenta sus tasas de error y alucinación.

“Esa es una de las razones por las que, aunque los modelos sean cada vez más avanzados, pueden seguir alucinando, dando con seguridad respuestas erróneas en lugar de reconocer la incertidumbre”, afirman los investigadores.

Sin embargo, puede haber una solución sencilla para este problema. Los investigadores afirman que penalizar los “errores de confianza” cometidos por los modelos de IA más que la incertidumbre y darles crédito parcial por las expresiones adecuadas de incertidumbre puede ayudar hasta cierto punto.

Es como un examen estandarizado en el que se puntúan negativamente las respuestas erróneas o se dan puntos parciales por dejar preguntas en blanco, para disuadir de adivinar a ciegas.

En cuanto a la IA generativa, los investigadores afirman que “las evaluaciones basadas en la precisión, ampliamente utilizadas, deben actualizarse para que su puntuación desincentive las adivinanzas”. Y añadieron: “Esto puede eliminar barreras a la supresión de alucinaciones y abrir la puerta a futuros trabajos sobre modelos lingüísticos matizados”.

Traducción de Olivia Gorsin