ChatGPT no distingue la diferencia entre creencias y hechos
Un nuevo estudio expone un fallo crítico que podría tener profundas implicaciones en áreas de alto riesgo como el derecho, la medicina o el periodismo
Las herramientas de inteligencia artificial como ChatGPT tienen dificultades para distinguir las creencias de los hechos, según revela un nuevo estudio.
Un equipo de la Universidad de Stanford (EE. UU.) descubrió que los principales chatbots de inteligencia artificial no identificaban de forma consistente cuándo una creencia era falsa, lo que los hacía más propensos a alucinar o difundir información errónea.
Los resultados tienen implicaciones preocupantes para el uso de modelos extensos de lenguaje (LLM, por sus siglas en inglés) en ámbitos en los que es fundamental determinar entre información verdadera y falsa.
“A medida que los modelos de lenguaje se van infiltrando cada vez más en ámbitos de alto riesgo como el derecho, la medicina, el periodismo y la ciencia, su capacidad para distinguir entre creencia y conocimiento, y entre realidad y ficción, se convierte en un imperativo”, señalan los investigadores.
“No hacer tales distinciones puede inducir a error en los diagnósticos, distorsionar las decisiones judiciales y amplificar la desinformación”, continúan.
Los investigadores evaluaron 24 LLM —entre ellos Claude, ChatGPT, DeepSeek y Gemini— utilizando 13.000 preguntas para analizar su capacidad de distinguir entre creencias, conocimientos y hechos.
Todos los modelos probados fallaron a la hora de reconocer creencias y afirmaciones falsas, lo que demuestra una limitación fundamental a la hora de relacionar el conocimiento con la verdad.
“Estos hallazgos ponen de manifiesto una debilidad estructural de los modelos de lenguaje: sus dificultades para distinguir de forma robusta entre la convicción subjetiva y la verdad objetiva en función de cómo se formule una determinada afirmación”, afirma Pablo Haya Coll, investigador del Laboratorio de Lingüística Computacional de la Universidad Autónoma de Madrid, que no participó en el estudio.
“Tal carencia tiene implicaciones críticas en ámbitos en los que esta distinción es esencial, como el derecho, la medicina o el periodismo, donde confundir creencia con conocimiento puede conducir a graves errores de juicio”, agregó.
Una posible solución a esta deficiencia, según Haya Coll, podría ser entrenar al modelo para que sea más cauto en sus respuestas. Aunque esto puede reducir la probabilidad de alucinaciones, también puede afectar a la utilidad de estas herramientas.
Los investigadores de Stanford pidieron a las empresas tecnológicas que desarrollan herramientas de inteligencia artificial que mejoraran “urgentemente” los modelos antes de permitir su uso en ámbitos de alto riesgo.
Los resultados se detallan en un estudio titulado “Language models cannot reliably distinguish belief from knowledge and fact”, publicado el lunes en la revista científica Nature Machine Intelligence.
Traducción de Sara Pignatiello