Deloitte reembolsará parcialmente al gobierno australiano por reporte con errores generados por IA
Deloitte Australia reembolsará parcialmente los 440.000 dólares australianos (290.000 dólares estadounidenses) pagados por el gobierno australiano por un informe que estaba plagado de aparentes errores generados por IA, incluyendo una cita inventada de un fallo de un tribunal federal y referencias a trabajos de investigación académica inexistentes.
El informe de la firma de servicios financieros al Departamento de Empleo y Relaciones Laborales fue publicado originalmente en el sitio web del departamento en julio. Una versión revisada se publicó el viernes después de que Chris Rudge, un investigador de derecho de salud y bienestar de la Universidad de Sídney, dijera que alertó a los medios de que el reporte estaba "lleno de referencias inventadas".
Deloitte había revisado el documento de 237 páginas y "confirmó que algunas notas al pie y referencias eran incorrectas", dijo el departamento en un comunicado el martes.
"Deloitte acordó reembolsar el último pago bajo su contrato", dijo el departamento. El monto se hará público después de que se reembolse el dinero.
Al ser consultado sobre las inexactitudes del texto, Deloitte dijo a The Associated Press en un comunicado que "el asunto se ha resuelto directamente con el cliente".
Deloitte no respondió cuando se le preguntó si los errores fueron generados por IA.
La tendencia de los sistemas de IA generativa a inventar información se conoce como alucinación.
El informe revisaba el uso en departamentos del gobierno de sistemas de TI para establecer sanciones automáticas en el sistema de bienestar australiano. El departamento dijo que la "sustancia" del informe se había mantenido y no hubo cambios en sus recomendaciones.
La versión revisada incluyó una divulgación de que se utilizó un sistema de lenguaje generativo de IA, Azure OpenAI, en la redacción del informe.
Se eliminaron las citas atribuidas a un juez de un tribunal federal, así como las referencias a informes inexistentes atribuidos a expertos en derecho e ingeniería de software.
Rudge dijo que encontró hasta 20 errores en la primera versión del informe.
El primer error que le llamó la atención afirmaba incorrectamente que Lisa Burton Crawford, profesora de derecho público y constitucional de la Universidad de Sídney, había escrito un libro inexistente con un título que sugería que estaba fuera de su campo de especialización.
"Instantáneamente supe que o bien fue alucinado por IA o era el secreto mejor guardado del mundo porque nunca había oído hablar del libro y sonaba absurdo", dijo Rudge.
El trabajo de sus colegas académicos se había utilizado como "fichas de legitimidad", citado por los autores del informe pero no leído, dijo Rudge, añadiendo que consideraba que citar incorrectamente a un juez era un error más grave en un informe que en la práctica era una auditoría sobre el cumplimiento legal del departamento.
"Han citado totalmente mal un caso judicial y luego inventaron una cita de un juez y pensé, bueno, espera: eso es en realidad un poco más grande que los egos académicos. Se trata de tergiversar la ley al gobierno australiano en un informe en el que confían. Así que pensé que era importante defender la diligencia", dijo Rudge.
La senadora Barbara Pocock, portavoz del partido Verdes Australianos para el sector público, dijo que Deloitte debería reembolsar el total de 440.000 dólares australianos (290.000 dólares).
Deloitte "abusó de la IA y la usó de manera muy inapropiada: citó incorrectamente a un juez, utilizó referencias que no existen", dijo Pocock a Australian Broadcasting Corp. "Quiero decir, el tipo de cosas por las que un estudiante universitario de primer año estaría en serios problemas".
___
Esta historia fue traducida del inglés por un editor de AP con la ayuda de una herramienta de inteligencia artificial generativa.