miércoles, 6 de noviembre de 2024

¿Cómo gestiona ChatGPT las consultas del servicio de referencia? Un análisis basado en los tipos y la complejidad de las preguntas

Lai, Katie. «How Well Does ChatGPT Handle Reference Inquiries? An Analysis Based on Question Types and Question Complexities | Lai | College & Research Libraries», 1 de noviembre de 2023. https://doi.org/10.5860/crl.84.6.974.

Para explorar si la inteligencia artificial puede utilizarse para mejorar los servicios bibliotecarios, este estudio utilizó ChatGPT para responder preguntas de referencia. Se utilizó una rúbrica de evaluación para valorar la capacidad de ChatGPT para responder a distintos tipos de preguntas y niveles de dificultad.

Para ello, se llevó a cabo un análisis utilizando las preguntas recibidas por el correo electrónico de la biblioteca. La complejidad de cada pregunta se calificó utilizando la escala READ, y las respuestas proporcionadas por ChatGPT se evaluaron utilizando un rubro de evaluación. Se utilizaron pruebas exactas de Fisher para determinar si existían asociaciones estadísticamente significativas entre la calidad de las respuestas de ChatGPT y la complejidad y tipos de preguntas manejadas.

En general, el rendimiento de ChatGPT fue aceptable, pero no en cuanto a la precisión de la información. Obtuvo la puntuación más alta en las preguntas relacionadas con las instalaciones y el equipamiento, pero la más baja en las relacionadas con los problemas de acceso a los recursos electrónicos. ChatGPT no respondió bien a preguntas de investigación avanzadas, consultas complejas y búsquedas de artículos conocidos relacionados con un entorno local específico, pero podría utilizarse para mejorar la comunicación de la biblioteca con los usuarios.