ESTUDIOS / RESEARCH STUDIES

EVALUACIÓN DEL SERVICIO DE REFERENCIA DE UNA BIBLIOTECA UNIVERSITARIA: BIBLIOTECA DE LA UNIVERSIDAD DE SEVILLA

Nieves González-Fernández-Villavicencio*, Encarnación Cánovas-Álvarez**, Consuelo Arahal-Junco**

* Facultad de Humanidades. Universidad P. de Olavide, Sevilla

** Biblioteca Universidad de Sevilla

Correos-e: ngonfer@upo.es, eca66@us.es, consueloaj@us.es

EVALUATION OF AN ACADEMIC LIBRARY’S REFERENCE SERVICE: THE LIBRARY OF THE UNIVERSITY OF SEVILLE

CONTENIDOS

I. INTRODUCCIÓN 
 Top

El Servicio de Referencia lo constituyen, desde una macro perspectiva, todas las transacciones que se llevan a cabo con el usuario para satisfacer sus necesidades de información, y desde otra más restrictiva (RUSA) [I], las relacionadas con la creación, gestión y evaluación de los recursos de información, sus herramientas y servicios, que los usuarios pueden usar de forma independiente en modo local o remoto. Desde ambas perspectivas, el servicio de referencia es hoy día una parte vital de los servicios de cualquier biblioteca (Cassell y Hiremath, 2011Cassell, K. A.; Hiremath, U. (2011). Reference information services in the 21st century: an introduction. London: Neal-Schuman Publishers, (2nd ed.).), y como tal debe ser evaluado para demostrar su utilidad y valor ante la Institución de la que depende, y para su continua mejora (González-Fernández-Villavicencio, 2012González-Fernández-Villavicencio, N. (2012). Servicios de referencia en bibliotecas universitarias: tendencias y plan de marketing. El Profesional de la Información, 21 (6), pp. 563-572, http://dx.doi.org/10.3145/epi.2012.nov.03.).


En este trabajo se ofrece una visión del proceso de evaluación del servicio de Referencia de la Biblioteca de la Universidad de Sevilla (BUS) que se llevó a cabo en dos fases a lo largo del año 2011, así como el análisis de los resultados obtenidos.


I.1. Los servicios de referencia en bibliotecas universitarias


La mayoría de las bibliotecas universitarias ofrecen hoy día su servicio de referencia en modo presencial y virtual o digital (Manso-Rodríguez, 2010Manso-Rodríguez, R. A. (2010). Servicio de referencia virtual: propuesta de un modelo basado en criterios de cali­dad y herramientas de la web 2.0. Granada: Universidad de Granada, Tesis doctoral.) y muy orientado hacia la enseñanza de fuentes de información y técnicas de búsqueda (Merlo-Vega, 2009Merlo-Vega, J.A. (2009). Referencia digital: concepto, tecnologías e implementación en centros de información. El Profesional de la Información, 18 (6), pp. 589-600, http://dx.doi.org/10.3145/epi.2009.nov.02.). Según el informe del año 2013 de Pew Internet “Library Services in the Digital Age” [II], el 80% de los americanos mayores de 16 años considera muy importante el servicio de referencia de las bibliotecas. No obstante, “las estadísticas de uso llevan décadas descendiendo, el servicio resulta ineficiente y caro y autores como Steve Coffman consideran su modalidad virtual una de las grandes equivocaciones de los bibliotecarios” (González-Fernández-Villavicencio, 2012González-Fernández-Villavicencio, N. (2012). Servicios de referencia en bibliotecas universitarias: tendencias y plan de marketing. El Profesional de la Información, 21 (6), pp. 563-572, http://dx.doi.org/10.3145/epi.2012.nov.03.).


La existencia de otros servicios que compiten por la atención de los usuarios (Google, Wikipedia, Medios sociales) hace que las bibliotecas se encuentren en inferioridad de condiciones. Por otro lado, la situación económica de recortes presupuestarios incide directamente en la disminución de la plantilla y en una menor oferta de servicios por parte de las bibliotecas. Otras causas internas a la propia biblioteca afectan también a un uso cada vez menor del servicio y a una deficiente identificación y promoción que lleva a que el usuario lo desconozca (Cassell y Hiremath, 2011Cassell, K. A.; Hiremath, U. (2011). Reference information services in the 21st century: an introduction. London: Neal-Schuman Publishers, (2nd ed.).), o tenga una percepción negativa del mismo cuando el servicio no le ha sido útil o el bibliotecario no ha sido amable (Connaway y Radford, 2011Connaway, L. S.; Radford, M. L. (2011). Seeking synchronicity: revelations and recommendations for virtual reference. Dublin, OH: OCLC Research, http://www.oclc.org/reports/synchronicity/default.htm [Consultado: 15 de febrero de 2013].). Los bibliotecarios deben realizar grandes esfuerzos para promocionar sus servicios y, tanto el personal de referencia como los responsables de la biblioteca deben considerar formas de cuantificar su trabajo, tanto con fines administrativos, como para estar al día de las tendencias y ofrecer servicios y personal de acuerdo a estas tendencias (Lederer y Feldmann, 2012Lederer, N.; Feldmann, L. M. (2012). Interactions: a study of office reference statistics. Evidence Based Library and Information Practice, 27 (2), pp. 1-9.). Algunos estudios demuestran que el usuario solo necesita ayuda con preguntas muy específicas y difíciles, pero este hecho aumenta el trabajo del referencista y se necesitan nuevas formas de medirlo (Tyckoson, 2011Tyckoson, D. A. (2011). Issues and trends in the management of reference services: A historical perspective. Journal of Library Administration, 51 (3), pp. 259-278, http://dx.doi.org/10.1080/01930826.2011.556936.). 


La evaluación periódica del servicio de referencia se convierte así en una de las tareas fundamentales que debe llevar a cabo la biblioteca para comprobar el funcionamiento y la calidad del servicio y demostrar el valor que la biblioteca aporta a su institución. 


I.2. ¿Por qué evaluar el Servicio de Referencia?


Las bibliotecas recopilan datos estadísticos de sus servicios de forma habitual, sin embargo no es tan frecuente que estos datos reflejen la actividad de su servicio de referencia. En el caso de las bibliotecas universitarias en España, las estadísticas de REBIUN no incorporan datos sobre este servicio, lo que sí es habitual en las bibliotecas universitarias americanas. Hemos encontrado casos significativos de evaluación de este servicio en algunas bibliotecas universitarias, como en Yale University Library [III]. Es ahora, en momentos de reducción presupuestaria, cuando se vuelve imprescindible medir y evaluar para cuantificar la carga de trabajo y justificar los gastos que se realizan en los servicios bibliotecarios. La evaluación no sólo permite tomar decisiones sobre los recursos sino también sobre la forma de mejorarlos en calidad y eficacia. La gran cantidad de datos que aporta este servicio debe aprovecharse también para obtener información más compleja y cualitativa sobre las necesidades de los usuarios y si las bibliotecas están satisfaciendo esas necesidades. No hay que olvidar que la percepción del servicio por parte del usuario va a depender de la facilidad de uso percibida y de la rentabilidad que obtenga (Chang y Yang, 2012Chang, J.-J.; Yang, C. (2012). Viable or vital? Evaluation of IM services from patrons’ perspectives. The Electronic Library, 30 (1), pp. 70-88, http://dx.doi.org/10.1108/02640471211204079.). 


Es obvio que los bibliotecarios y los usuarios tienen visiones distintas del mismo servicio, el usuario como cliente y el bibliotecario como proveedor. El informe de la OCLC de Connaway y Radford (2011Connaway, L. S.; Radford, M. L. (2011). Seeking synchronicity: revelations and recommendations for virtual reference. Dublin, OH: OCLC Research, http://www.oclc.org/reports/synchronicity/default.htm [Consultado: 15 de febrero de 2013].) ilustra con su título - Seeking Synchronicity... - lo que se debe hacer, buscar la sincronía del servicio con las necesidades de los usuarios. El 70% de los usuarios del servicio de referencia virtual consideran que pueden tener una buena comunicación con un bibliotecario presencial y en un 30% con uno virtual. En este mismo informe se identifican las siguientes conclusiones extrapolables a cualquier tipo de referencia: desconocimiento del servicio en general; cuando se usa se espera que sea útil; la percepción del usuario se construye tanto por la información obtenida como por la relación con el bibliotecario (una percepción positiva depende tanto de la respuesta como de la amabilidad del bibliotecario, mientras que la negativa obedece sólo a una mala respuesta); se prefiere la referencia presencial, pero la virtual es menos intimidatoria y más aconsejable cuando no se está en la biblioteca.


La evaluación del servicio de referencia pasa por la evaluación del servicio en su conjunto, tanto el presencial como el virtual, aunque a veces se plantea la evaluación sólo para lo último que se está ofreciendo (Logan y Lewis, 2011Logan, F. F.; Lewis, K. (2011). Quality control: a necessary good for improving service. The Reference Librarian, 52 (3), pp. 218-230, http://dx.doi.org/10.1080/02763877.2011.557314.). Para el proceso de evaluación, es necesario que se registren diariamente las transacciones del servicio de referencia, -o un muestreo-, que permitan la interpretación y descripción de modelos de uso y demanda de estos servicios (Archambault, 2012Archambault, S. G. (2012). Desk statistics under a microscope = Improved library services. Proceedings 78th IFLA General Conference and Assembly, pp. 1-22. Helsinki, Finland.). Logan (2009Logan, F. F. (2009). A brief history of reference assessment: No easy solutions. The Reference Librarian, 50 (3), http://dx.doi.org/10.1080/02763870902947133.) argumenta que cada biblioteca debe crear su propia matriz de datos, para plasmar una perspectiva holística del servicio de referencia. 


Como resultado del proceso de evaluación podría suceder que la investigación de mercado indique una necesidad de cambio drástico en la biblioteca, y reconfigurar los servicios y los recursos tal y como se ofrecen para que estén en consonancia con las necesidades de los usuarios y la creación de valor (Germano y Stretch-Stephenson, 2012Germano, M.; Stretch-Stephenson, S. M. (2012). Strategic value planning for libraries. The bottom line: managing library finances, 25 (2), pp. 71-88.).


II. REVISIÓN DE LA BIBLIOGRAFÍA
 Top

Como estudios generales de revisión de procesos de evaluación de servicios de referencia, podemos citar el de McLaughlin (2011McLaughlin, J. E. (2011). Reference transaction assessment: Survey of a multiple perspectives approach, 2001 to 2010. Reference Services Review, 39 (4), pp. 536-550, http://dx.doi.org/10.1108/00907321111186631.) y Tyckoson (2011Tyckoson, D. A. (2011). Issues and trends in the management of reference services: A historical perspective. Journal of Library Administration, 51 (3), pp. 259-278, http://dx.doi.org/10.1080/01930826.2011.556936.), que evidencian la ausencia de normas aceptadas universalmente, metodologías de estudio y formatos de informes que permitan realizar análisis y comparar resultados. Por otro lado, Keith (2012Keith, E. (2012). Measuring and assessing reference services and resources: A guide. ALA Connect, 02/07/2012. http://connect.ala.org/node/97245 [Consultado: 15 de febrero de 2013].), en el blog de ALAConnect, ofrece una relación de objetivos y herramientas de utilidad para el proceso de evaluación del servicio de referencia de una biblioteca. 


Según diversos autores, un servicio de Referencia debe ser evaluado teniendo en cuenta los siguientes factores:


• Datos sobre la transacción, basados en la accesibilidad de los servicios, tiempo de respuesta y duración y porcentaje de preguntas recibidas y contestadas o no contestadas (Tyckoson, 2011Tyckoson, D. A. (2011). Issues and trends in the management of reference services: A historical perspective. Journal of Library Administration, 51 (3), pp. 259-278, http://dx.doi.org/10.1080/01930826.2011.556936.), (Ramos, 2012Ramos, M. S.; Abrigo, C. M. (2012). Reference 2.0 in action: an evaluation of the digital reference services in selected Philippine academic libraries. Library hi tech news, 29 (1), pp. 8-20, http://dx.doi.org/10.1108/07419051211223426.).


• Coste y efectividad de la sesión, la infraestructura y el software necesario para dar soporte, e impacto en otros costes de la biblioteca (Ramos y Abrigo, 2012Ramos, M. S.; Abrigo, C. M. (2012). Reference 2.0 in action: an evaluation of the digital reference services in selected Philippine academic libraries. Library hi tech news, 29 (1), pp. 8-20, http://dx.doi.org/10.1108/07419051211223426.).


• Satisfacción del usuario con el proceso y los resultados usando indicadores tales como duración, comportamiento del personal, etc. Se mide la satisfacción del usuario, su grado de compromiso y el nivel de difusión del mismo por parte del usuario (Pomerantz y otros, 2008Pomerantz, J.; Mon, L.; McClure, C. R. (2008). Evaluating remote reference service: a practical guide to problems and solutions. Portal: Libraries and the Academy, 8 (1), pp. 15-30, http://dx.doi.org/10.1353/pla.2008.0001.). Una de las metodologías que más se utilizan para obtener datos de satisfacción de usuarios es LibQUAL+®, ya que detecta la calidad de los servicios a partir de las percepciones de los usuarios (Cassell y Hiremath, 2011Cassell, K. A.; Hiremath, U. (2011). Reference information services in the 21st century: an introduction. London: Neal-Schuman Publishers, (2nd ed.).).


• Calidad de las respuestas del personal, nivel de competencias y habilidades necesarias. Se evalúa la seguridad de la información, lo completa que sea y si se adecúa a la pregunta del usuario, las referencias que aporta, si la respuesta es apropiada a la audiencia, la oportunidad para la interactividad, el nivel de formación en competencias informacionales que se ofrece durante la transacción (Pomerantz y otros, 2008Pomerantz, J.; Mon, L.; McClure, C. R. (2008). Evaluating remote reference service: a practical guide to problems and solutions. Portal: Libraries and the Academy, 8 (1), pp. 15-30, http://dx.doi.org/10.1353/pla.2008.0001.), (Ramos y Abrigo, 2012Ramos, M. S.; Abrigo, C. M. (2012). Reference 2.0 in action: an evaluation of the digital reference services in selected Philippine academic libraries. Library hi tech news, 29 (1), pp. 8-20, http://dx.doi.org/10.1108/07419051211223426.). Según un estudio en las Bibliotecas de la Universidad de Illinois en Chicago (Logan y Lewis, 2011Logan, F. F.; Lewis, K. (2011). Quality control: a necessary good for improving service. The Reference Librarian, 52 (3), pp. 218-230, http://dx.doi.org/10.1080/02763877.2011.557314.), los bibliotecarios casi siempre usan una gramática apropiada, y son educados en sus respuestas.


• Creación de nuevo conocimiento. El estudio de Cavanagh (2013Cavanagh, M. F. (2013). Interpreting reference work with contemporary practice theory. Journal of Documentation, 69 (2), pp. 214-242, http://dx.doi.org/10.1108/00220411311300057.), analiza profundamente las transacciones de la referencia presencial en una Biblioteca Pública de EEUU, centrándose en el proceso compartido de aprendizaje y creación de conocimiento en acción. Este autor añade que son pocos los estudios que han examinado la relación existente entre el papel de mediadora de la información de la biblioteca y el de creadora de conocimiento compartido con toda la comunidad.


Para la obtención de estos datos, algunos autores proponen diversos métodos, tanto cuantitativos como cualitativos, como la revisión sistemática de investigaciones, pruebas aleatorias, estudios comparativos o descriptivos (Stevenson y otros, 2012Stevenson, A.; Esson, R.; Gildea, M.; Roberts, S. (2012). Services for the Future: engaging with our customers to determine o determine wants and needs. Library Management, vol. 33.), así como buzón de sugerencias, observación (directa, indirecta y autoimpuesta), encuestas, entrevistas y estudios de caso (Cassell y Hiremath, 2011Cassell, K. A.; Hiremath, U. (2011). Reference information services in the 21st century: an introduction. London: Neal-Schuman Publishers, (2nd ed.).). 


Una planificada promoción de estos métodos de obtención de datos puede ser la clave del éxito, como en el caso de la Biblioteca de la Universidad de Minnesota [IV], que ha embebido una encuesta en la propia ventana del chat de su sistema de Referencia virtual LibraryH3lp, para conocer las causas del descenso en su uso, promocionando además la encuesta de diversas formas, incluyendo divertidos carteles [V].


En el caso de la referencia presencial, no abundan los programas que automaticen la recogida de los datos estadísticos de la actividad de referencia en bibliotecas. En el caso de la virtual, el número de opciones es mayor, aunque sigue siendo reducidas y de reciente aparición en las bibliotecas. Para ambos casos, la literatura profesional no ofrece mucha información sobre estos programas, remitiéndonos de nuevo al blog de ALAConnect, Keith (2012Keith, E. (2012). Measuring and assessing reference services and resources: A guide. ALA Connect, 02/07/2012. http://connect.ala.org/node/97245 [Consultado: 15 de febrero de 2013].), o al cuadro comparativo de las características técnicas y funcionales de algunos de los programas que veremos a continuación [VI].


Las bibliotecas universitarias suelen recoger sus datos estadísticos del servicio de referencia (cuando lo recogen), con programas que van desde las hojas de cálculo, hasta programa específicos de recogida de datos, algunos de ellos de desarrollo “ad hoc”. De cualquier manera, la diversidad de medios para ofrecer servicios de referencia debería exigir el uso de un programa que lo gestionase de forma automatizada. Algunos de estos programas son:


• Hojas de cálculo. Es el sistema más utilizado. Una simple visión de la hoja permite conocer el volumen de preguntas que se responden. Con el tiempo, la hoja de calculo suele ir complicándose para reflejar una información más sofisticada del servicio, como tipo de pregunta, de usuario o tiempo de respuesta (Tyckoson, 2011Tyckoson, D. A. (2011). Issues and trends in the management of reference services: A historical perspective. Journal of Library Administration, 51 (3), pp. 259-278, http://dx.doi.org/10.1080/01930826.2011.556936.). 


• LibStats. Este programa en código abierto, puede ser usado en múltiples ubicaciones. Fue creado por la Universidad Queensland después de haber usado unas hojas de Excel (Gossett y otros, 2012Gossett, J. G.; Stephan, E.; Marrall, R. (2012). Implementing reference statistics collection software at multiple library service points. New Library World, 113 (5/6), pp. 235-248, http://dx.doi.org/10.1108/03074801211226328.). Ejemplo de uso de este programa es la biblioteca de Grand Valley State University en Michigan.


• Desk Tracker [VII]. Para registrar los detalles de cada transacción, las bibliotecas de la Universidad de Illinois utilizan este programa en el que reflejan el tipo de pregunta, duración, tipo de usuario, descripción amplia de la información que se ha aportado, y dificultad de la pregunta en función de la escala READ (Reference Effort Assessment Data) (Ward y Phetteplace, 2012Ward, D.; Phetteplace, E. (2012). Staffing by design: A methodology for staffing reference. Public Services Quarterly, vol. September, pp. 37-41.). 


• LibAnswers, es un programa de recogida de estadísticas de referencia y software de análisis de datos, de Springshare. Se implementó en Western Libraries [VIII] que forma parte de Western Washington University, con múltiples puntos de servicio (Gosett y otros, 2012). Este programa cuenta también con un módulo web de análisis estadístico de las referencias [IX] y en el siguiente enlace puede observarse el número de respuestas públicas del servicio en tiempo real http://askus.library.wwu.edu/. 


• Gimlet [X] es un programa que recoge la actividad del mostrador de referencia e incluye unas Faqs para el bibliotecario. Loyola Marymount University’s (LMU), William H. Hannon Library, en Los Angeles, utiliza este servicio y ha presentado un estudio sobre el mismo en la 78th IFLA General Conference and Assembly (Archambault, 2012Archambault, S. G. (2012). Desk statistics under a microscope = Improved library services. Proceedings 78th IFLA General Conference and Assembly, pp. 1-22. Helsinki, Finland.). 


En el caso de la referencia virtual es más fácil registrar las transacciones que en la presencial, y algunos de los programas que existen incluyen sus propios módulos de estadísticas, como el programa en código abierto LibraryH3lp, o los programas comerciales QuestionPoint o AsK a Librarian de Tutor.com. LibraryH3lp es una aplicación de mensajería instantánea (IM) integrada y de chat vía web que se incluye en el grupo poco abundante de aplicaciones en código abierto, y ha sido diseñada específicamente para las necesidades de los servicios de referencia virtual de las bibliotecas (González-Fernández-Villavicencio y otros, 2009González-Fernández-Villavicencio, N.; Barrera-Gómez, J. A.; Gómez-Fernández, M. J.; Moscoso-Castillo, M.; Santos-Flores, V.; Suárez-Samaniego, M. (2009). Referencia virtual en la Biblioteca de la Universidad de Sevilla: una experiencia colectiva. El Profesional de la Información, 18 (6), pp. 633-641, http://dx.doi.org/10.3145/epi.2009.nov.06.). Utilizan esta aplicación, entre otros, el Servicio de Referencia virtual de la Biblioteca de la Universidad de Sevilla, la Biblioteca de la Universidad Complutense de Madrid, o la de la Universidad de Cardiff. 


En algunas ocasiones, se crean programas ad hoc para la toma de los datos: 


• En Northwest Missouri State University crearon el programa KnowBot [XI] que ofrece estadísticas online y en tiempo real de referencia y Faqs.


• La Biblioteca de la Universidad de Minnesota ha creado un formulario en Google Docs [XII] para su servicio de referencia en el que, anualmente, se atienden más de 13.000 preguntas en persona y 3.000 vía chat.


• Otras bibliotecas como la de Colorado State University (Lederer y Feldmann, 2012Lederer, N.; Feldmann, L. M. (2012). Interactions: a study of office reference statistics. Evidence Based Library and Information Practice, 27 (2), pp. 1-9.) o la Biblioteca de Ingeniería de la Universidad de Sevilla, han creado una aplicación [XIII] en PhP y MySQL para el registro de las preguntas de sus usuarios a través del servicio de referencia, cuyos datos se pueden descargar en una hoja de Excel.


Para el análisis de los datos se utilizan programas estadísticos como SPSS, o bien los nuevos programas para las estadísticas de referencia incorporan sus propios módulos de gestión de estadísticas. 


Las transacciones vía virtual se registran con más detalle que las efectuadas de manera presencial y presentan la ventaja de que contienen el diálogo completo de las preguntas-respuestas o, en su caso, de la entrevista de referencia, ofreciendo además la oportunidad de investigar sobre estos datos. La transcripción de las transacciones recogen los datos de la interacción, en gran medida cuantitativos, y los datos sobre la interacción, es decir, datos cualitativos de la misma conversación, que son los más difíciles de obtener y de los que menos resultados se han publicado (Bishop, 2012Bishop, B. W. (2012). Analysis of reference transactions to inform library applications (apps). Library & Information Science Research, 34 (4), pp. 265-270, http://dx.doi.org/10.1016/j.lisr.2012.06.001.). Estos datos permiten construir la base de conocimientos de las transcripciones y las Faqs y se usan para evaluar y mejorar el servicio. 


Para analizar los datos obtenidos de las transacciones de referencia, se utiliza con frecuencia la escala de 6 grados, READ[XIV] ya citada, que intenta registrar aspectos cualitativos cuando el personal de referencia asiste al usuario en sus preguntas, midiendo no sólo el tiempo que se dedica, sino también el nivel de esfuerzo y de conocimiento, y las habilidades y la formación que emplea el bibliotecario en cualquier consulta. Este modelo ha sido utilizado por diversas bibliotecas y en el ejemplo que plantean Ward y Phetteplace (2012Ward, D.; Phetteplace, E. (2012). Staffing by design: A methodology for staffing reference. Public Services Quarterly, vol. September, pp. 37-41.), se utilizó a través de una interfaz web que reflejaba una serie de datos de cada interacción, tales como la duración, tipo de pregunta, tipo de usuario, hora del día, etc. El objetivo de este estudio era equilibrar el personal y las horas que dedican a la referencia, para adecuarlo al horario que el usuario necesita. 


En el caso de las bibliotecas de la Universidad de Illinois, que utilizan como hemos dicho el programa Desk Tracker para recoger detalles de la consulta, incluyeron la “dificultad de la pregunta” de la escala READ a su listado[XV]. En esta ocasión tan solo evaluaron los modos síncronos (referencia presencial y virtual con interacción bibliotecario-usuario). Los resultados mostraron que el chat es el sistema más usado por la comunidad universitaria, representando el 57% de todas las preguntas de referencia. Las preguntas presenciales sólo representaron un tercio del total. El horario del chat, que se prolonga hasta la medianoche, indica que los usuarios prefieren usar este medio cuando están estudiando o trabajando en casa (Ward y Phetteplace, 2012Ward, D.; Phetteplace, E. (2012). Staffing by design: A methodology for staffing reference. Public Services Quarterly, vol. September, pp. 37-41.).


Luini, C. (2012Luini, C. (2012). Virtual reference service: A case study of questionPoint utilization at the Gallagher Law Library: University of Washington Information School.), examina el uso de OCLC’s QuestionPoint (“AskUs”) en Marian Gould Gallagher Law Library, University of Washington School of Law. En este estudio, en el que se examinaron las transcripciones de las transacciones de referencia, se pone en evidencia que el chat responde a preguntas más sofisticadas que las realizadas en el mostrador de referencia y que de esta forma se pueden detectar los tipos de recursos que los usuarios demandan y los temas de interés de los docentes; así mismo, las preguntas de tipo formativo no funcionan bien a través de este medio. 


Cualquier periodo de evaluación debe tener como objetivo detectar posibles mejoras del servicio que hay que implementar con su correspondiente planificación. En 2010, la Biblioteca de la Universidad de Cardiff estableció un programa piloto de chat con LibraryH3lp. Los widgets del chat fueron colocados en las páginas web de inicio de las bibliotecas, así como en la sección de Medicina y en la de los recursos electrónicos. El servicio, atendido por personal voluntario entre las 9:00 y las 17:00 horas, de lunes a viernes, obtuvo un gran éxito entre los usuarios, registrándose 2.643 peticiones de chat durante el primer año. Aunque las transcripciones de los chat demostraron que los usuarios estaban muy satisfechos y usaban el servicio repetidamente, sin embargo demandaban una ampliación del servicio por la tarde e incluso por la noche. Este servicio se ofrece ahora también por las tardes, de noche y en fines de semana, cuando el personal de la biblioteca está disponible (Haerkoenen y otros, 2011Haerkoenen, S.; Blackmore, A.; Beadle, R. (2011). Creating a successful chat library service: ask a librarian live at Cardiff University, pp. 1-14, [copia suministrada por los autores].). Por su parte, en la Oberlin College Library y tras la evaluación del servicio, decidieron también ampliar el número de horas que el servicio se ofrecía por la noche y fines de semana (Mitchell y otros, 2011Mitchell, M. S.; Comer, C. H.; Starkey, J. M.; Francis, E. A. (2011). Paradigm shift in reference services at the Oberlin College Library: a case study. Journal of Library Administration, 51 (4), pp. 359-374, http://dx.doi.org/10.1080/01930826.2011.556959.). 


En el trabajo citado de Archambault (2012Archambault, S. G. (2012). Desk statistics under a microscope = Improved library services. Proceedings 78th IFLA General Conference and Assembly, pp. 1-22. Helsinki, Finland.) sobre el servicio de referencia presencial, de Loyola Marymount University’s (LMU) William H. Hannon Library, en Los Ángeles, con el programa Gimlet, se pone de manifiesto como una biblioteca usa los datos de sus usuarios para iniciar el cambio, para tomar medidas y mejorar los servicios. Entre los resultados obtenidos, observaron que los estudiantes de Empresariales realizaban preguntas de mayor profundidad que el resto de las áreas, por lo que implementaron un servicio de “roving reference” en esa área [XVI], apoyado por una cuenta de Twitter [XVII]. Todos los bibliotecarios de referencia usan también Foursquare [XVIII] para hacer checking del lugar en el que están y sincronizar su cuenta de Twitter. Todo ello se refleja en las guías por materias en las que aparece esta información de forma sincronizada.


En el entorno móvil, el estudio de Bishop (2012bBishop, B. W. (2012b). Where do we go from here?: Informing academic library staffing through reference transaction analysis. College & Research Libraries Pre-print.) cobra gran actualidad, ya que el objetivo de su investigación era determinar la relación entre las preguntas de los usuarios al servicio de referencia, a través de sus dispositivos móviles y su ubicación. Las apps para móviles pueden tener en cuenta estas necesidades y responder las preguntas en función de la ubicación del usuario, sin intervención del personal de la biblioteca. Comprender este tipo de preguntas puede beneficiar a muchas bibliotecas, teniendo en cuenta el aumento del uso de los smartphones (el 66% de jóvenes de 18 a 29 años y el 68% de adultos con ingresos elevados, según el informe de Pew Internet [XIX] de septiembre de 2012), y las reducciones de presupuesto que limitan los puntos de servicio.


III. LA BUS Y SU SERVICIO DE REFERENCIA
 Top

La Biblioteca de la Universidad de Sevilla (BUS), cuenta con un servicio de referencia a sus usuarios, al igual que el resto de las bibliotecas, al que también se accede de forma virtual a través de su web [XX]. La mayoría de las consultas al servicio son atendidas de forma descentralizada, por el personal de las 19 bibliotecas de área que conformaban la BUS y Servicios Centrales en la fecha de realización del estudio. Este servicio ofrece orientación e información general y bibliográfica sobre los recursos de información y servicios de la biblioteca. Como es habitual, las consultas de orientación e información general (como localización en sala de fondos impresos o preguntas relativas al servicio de préstamo) son atendidas por todo el personal de la biblioteca, mientras que la información bibliográfica más especializada la llevan a cabo en mayor medida bibliotecarios de las distintas áreas temáticas. 


El Servicio de referencia se presta por distintos canales, tales como teléfono, chat, redes sociales (referencia inmediata), correo electrónico, formulario “Consúltenos” y FAQS (referencia no inmediata) y, sobre todo, la atención en persona al usuario en los mostradores y puntos de información situados en las salas de lectura de las bibliotecas y en las áreas de trabajo del personal bibliotecario. 


A partir del año 2008, la Biblioteca decide transformar su oferta de servicios virtuales de referencia vía chat (con las aplicaciones de Meebo y Plugoo), por un servicio más homogéneo y de mayor calidad y amplitud horaria, sin que este hecho constituyera una mayor carga de trabajo para los bibliotecarios que atienden el servicio, al llevarse a cabo en colaboración. Además el nuevo sistema debía contar con vías de reenvío de consultas especializadas y absoluta transparencia para el usuario final, implantándose finalmente el programa LibraryH3lp (González-Fernández-Villavicencio y otros, 2009González-Fernández-Villavicencio, N.; Barrera-Gómez, J. A.; Gómez-Fernández, M. J.; Moscoso-Castillo, M.; Santos-Flores, V.; Suárez-Samaniego, M. (2009). Referencia virtual en la Biblioteca de la Universidad de Sevilla: una experiencia colectiva. El Profesional de la Información, 18 (6), pp. 633-641, http://dx.doi.org/10.3145/epi.2009.nov.06.). De esta forma, el Servicio de Referencia virtual [XXI] lo componen un chat general ubicado en el catálogo de la biblioteca “Fama” y atendido por bibliotecarios de todos los centros, 5 chats temáticos, agrupados en 2 en 2013, y uno más destinado al curso COE [XXII].


Tras la puesta en marcha del servicio de referencia vía chat y su proceso de análisis de los datos y resultados, se puso en evidencia la necesidad de llevar a cabo un análisis conjunto de todo el servicio de referencia, tanto presencial como virtual, que diera una visión completa sobre la forma en la que se estaba ofreciendo este servicio en la BUS. Para ello había que contar con un marco que sirviera de referente a la hora de analizar aspectos tales como volumen de preguntas, tipo, patrones de comportamiento y nivel de satisfacción de los usuarios, formación adecuada del personal, etc., de modo que se pudiera valorar mejor el impacto del servicio de referencia de la BUS, en sus dos versiones virtual y presencial y diseñar posibles actuaciones para la mejora del Servicio por cualquiera de sus canales. El marco elegido fue la escala READ (Reference Effort Assesment Data), que describiremos más adelante. 


Como objetivo estratégico para el año 2011, la Sección de Apoyo a la Docencia de la Biblioteca propuso la realización de un diagnóstico de la situación del Servicio de Referencia en todas las bibliotecas de área, a partir de la toma de datos de las preguntas de información y referencia que los usuarios realizarán a los bibliotecarios de la BUS, por cualquier canal y durante dos periodos de tiempo establecidos.


Los objetivos del proyecto contemplaban, por un lado, la identificación de los comportamientos de los usuarios del servicio, en cuanto a tipo de consultas realizadas, profesionales a los que se dirigen, canales de comunicación, horarios utilizados, etc., así como detectar las áreas y recursos más demandados por los usuarios. Por otro lado se quería comprobar si los servicios, recursos, y formatos que la BUS ofrecía, eran los más adecuados para responder a las consultas de los usuarios. Para ello había que cuantificar el tiempo que dedica el personal a atender cada tipo de consulta según su grado de dificultad y el canal utilizado y conocer la proporción de consultas que llegan a través de los distintos canales: presencial, teléfono, correo-e, chat, y las franjas horarias con más tráfico de información. En cuanto al personal que atiende las consultas, habría que analizar la relación entre el grado de esfuerzo o dificultad de las consultas y el canal seleccionado y detectar posibles lagunas en la formación del personal bibliotecario. En términos generales, era fundamental que el personal bibliotecario y directivo tomara conciencia de la importancia de este servicio, así como comprobar si la formación en competencias informacionales que imparte la BUS se adaptaba a las necesidades reales de nuestros usuarios.


IV. PROCESO DE EVALUACIÓN
 Top

Si bien en algunas bibliotecas de área de la BUS se rellenaba un estadillo estadístico con las preguntas que se atendían en el mostrador de información, e incluso en algunos casos se habían elaborado informes del servicio a nivel de área, hasta este momento que describimos, no se había abordado un análisis centralizado del servicio. Con este fin se constituyó un Grupo de trabajo de Referencia, coordinado por la Sección de Apoyo a Docencia de la BUS, que lideraría el proyecto en las distintas bibliotecas de área, y que preparó la realización del muestreo, analizando posteriormente los resultados obtenidos. El espacio de trabajo y los materiales creados se encuentran en la wiki del grupo de Referencia, donde se encuentra reflejada la dinámica de trabajo seguida. 


Tras examinar la bibliografía existente sobre evaluación del servicio de referencia, se propuso adoptar el modelo de escala READ, cuyos 6 niveles originales contienen los tipos de preguntas de referencia de menor a mayor nivel de dificultad y de tiempo y esfuerzo en la respuesta. Existen varias traducciones al español de esta escala, como la realizada por Sylvia Solá de la Universidad de Puerto Rico [XXIII], aunque el Grupo de trabajo decidió realizar su propia traducción. Posteriormente, los distintos niveles fueron adaptados para la toma de datos, atendiendo a las características conocidas del servicio, a los objetivos del estudio y buscando siempre una mayor claridad y facilidad tanto para la recogida como para el posterior análisis de los datos. De los 6 niveles originales, se eliminaron el 4 y el 5, resultando en total 4 niveles que se detallan a continuación: 


• Nivel Básico: Las preguntas se contestan directamente, no hace falta consultar fuentes, no son preguntas especializadas. 


• Nivel Medio: La respuesta no es tan inmediata, hay que consultar fuentes, pero suele bastar con Fama (catálogo de la BUS), la página web de la biblioteca o el/los recurso/s sobre el/los que pregunte el usuario en cuestión. Se le da al usuario una formación muy básica. Puede ser una pregunta especializada pero no nos lleva demasiado esfuerzo contestarla.


• Nivel Avanzado: Hay que reflexionar bien sobre lo que quiere el usuario y asegurarse de que entiende la respuesta que le damos; hay que consultar varias fuentes y/o darle una formación al usuario más o menos profunda en una o más bases de datos. Conlleva esfuerzo y dedicación. 


• Nivel Superior: Peticiones de colaboración a más largo plazo entre el bibliotecario y un grupo de investigadores o profesores de cara a un proyecto de innovación docente, para documentar un nuevo programa de doctorado o equipo de investigación y suele ser un trabajo que se prolonga en el tiempo. Este último nivel se mantuvo como deseable y respondería en gran parte al asesoramiento ofrecido por los actuales servicios de apoyo a la investigación, que estaban en sus inicios en la BUS en el periodo de la toma de datos. 


La Sección de Apoyo a Docencia realizó una valoración de los distintos sistemas existentes para la toma de datos, concretamente LibStats y el programa ad hoc Consulta, realizado por la Biblioteca de Ingenieros de la Universidad de Sevilla. Se decidió adoptar este último, que fue adaptado por becarios informáticos de la Biblioteca. Esta aplicación de recogida de datos es una aplicación cliente servidor basada en una interfaz web, que facilita la recogida de los datos por el personal de cada biblioteca, muestra unas estadísticas sencillas sobre los datos recogidos y ofrece la posibilidad de descargarlos para su posterior análisis. Internamente es un servidor de aplicaciones PHP funcionando conjuntamente con una base de datos MySQL. 


Figura 1. Programa “Consulta” [Descargar tamaño completo]

De cada consulta de información y referencia realizada, se registraron en la aplicación los datos más significativos para el análisis posterior: Fecha de la consulta, Biblioteca donde se recibió y punto de servicio o mostrador, Nombre del bibliotecario que la responde, Tipología del usuario, Tipología del personal bibliotecario, Nivel de profundidad de la consulta (básico, medio, avanzado, superior), Duración de la respuesta (menos de 5 minutos, entre 5 y 15 minutos, 15 y 30, 30 y 60, más de 1 hora o incluso más de una entrevista) y Etiquetas, que son asignadas durante el proceso, por el bibliotecario, en relación al contenido de cada pregunta y a partir de un listado de 25 posibles: préstamos, formación, adquisiciones, Fama, información general, recursos-e, RefWorks, portátiles, etc. Para facilitar su posterior análisis cada etiqueta se enmarcó dentro de 4 categorías temáticas: Servicios, Información General y Bibliográfica, Infraestructura y Otros. 


La recogida de datos de la totalidad de las consultas de referencia recibidas en las bibliotecas de área y servicios centrales de la BUS, a través de cualquier canal, se realizó en dos períodos temporales relativamente cercanos al final y al inicio del curso académico: del 16 al 31 de mayo de 2011 y del 8 al 21 de noviembre de 2011. Se contactó con los responsables de las bibliotecas de área para explicarles los objetivos y alcance del trabajo que se pretendía acometer y solicitarles su apoyo y colaboración en la implicación del personal y seguimiento de la tarea. Se debería registrar un porcentaje cercano al 100% de las consultas efectuadas y esto, aunque se trataba de algo prioritario, suponía una nueva carga al trabajo diario. 


Todos los datos recogidos fueron descargados desde la aplicación Consulta a distintas hojas de cálculo en las que se cruzaron los datos y elaboraron gráficos que el grupo de trabajo analizaría según distintos aspectos: temática de la consulta, análisis de las respuestas, tipología del personal y de los usuarios, horarios, duración de la consulta, nivel de dificultad y medio de comunicación utilizado. Se elaboraron dos informes parciales de resultados para cada una de las fases y un Informe final en abril de 2012. Este diagnóstico de la situación, debería servir de base para tomar las decisiones oportunas y llevar a cabo las acciones pertinentes para una sistematización y mejora de la calidad del servicio que se ofrece.


V. RESULTADOS OBTENIDOS
 Top

Los resultados obtenidos no pueden considerarse sorprendentes. Se constatan unas características y comportamiento del Servicio de Referencia que ya se percibían pero del que no se tenían evidencias que sustentaran posibles iniciativas de mejora. El análisis detallado de las informaciones recogidas en los dos períodos del muestreo (mayo y noviembre, de ahí el hecho de que aparezcan dobles porcentajes junto a cada ítem), revelaron los siguientes resultados y características generales del Servicio de Referencia de la BUS:


• Las consultas referidas a Información general y bibliográfica, aunque fueron las más numerosas (36%-38%), no destacaron demasiado sobre las demás; les siguieron porcentualmente de cerca las que estimamos excesivas preguntas sobre Infraestructuras (31%-30%) y sobre Servicios (28%-31%), quedando englobadas en la categoría Otros un 1%-5% de las mismas.


• El nivel de dificultad de las preguntas ha sido calificado, por el personal que atiende el servicio, como básico en un elevado porcentaje (80% – 77%), seguido a gran distancia por las preguntas de nivel medio (18% – 21%). Las preguntas de nivel avanzado son muy escasas (2%) y sólo una pregunta fue calificada como de nivel superior.


• Las categorías en que se clasificaron las respuestas, según su contenido y las fuentes utilizadas para proporcionarlas, fueron 9 (Ver Anexo). A la 1ª categoría “Se contesta con brevedad a la pregunta puntual del usuario” se asignó la mayoría de las preguntas (56%-58%), seguida de la 5ª categoría “Ayudamos al usuario con problemas técnicos” (17%-11%). Las tres categorías de Respuesta que cubrían la información bibliográfica propiamente dicha (categorías 2, 3 y 4) fueron el 20%-25%. Hubo además un cierto número de consultas de todos los temas cuya respuesta no fue bien clasificada dentro de su categoría en la aplicación; estos erróneos encuadres del tipo de respuesta se pudieron deber a una mala interpretación de la ayuda o del procedimiento de actuación para rellenar el formulario o incluso a fallos puntuales de la aplicación.


  Figura 2. Resultados por tipo de Respuestas [Descargar tamaño completo]

• Se dieron muy pocas Derivaciones de las preguntas (2%-3%) para que fueran atendidas por otros compañeros de la Biblioteca o servicios de la Universidad (Categorías de respuesta 6 y 7). Hubiera sido deseable que el número de derivaciones fuera mayor, al estimar que en ocasiones los usuarios no hayan recibido la respuesta oportuna para satisfacer su demanda de información. Las escasas derivaciones, comportamiento por lo demás habitual en la bibliografía consultada (Lederer y Feldmann, 2012Lederer, N.; Feldmann, L. M. (2012). Interactions: a study of office reference statistics. Evidence Based Library and Information Practice, 27 (2), pp. 1-9.) (Horne y otros, 2012Horne, A. S.; Ragon, B.; Wilson, D. T. (2012). An innovative use of instant messaging technology to support a library’s single-service point. Medical reference services quarterly, 31 (2), pp. 127-39, http://dx.doi.org/10.1080/02763869.2012.670557.), puede deberse en parte al significativo menor número de bibliotecarios ayudantes o facultativos en horario de tarde, y en parte también a la falsa creencia de que todos tenemos los mismos conocimientos profesionales, sin pensar que ni esto es así, ni al usuario debemos ofrecerle una respuesta errónea o simplemente incompleta cuando podría ser buena o excelente. La bibliografía indica además que a los actuales Servicios de Referencia cada vez llegan menos consultas pero más específicas y complejas, por lo que derivar es muy conveniente aunque para el usuario pueda ser molesto cambiar de interlocutor.


• No obtuvieron respuesta un número mínimo de consultas (0,38%-0,20%), 27 preguntas), casi todas formuladas por alumnos y mayoritariamente en horario de tarde. Un análisis pormenorizado de las preguntas (en su mayoría problemas informáticos) nos lleva a concluir que muchas se hubieran podido responder por derivación a otros compañeros, o de haber mediado más comunicación y trasvase de información entre ellos.


• El tipo de usuario que hace mayor uso del Servicio de Información y Referencia es el de alumnos (entre 79% - 84% del total de las consultas procedieron de alumnos de nuevo ingreso, licenciatura, grado y postgrado), aunque la presencia de Personal Docente e Investigador (PDI) fue también significativa (entre 6% - 8%); del Personal de Administración y Servicios (PAS), se recibieron el 2% de consultas. Reseñamos que los alumnos constituían en 2011 el 92% de nuestra comunidad universitaria (78.956 en total), el PDI el 5% (4.487 integrantes) y el PAS un 3% (2.420 personas).


• El medio de comunicación utilizado de forma predominante es el presencial (89% -87%), frente a los no presenciales: Teléfono (8%, fundamentalmente por PDI y PAS), Correo electrónico (2% - 3%) y Chat (1% - 2%). El uso del chat se redujo, sobre todo en la primera toma de datos, a más de la mitad de lo habitual, quizás debido en parte al trabajo añadido que conllevaba la grabación de las consultas y que pudo distraer en ocasiones la atención del chat. El aumento en el uso del chat en el segundo muestreo (del 1 al 2%, lo que supone un 100%) pudo deberse, además de al menor número de consultas presenciales que se formularon, a la insistencia en su atención y el seguimiento de este servicio desde la Sección de Apoyo a la Docencia de los Servicios Centrales de la BUS.


• En cuanto a su duración, la inmensa mayoría de las consultas se respondieron en menos de 5 minutos (82% - 73%), entre 5-15 minutos tardaron en responderse un 15% - 23%, un 2% - 3% entre 15-30 min. y tan sólo un 1% de consultas entre 30-60 min. o más. Las preguntas de información bibliográfica que requirieron la consulta de varios recursos son, como era de esperar, las que proporcionalmente requieren un tiempo de respuesta superior a los 5 minutos. El tiempo medio que el personal dedica a las tareas de referencia e información es escaso y se ha estimado, tras el análisis de los datos recogidos, en algo menos de una hora diaria para el personal técnico de Biblioteca y en media hora para los ayudantes/facultativos.


• Todo el personal de la BUS distribuido en 20 bibliotecas (232 personas del total de 238 efectivos que trabajaban en la biblioteca en 2011), se implicó en esta experiencia de análisis del Servicio de Referencia. El Personal Técnico de Biblioteca TAB/TEB (TAB -Técnico Auxiliar de Bibliotecas- y TEB -Técnico Especialista de Bibliotecas-), mayoritario (129 personas) y en contacto directo con el público en los Mostradores de Orientación y Préstamo, atiende también mayoritariamente (80% - 75%) el Servicio de Referencia en la BUS. Los bibliotecarios ayudantes (79) resolvieron un 15-17% de las consultas en ambos muestreos; los facultativos (10) respondieron un 4%-2%; los becarios un 2% y el personal administrativo (15) el 1%.


El hecho de que el Servicio de Referencia de la BUS descanse sobre los técnicos de bibliotecas guarda también estrecha relación con el nivel básico preponderante de sus preguntas, de orientación (infraestructuras, servicios), información general e información bibliográfica básica. Sólo las preguntas de información bibliográfica que han necesitado para responderse de la consulta de varios recursos, y las referidas a formación y adquisiciones, han roto este predominio al ser atendidas en porcentajes equivalentes, o en su mayoría los dos últimos, por personal bibliotecario ayudante y facultativo y por personal administrativo.


En relación a la distribución horaria, el servicio se ofrece en mayor medida por la mañana que por la tarde, en una proporción de 60/40. Las franjas horarias que reciben mayor número de consultas son 10:00-14:00 horas (máximo de 11:00-12:00 horas) y 16:00-19:00 horas (con máximo de 17:00-18:00 horas). Hemos de tener en cuenta que es muy superior el número de efectivos de personal en turno de mañana, tanto de técnicos como, sobre todo, de personal ayudante/facultativo, a lo que se une la circunstancia de que, en el muestreo, el periodo de la tarde contaba con una hora menos de duración a efectos de distribución horaria.


Tras estos resultados generales, procedemos a un análisis algo más detallado del comportamiento del Servicio de Referencia de la BUS ateniéndonos al análisis de todos los datos recogidos.


V.1. Número de consultas


El número total de consultas de información y/o referencia registradas en los dos períodos de tomas de datos, 21 días laborables en total, da una cifra global de 9.866, pero con una distribución bastante dispar: En el primer periodo (16-31 de mayo) se registraron 6.925 consultas, y en el segundo (8-21 de noviembre) sólo 2.941, con un significativo descenso del 42,46 % en el número de consultas registradas entre ambos períodos. Este descenso pudo tener varias causas, entre ellas el mayor número de transacciones de préstamo y devoluciones a fines de noviembre, fecha más cercana al inicio del curso, lo que no permitiría atender ni registrar en la aplicación con tanta exhaustividad un cierto número de consultas de referencia e incluso podríamos atribuirlo también a un cierto cansancio del personal, al tratarse ya de un segundo muestreo que exigía de nuevo una atención prioritaria y un trabajo añadido al habitual.


V.2. Temática de las consultas


Los contenidos de las consultas se agruparon en 25 temas, etiquetas o subcategorías que se asignaron a posteriori en la primera toma de datos, cuando se analizaron las preguntas, y directamente por el personal de la biblioteca, en el momento de la grabación, en la segunda toma de datos. Los 25 temas se agruparon a la vez, como ya dijimos, en cuatro grandes categorías: Servicios, Infraestructura, Información y Otros.


La tabla I ofrece los porcentajes de las consultas según su temática (categorías generales y etiquetas) y para los dos períodos de tomas de datos, de ahí que sigamos ofreciendo junto a cada ítem dos porcentajes, el primero correspondiente al mes de mayo y el segundo a noviembre. 


Tabla I. Resumen de las consultas por categorías y etiquetas [Descargar tamaño completo]

V.3. Consultas sobre SERVICIOS


Dentro de esta categoría, el mayor número de consultas se refieren al Servicio de Préstamo (94% -86%), y estaban etiquetadas y relacionadas con préstamos, carnets, reservas y Mi Cuenta (en Fama). Sobre adquisiciones versaron tan sólo un 5% y un 7% de las consultas y sobre formación el 1% y el 7%, con aumento significativo de estas últimas en noviembre, cuando la oferta y la demanda formativa es mayor.


Por su nivel de dificultad las preguntas sobre servicios fueron consideradas de nivel básico en un 89%-86%, y de nivel medio alrededor del 12% (en ambos muestreos).


Tipos de respuestas: De los 9 grupos en que podían ser clasificadas las respuestas (Ver Anexo), la mayoría de las preguntas sobre servicios se contestaron con brevedad, en menos de 5 minutos y sin necesidad de consulta de prácticamente ninguna fuente de información.


Tipo de usuario: La mayoría de las consultas provienen del colectivo universitario más numeroso, el de alumnos -de grado, licenciatura 1º y 2º ciclo y máster- (86% -79%), usuarios externos y ex alumnos (5% - 8 %), PDI (4% /6 %) y desconocidos (3% - 5%). 


Tiempo de respuesta: La mayor parte de las consultas sobre préstamo se resuelven en menos de 5 minutos (92% - 80%); un 31% de las referidas a adquisiciones y un 20% de las referidas a formación tardaron en responderse de 5 a 15 minutos, ya que requirieron en ocasiones la consulta de los programas de adquisiciones, eventos o cualquier otra documentación online o impresa.


En cuanto a distribución horaria las consultas sobre préstamo fueron formuladas en un 60% en horario de mañana (8.00 h. a 15:00 h.) y en un 40% en horario de tarde (15:00 h. a 21:00 h.). Las preguntas sobre adquisiciones y formación (muy escasas) se realizaron fundamentalmente por las mañanas y en proporciones cercanas al 80 y el 90%, circunstancia que explicamos por la mayor presencia en el turno de mañana de personal administrativo y de bibliotecarios ayudantes y facultativos, receptores de estas consultas, en gran medida.


Medios de comunicación: En persona se contestaron el 84 % de las consultas sobre servicios; por teléfono un 13 % (mayor uso de esta vía por el PDI para consultas sobre adquisiciones); a través de correo-e sólo un 2% y el chat un 1%, un 50% menos de lo habitual en este servicio de Referencia Virtual y como ya se ha indicado anteriormente.


Según el personal: El personal técnico de bibliotecas responde de forma abrumadora a las consultas sobre préstamo (independientemente del medio de comunicación), con unos porcentajes del total de las consultas del 85% y 83%. Las consultas sobre adquisiciones son atendidas en mayor número por bibliotecarios ayudantes y facultativos (38% - 55% ) y casi con toda probabilidad serían también respondidas por el colectivo de administrativos, que se agrupó a efectos de personal junto a los TAB/TEB.


En las consultas sobre formación se invierte la tendencia general de respuesta mayoritaria por los TAB/TEB/administrativos, al ser atendidas en un 70-75% por el grupo de ayudantes/facultativos.


Es importante indicar llegados a este punto que, tanto en el diseño de la evaluación del servicio de referencia como en las instrucciones dadas al personal para la toma de datos, se insistió en la exclusión y no grabación de consultas directamente relacionadas con la transacción de préstamo, reserva o renovación, recogiéndose tan sólo las consultas realizadas sobre temas generales de préstamo. No obstante, en el análisis detenido de las preguntas relativas al préstamo, el contenido de las mismas (por ejemplo: un usuario nos pide una renovación telefónica, o, renovación de libros), nos lleva a pensar que se grabaron en la aplicación algunas preguntas directamente relacionadas con la transacción de préstamo, aunque con poca incidencia. 


Consideramos que el alto número de preguntas (y sus correspondientes respuestas) sobre el Servicio de Préstamo, puede indicar desconocimiento y falta de información del alumnado sobre un servicio que les interesa y les afecta en gran medida. Esta situación puede deberse a la reducción de las sesiones de iniciación a la biblioteca al comienzo de curso, al ser sustituidas por el Curso de Orientación al Estudio (COE), pero, sobre todo, a la falta de promoción y marketing del servicio de biblioteca. La información sobre los servicios incluida en la web de la Biblioteca, las guías de las bibliotecas y la cartelería tradicional junto a las ofrecidas por los canales de comunicación social como Facebook o Twitter, necesitarían un plan específico de marketing digital. No obstante podemos decir que ya se han dado los primeros pasos al incluir en el plan estratégico de la biblioteca 2014, un plan de comunicación externa que sentará las bases de un futuro plan integrado de marketing digital. 


V.4. Consultas sobre INFORMACIÓN


En este grupo incluimos las consultas de información general y de información bibliográfica que realizaron los usuarios, clasificadas mediante sólo 2 etiquetas o subcategorías: “información general” y “recursos-e”. Las 3 categorías de respuesta asignadas a la categoría, pone más de relieve los contenidos de las consultas.


Hubiera sido necesario analizar esta categoría de forma separada por constituir la atención al usuario en sus problemas de búsqueda de información, la función más importante del Servicio de Referencia, pero este análisis excedía los límites de nuestro estudio al menos en esta primera fase. 


Estas consultas representan como ya dijimos un 36-38% del total (3.537 ocurrencias), constituyendo tan sólo algo más de un tercio de las formuladas.


Las consultas relativas a “Información general” (que van desde la ayuda al usuario en la localización de un documento concreto a la búsqueda sobre un autor), fue absolutamente mayoritaria (89%-96%), quedando la referida a “recursos-e” reducida a un 11%-4%.


Por su nivel de dificultad fueron consideradas de nivel básico alrededor de un 70% de las mismas (73% -68%); de nivel medio algo más de un 25% (23%-28%) y de nivel avanzado un 4%.


Hubo un porcentaje quizás alto de consultas de respuesta rápida calificadas de nivel medio, que requirieron una consulta en el catálogo Fama y que a tenor de su redacción no debieran entrañar dificultad al tratarse de búsquedas por autor, título, palabra clave.


Tipos de respuestas: Las preguntas de información bibliográfica han quedado englobadas en su mayoría en los tipos de respuestas “Consultamos Fama” (búsqueda rápida - aprox. 10%), “Buscamos en Fama” (Búsqueda más detallada por temas - aprox. 8%) y “Buscamos en varios recursos” (aprox. 7%); no obstante sobre un 22% de las mismas “se responden con brevedad” y no necesitaron la consulta de ninguna fuente de información (por ejemplo, preguntas de localización de fondos en sala) (Ver Anexo).


Tipo de usuario: Los alumnos de licenciatura / grado y de máster/postgrado formularon alrededor del 80% de las consultas de información general y un 64% de las referidas a recursos-e; el PDI aprox. el 10% de las de información general y, como era de esperar, elevó el número de consultas referidas a recursos-e a un 21 %, ya que son las revistas electrónicas y bases de datos las consultas predominantes de este colectivo desde sus despachos o desde casa, aumentando además el número de consultas telefónicas.


Tiempo de respuesta: Un 62% de consultas de información se resuelven en menos de 5 minutos, y un 30% necesitaron para responderse entre 5 y 15 minutos, siendo mayoritarias en esta franja temporal las que requieren una búsqueda sobre un tema en el catálogo Fama. Tan sólo un 7% de las mismas han necesitado de 15 a 30 min. de respuesta.


En su distribución horaria siguen predominando las consultas en horario de mañana sobre las del horario de tarde, siendo la Búsqueda en varios recursos de información mayoritaria en el horario de mañana, al concentrarse en ese horario el mayor número de bibliotecarios ayudantes y facultativos, que son los que atendieron un número considerable de consultas de información bibliográfica más complejas.


Medio de comunicación: Las preguntas de información general y bibliográfica vuelven a ser presenciales en casi un 90% de los casos y telefónicas en un 6%; tan sólo las referidas a “recursos-e” rompen este esquema general de dominio casi absoluto de la presencialidad y, por medios no presenciales, teléfono y correo-e, se formulan y atienden el 35-40% de las consultas, las que realizan el PDI u otros colectivos cuando están haciendo uso de los recursos electrónicos y no se encuentran físicamente en la biblioteca.


Personal: Aunque los técnicos de bibliotecas han respondido de nuevo el mayor porcentaje de preguntas, a medida que crece la dificultad de las consultas, aumenta como hemos indicado el número de las atendidas por el grupo de los ayudantes/facultativos.


V.5. Consultas sobre INFRAESTRUCTURA


Las consultas sobre Infraestructura suponen un 30% del total (31% - 30%) clasificadas por su variada temática en 5 apartados: Informática y redes (con las siguientes etiquetas de mayor a menor número de ocurrencias: “Eduroam”, “Portátiles”, “Linux”, “Cables de seguridad”, “Ordenadores” y “Netbooks”); Espacios (“Salas”, “Reserva de salas”); Horario; Reprografía y otros servicios (“Impresoras”); Equipamiento (“Autopréstamo”, “Equipamiento”). 


El mayor número de consultas fueron las referidas a Informática y redes (61%-52%). Las preguntas sobre Equipamientos fueron escasas (8%-2%), con mayoría de las referidas a Autopréstamo (144 ocurrencias). Las consultas sobre Horarios (15%-14%) fueron numerosas (454 ocurrencias) y sobre Reprografía versaron el 10% de las mismas. 


Nivel de dificultad: En esta categoría de consultas, con predominio de temas informáticos, es más elevado el porcentaje de consultas clasificadas como de nivel medio (30%-43%), frente a un 69%-56% de nivel básico y sólo un 1% avanzado.


Tipo de respuesta: “Ayudamos al usuario con problemas técnicos” fue la respuesta elegida para un elevado número de consultas de Infraestructura.


Por tipo de usuarios, los alumnos formularon hasta un 90% de las mismas. Las restantes las formularon ex - alumnos y usuarios calificados como desconocidos (3% respectivamente) y procedieron del PDI tan sólo el 1% del total.


Tiempo de respuesta: La mayoría de consultas de temas de Infraestructura se resuelven en menos de 5 minutos (80% - 75% ) y entre 5 y 15 minutos (19% - 25% ).


Por su distribución horaria las consultas sobre Infraestructura siguen la tendencia general de formulación en un mayor número por la mañana que por la tarde, excepción hecha de la consulta sobre horarios (57% tarde).


El medio de comunicación utilizado masivamente (95%) vuelve a ser el presencial, tanto para la categoría general como para las subcategorías, bastante lógico puesto que los temas por los que suelen preguntar los usuarios, con exclusión del “horario”, están directamente relacionados con los ordenadores, las salas y su equipamiento, por lo que las dudas surgen cuando el usuario se encuentra en nuestras instalaciones. Esto explica también que estas consultas se haya contestado casi exclusivamente (>90%) por los técnicos de bibliotecas, el grupo de personal que está físicamente más cerca de los usuarios en los mostradores de sala.


Para concluir este apartado querríamos llamar la atención sobre dos aspectos del mismo. Las consultas sobre Informática y redes, habituales en las bibliotecas dado que hay ordenadores en sala y se prestan portátiles y netbooks, las consideramos sin embargo excesivas en el muestreo llevado a cabo. Este número fue sin embargo muy superior a lo habitual, en concreto las referidas a la conexión a la Red “Eduroam”, “portátiles” y “Linux”, debido a que en el periodo de la primera toma de datos de mayo, se cambió el sistema operativo de los ordenadores de las bibliotecas (de Windows a Linux/Ubuntu), afectando al protocolo de conexión wifi, cuando los usuarios y el personal de la biblioteca ya estaban familiarizados con la conexión Windows. La falta de previsión y comunicación del cambio, desorientó a personal y usuarios, reflejándose en el número elevado de consultas de esta temática. Por otra parte, también nos resultan excesivas las consultas sobre horarios (14%-15%), concretamente sobre amplitud del horario de apertura diaria y de los sábados, efectuadas en el mes de mayo, en periodo de exámenes y con el curso académico a punto de finalizar. Esta información debe estar más accesible y explícitamente indicada en los accesos a las bibliotecas, cartelería interior, espacios web tradicionales y en redes sociales. 


V.6. Consultas sobre OTROS


Quedaron englobadas en la categoría Otros tan sólo el 5% y el 1% de las consultas de mayo y noviembre respectivamente, bajo las etiquetas “Direccionales” (277 ocurrencias) y “otros” (231). Entre las “direccionales” se formularon preguntas sobre localización de Departamentos y de otras bibliotecas, de las aulas de informática, o de dependencias dentro de la misma biblioteca. En la categoría “otros” se incluyeron preguntas sobre creación de blogs, RSS, reutilización de papel usado de la biblioteca por los alumnos, autorizaciones de los alumnos autores de proyectos fin de carrera, creación de bibliografía, listados de revistas de impacto, acreditaciones y sexenios, etc.


Tipo de respuesta: Las consultas direccionales eran preguntas puntuales que quedaban incluidas en su mayoría dentro del tipo “Se contesta con brevedad a la pregunta puntual del usuario”. La mayoría de las consultas etiquetadas como “otros” recibió “Otra respuesta”.


Fueron consideradas por su Nivel de dificultad como de nivel básico prácticamente todas las direccionales (95%), pero en las calificadas como “otros” aproximadamente un 30 % se consideraron de nivel medio y un pequeño porcentaje que no llega al 10% como de nivel avanzado.


En cuanto al tipo de usuario, fueron los alumnos los que formularon, en más de un 70% de los casos, las preguntas direccionales.


Tiempo de respuesta: Las preguntas direccionales se contestaron en menos de 5 minutos; entre 5-15 minutos requirió la respuesta de aproximadamente el 30% de las etiquetadas como “otros”.


Distribución horaria: Las preguntas siguieron la tendencia general de predominio en horario de mañana. 


El medio de comunicación elegido para las preguntas direccionales fue esencialmente el presencial (92% en noviembre); para las incluidas en “otros” un 80% fue presencial, aproximadamente un 9% se formularon por teléfono y correo-e y un 3% por chat.


Personal: Mientras que las direccionales fueron respondidas por técnicos de bibliotecas, las consultas bajo etiqueta “otros” fueron atendidas en más de un 30% por ayudantes y facultativos.


VI. LIMITACIONES AL ESTUDIO
 Top

La principal limitación de nuestro estudio es la falta de otros de similares características con los que compararlo, ya que solo contamos en la literatura especializada con estudios parciales.


La duración de la muestra podría considerarse otra limitación, 21 días laborables distribuidos en dos periodos temporales, sin embargo, esa limitación temporal es una constante en la bibliografía consultada (Ward, 2012Ward, D.; Phetteplace, E. (2012). Staffing by design: A methodology for staffing reference. Public Services Quarterly, vol. September, pp. 37-41.). Los dos periodos de la muestra en distintas épocas del año, han reflejado que las necesidades de los usuarios varían en esos dos periodos de tiempo. En noviembre los alumnos no están familiarizados aún con la biblioteca, y por ello se plantean preguntas de orientación y préstamo; sin embargo en mayo, los alumnos tienen puesta su atención en los exámenes y es el PDI el que por su labor docente e investigadora requiere mayor tiempo en la contestación a sus preguntas.


El número de las categorías, 25 en total, dificultó la obtención y clasificación posterior de los datos, por lo que en la segunda muestra de mayo se decidió desglosar y agrupar categorías, y añadir un campo más en la aplicación referido al tema de la pregunta.


Tampoco se contabilizaron en la muestra, las preguntas de referencia respondidas por los bibliotecarios en la plataforma de docencia WebCT, ni en los blogs y las wikis temáticas. 


Faltaría el estudio de las transcripciones de las transacciones de referencia virtual, que sin duda aportarían una visión más real del servicio. Por último, sería interesante seguir realizando muestreos que permitieran evaluar de forma periódica el Servicio de Referencia, así como la puesta en marcha de las recomendaciones del informe oficial del periodo de evaluación. 


VII. CONCLUSIONES
 Top

Según el estudio de la bibliografía, los datos obtenidos no sorprenden en su conjunto, responden a las pautas más o menos establecidas en los servicios de referencia de las bibliotecas, a excepción de lo relativo a las proporciones; es decir, lo normal es que la mayor parte de las preguntas sean presenciales (Ward, 2012Ward, D.; Phetteplace, E. (2012). Staffing by design: A methodology for staffing reference. Public Services Quarterly, vol. September, pp. 37-41.), de alumnos y de nivel básico y corta duración (Lederer, 2012Lederer, N.; Feldmann, L. M. (2012). Interactions: a study of office reference statistics. Evidence Based Library and Information Practice, 27 (2), pp. 1-9.), pero no en proporción tan elevada como ocurre en nuestro caso. Este comportamiento lo encontramos en todos los ítems que se han estudiado. La pregunta tipo se contesta mayoritariamente en persona (89% -87%), de forma breve (56%-58%), es de nivel básico (80% – 77%), con mayor peso en la mañana que en la tarde (60% / 40%), de menos de 5 minutos (82% - 73%), mayoritariamente a alumnos (79% - 84%), y atendida por TAB/TEB (80% - 75%). Por otro lado, el tiempo medio que se dedica a la Referencia por el personal de biblioteca es escaso, menos de una hora diaria para el personal técnico, y media hora el ayudante/facultativo. 


También sorprende el bajo uso del Servicio de Referencia a través de chat, cuando los estudios demuestran que se trata de una opción cada vez más usada en bibliotecas (Lederer, 2012Lederer, N.; Feldmann, L. M. (2012). Interactions: a study of office reference statistics. Evidence Based Library and Information Practice, 27 (2), pp. 1-9.) y, a nivel de empresas, “una cuarta parte de los clientes utiliza el chat online cuando no encuentra lo que necesita en la web” [XXIV]. Como se ha puesto de manifiesto (González, 2012González-Fernández-Villavicencio, N. (2012). Servicios de referencia en bibliotecas universitarias: tendencias y plan de marketing. El Profesional de la Información, 21 (6), pp. 563-572, http://dx.doi.org/10.3145/epi.2012.nov.03.), la innovación en los servicios de referencia se encuentra marcada por cuatro tendencias: salir de los espacios físicos habituales, la oferta de servicios virtuales y móviles, el uso de las herramientas de la Web social y la colaboración entre profesionales. El futuro de la referencia es multimodal y hay que ofrecer una gran variedad de servicios según las necesidades de las cambiantes audiencias y las preferencias de los usuarios. No hay que olvidar que estamos en la época del consumo basado en situaciones, diferentes productos cubren las distintas necesidades de información de los usuarios. La biblioteca universitaria tiene que estar presente en cualquier lugar y a cualquier hora, disponible para cualquier persona y por el mayor número de canales y ofreciendo un servicio de referencia que satisfaga las necesidades de sus usuarios (Nolen y otros, 2012Nolen, D. S.; Powers, A. C.; Zhang, L.; Xu, Y.; Cannady, R. E.; Li, J. (2012). Moving beyond assumptions: The use of virtual reference data in an academic library. Portal: Libraries and the Academy, 12 (1), pp. 23-40, http://dx.doi.org/10.1353/pla.2012.0006.). Aunque los resultados no sean positivos, no se pueden reducir las posibilidades que tiene el usuario, de acceso a la información y al bibliotecario experto. Si el servicio no se usa, algo se está haciendo mal, es evidente que no se le está ofreciendo al usuario lo que necesita, dónde y cuándo lo necesita, no se evalúan los resultados ni se adoptan medidas correctoras en función de esos datos, no aplicamos planes de marketing que optimicen el servicio y los hagan visibles, personalizados, móviles y sociales (González-Fernández-Villavicencio, 2012González-Fernández-Villavicencio, N. (2012). Servicios de referencia en bibliotecas universitarias: tendencias y plan de marketing. El Profesional de la Información, 21 (6), pp. 563-572, http://dx.doi.org/10.3145/epi.2012.nov.03.). Es difícil ser valorado cuando se es invisible (Mon y Harris, 2011Mon, L.; Harris, L. E. (2011). The death of the anonymous librarian. The Reference Librarian, 52 (4), pp. 352-364, http://dx.doi.org/10.1080/02763877.2011.585279.) y por ello hay que elaborar un Plan de Marketing con un doble objetivo: que todo usuario sepa donde y como obtener ayuda de referencia, y quién puede ofrecerle esa información y ayuda. 


En cierta medida estos resultados no extrañan a nadie, pero ahora sí existen evidencias del comportamiento del usuario en la BUS, de sus necesidades y de lo que espera de la biblioteca, así como de la percepción del servicio por parte del personal y de las cargas de trabajo. Por lo tanto, las acciones que se llevan a cabo en base a estos datos, van a tener una mayor probabilidad de éxito ya que no se basan en conjeturas o percepciones, sino en cifras. La lectura de los datos que acabamos de analizar nos puede dar muchas pistas sobre qué hacer para mejorar el servicio y las expectativas de los usuarios, su percepción del servicio, para optimizar los recursos humanos y materiales que se asignan, optimizar las rutinas de trabajo del Servicio de Referencia, para potenciar servicios que se desconocen, ofrecer la información que se necesita de forma más directa tanto en los sitios web de la biblioteca como a través de materiales impresos y de dispositivos móviles o para mejorar la imagen de marca y la reputación de la biblioteca. 


Terminamos este artículo agradeciendo a todos los bibliotecarios de la Universidad de Sevilla su participación en la toma de datos y el esfuerzo realizado, al grupo de trabajo de Referencia por su dedicación y a la Biblioteca de Área de Ingenieros por cedernos su aplicación para la recogida de los datos. 


NOTAS Top

BIBLIOGRAFÍATop

ANEXOTop