El Servicio de Referencia lo constituyen, desde una macro perspectiva, todas las transacciones que se llevan a cabo con el usuario para satisfacer sus necesidades de información, y desde otra más restrictiva (RUSA) (I), las relacionadas con la creación, gestión y evaluación de los recursos de información, sus herramientas y servicios, que los usuarios pueden usar de forma independiente en modo local o remoto. Desde ambas perspectivas, el servicio de referencia es hoy día una parte vital de los servicios de cualquier biblioteca (Cassell y Hiremath, 2011), y como tal debe ser evaluado para demostrar su utilidad y valor ante la Institución de la que depende, y para su continua mejora (González-Fernández-Villavicencio, 2012).


En este trabajo se ofrece una visión del proceso de evaluación del servicio de Referencia de la Biblioteca de la Universidad de Sevilla (BUS) que se llevó a cabo en dos fases a lo largo del año 2011, así como el análisis de los resultados obtenidos.


Como estudios generales de revisión de procesos de evaluación de servicios de referencia, podemos citar el de McLaughlin (2011) y Tyckoson (2011), que evidencian la ausencia de normas aceptadas universalmente, metodologías de estudio y formatos de informes que permitan realizar análisis y comparar resultados. Por otro lado, Keith (2012), en el blog de ALAConnect, ofrece una relación de objetivos y herramientas de utilidad para el proceso de evaluación del servicio de referencia de una biblioteca. 


Según diversos autores, un servicio de Referencia debe ser evaluado teniendo en cuenta los siguientes factores:


- Datos sobre la transacción, basados en la accesibilidad de los servicios, tiempo de respuesta y duración y porcentaje de preguntas recibidas y contestadas o no contestadas (Tyckoson, 2011), (Ramos, 2012).


- Coste y efectividad de la sesión, la infraestructura y el software necesario para dar soporte, e impacto en otros costes de la biblioteca (Ramos y Abrigo, 2012).


- Satisfacción del usuario con el proceso y los resultados usando indicadores tales como duración, comportamiento del personal, etc. Se mide la satisfacción del usuario, su grado de compromiso y el nivel de difusión del mismo por parte del usuario (Pomerantz y otros, 2008). Una de las metodologías que más se utilizan para obtener datos de satisfacción de usuarios es LibQUAL+®, ya que detecta la calidad de los servicios a partir de las percepciones de los usuarios (Cassell y Hiremath, 2011).


- Calidad de las respuestas del personal, nivel de competencias y habilidades necesarias. Se evalúa la seguridad de la información, lo completa que sea y si se adecúa a la pregunta del usuario, las referencias que aporta, si la respuesta es apropiada a la audiencia, la oportunidad para la interactividad, el nivel de formación en competencias informacionales que se ofrece durante la transacción (Pomerantz y otros, 2008), (Ramos y Abrigo, 2012). Según un estudio en las Bibliotecas de la Universidad de Illinois en Chicago (Logan y Lewis, 2011), los bibliotecarios casi siempre usan una gramática apropiada, y son educados en sus respuestas.


- Creación de nuevo conocimiento. El estudio de Cavanagh (2013), analiza profundamente las transacciones de la referencia presencial en una Biblioteca Pública de EEUU, centrándose en el proceso compartido de aprendizaje y creación de conocimiento en acción. Este autor añade que son pocos los estudios que han examinado la relación existente entre el papel de mediadora de la información de la biblioteca y el de creadora de conocimiento compartido con toda la comunidad.


Para la obtención de estos datos, algunos autores proponen diversos métodos, tanto cuantitativos como cualitativos, como la revisión sistemática de investigaciones, pruebas aleatorias, estudios comparativos o descriptivos (Stevenson y otros, 2012), así como buzón de sugerencias, observación (directa, indirecta y autoimpuesta), encuestas, entrevistas y estudios de caso (Cassell y Hiremath, 2011). 


Una planificada promoción de estos métodos de obtención de datos puede ser la clave del éxito, como en el caso de la Biblioteca de la Universidad de Minnesota (IV), que ha embebido una encuesta en la propia ventana del chat de su sistema de Referencia virtual LibraryH3lp, para conocer las causas del descenso en su uso, promocionando además la encuesta de diversas formas, incluyendo divertidos carteles (V).


En el caso de la referencia presencial, no abundan los programas que automaticen la recogida de los datos estadísticos de la actividad de referencia en bibliotecas. En el caso de la virtual, el número de opciones es mayor, aunque sigue siendo reducidas y de reciente aparición en las bibliotecas. Para ambos casos, la literatura profesional no ofrece mucha información sobre estos programas, remitiéndonos de nuevo al blog de ALAConnect, Keith (2012), o al cuadro comparativo de las características técnicas y funcionales de algunos de los programas que veremos a continuación (VI).


Las bibliotecas universitarias suelen recoger sus datos estadísticos del servicio de referencia (cuando lo recogen), con programas que van desde las hojas de cálculo, hasta programa específicos de recogida de datos, algunos de ellos de desarrollo “ad hoc”. De cualquier manera, la diversidad de medios para ofrecer servicios de referencia debería exigir el uso de un programa que lo gestionase de forma automatizada. Algunos de estos programas son:


- Hojas de cálculo. Es el sistema más utilizado. Una simple visión de la hoja permite conocer el volumen de preguntas que se responden. Con el tiempo, la hoja de calculo suele ir complicándose para reflejar una información más sofisticada del servicio, como tipo de pregunta, de usuario o tiempo de respuesta (Tyckoson, 2011). 


- LibStats. Este programa en código abierto, puede ser usado en múltiples ubicaciones. Fue creado por la Universidad Queensland después de haber usado unas hojas de Excel (Gossett y otros, 2012). Ejemplo de uso de este programa es la biblioteca de Grand Valley State University en Michigan.


- Desk Tracker (VII). Para registrar los detalles de cada transacción, las bibliotecas de la Universidad de Illinois utilizan este programa en el que reflejan el tipo de pregunta, duración, tipo de usuario, descripción amplia de la información que se ha aportado, y dificultad de la pregunta en función de la escala READ (Reference Effort Assessment Data) (Ward y Phetteplace, 2012). 


- LibAnswers, es un programa de recogida de estadísticas de referencia y software de análisis de datos, de Springshare. Se implementó en Western Libraries (VIII) que forma parte de Western Washington University, con múltiples puntos de servicio (Gosett y otros, 2012). Este programa cuenta también con un módulo web de análisis estadístico de las referencias (IX) y en el siguiente enlace puede observarse el número de respuestas públicas del servicio en tiempo real http://askus.library.wwu.edu/. 


- Gimlet (X) es un programa que recoge la actividad del mostrador de referencia e incluye unas Faqs para el bibliotecario. Loyola Marymount University’s (LMU), William H. Hannon Library, en Los Angeles, utiliza este servicio y ha presentado un estudio sobre el mismo en la 78th IFLA General Conference and Assembly (Archambault, 2012). 


En el caso de la referencia virtual es más fácil registrar las transacciones que en la presencial, y algunos de los programas que existen incluyen sus propios módulos de estadísticas, como el programa en código abierto LibraryH3lp, o los programas comerciales QuestionPoint o AsK a Librarian de Tutor.com. LibraryH3lp es una aplicación de mensajería instantánea (IM) integrada y de chat vía web que se incluye en el grupo poco abundante de aplicaciones en código abierto, y ha sido diseñada específicamente para las necesidades de los servicios de referencia virtual de las bibliotecas (González-Fernández-Villavicencio y otros, 2009). Utilizan esta aplicación, entre otros, el Servicio de Referencia virtual de la Biblioteca de la Universidad de Sevilla, la Biblioteca de la Universidad Complutense de Madrid, o la de la Universidad de Cardiff. 


En algunas ocasiones, se crean programas ad hoc para la toma de los datos: 


- En Northwest Missouri State University crearon el programa KnowBot (XI) que ofrece estadísticas online y en tiempo real de referencia y Faqs.


- La Biblioteca de la Universidad de Minnesota ha creado un formulario en Google Docs (XII) para su servicio de referencia en el que, anualmente, se atienden más de 13.000 preguntas en persona y 3.000 vía chat.


- Otras bibliotecas como la de Colorado State University (Lederer y Feldmann, 2012) o la Biblioteca de Ingeniería de la Universidad de Sevilla, han creado una aplicación (XIII) en PhP y MySQL para el registro de las preguntas de sus usuarios a través del servicio de referencia, cuyos datos se pueden descargar en una hoja de Excel.


Para el análisis de los datos se utilizan programas estadísticos como SPSS, o bien los nuevos programas para las estadísticas de referencia incorporan sus propios módulos de gestión de estadísticas. 


Las transacciones vía virtual se registran con más detalle que las efectuadas de manera presencial y presentan la ventaja de que contienen el diálogo completo de las preguntas-respuestas o, en su caso, de la entrevista de referencia, ofreciendo además la oportunidad de investigar sobre estos datos. La transcripción de las transacciones recogen los datos de la interacción, en gran medida cuantitativos, y los datos sobre la interacción, es decir, datos cualitativos de la misma conversación, que son los más difíciles de obtener y de los que menos resultados se han publicado (Bishop, 2012). Estos datos permiten construir la base de conocimientos de las transcripciones y las Faqs y se usan para evaluar y mejorar el servicio. 


Para analizar los datos obtenidos de las transacciones de referencia, se utiliza con frecuencia la escala de 6 grados, READ(XIV) ya citada, que intenta registrar aspectos cualitativos cuando el personal de referencia asiste al usuario en sus preguntas, midiendo no sólo el tiempo que se dedica, sino también el nivel de esfuerzo y de conocimiento, y las habilidades y la formación que emplea el bibliotecario en cualquier consulta. Este modelo ha sido utilizado por diversas bibliotecas y en el ejemplo que plantean Ward y Phetteplace (2012), se utilizó a través de una interfaz web que reflejaba una serie de datos de cada interacción, tales como la duración, tipo de pregunta, tipo de usuario, hora del día, etc. El objetivo de este estudio era equilibrar el personal y las horas que dedican a la referencia, para adecuarlo al horario que el usuario necesita. 


En el caso de las bibliotecas de la Universidad de Illinois, que utilizan como hemos dicho el programa Desk Tracker para recoger detalles de la consulta, incluyeron la “dificultad de la pregunta” de la escala READ a su listado(XV). En esta ocasión tan solo evaluaron los modos síncronos (referencia presencial y virtual con interacción bibliotecario-usuario). Los resultados mostraron que el chat es el sistema más usado por la comunidad universitaria, representando el 57% de todas las preguntas de referencia. Las preguntas presenciales sólo representaron un tercio del total. El horario del chat, que se prolonga hasta la medianoche, indica que los usuarios prefieren usar este medio cuando están estudiando o trabajando en casa (Ward y Phetteplace, 2012).


Luini, C. (2012), examina el uso de OCLC’s QuestionPoint (“AskUs”) en Marian Gould Gallagher Law Library, University of Washington School of Law. En este estudio, en el que se examinaron las transcripciones de las transacciones de referencia, se pone en evidencia que el chat responde a preguntas más sofisticadas que las realizadas en el mostrador de referencia y que de esta forma se pueden detectar los tipos de recursos que los usuarios demandan y los temas de interés de los docentes; así mismo, las preguntas de tipo formativo no funcionan bien a través de este medio. 


Cualquier periodo de evaluación debe tener como objetivo detectar posibles mejoras del servicio que hay que implementar con su correspondiente planificación. En 2010, la Biblioteca de la Universidad de Cardiff estableció un programa piloto de chat con LibraryH3lp. Los widgets del chat fueron colocados en las páginas web de inicio de las bibliotecas, así como en la sección de Medicina y en la de los recursos electrónicos. El servicio, atendido por personal voluntario entre las 9:00 y las 17:00 horas, de lunes a viernes, obtuvo un gran éxito entre los usuarios, registrándose 2.643 peticiones de chat durante el primer año. Aunque las transcripciones de los chat demostraron que los usuarios estaban muy satisfechos y usaban el servicio repetidamente, sin embargo demandaban una ampliación del servicio por la tarde e incluso por la noche. Este servicio se ofrece ahora también por las tardes, de noche y en fines de semana, cuando el personal de la biblioteca está disponible (Haerkoenen y otros, 2011). Por su parte, en la Oberlin College Library y tras la evaluación del servicio, decidieron también ampliar el número de horas que el servicio se ofrecía por la noche y fines de semana (Mitchell y otros, 2011). 


En el trabajo citado de Archambault (2012) sobre el servicio de referencia presencial, de Loyola Marymount University’s (LMU) William H. Hannon Library, en Los Ángeles, con el programa Gimlet, se pone de manifiesto como una biblioteca usa los datos de sus usuarios para iniciar el cambio, para tomar medidas y mejorar los servicios. Entre los resultados obtenidos, observaron que los estudiantes de Empresariales realizaban preguntas de mayor profundidad que el resto de las áreas, por lo que implementaron un servicio de “roving reference” en esa área (XVI), apoyado por una cuenta de Twitter (XVII). Todos los bibliotecarios de referencia usan también Foursquare (XVIII) para hacer checking del lugar en el que están y sincronizar su cuenta de Twitter. Todo ello se refleja en las guías por materias en las que aparece esta información de forma sincronizada.


En el entorno móvil, el estudio de Bishop (2012b) cobra gran actualidad, ya que el objetivo de su investigación era determinar la relación entre las preguntas de los usuarios al servicio de referencia, a través de sus dispositivos móviles y su ubicación. Las apps para móviles pueden tener en cuenta estas necesidades y responder las preguntas en función de la ubicación del usuario, sin intervención del personal de la biblioteca. Comprender este tipo de preguntas puede beneficiar a muchas bibliotecas, teniendo en cuenta el aumento del uso de los smartphones (el 66% de jóvenes de 18 a 29 años y el 68% de adultos con ingresos elevados, según el informe de Pew Internet (XIX) de septiembre de 2012), y las reducciones de presupuesto que limitan los puntos de servicio.


La Biblioteca de la Universidad de Sevilla (BUS), cuenta con un servicio de referencia a sus usuarios, al igual que el resto de las bibliotecas, al que también se accede de forma virtual a través de su web (XX). La mayoría de las consultas al servicio son atendidas de forma descentralizada, por el personal de las 19 bibliotecas de área que conformaban la BUS y Servicios Centrales en la fecha de realización del estudio. Este servicio ofrece orientación e información general y bibliográfica sobre los recursos de información y servicios de la biblioteca. Como es habitual, las consultas de orientación e información general (como localización en sala de fondos impresos o preguntas relativas al servicio de préstamo) son atendidas por todo el personal de la biblioteca, mientras que la información bibliográfica más especializada la llevan a cabo en mayor medida bibliotecarios de las distintas áreas temáticas. 


El Servicio de referencia se presta por distintos canales, tales como teléfono, chat, redes sociales (referencia inmediata), correo electrónico, formulario “Consúltenos” y FAQS (referencia no inmediata) y, sobre todo, la atención en persona al usuario en los mostradores y puntos de información situados en las salas de lectura de las bibliotecas y en las áreas de trabajo del personal bibliotecario. 


A partir del año 2008, la Biblioteca decide transformar su oferta de servicios virtuales de referencia vía chat (con las aplicaciones de Meebo y Plugoo), por un servicio más homogéneo y de mayor calidad y amplitud horaria, sin que este hecho constituyera una mayor carga de trabajo para los bibliotecarios que atienden el servicio, al llevarse a cabo en colaboración. Además el nuevo sistema debía contar con vías de reenvío de consultas especializadas y absoluta transparencia para el usuario final, implantándose finalmente el programa LibraryH3lp (González-Fernández-Villavicencio y otros, 2009). De esta forma, el Servicio de Referencia virtual (XXI) lo componen un chat general ubicado en el catálogo de la biblioteca “Fama” y atendido por bibliotecarios de todos los centros, 5 chats temáticos, agrupados en 2 en 2013, y uno más destinado al curso COE (XXII).


Tras la puesta en marcha del servicio de referencia vía chat y su proceso de análisis de los datos y resultados, se puso en evidencia la necesidad de llevar a cabo un análisis conjunto de todo el servicio de referencia, tanto presencial como virtual, que diera una visión completa sobre la forma en la que se estaba ofreciendo este servicio en la BUS. Para ello había que contar con un marco que sirviera de referente a la hora de analizar aspectos tales como volumen de preguntas, tipo, patrones de comportamiento y nivel de satisfacción de los usuarios, formación adecuada del personal, etc., de modo que se pudiera valorar mejor el impacto del servicio de referencia de la BUS, en sus dos versiones virtual y presencial y diseñar posibles actuaciones para la mejora del Servicio por cualquiera de sus canales. El marco elegido fue la escala READ (Reference Effort Assesment Data), que describiremos más adelante. 


Como objetivo estratégico para el año 2011, la Sección de Apoyo a la Docencia de la Biblioteca propuso la realización de un diagnóstico de la situación del Servicio de Referencia en todas las bibliotecas de área, a partir de la toma de datos de las preguntas de información y referencia que los usuarios realizarán a los bibliotecarios de la BUS, por cualquier canal y durante dos periodos de tiempo establecidos.


Los objetivos del proyecto contemplaban, por un lado, la identificación de los comportamientos de los usuarios del servicio, en cuanto a tipo de consultas realizadas, profesionales a los que se dirigen, canales de comunicación, horarios utilizados, etc., así como detectar las áreas y recursos más demandados por los usuarios. Por otro lado se quería comprobar si los servicios, recursos, y formatos que la BUS ofrecía, eran los más adecuados para responder a las consultas de los usuarios. Para ello había que cuantificar el tiempo que dedica el personal a atender cada tipo de consulta según su grado de dificultad y el canal utilizado y conocer la proporción de consultas que llegan a través de los distintos canales: presencial, teléfono, correo-e, chat, y las franjas horarias con más tráfico de información. En cuanto al personal que atiende las consultas, habría que analizar la relación entre el grado de esfuerzo o dificultad de las consultas y el canal seleccionado y detectar posibles lagunas en la formación del personal bibliotecario. En términos generales, era fundamental que el personal bibliotecario y directivo tomara conciencia de la importancia de este servicio, así como comprobar si la formación en competencias informacionales que imparte la BUS se adaptaba a las necesidades reales de nuestros usuarios.


Si bien en algunas bibliotecas de área de la BUS se rellenaba un estadillo estadístico con las preguntas que se atendían en el mostrador de información, e incluso en algunos casos se habían elaborado informes del servicio a nivel de área, hasta este momento que describimos, no se había abordado un análisis centralizado del servicio. Con este fin se constituyó un Grupo de trabajo de Referencia, coordinado por la Sección de Apoyo a Docencia de la BUS, que lideraría el proyecto en las distintas bibliotecas de área, y que preparó la realización del muestreo, analizando posteriormente los resultados obtenidos. El espacio de trabajo y los materiales creados se encuentran en la wiki del grupo de Referencia, donde se encuentra reflejada la dinámica de trabajo seguida. 


Tras examinar la bibliografía existente sobre evaluación del servicio de referencia, se propuso adoptar el modelo de escala READ, cuyos 6 niveles originales contienen los tipos de preguntas de referencia de menor a mayor nivel de dificultad y de tiempo y esfuerzo en la respuesta. Existen varias traducciones al español de esta escala, como la realizada por Sylvia Solá de la Universidad de Puerto Rico (XXIII), aunque el Grupo de trabajo decidió realizar su propia traducción. Posteriormente, los distintos niveles fueron adaptados para la toma de datos, atendiendo a las características conocidas del servicio, a los objetivos del estudio y buscando siempre una mayor claridad y facilidad tanto para la recogida como para el posterior análisis de los datos. De los 6 niveles originales, se eliminaron el 4 y el 5, resultando en total 4 niveles que se detallan a continuación: 


- Nivel Básico: Las preguntas se contestan directamente, no hace falta consultar fuentes, no son preguntas especializadas. 


- Nivel Medio: La respuesta no es tan inmediata, hay que consultar fuentes, pero suele bastar con Fama (catálogo de la BUS), la página web de la biblioteca o el/los recurso/s sobre el/los que pregunte el usuario en cuestión. Se le da al usuario una formación muy básica. Puede ser una pregunta especializada pero no nos lleva demasiado esfuerzo contestarla.


- Nivel Avanzado: Hay que reflexionar bien sobre lo que quiere el usuario y asegurarse de que entiende la respuesta que le damos; hay que consultar varias fuentes y/o darle una formación al usuario más o menos profunda en una o más bases de datos. Conlleva esfuerzo y dedicación. 


- Nivel Superior: Peticiones de colaboración a más largo plazo entre el bibliotecario y un grupo de investigadores o profesores de cara a un proyecto de innovación docente, para documentar un nuevo programa de doctorado o equipo de investigación y suele ser un trabajo que se prolonga en el tiempo. Este último nivel se mantuvo como deseable y respondería en gran parte al asesoramiento ofrecido por los actuales servicios de apoyo a la investigación, que estaban en sus inicios en la BUS en el periodo de la toma de datos. 


La Sección de Apoyo a Docencia realizó una valoración de los distintos sistemas existentes para la toma de datos, concretamente LibStats y el programa ad hoc Consulta, realizado por la Biblioteca de Ingenieros de la Universidad de Sevilla. Se decidió adoptar este último, que fue adaptado por becarios informáticos de la Biblioteca. Esta aplicación de recogida de datos es una aplicación cliente servidor basada en una interfaz web, que facilita la recogida de los datos por el personal de cada biblioteca, muestra unas estadísticas sencillas sobre los datos recogidos y ofrece la posibilidad de descargarlos para su posterior análisis. Internamente es un servidor de aplicaciones PHP funcionando conjuntamente con una base de datos MySQL. 


De cada consulta de información y referencia realizada, se registraron en la aplicación los datos más significativos para el análisis posterior: Fecha de la consulta, Biblioteca donde se recibió y punto de servicio o mostrador, Nombre del bibliotecario que la responde, Tipología del usuario, Tipología del personal bibliotecario, Nivel de profundidad de la consulta (básico, medio, avanzado, superior), Duración de la respuesta (menos de 5 minutos, entre 5 y 15 minutos, 15 y 30, 30 y 60, más de 1 hora o incluso más de una entrevista) y Etiquetas, que son asignadas durante el proceso, por el bibliotecario, en relación al contenido de cada pregunta y a partir de un listado de 25 posibles: préstamos, formación, adquisiciones, Fama, información general, recursos-e, RefWorks, portátiles, etc. Para facilitar su posterior análisis cada etiqueta se enmarcó dentro de 4 categorías temáticas: Servicios, Información General y Bibliográfica, Infraestructura y Otros. 


La recogida de datos de la totalidad de las consultas de referencia recibidas en las bibliotecas de área y servicios centrales de la BUS, a través de cualquier canal, se realizó en dos períodos temporales relativamente cercanos al final y al inicio del curso académico: del 16 al 31 de mayo de 2011 y del 8 al 21 de noviembre de 2011. Se contactó con los responsables de las bibliotecas de área para explicarles los objetivos y alcance del trabajo que se pretendía acometer y solicitarles su apoyo y colaboración en la implicación del personal y seguimiento de la tarea. Se debería registrar un porcentaje cercano al 100% de las consultas efectuadas y esto, aunque se trataba de algo prioritario, suponía una nueva carga al trabajo diario. 


Todos los datos recogidos fueron descargados desde la aplicación Consulta a distintas hojas de cálculo en las que se cruzaron los datos y elaboraron gráficos que el grupo de trabajo analizaría según distintos aspectos: temática de la consulta, análisis de las respuestas, tipología del personal y de los usuarios, horarios, duración de la consulta, nivel de dificultad y medio de comunicación utilizado. Se elaboraron dos informes parciales de resultados para cada una de las fases y un Informe final en abril de 2012. Este diagnóstico de la situación, debería servir de base para tomar las decisiones oportunas y llevar a cabo las acciones pertinentes para una sistematización y mejora de la calidad del servicio que se ofrece.


Los resultados obtenidos no pueden considerarse sorprendentes. Se constatan unas características y comportamiento del Servicio de Referencia que ya se percibían pero del que no se tenían evidencias que sustentaran posibles iniciativas de mejora. El análisis detallado de las informaciones recogidas en los dos períodos del muestreo (mayo y noviembre, de ahí el hecho de que aparezcan dobles porcentajes junto a cada ítem), revelaron los siguientes resultados y características generales del Servicio de Referencia de la BUS:


- Las consultas referidas a Información general y bibliográfica, aunque fueron las más numerosas (36%-38%), no destacaron demasiado sobre las demás; les siguieron porcentualmente de cerca las que estimamos excesivas preguntas sobre Infraestructuras (31%-30%) y sobre Servicios (28%-31%), quedando englobadas en la categoría Otros un 1%-5% de las mismas.


- El nivel de dificultad de las preguntas ha sido calificado, por el personal que atiende el servicio, como básico en un elevado porcentaje (80% – 77%), seguido a gran distancia por las preguntas de nivel medio (18% – 21%). Las preguntas de nivel avanzado son muy escasas (2%) y sólo una pregunta fue calificada como de nivel superior.


- Las categorías en que se clasificaron las respuestas, según su contenido y las fuentes utilizadas para proporcionarlas, fueron 9 (Ver Anexo). A la 1ª categoría “Se contesta con brevedad a la pregunta puntual del usuario” se asignó la mayoría de las preguntas (56%-58%), seguida de la 5ª categoría “Ayudamos al usuario con problemas técnicos” (17%-11%). Las tres categorías de Respuesta que cubrían la información bibliográfica propiamente dicha (categorías 2, 3 y 4) fueron el 20%-25%. Hubo además un cierto número de consultas de todos los temas cuya respuesta no fue bien clasificada dentro de su categoría en la aplicación; estos erróneos encuadres del tipo de respuesta se pudieron deber a una mala interpretación de la ayuda o del procedimiento de actuación para rellenar el formulario o incluso a fallos puntuales de la aplicación.


- Se dieron muy pocas Derivaciones de las preguntas (2%-3%) para que fueran atendidas por otros compañeros de la Biblioteca o servicios de la Universidad (Categorías de respuesta 6 y 7). Hubiera sido deseable que el número de derivaciones fuera mayor, al estimar que en ocasiones los usuarios no hayan recibido la respuesta oportuna para satisfacer su demanda de información. Las escasas derivaciones, comportamiento por lo demás habitual en la bibliografía consultada (Lederer y Feldmann, 2012) (Horne y otros, 2012), puede deberse en parte al significativo menor número de bibliotecarios ayudantes o facultativos en horario de tarde, y en parte también a la falsa creencia de que todos tenemos los mismos conocimientos profesionales, sin pensar que ni esto es así, ni al usuario debemos ofrecerle una respuesta errónea o simplemente incompleta cuando podría ser buena o excelente. La bibliografía indica además que a los actuales Servicios de Referencia cada vez llegan menos consultas pero más específicas y complejas, por lo que derivar es muy conveniente aunque para el usuario pueda ser molesto cambiar de interlocutor.


- No obtuvieron respuesta un número mínimo de consultas (0,38%-0,20%), 27 preguntas), casi todas formuladas por alumnos y mayoritariamente en horario de tarde. Un análisis pormenorizado de las preguntas (en su mayoría problemas informáticos) nos lleva a concluir que muchas se hubieran podido responder por derivación a otros compañeros, o de haber mediado más comunicación y trasvase de información entre ellos.


- El tipo de usuario que hace mayor uso del Servicio de Información y Referencia es el de alumnos (entre 79% - 84% del total de las consultas procedieron de alumnos de nuevo ingreso, licenciatura, grado y postgrado), aunque la presencia de Personal Docente e Investigador (PDI) fue también significativa (entre 6% - 8%); del Personal de Administración y Servicios (PAS), se recibieron el 2% de consultas. Reseñamos que los alumnos constituían en 2011 el 92% de nuestra comunidad universitaria (78.956 en total), el PDI el 5% (4.487 integrantes) y el PAS un 3% (2.420 personas).


- El medio de comunicación utilizado de forma predominante es el presencial (89% -87%), frente a los no presenciales: Teléfono (8%, fundamentalmente por PDI y PAS), Correo electrónico (2% - 3%) y Chat (1% - 2%). El uso del chat se redujo, sobre todo en la primera toma de datos, a más de la mitad de lo habitual, quizás debido en parte al trabajo añadido que conllevaba la grabación de las consultas y que pudo distraer en ocasiones la atención del chat. El aumento en el uso del chat en el segundo muestreo (del 1 al 2%, lo que supone un 100%) pudo deberse, además de al menor número de consultas presenciales que se formularon, a la insistencia en su atención y el seguimiento de este servicio desde la Sección de Apoyo a la Docencia de los Servicios Centrales de la BUS.


- En cuanto a su duración, la inmensa mayoría de las consultas se respondieron en menos de 5 minutos (82% - 73%), entre 5-15 minutos tardaron en responderse un 15% - 23%, un 2% - 3% entre 15-30 min. y tan sólo un 1% de consultas entre 30-60 min. o más. Las preguntas de información bibliográfica que requirieron la consulta de varios recursos son, como era de esperar, las que proporcionalmente requieren un tiempo de respuesta superior a los 5 minutos. El tiempo medio que el personal dedica a las tareas de referencia e información es escaso y se ha estimado, tras el análisis de los datos recogidos, en algo menos de una hora diaria para el personal técnico de Biblioteca y en media hora para los ayudantes/facultativos.


- Todo el personal de la BUS distribuido en 20 bibliotecas (232 personas del total de 238 efectivos que trabajaban en la biblioteca en 2011), se implicó en esta experiencia de análisis del Servicio de Referencia. El Personal Técnico de Biblioteca TAB/TEB (TAB -Técnico Auxiliar de Bibliotecas- y TEB -Técnico Especialista de Bibliotecas-), mayoritario (129 personas) y en contacto directo con el público en los Mostradores de Orientación y Préstamo, atiende también mayoritariamente (80% - 75%) el Servicio de Referencia en la BUS. Los bibliotecarios ayudantes (79) resolvieron un 15-17% de las consultas en ambos muestreos; los facultativos (10) respondieron un 4%-2%; los becarios un 2% y el personal administrativo (15) el 1%.


El hecho de que el Servicio de Referencia de la BUS descanse sobre los técnicos de bibliotecas guarda también estrecha relación con el nivel básico preponderante de sus preguntas, de orientación (infraestructuras, servicios), información general e información bibliográfica básica. Sólo las preguntas de información bibliográfica que han necesitado para responderse de la consulta de varios recursos, y las referidas a formación y adquisiciones, han roto este predominio al ser atendidas en porcentajes equivalentes, o en su mayoría los dos últimos, por personal bibliotecario ayudante y facultativo y por personal administrativo.


En relación a la distribución horaria, el servicio se ofrece en mayor medida por la mañana que por la tarde, en una proporción de 60/40. Las franjas horarias que reciben mayor número de consultas son 10:00-14:00 horas (máximo de 11:00-12:00 horas) y 16:00-19:00 horas (con máximo de 17:00-18:00 horas). Hemos de tener en cuenta que es muy superior el número de efectivos de personal en turno de mañana, tanto de técnicos como, sobre todo, de personal ayudante/facultativo, a lo que se une la circunstancia de que, en el muestreo, el periodo de la tarde contaba con una hora menos de duración a efectos de distribución horaria.


Tras estos resultados generales, procedemos a un análisis algo más detallado del comportamiento del Servicio de Referencia de la BUS ateniéndonos al análisis de todos los datos recogidos.


La principal limitación de nuestro estudio es la falta de otros de similares características con los que compararlo, ya que solo contamos en la literatura especializada con estudios parciales.


La duración de la muestra podría considerarse otra limitación, 21 días laborables distribuidos en dos periodos temporales, sin embargo, esa limitación temporal es una constante en la bibliografía consultada (Ward, 2012). Los dos periodos de la muestra en distintas épocas del año, han reflejado que las necesidades de los usuarios varían en esos dos periodos de tiempo. En noviembre los alumnos no están familiarizados aún con la biblioteca, y por ello se plantean preguntas de orientación y préstamo; sin embargo en mayo, los alumnos tienen puesta su atención en los exámenes y es el PDI el que por su labor docente e investigadora requiere mayor tiempo en la contestación a sus preguntas.


El número de las categorías, 25 en total, dificultó la obtención y clasificación posterior de los datos, por lo que en la segunda muestra de mayo se decidió desglosar y agrupar categorías, y añadir un campo más en la aplicación referido al tema de la pregunta.


Tampoco se contabilizaron en la muestra, las preguntas de referencia respondidas por los bibliotecarios en la plataforma de docencia WebCT, ni en los blogs y las wikis temáticas. 


Faltaría el estudio de las transcripciones de las transacciones de referencia virtual, que sin duda aportarían una visión más real del servicio. Por último, sería interesante seguir realizando muestreos que permitieran evaluar de forma periódica el Servicio de Referencia, así como la puesta en marcha de las recomendaciones del informe oficial del periodo de evaluación. 


Según el estudio de la bibliografía, los datos obtenidos no sorprenden en su conjunto, responden a las pautas más o menos establecidas en los servicios de referencia de las bibliotecas, a excepción de lo relativo a las proporciones; es decir, lo normal es que la mayor parte de las preguntas sean presenciales (Ward, 2012), de alumnos y de nivel básico y corta duración (Lederer, 2012), pero no en proporción tan elevada como ocurre en nuestro caso. Este comportamiento lo encontramos en todos los ítems que se han estudiado. La pregunta tipo se contesta mayoritariamente en persona (89% -87%), de forma breve (56%-58%), es de nivel básico (80% – 77%), con mayor peso en la mañana que en la tarde (60% / 40%), de menos de 5 minutos (82% - 73%), mayoritariamente a alumnos (79% - 84%), y atendida por TAB/TEB (80% - 75%). Por otro lado, el tiempo medio que se dedica a la Referencia por el personal de biblioteca es escaso, menos de una hora diaria para el personal técnico, y media hora el ayudante/facultativo. 


También sorprende el bajo uso del Servicio de Referencia a través de chat, cuando los estudios demuestran que se trata de una opción cada vez más usada en bibliotecas (Lederer, 2012) y, a nivel de empresas, “una cuarta parte de los clientes utiliza el chat online cuando no encuentra lo que necesita en la web” (XXIV). Como se ha puesto de manifiesto (González, 2012), la innovación en los servicios de referencia se encuentra marcada por cuatro tendencias: salir de los espacios físicos habituales, la oferta de servicios virtuales y móviles, el uso de las herramientas de la Web social y la colaboración entre profesionales. El futuro de la referencia es multimodal y hay que ofrecer una gran variedad de servicios según las necesidades de las cambiantes audiencias y las preferencias de los usuarios. No hay que olvidar que estamos en la época del consumo basado en situaciones, diferentes productos cubren las distintas necesidades de información de los usuarios. La biblioteca universitaria tiene que estar presente en cualquier lugar y a cualquier hora, disponible para cualquier persona y por el mayor número de canales y ofreciendo un servicio de referencia que satisfaga las necesidades de sus usuarios (Nolen y otros, 2012). Aunque los resultados no sean positivos, no se pueden reducir las posibilidades que tiene el usuario, de acceso a la información y al bibliotecario experto. Si el servicio no se usa, algo se está haciendo mal, es evidente que no se le está ofreciendo al usuario lo que necesita, dónde y cuándo lo necesita, no se evalúan los resultados ni se adoptan medidas correctoras en función de esos datos, no aplicamos planes de marketing que optimicen el servicio y los hagan visibles, personalizados, móviles y sociales (González-Fernández-Villavicencio, 2012). Es difícil ser valorado cuando se es invisible (Mon y Harris, 2011) y por ello hay que elaborar un Plan de Marketing con un doble objetivo: que todo usuario sepa donde y como obtener ayuda de referencia, y quién puede ofrecerle esa información y ayuda. 


En cierta medida estos resultados no extrañan a nadie, pero ahora sí existen evidencias del comportamiento del usuario en la BUS, de sus necesidades y de lo que espera de la biblioteca, así como de la percepción del servicio por parte del personal y de las cargas de trabajo. Por lo tanto, las acciones que se llevan a cabo en base a estos datos, van a tener una mayor probabilidad de éxito ya que no se basan en conjeturas o percepciones, sino en cifras. La lectura de los datos que acabamos de analizar nos puede dar muchas pistas sobre qué hacer para mejorar el servicio y las expectativas de los usuarios, su percepción del servicio, para optimizar los recursos humanos y materiales que se asignan, optimizar las rutinas de trabajo del Servicio de Referencia, para potenciar servicios que se desconocen, ofrecer la información que se necesita de forma más directa tanto en los sitios web de la biblioteca como a través de materiales impresos y de dispositivos móviles o para mejorar la imagen de marca y la reputación de la biblioteca. 


Terminamos este artículo agradeciendo a todos los bibliotecarios de la Universidad de Sevilla su participación en la toma de datos y el esfuerzo realizado, al grupo de trabajo de Referencia por su dedicación y a la Biblioteca de Área de Ingenieros por cedernos su aplicación para la recogida de los datos.