ESTUDIOS / RESEARCH STUDIES

EVALUACIÓN DE “SUBJECT GATEWAYS”: PROPUESTA METODOLÓGICA Y ANÁLISIS LONGITUDINAL

Andrés Fernández-Ramos*

* Instituto de Investigaciones Bibliotecológicas y de la Información, Universidad Nacional Autónoma de México

Correo-e: afernandezster@gmail.com

EVALUATION OF SUBJECT GATEWAYS: A METHODOLOGICAL PROPOSAL AND LONGITUDINAL ANALYSIS

CONTENIDOS

INTRODUCCIÓN Top

Internet es una valiosa fuente de información que alberga millones de documentos, pero, debido a que cualquiera puede publicar en la red sin pasar ningún tipo de filtro, muchos de ellos son de poca o nula calidad. Teniendo en cuenta que los buscadores, que son las herramientas de búsqueda más utilizadas, presentan serias limitaciones (barreras de indización, recuperación de documentos irrelevantes, duplicados, etc.) y que existen importantes carencias en habilidades relacionadas con la búsqueda y evaluación de información, localizar información relevante en internet no siempre es una tarea sencilla. Por este motivo, a medida que se popularizaba el uso de Internet y se consolidaba como fuente de información, las bibliotecas fueron ideando soluciones al problema del acceso a la información de calidad en este medio, conscientes de que esta puede ser de gran importancia para sus usuarios y, por tanto, susceptible de ser incorporada a sus colecciones una vez evaluada y seleccionada (Bargheer, 2003Bargheer, M. (2003). Quality control and evaluation of scientific web resources. Bibliothek, 27 (3), pp. 153-169, http://dx.doi.org/10.1515/BFUP.2003.153.). No obstante, aún existen pocas políticas formales que incluyan este tipo de recursos en sus estrategias de desarrollo de la colección, siendo más habitual un acercamiento informal al problema (Hill y Bossaller, 2013Hill, H.; Bossaller, J. (2013). Public library use of free e-resources. Journal of Librarianship and Information Science, 45 (2), pp. 103-112, http://dx.doi.org/10.1177/0961000611435253.).


Las primeras formas que las bibliotecas utilizaron para dar acceso a recursos web fueron la elaboración de listados de enlaces, su incorporación al catálogo y la creación de bases de datos y directorios de recursos (Estivill y Abadal, 2000Estivill, A.; Abadal, E. (2000). Acceso a los recursos web gratuitos desde las bibliotecas. El Profesional de la Información, 9 (11), pp. 4-20, http://dx.doi.org/10.1076/epri.9.11.4.6799.; Fernández-Ramos, 2014Fernández-Ramos, A. (2014). El papel de las bibliotecas en el acceso a recursos web de calidad. Perspectivas em Ciência da Informação, 19 (1), pp. 115-129, http://dx.doi.org/10.1590/S1413-99362014000100008.). Esta última solución ha dado lugar a los denominados “subject gateways” (en adelante SG), término que se ha traducido al español como directorios analíticos, directorios temáticos o pasarelas temáticas (Fernández Ramos, 2013Fernández Ramos, A. (2013). Subject gateways: herramientas para el filtrado de contenidos en la worldwide web. Propuesta metodológica para su evaluación: Universidad de Granada, Tesis doctoral.), y que Dempsey (2000Dempsey, L. (2000). The subject gateway: Experiences and issues based on the emergence of the Resource Discovery Network. Online Information Review, 24 (1), pp. 8-23, http://dx.doi.org/10.1108/14684520010323029.) define como “servicios de búsqueda de recursos en red que ofrecen a los usuarios bases de datos de descripciones de recursos de internet en un ámbito temático, creados de acuerdo a criterios específicos de calidad y selección”. Los SG se caracterizan por permitir el acceso a los recursos mediante la navegación por una estructura clasificatoria, por una detallada descripción de los recursos mediante un conjunto de metadatos y por contar con unos criterios de selección que aseguren la calidad y utilidad de los materiales recopilados. Se trataría de una aproximación a la búsqueda de información en la web caracterizada por primar la calidad a la cantidad y que sería complementaria de los buscadores.


Surgieron en los años 90 del siglo XX con el objetivo de paliar los problemas de acceso a información de calidad en internet y su mayor auge fue durante esa década y la siguiente (Codina, 2007Codina, L. (2007). Motores de búsqueda para usos académicos: ¿Cambio de Paradigma?. Anuario ThinkEPI, vol. 1, pp. 98-100.). Durante ese periodo se crearon numerosos SG y se publicaron numerosos trabajos sobre el tema. Pero también han sufrido cierta inestabilidad: a medida que pasó el tiempo muchos fueron evolucionando y adaptándose a las nuevas necesidades de los usuarios, mientras que otros dejaron de funcionar, se trasformaron en otro tipo de servicio, se fusionaron con otros o se escindieron. Así, mientras que muchos SG siguen funcionando y cuentan con gran popularidad, como Ipl2, The Gateway o CISMeF, algunos de los grandes SG que fueron pioneros han desaparecido, como es el caso de BUBL, Intute o Agrigate.


Aunque hoy en día no tengan la misma pujanza que tuvieron hace años, siguen siendo recursos muy útiles y apreciados por los usuarios, como puede apreciarse en las estadísticas de uso de muchos SG, tanto a nivel de consulta de recursos, como de uso de los distintos servicios que ofrece (referencia virtual, suscripción a canales RSS, boletines de noticias). Por ejemplo, IPL tuvo cerca de 10 millones de visitas en 2008 y respondió a casi 14.000 preguntas de referencia (Maceli y otros, 2011Maceli, M.; Wiedenbeck, S.; Abels, E. (2011). The internet public library (IPL): an exploratory case study on user perceptions. Information Technology and Libraries, 30 (1), pp. 16-23.), LII fue visitado más de 10 millones de veces al mes durante 2006 e Intute tuvo durante el año 2009 una media de 11 millones de visitas mensuales (Joyce y otros, 2010Joyce, A.; Kerr, L.; Machin, T.; Williams, C. (2010). Intute reflections at the end of an era. Ariadne, 64, http://www.ariadne.ac.uk/issue64/joyce-et-al/ [consultado el 30 de abril de 2014].). Además, en los últimos años han seguido apareciendo nuevos proyectos, como Infoport, OWL, SIGIT o ICLEEN, y siguen publicándose trabajos sobre esta temática, aunque con nuevos enfoques. En la última década los trabajos sobre este tema son sobre todo estudios comparativos (Martínez Santiago, 2010Martínez Santiago, M. D. (2010). Estudio de caso basado en los criterios de calidad de las pasarelas temáticas europeas en 2010, (Tesina de Master). Universitat Politècnica de València. http://riunet.upv.es/bitstream/handle/10251/13852/TESINA%20DE%20MASTER.pdf?sequence=1 [consultado el 30 de abril de 2014].; Maldonado Martínez y Rodríguez Yunta, 2007Maldonado Martínez, A.; Rodríguez Yunta, L. (2007). Directorios temáticos en Internet como herramienta de difusión de la ciencia. Análisis comparativo. IV Congreso Comunicación Social de la Ciencia: Cultura Científica y Cultura Democrática, http://digital.csic.es/bitstream/10261/4584/1/directorios.pdf.; Huang y Liu, 2007Huang, R.; Liu, C. (2007). An Investigation and Analysis of e-Services in Major Subject Based Information Gateways in the World. En: Wang, W.; Li, Y.; Duan, Z.; Yan, L.; Li, H.; Yang, X. (eds.), Integration and Innovation Orient to E-Society, pp. 209-217. Boston: Springer.), relativos a la creación de nuevos SG (Abels, 2011Abels, E. G. (2011). Transforming the Internet Public Library into the ipl2 Virtual Learning Laboratory. The Reference Librarian, 52, pp. 284-290, http://dx.doi.org/10.1080/02763877.2011.586922.; Cattadori y otros, 2014Cattadori, M.; Bianchi, C.; Macario, M.; Masiello, L. (2014). Small, Subject-Oriented Educational Resource Gateways: What Are Their Roles in Geoscience Education?. En: Tong, Vincent C.H. (ed.), Geoscience Research and Outreach, pp. 121-142: Springer Netherlands, http://dx.doi.org/10.1007/978-94-007-6943-4_9.; Singh y Mahajan, 2010Singh, N. K.; Mahajan, P. (2010). Design and development of a chemistry subject portal at Panjab University Library, India. Program, 44 (3), pp. 252-270, http://dx.doi.org/10.1108/00330331011064258.; Patel y Patel, 2011Patel, Y.; Patel, S. (2011). Subject Gateway: Knowledge Discovery Tool by INFLIBNET. 8th International CALIBER - 2011, pp. 123-131. Goa: Goa University.; Giglia, 2009Giglia, E. (2009). Orthogate and Orthopaedia: orthopedic information on the web. European Journal of Physical and Rehabilitation Medicine, 45 (3), pp. 443-446.), o a la introducción o propuesta de mejoras en los ya existentes (Roszkowski, 2011Roszkowski, M. (2011). Using taxonomies for knowledge exploration in subject gateways. INFORUM 2011: 17th Conference on Professional Information Resources, Prague. http://www.inforum.cz/pdf/2011/roszkowski-marcin-1.pdf [consultado el 30 de abril de 2014].; Sun, 2012Sun, Z. M. (2012). Resource Organization of Subject Information Gateway Based on the Subject Domain Ontology. En: Fourth International Conference on Multimedia Information Networking and Security (MINES), http://dl.acm.org/citation.cfm?id=2476590 [consultado el 30 de abril de 2014] / http://dx.doi.org/10.1109/MINES.2012.192.; Wang, 2011Wang, L. (2011). A study of key techniques of subject information gateway service. En: Seng, G.; Huang, X. (eds.), Advanced Research on Computer Science and Information Engineering, pp. 183-187. Berlin: Springer.; Pereira y otros, 2008Pereira, S.; Névéol, A.; Kerdelhué, G.; Serrot, E.; Joubert, M.; Darmoni, S. J. (2008). Using multi-terminology indexing for the assignment of MeSH descriptors to health resources in a French online catalogue. AMIA Annual Symposium proceedings, pp. 586-590, http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2656077/pdf/amia-0586-s2008.pdf [consultado el 30 de abril de 2014].).


Los motivos por los que surgieron los SG siguen siendo igual de válidos que entonces, ya que cada vez hay más recursos en internet y su calidad sigue siendo muy heterogénea, sigue habiendo carencias en habilidades informacionales y prestan una importante ayuda para el estudiante que necesita información de referencia y orientadora sobre una disciplina concreta y que cada vez está más acostumbrado a trabajar de forma autónoma (Abadal y Codina, 2008Abadal, E.; Codina, L. (2008). Función de los portales temáticos en la era de la búsqueda posmoderna. Anuario ThinkEPI, vol. 1, pp. 89-95.). La labor intelectual que llevan a cabo los profesionales de la información en la selección y descripción de recursos de calidad aún no es sustituible por mecanismos completamente automatizados y son muy útiles en los servicios de referencia virtual, en los que los usuarios pueden no tener acceso a la colección digital de la biblioteca o cuando ésta no cuenta con muchos fondos (Gold, 2011Gold, N. (2011). Less is more: essential web resources that eliminate clutter and enhance service. Reference Reviews, 25 (4), pp. 4-11, http://dx.doi.org/10.1108/09504121111140361.).


Sin embargo, hoy en día deben hacer frente a importantes retos para asegurar su continuidad. Por un lado, la difícil situación económica que atravesamos ha supuesto un considerable recorte presupuestario en este tipo de iniciativas, que son bastante costosas al estar basadas en el trabajo manual de profesionales, lo que implica que tendrán que hacer un importante esfuerzo por optimizar sus recursos, y por otro, deben adaptarse a un contexto tecnológico en constante evolución, a las nuevas formas que tiene la gente de usar internet, a sus gustos y preferencias y a sus expectativas acerca de los sistemas de información.


REVISIÓN DE LA LITERATURA Top

En la literatura científica podemos encontrar pocas propuestas de herramientas específicas para la evaluación de SG y en su mayoría son parciales. Uno de los estudios más completos en este sentido sería el de Hofman y otros (1999Hofman, P.; Worsfold, E.; Hiom, D.; Day, M.; Oehler, A. (1999). Selection criteria for quality controlled information gateways, Work Package 3 of Telematics for Research project DESIRE, http://www.ukoln.ac.uk/metadata/desire/quality/quality.pdf [consultado el 30 de abril de 2014].), en el que se lleva a cabo un riguroso estudio orientado a proporcionar procedimientos para la selección de fondos, elaborar herramientas y métodos para desarrollar catálogos de información de calidad, ofrecer mecanismos que permitan observar la calidad de la información y de los servicios que presta y establecer un marco para el aseguramiento de la calidad en SG. Proponen un modelo articulado en cinco bloques: política de alcance, contenido de los recursos, diseño, sistema y servicio. Su mayor aportación es que establece un completo marco de actuación, que contempla la evaluación de SG de forma global, pero tiene el defecto de que no establece indicadores y procedimientos claros de recogida de datos. El otro gran trabajo sobre el tema sería el manual de SG elaborado por DESIRE (1999DESIRE (1999). DESIRE Information Gateways Handbook, http://cuc.carnet.hr/cuc2000/handbook/index.html [consultado 30 de abril de 2014].), en el se que proponen pautas para crear y asegurar la calidad y consistencia de grandes SG. Este manual está estructurado en tres grandes bloques: aspectos estratégicos (planificación, recursos humanos, mantenimiento), información (selección, clasificación e indización) y aspectos técnicos (interoperatividad, interfaces, accesibilidad, etc.), y ha sido sintetizado por Belcher y otros (2000Belcher, M.; Place, E.; Conole, G. (2000). Quality assurance in subject gateways: creating high quality portals on the Internet. Quality Assurance in Education, 8 (1), pp. 38-48, http://dx.doi.org/10.1108/09684880010312686.) con el fin de resaltar los elementos que deben ser tenidos en cuenta para garantizar la calidad de un SG.


A un nivel más específico y centrado en algún aspecto concreto de la evaluación de un SG, cabría mencionar el trabajo de Kelly y otros (2005Kelly, B.; Closier, A.; Hiom, D. (2005). Gateway Standardization: A Quality Assurance Framework for Metadata. Library Trends, 53 (4), pp. 637-650.), en el que se dan pautas y recomendaciones sobre cómo llevar a cabo el control de calidad de los metadatos, tomando como modelo de referencia el procedimiento utilizado en Sosig o el trabajo de García Mateu y Sánchez Sanz (2001García Mateu, M. J.; Sánchez Sanz, T. (2001). Internet subject gateways knowledge organisation systems evaluation. EAHIL Workshop – 2001 Cyberspace Odyssey, http://www.eahil.eu/conferences/2001Alghero/056.htm [consultado el 30 de abril de 2014].), en el que proponen una serie de aspectos que deben ser tenidos en cuenta para evaluar la forma de clasificar la información y de presentársela a los usuarios.


En lo referente a estudios evaluativos o de comparación entre SG, la literatura es algo más abundante, aunque en muchos casos son evaluaciones internas centradas en un solo caso, son estudios descriptivos que no valoran numéricamente los aspectos evaluados, se centran en unos pocos aspectos o analizan una muestra de SG pequeña.


En los estudios centrados en un solo caso es habitual que las evaluaciones estén basadas en las opiniones de sus usuarios y que se hayan hecho con el fin de orientar las mejoras hacia los gustos y necesidades de su audiencia. Así, Clark y Frost (2002Clark, N.; Frost, D. (2002). User-centred evaluation and design: A subject gateway perspective. , www.vala.org.au/vala2002/2002pdf/38ClaFro.pdf [consultado 30 de abril de 2014].) llevaron a cabo una serie de focus groups con usuarios de AVEL para conocer su satisfacción y sus opiniones acerca de cómo mejorar el diseño de su página web. A partir de la información recogida elaboraron y distribuyeron entre sus usuarios una encuesta que les permitió ampliar el número de opiniones y, en base a los resultados obtenidos, propusieron e implementaron una serie de mejoras relacionadas con la usabilidad y las opciones de búsqueda. Monopoli y Nicholas (2000Monopoli, M.; Nicholas, D. (2000). A user-centred approach to the evaluation of Subject Based Information Gateways: Case study SOSIG. Aslib Proceedings, 52 (6), pp. 218-231, http://dx.doi.org/10.1108/EUM0000000007016.; 2001Monopoli, M.; Nicholas, D. (2001). A user evaluation of Subject Based Information Gateways: Case study ADAM. Aslib Proceedings, 53 (1), pp. 39-52, http://dx.doi.org/10.1108/EUM0000000007036.) utilizan un cuestionario en línea para recoger información sobre el uso que hacen los usuarios de Sosig y de Adam, así como averiguar los motivos por lo que lo hacen, sus preferencias a la hora de utilizarlos y los aspectos que consideran más positivos en comparación con otros servicios de información. Mackie y Burton (1999Mackie, M.; Burton, P.F. (1999). The use and effectiveness of the eLib subject gateways: a preliminary investigation. Program, 33 (4), pp. 327-337, http://dx.doi.org/10.1108/EUM0000000006922.), enviaron una encuesta a profesores de la Universidad de Strathclyde con el objetivo de conocer sus opiniones acerca de la utilidad que Eevl, Omni o Sosig, dependiendo de la especialidad del profesor, tenía para ellos, cuándo lo utilizaban, cómo y qué aspectos consideraban mejorables.


Los estudios localizados que tienen como objetivo describir y/o comparar una muestra de SG son bastante variados, tanto en el número de casos, como en el de aspectos analizados. Maldonado Martínez y Rodríguez Yunta (2007Maldonado Martínez, A.; Rodríguez Yunta, L. (2007). Directorios temáticos en Internet como herramienta de difusión de la ciencia. Análisis comparativo. IV Congreso Comunicación Social de la Ciencia: Cultura Científica y Cultura Democrática, http://digital.csic.es/bitstream/10261/4584/1/directorios.pdf.) analizaron las características de los SG multidisciplinares más relevantes, describiendo su cobertura, dependencia, volumen, posibilidades de navegación y recuperación, ayuda al usuario, análisis de recursos, servicios adicionales. Posteriormente realizaron una comparación entre ellos. Abad García y otros (2005Abad García, M. F.; González Teruel, A.; Calduch, P. B.; De Ramón Frías, R.; Blasco, L. C. (2005). A comparative study of six European databases of medically oriented Web resources. Journal of the Medical Library Association, 93 (4), pp. 467-479.) analizan 6 SG del ámbito de la Medicina y recogen información acerca de sus características, cobertura, política de selección de recursos, estructura de los registros, posibilidades de búsqueda y ayuda al usuario. Uno de los aspectos más destacados de este estudio es que establecen y explicitan un procedimiento de recogida de datos y codificación, que permite una valoración numérica de los aspectos evaluados. Además, llevan a cabo un novedoso estudio sobre la calidad de los recursos que han encontrado en estos SG, en el que utilizan medidas relacionadas con la exhaustividad y precisión para verificar su calidad. Huang y Liu (2007Huang, R.; Liu, C. (2007). An Investigation and Analysis of e-Services in Major Subject Based Information Gateways in the World. En: Wang, W.; Li, Y.; Duan, Z.; Yan, L.; Li, H.; Yang, X. (eds.), Integration and Innovation Orient to E-Society, pp. 209-217. Boston: Springer.) analizan las posibilidades de búsqueda, el uso de operadores, las formas de navegación por la estructura clasificatoria, los campos utilizados en la descripción de recursos y los servicios de valor añadido, como el servicio de noticias o el servicio de referencia virtual, de 10 SG procedentes de Estados Unidos, Reino Unido, Alemania, Suiza y China. Además de una recogida sistemática de datos, destaca el apartado final del artículo en el que dan sugerencias de mejora concretas. Larouk y otros (2006Larouk, O.; Dalhoumi, S.; Hassoun, M. (2006). Indexing and information retrieval in the SBIG: Evaluation of Websites Gateway. Proceedings of ICTTA’06, pp. 1751-1756. Bangalore: IEEE.), en el más amplio de los estudios identificados, analizan la accesibilidad, ergonomía, credibilidad, contenido y servicios de 32 SG. Sin embargo, el estudio carece de una metodología clara de recogida de datos y los resultados son expuestos sin apoyarlos en datos numéricos. Martínez Santiago (2010Martínez Santiago, M. D. (2010). Estudio de caso basado en los criterios de calidad de las pasarelas temáticas europeas en 2010, (Tesina de Master). Universitat Politècnica de València. http://riunet.upv.es/bitstream/handle/10251/13852/TESINA%20DE%20MASTER.pdf?sequence=1 [consultado el 30 de abril de 2014].) describe y compara 7 SG europeos, centrándose en el contexto (alcance, audiencia, autoridad, reputación y comparabilidad), contenido (cobertura, exactitud, tipo de recurso, profundidad…) y forma (accesibilidad, usabilidad, presentación y diseño).


En la Tabla I se sintetizan las características de los estudios evaluativos que se han comentado:



Tabla I. Estudios evaluativos de subject gateways [Descargar tamaño completo]

OBJETIVOS Top

Hay muy pocos estudios centrados en la evaluación de la calidad de SG y los que hay presentan una o varias de las siguientes características: no son muy recientes, son evaluaciones internas centradas en un solo caso, son estudios descriptivos que no valoran numéricamente los aspectos evaluados, se centran en pocos aspectos o analizan una muestra de SG muy pequeña. Por tanto, existe una importante laguna en cuanto a trabajos que analicen la calidad de los SG de una forma global, sistemática, cuantitativa y actualizada, que puedan aportar una visión general sobre el tema. Por este motivo, el objetivo principal de este trabajo es hacer un diagnóstico de la calidad de los SG y observar su evolución en los últimos años (del 2007 al 2012), en base a criterios objetivos, medibles y que aborden los principales aspectos relacionados con la evaluación de su calidad.


Debido a la escasez y la heterogeneidad de los métodos y herramientas de evaluación de SG, así como las limitaciones que tienen con respecto al número de criterios y la forma de medirlos, se plantea como objetivo previo elaborar una herramienta de evaluación de SG compuesta de parámetros, criterios e indicadores, que tendrán las siguientes características:


• Ser medibles de forma objetiva. De cara a evitar valoraciones arbitrarias, se excluirán los criterios que solo puedan ser valorados en base a opiniones subjetivas.


• Ser perceptibles por el usuario. Al igual que en la herramienta de De Juanas y otros (2012De-Juanas, A.; Pardo, R.; Diestro, A.; Ferro, A.; Sampedro, J. (2012). Construcción de un instrumento de verificación de la calidad de portales y redes de investigación de carácter científico en Internet. Revista Española de Documentación Científica, 35 (4), pp. 555-572, http://dx.doi.org/10.3989/redc.2012.4.900.), no se incluirán aquellos aspectos que permanecen ocultos al usuario final o que no sean evaluables externamente, como son los problemas de código o de hojas de estilo, los costes o los procesos internos.


• Los criterios tendrán un peso o valor específico, puesto que consideramos que no todos los criterios son igual de relevantes.



METODOLOGÍA Top

Para cumplir los objetivos propuestos, en primer lugar se diseñó una herramienta de evaluación de SG que permitiese hacer un diagnóstico de su calidad y posteriormente se utilizó para la evaluación de una muestra de SG.



Diseño de la herramienta de evaluación

El primer paso para la elaboración de la herramienta de evaluación consistió en la identificación de aquellos aspectos relevantes que podrían determinar la calidad de un SG y que pudiesen ser susceptibles de ser evaluados. Dichos aspectos, a menudo intangibles y difícilmente medibles, para poder ser trasladados a una herramienta de evaluación, deben ser transformados en parámetros, criterios e indicadores, que permitan una medición lo más objetiva posible y cuyos valores nos permitan conocer en qué grado el aspecto evaluado alcanza los objetivos establecidos (Salvador Oliván y Angós Ullate, 2001Salvador Oliván, J. A.; Angós Ullate, J. M. (2001). ¿Evaluar la calidad de los recursos web o simplemente filtrarlos?. Documentación de las ciencias de la información, 24, pp. 105-126.).


Tras un primer acercamiento a la literatura sobre evaluación de SG y sobre sitios web en general, se pudo comprobar la heterogeneidad de las diversas herramientas, parámetros, criterios e indicadores, lo que iba a dificultar enormemente su sistematización. Por este motivo se decidió poner el centro de atención en los criterios, ya que se consideró que sería más fácil a partir de ellos establecer tanto los parámetros (por agrupación de criterios) como los indicadores (por desglose en variables medibles). Para su identificación se llevó a cabo una búsqueda de información acerca de los criterios que se habían utilizado para evaluar SG. Se consultaron varios catálogos de bibliotecas, las bases de datos LISA y LISTA, se utilizó el motor de búsqueda Google y se revisó la documentación colgada en los propios SG. En las estrategias de búsqueda, que se lanzaron en septiembre de 2005, no se incluyeron restricciones temporales, pero sí idiomáticas: inglés y español. Los términos incluidos en las búsquedas fueron “subject gateways”, “information gateways”, “quality”, “evaluation”, “assessment”, “criteria”, “directorios temáticos”, “directorios analíticos”, “pasarelas temáticas”, “calidad”, “criterios” y “evaluación”. Debido a la escasez de estudios específicos sobre evaluación de SG, se amplió la búsqueda a documentos sobre criterios de evaluación de sitios web, en especial de sitios web de carácter científico, académico o portales de bibliotecas, ya que, debido a sus muchos puntos en común con los SG, sus criterios de evaluación podrían ser considerados. Los términos incluidos en esta búsqueda fueron “websites”, “portals”, “web”, “quality”, “evaluation”, “assessment”, “criteria”, “portales”, “sitios web”, “portales web”, “portales bibliotecarios”, “calidad”, “criterios” y “evaluación”.


Los documentos recuperados fueron analizados con el fin de determinar su utilidad para los objetivos de este trabajo y se incluyeron en el análisis posterior aquellos que cumplían los siguientes requisitos: 1) contar con criterios de evaluación de SG; 2) que los criterios pudieran ser evaluables externamente; 3) que dichos criterios pudieran ser medibles objetivamente. Posteriormente los criterios se agruparon y sistematizaron y se creó una batería de 37 criterios únicos, eliminando aquellos que estaban repetidos o que no se ajustaban a los requisitos establecidos para su inclusión.


Puesto que en la herramienta a desarrollar cada criterio debe tener un peso específico, se decidió preguntar a los expertos en SG acerca de la importancia que tendría cada criterio. De esta forma, que ya utilizó Chao (2002Chao, H. (2002). Assessing the quality of academic libraries on the web: the development and testing of criteria. Library and Information Science Research, 24 (2), pp. 169-194.) en la asignación de los pesos a los criterios de evaluación de webs de bibliotecas universitarias, la asignación del peso de cada criterio se basaría en opiniones fundadas de especialistas en la materia y no en el juicio subjetivo del autor, evitando así ponderaciones arbitrarias. Para ello se elaboró un cuestionario con el listado de criterios seleccionados para que los expertos emitiesen su juicio acerca de lo importante que es cada criterio en una escala de 1 a 5. Antes de su remisión a la muestra de expertos se pidió a 5 responsables de SG que valorasen la adecuación de dicho cuestionario a los fines propuestos. Dos de ellos señalaron la posibilidad de que hubiese criterios que se solapasen y recomendaron considerar su agrupamiento. Puesto que no especificaron cuáles debían agruparse, se decidió posponer la posible agrupación de criterios al análisis de los resultados de la encuesta.


A efectos de identificar la población a la que iría dirigida la encuesta, se consideró experto en SG al personal técnico que trabajase en alguno de ellos. Debido a que no existe un censo oficial de SG ni de las personas que trabajan en ellos, se decidió localizar fuentes solventes para la identificación de SG, que debían ser directorios o listados lo suficientemente amplios como para poder ser tomados como fuentes de referencia. Se eligieron dos en base a la autoridad de la persona o institución en el tema: el listado elaborado por Traugott Koch, que recoge los SG más importantes a su juicio en todo el mundo y que figura como apéndice en su artículo “Quality-controlled Subject gateways” (Koch, 2000Koch, T. (2000). Quality-controlled subject gateways: Definitions, typologies, empirical overview. Online Information Review, 24 (1), pp. 24-34, http://dx.doi.org/10.1108/14684520010320040.) y el directorio PINAKES (http://crl.du.ac.in/Subject%20Gateways%20for%20DU%20site.html).


Como el listado resultante de la unión de ambas fuentes era bastante amplio e incluía algunos recursos que no encajaban bien en las definiciones manejadas de SG, se hizo una criba y se seleccionaron únicamente aquellos que cumplían los siguientes requisitos: aportar una mínima descripción de los recursos y una estructura clasificatoria que permitiese su navegación; estar en inglés o en varios idiomas, siempre y cuando el inglés fuera uno de ellos; y aportar al menos una dirección de correo electrónico de contacto. El número definitivo de SG seleccionados fue 61, de los que se obtuvieron un total de 204 correos electrónicos, incluyendo los correos genéricos y excluyendo los del personal administrativo.


El envío del cuestionario se hizo por dos veces, entre el 15 de diciembre de 2005 y el 15 de enero de 2006 la primera vez y entre el 20 de mayo y el 5 de junio de 2006 la segunda, ya que la tasa de respuesta en la primera ocasión fue bastante baja (menos del 15%). De los 204 cuestionarios enviados se recibieron 57 cumplimentados, lo que supone una tasa de respuesta del 27,9%, un porcentaje razonable teniendo en cuenta que la tasa de respuesta en las encuestas por correo electrónico suele oscilar entre el 25 y el 40% (Shih y Fan, 2009Shih, T. H.; Fan, X. (2009). Comparing response rates in e-mail and paper surveys: a meta-analysis. Educational Research Review, 4 (1), pp. 26-40, http://dx.doi.org/10.1016/j.edurev.2008.01.003.).


Los datos de los cuestionarios fueron extraídos, tabulados y analizados con los programas Microsoft Excel 2000 y SPSS 13.0. Se observó que había 23 valores perdidos (0.006% del total de valores esperados), que fueron imputados mediante la asignación de media de la serie y discretizados para que tomaran como valores números enteros, y se comprobó la fiabilidad de la encuesta mediante la determinación del coeficiente alfa de Cronbach, que fue de 0,926. A partir del análisis de los datos recogidos se asignó un peso a cada criterio, que fue el valor resultante de redondear a un decimal la puntuación media obtenida en cada criterio.


Puesto que en los comentarios a la versión preliminar de la encuesta se apuntó a la posibilidad de que hubiese criterios que pudiesen estar solapados, se decidió analizar las correlaciones que había entre ellos con el fin de detectar correlaciones muy altas, que pudiesen significar que varios criterios pudiesen significar lo mismo o al menos que pudiesen agruparse. Se obtuvieron las correlaciones entre pares de criterios con los coeficientes de Pearson, Spearman y Tau-b de Kendall y se detectó que 7 pares de criterios con correlaciones muy altas tenían una relación lógica que justificaría su fusión. En consecuencia se decidió crear un nuevo criterio que sustituyese a cada uno de estos pares de criterios, siendo su peso la media del peso de ambos criterios.


El último paso en la elaboración de la herramienta de evaluación, fue la agrupación de criterios en parámetros y el desarrollo de indicadores que permitan asignar valores a cada criterio. La primera de estas tareas se llevó a cabo analizando los criterios y agrupándolos en función de su similitud y afinidad, tomando como referencia otras herramientas y modelos de evaluación de sistemas de información en la web. El resultado de esta operación fue el agrupamiento de los 30 criterios en 3 parámetros amplios: 


• Acceso a la información, que recoge 11 criterios relacionados con las posibilidades de búsqueda y acceso a la información, así como con la descripción de los recursos.


• Gestión y administración, que está centrado en las características y el diseño del SG en cuanto sitio o portal web y cuenta con 12 criterios relacionados con el diseño, la facilidad de navegación, el mantenimiento y otras características deseables en cualquier sitio web.


• Servicios de valor añadido, que agrupa 7 criterios relacionados con aquellos aspectos que, no siendo imprescindibles en un SG, aportan valor añadido y son aconsejables para mejorar la percepción que los usuarios puedan tener de él y así fidelizarlos.


Para asegurar que cada criterio se valorase de forma unívoca, se establecieron una serie de indicadores y procedimientos de recogida de datos en base a la literatura existente. Los indicadores se establecieron de forma que la puntuación de cada criterio pueda adoptar diferentes valores en función de su propia naturaleza. Excepto en unos pocos criterios, en los que la valoración solo puede ser sí o no (1 o 0), se ha optado por permitir valores intermedios entre 0 y 1, ya que así pueden matizarse aspectos que requieren una valoración más profunda que un simple sí o no. El resultado final de todo este proceso fue la herramienta de evaluación de SG que figura en la tabla II.



Tabla II. Herramienta de evaluación de subject gateways [Descargar tamaño completo]

Estudio evaluativo

Para alcanzar el otro objetivo de este trabajo, el diagnóstico de la calidad de los SG y su evolución, se consideró que el diseño de investigación más adecuado era el observacional, puesto que no se iba a modificar ninguna variable independiente, longitudinal, ya que habría más de una medición sobre los casos, y prospectivo, ya que las mediciones se llevarían a cabo con posterioridad al diseño.


La población objeto de estudio estaría compuesta por el conjunto de los SG existentes y operativos en internet. Para delimitar el objeto de estudio, puesto que no es un concepto absolutamente asentado, se tomó como referencia la definición de Dempsey (2000Dempsey, L. (2000). The subject gateway: Experiences and issues based on the emergence of the Resource Discovery Network. Online Information Review, 24 (1), pp. 8-23, http://dx.doi.org/10.1108/14684520010323029.) mencionada en la introducción, especificando que debían tener las siguientes características:


• Deben recoger recursos de internet. Se excluyen los que únicamente aportan documentos de elaboración propia o accesibles solo a través de canales comerciales.


• Deben aportar una mínima descripción de los recursos. Se excluyen los meros listados de enlaces sin ninguna descripción.


• Deben contar con una estructura clasificatoria temática.


Puesto que resultaba imposible abordar toda la población objeto de estudio, tanto por su elevado número, como por el hecho de no existir ninguna fuente oficial que sirva de censo y que permita conocer cuántos hay y dónde localizarlos, se decidió seleccionar una muestra abarcable y que pudiera considerarse representativa. Se utilizaron como fuentes para la recogida de casos el directorio Pinakes y la relación de SG elaborada por Koch (2000Koch, T. (2000). Quality-controlled subject gateways: Definitions, typologies, empirical overview. Online Information Review, 24 (1), pp. 24-34, http://dx.doi.org/10.1108/14684520010320040.). Del listado de SG obtenido a partir de estas fuentes, se excluyeron los que ya no estaban operativos, los que tenían un número muy pequeño de recursos (se excluyeron los que tenían menos de 1000) y aquellos que no cumplían los criterios de inclusión anteriormente señalados. El listado se completó con una búsqueda en Google y en las bases de datos ERIC, LISA y LISTA en junio de 2007. Se introdujo también una restricción de tipo idiomático: solo se consideraron los que estaban en inglés o en varios idiomas, siempre y cuando el inglés fuera uno de ellos. De los 119 SG que cumplían los requisitos establecidos, se seleccionó una muestra aleatoria de 30 casos, cuyos datos figuran en la tabla III.


Tabla III. Muestra inicial de subject gateways [Descargar tamaño completo]

La recogida de datos se llevó a cabo en dos momentos, durante los meses de agosto y septiembre de 2007 y durante los meses de octubre y noviembre de 2012. De cara a analizar su evolución, se hizo el seguimiento de los mismos SG para evitar que los resultados se distorsionen si tomamos muestras distintas en los dos periodos de tiempo, ya que el tamaño muestral es pequeño y existía una alta probabilidad de que los resultados fuesen distintos por efecto del azar. En la segunda toma de datos se observó que de los 30 SG que inicialmente integraban la muestra, 7 habían dejado de funcionar, lo que supuso que el seguimiento solo se pudo hacer de 23 de ellos (los primeros que aparecen en la tabla III).


Para la recogida de datos se utilizó la herramienta diseñada para tal fin, que figura en la tabla II, adoptándose las siguientes decisiones sobre algunos criterios:


• Velocidad del sistema: Se midió dos veces, con un intervalo de tiempo de una semana, con una prueba consistente en una búsqueda simple y en la navegación por la estructura hasta el último nivel de profundidad. Se tomó el mejor resultado de los dos.


• Mantenimiento: Para valorar el indicador sobre enlaces muertos se verificaron 20 registros elegidos aleatoriamente el 15 de septiembre de 2007 y otros 20 el 4 de noviembre de 2012 y se comprobó el porcentaje de ellos que estaban operativos.


• Visibilidad / difusión: En la primera recogida de datos en 2007 se utilizó el operador “linkdomain” del buscador Yahoo para ver el número de enlaces recibidos. En 2012 Yahoo ya no ofrecía esa opción de búsqueda y se utilizó Open Site Explorer (http://www.opensiteexplorer.org). De los datos que aporta este programa, se utilizaron los que aparecían en la pestaña “Total links”, que consideramos que eran los más parecidos a los que ofrecería Yahoo.


Los datos recogidos fueron tabulados en el programa Microsoft Excel 2000 y posteriormente fueron analizados con Microsoft Excel 2011 para Mac y con el programa estadístico SPSS 17.0. Una vez tabulados los datos primarios, se crearon dos matrices de datos: una con los valores absolutos, tal y como se recogieron, y otra con los valores ponderados de acuerdo al peso específico de cada uno de ellos según la herramienta de evaluación empleada. Con los datos de estas dos matrices se llevaron a cabo varios análisis descriptivos (frecuencias totales, relativas, ponderadas y sin ponderar) y comparativos, que se pueden ver en la sección de resultados. Para facilitar la interpretación de los resultados, tanto en los gráficos como en las tablas se muestran los valores porcentuales.



RESULTADOS Top

A un nivel general se puede decir que la puntuación media total de los SG es aceptable y que ha subido ligeramente en el periodo de tiempo estudiado, aunque no de una forma significativa: se ha pasado de una media de 62,59 puntos en 2007 a otra de 66,03 en 2012, lo que supone una discreta variación al alza del 5,5%. Sin embargo, tanto la puntuación como la mejoría en los últimos años es muy diferente en los distintos parámetros analizados. En el acceso a la información y en la gestión y administración se partía de buenas puntuaciones en 2007 (64,63 y 68,73 respectivamente) y la mejora ha sido mínima en 2012, con incrementos del 1,92% y del 5,14%. Mientras, en los servicios de valor añadido, cuyas puntuaciones habían sido muy bajas en 2007, se aprecia una subida considerable, de un 13,69%, pasando de 45,37 a 51,58 puntos en 2012 (Tabla IV)


Tabla IV. Valores medios de los parámetros en 2007 y 2012 [Descargar tamaño completo]

En cuanto a los casos estudiados, podemos apreciar que la muestra no es muy homogénea, existiendo desde SG con puntuaciones medias muy elevadas y que llegan a la excelencia en algunos parámetros, como es el caso de EDNA, Merlot, The Gateway, Econbiz o IPL2, hasta SG con importantes deficiencias y puntuaciones por debajo del 50% de la puntuación máxima posible. Aunque la diferencia media entre las dos fechas de recogida de datos no es muy elevada, puede apreciarse que la mayoría de los SG ha mejorado sus puntuaciones y que en algunos casos ésta sí que ha sido acusada, sobre todo en los que habían obtenido una puntuación baja en 2007, como Cfd, Envirolink o Vifatec, con mejoras superiores al 20%, y en los que habían obtenido las mayores puntuaciones en 2007, con subidas de entre el 6% y el 12%, a excepción de Ipl2, que es el resultado de la fusión en 2010 entre Lii e Ipl. Este nuevo SG obtiene peor puntuación debido principalmente a que la fusión de dos sistemas distintos puede traer aparejada la pérdida de alguna funcionalidad o característica que no es compatible entre ambos. En la Tabla V aparecen las puntuaciones totales de los SG en 2007 y 2012 ordenadas de mayor a menor puntuación en 2007.



Tabla V. Puntuación total de los subject gateways en 2007 y 2012 [Descargar tamaño completo]

Resultados en acceso a la información

De los resultados obtenidos en este parámetro cabe destacar que todos los SG analizados permiten navegar por la clasificación temática y que las mejores puntuaciones se han obtenido en los criterios más relacionados con tareas bibliotecarias, como el uso de tesauros o vocabularios controlados y los resultados del análisis documental formal y del contenido. Así, se puede observar que casi el 80% de los SG cuentan con tesauro; que la descripción del contenido de los recursos es, en general, amplia y correcta (en torno a 80 puntos), lo que permite valorar a los usuarios la utilidad que puede tener un recurso sin necesidad de acceder a su web; y que la descripción a nivel general de los recursos puede considerarse adecuada, ya que en la mayoría de los casos los registros cuentan con un elevado número de campos, aunque sin embargo, poco más del 50% de las descripciones están basadas o se ajustan al formato Marc o al Dublin Core.


El aporte numérico es muy variable y el rango va desde los poco más de mil recursos que contienen Mathguide o History Guide hasta los más de 50.000 de IPL2 o Iberolink. En cuanto a los niveles de profundidad de la clasificación temática, las puntuaciones son más discretas, en torno al 60% de la puntuación máxima, y hay bastantes diferencias entre unos SG y otros, desde 1 o 2 niveles en el caso de AGNIC o Accesstolaw hasta los 7 de LII. Esto podría deberse a las grandes diferencias en el tamaño de la colección, ya que a mayor volumen de recursos, más necesaria será una clasificación con más niveles de profundidad y, a ser posible, clasificaciones complementarias.


Las posibilidades de búsqueda varían notablemente de unos casos a otros, lo que también guarda relación con el tamaño de la colección, puesto que a medida que aumenta el número de recursos más necesidad existe de contar con opciones sofisticadas para la localización de documentos. A excepción de CFD, todos los SG analizados disponen de al menos búsqueda sencilla, que en la mayor parte de los casos se complementa con la opción de búsqueda avanzada (un 74% en 2012). La posibilidad de refinar las búsquedas mediante algún tipo de filtro es menos frecuente y solo la ofrecían el 22% de los casos en 2007 y el 30% en 2012 y la ordenación de los resultados en función de diversos criterios es una opción que solo contemplan el 50% de los SG. Es habitual que los resultados de las búsquedas se presenten en formato corto, con la información básica de identificación del recurso, y exista la opción de desplegar el registro completo, lo que ocurría en el 74% de los casos en 2007 y en el 83% en 2012, siendo los SG con menor número de campos en sus registros los que más han prescindido de esta opción.


A un nivel general, podríamos decir que los resultados en este parámetro fueron buenos en la mayoría de los casos, con el 70% de los SG con puntuaciones superiores a la media, y bastante similares en los dos momentos de la recogida de datos, un 64,63% de la máxima puntuación posible en 2007 y un 65,87% en 2012, con puntuaciones medias por encima del 50% en 9 de los 11 criterios que conforman este parámetro. Sin embargo, se aprecia que hay SG con puntuaciones muy bajas, que lastran las puntuaciones medias y que deberían hacer un esfuerzo por mejorar. Debemos tener en cuenta que este parámetro recoge los criterios más relacionados con el tratamiento documental de la información y que serían estos aspectos, junto con el proceso de selección de los recursos, los más característicos de los SG y los que los diferencian de otras herramientas de búsqueda de información en internet.


De los tres parámetros analizados este es en el que menor variación ha habido, lo que podría explicarse por la naturaleza de algunos de los criterios que lo integran: niveles de la clasificación temática, uso de tesauros, número de campos en los registros bibliográficos o el uso del Dublin Core o del formato Marc en las descripciones. Modificar cualquiera de estos aspectos implicaría un importante esfuerzo, ya que supondría cambiar cada uno de los registros, pero en otros criterios se podría mejorar con la actualización en la aplicación informática que utilicen, como son la ordenación de resultados, diversidad de formatos o aumentar las posibilidades de búsqueda.


En la Figura 1 se observa un solapamiento casi total en las puntuaciones obtenidas en los criterios de este parámetro, lo que nos lleva a pensar que la tendencia sería de cierta continuidad y pocos cambios estructurales. Las modificaciones estarían más relacionadas con los cambios introducidos en algunos SG concretos que con una tendencia generalizable.

Figura 1. Acceso a la información [Descargar tamaño completo]

Resultados en gestión y administración

En este parámetro, que evalúa el SG en tanto página web, es en el que se han obtenido las puntuaciones más altas, en torno a los 70 puntos de media y con valores que oscilan entre los 41,11 y los 84,2 puntos en 2007 y entre los 48,72 y los 92,95 en 2012. Sin embargo las diferencias entre los dos momentos de recogida de datos son escasas, de 3,53 puntos porcentuales, por lo que no se puede hablar de cambios significativos ni de una mejora generalizada. De hecho, únicamente en visibilidad, mantenimiento y autodescripción se aprecia cierta mejoría.


En general, las puntuaciones en la mayoría de los criterios son buenas, superándose el aprobado en 10 de los 12 criterios que conforman este parámetro y los 80 puntos porcentuales en 5 de ellos. Así, puede destacarse que en los SG analizados no se han observado errores tipográficos u ortográficos; en el 90% de los casos se menciona expresamente el crecimiento de la colección, lo que aporta información acerca de su grado de actualización; las búsquedas y la navegación por casi todos los SG son rápidas y dan una sensación de agilidad del sistema; casi todos los SG analizados dependen de instituciones académicas o de bibliotecas; y solo el 20% permiten publicidad comercial.


En el resto de criterios, a excepción del uso de metadatos Dublin Core internos, que solo están presentes en el 20% de los SG, las puntuaciones son razonables aunque bastante menores. El mantenimiento y chequeo de los enlaces está en torno a los 70 puntos, cuando debería ser uno de los aspectos más cuidados (es el criterio con más peso en la herramienta de evaluación), puesto que los enlaces muertos dan la impresión de abandono y de falta de actualización y además existen numerosos programas, algunos gratuitos, que pueden llevar a cabo el chequeo de enlaces. La autodescripción del SG y la puesta a disposición de los usuarios de sus políticas de gestión son aspectos importantes que, aunque no obtienen malas puntuaciones (en torno a los 70 puntos porcentuales), podrían mejorarse fácilmente y darían buena imagen, ya que al indicar cuál es su alcance, qué personas trabajan en él, su misión, sus criterios de selección de recursos o sus planes estratégicos, se aporta transparencia y se genera confianza en el usuario. La visibilidad ha experimentado una notable mejoría, pasando de algo menos de 40 puntos en 2007 a 60 en 2012, aunque puede deberse a las diferencias entre las herramientas utilizadas para su medición, comentadas en el apartado de metodología. En este criterio existen grandes diferencias entre los SG analizados, ya que hay unos pocos que reciben más de 10.000 enlaces, mientras que casi el 50% no superan los 1.000. Por último, las puntuaciones en facilidad de navegación rondan los 65 puntos porcentuales en las dos tomas de datos, apreciándose que casi todos cuentan con mapa del sitio y menú de navegación y los enlaces y secciones están claramente indicados, siendo menos frecuente el uso de indicadores de situación o la indicación del cumplimiento de las normas de accesibilidad.



Figura 2. Gestión y administración [Descargar tamaño completo]

Resultados en servicios de valor añadido

Es en este parámetro en el que mayores carencias se han detectado tanto en 2007 como en 2012, con puntuaciones del 45,37% y del 51,58% respectivamente, y en el que mayores variaciones ha habido en las dos tomas de datos, aumentando las puntuaciones medias un 13,69%. Los incrementos han sido muy significativos en el caso de algunos SG, como Econbiz, Edna y Vifatec, con más de 25 puntos, y en algunos criterios, como el de las posibilidades de uso de los registros, que ha subido 18,26 puntos. Sin embargo, debemos interpretar esas subidas con cautela, puesto que se partía de puntuaciones muy bajas en 2007.


Los mejores resultados se han obtenido en el criterio con menos peso en la herramienta de evaluación, el acceso registrado, no siendo necesario registrarse en ningún SG de la muestra para poder consultarlo. Aunque esto sea positivo, puesto que puede haber personas que no quieran crearse una cuenta en el SG, sí debe ofrecerse la posibilidad de registrarse voluntariamente para acceder a servicios personalizados, como la difusión selectiva de información o el mantenimiento de un espacio virtual donde guardar registros, y esta opción solo estaba disponible en el 21% de los casos en 2007 y en el 17% en 2012.


Más del 90% de los SG cuentan con algún tipo de servicio de noticias, sean éstas relacionadas con el SG o con las disciplinas de las que tratan. En muchos casos se trata de servicios muy básicos que adoptan la forma de boletín mensual en pdf o de un cuadro con texto en alguna parte visible, mientras que en otros, como en Merlot, se trata de un servicio de gran sofisticación que se actualiza a diario e incluye avisos de conferencias y congresos, novedades en el SG, blog, canales RSS, presencia en redes sociales, etc. Cabe señalar que en 2012 el 53% de los SG contaba ya con un blog o con un canal RSS.


El 83% de los SG ofrece algún tipo de ayuda al usuario, pero ésta varía mucho de unos casos a otros. Aunque es frecuente que haya algún tipo de página con instrucciones, no siempre están accesibles desde cualquier lugar del sitio web, incluso en algunos casos llega a ser complicado dar con ellas. La ayuda en contexto, es decir, ayuda específica relacionada con la sección en la que se encuentre el usuario, solo está disponible en 3 de los 23 SG.


La interacción con el usuario es discreta, aunque ha mejorado en la segunda toma de datos, pasando de un 47% a un 58% de la máxima puntuación posible. Casi todos los SG cuentan con una dirección de correo de contacto y muchos permiten que se pueda notificar la detección de algún enlace erróneo, pero son muy pocos los que ofrecen al usuario la posibilidad de comentar o valorar un recurso o dar su opinión sobre los aspectos que mejoraría a través de una encuesta o formulario.


Con respecto a las posibilidades de uso de los registros, algo muy desarrollado en las bases de datos bibliográficas y que empieza a verse también en los catálogos de bibliotecas, las puntuaciones son bajas, aunque hayan subido bastante desde la primera toma de datos hasta la segunda, del 13% de la máxima puntuación posible al 31%. En 2012, el 48% de los SG únicamente permitían consultar los registros en la web, sin posibilidad de importarlos o guardarlos. Solo unos pocos permitían su importación a un gestor de referencias bibliográficas, como Endnote o Reference Manager, o enviarlos por correo electrónico. La posibilidad de guardar los registros en un espacio virtual es ofrecida por muy pocos SG, como Edna, Merlot, Agnic o Econbiz, y está supeditada a que se permita el acceso registrado; aunque existe también la posibilidad de guardar los registros temporalmente, hasta que se salga de la página web, y son muy pocos los que lo permiten, como es el caso de Eisil.



Figura 3. Servicios de valor añadido [Descargar tamaño completo]

CONCLUSIONES Top

Los SG siguen siendo útiles y necesarios, en especial en el ámbito educativo, puesto que cada vez hay más recursos en internet y su calidad sigue siendo muy heterogénea, por lo que la búsqueda y filtrado de información de calidad es una tarea compleja que no solucionan completamente los motores de búsqueda. Aunque es cierto que algunos han desaparecido, siguen teniendo una importante presencia en la web y son muy apreciados por los usuarios, pero deben hacer un esfuerzo para seguir siendo tan competitivos como lo fueron hace años.


Por un lado, deben buscar la forma de ahorrar costes, ya que los motivos económicos han sido señalados como la causa del cierre de la mayoría de los SG que ya no están operativos. En este sentido, Rodríguez Yunta (2004Rodríguez Yunta, L. (2004). Pasarelas temáticas en internet: un modelo de directorio basado en la aplicación de técnicas documentales. Hipertext.net, 2, http://www.upf.edu/hipertextnet/numero-2/directorio.html [consultado el 30 de abril de 2014].) propone las siguientes actuaciones: buscar la especialización, limitando la cobertura de los SG a objetivos razonables, útiles y controlables; desarrollar nuevas herramientas informáticas que faciliten los procesos técnicos; y aunar fuerzas mediante la creación de consorcios institucionales y comunidades de usuarios que contribuyan al mantenimiento y actualización de contenidos. Además, como han indicado los responsables de Intute (Joyce y otros, 2010Joyce, A.; Kerr, L.; Machin, T.; Williams, C. (2010). Intute reflections at the end of an era. Ariadne, 64, http://www.ariadne.ac.uk/issue64/joyce-et-al/ [consultado el 30 de abril de 2014].), es necesario pensar en nuevas formas de financiación y buscar un “modelo de negocio” que pueda ser sostenible a largo plazo y que minimice los efectos de los recortes presupuestarios.


Por otro lado, la facilidad de uso, el dinamismo y la amigabilidad de los sistemas de información en la web, así como la posibilidad de participar activamente mediante sus comentarios, sugerencias y aportaciones, son características cada vez más demandadas por los usuarios, que han visto en los blogs, las redes sociales y otros servicios de la web 2.0 una forma más atractiva de acceder a la información que la que tradicionalmente se ha venido ofreciendo desde la biblioteca. Esta circunstancia ha propiciado un cambio de actitud en las bibliotecas y la adaptación de sus servicios a las nuevas demandas de los usuarios. Así, en los últimos años han proliferado los blogs bibliotecarios, ha aumentado la presencia de las bibliotecas en las redes sociales como Twitter o Facebook y se han creado servicios de selección y difusión de información basados completamente en la web 2.0, como por ejemplo DiasMundialesDe (http://diasmundialesde.wordpress.com/). Aunque el objetivo de los SG difiere del de estos servicios, ya que los primeros pretenden crear y mantener una colección amplia y coherente de recursos web, mientras que los otros servicios mencionados están más orientados a facilitar información puntual sobre algo novedoso y actual, puede que los usuarios prefieran estos últimos si los SG no son capaces de ofrecer el mismo dinamismo, facilidad de uso, amigabilidad y posibilidades de interacción.


Para hacer frente a estos desafíos necesitan de una planificación y gestión adecuada, llevar a cabo regularmente estudios de usuarios y de tendencias en internet, así como establecer mecanismos de evaluación que permitan la detección y mejora de sus puntos débiles. De esta forma estarán en condiciones de hacer las modificaciones en su diseño y en sus funcionalidades que permitan satisfacer las necesidades cambiantes de sus usuarios y ajustarse a sus gustos y preferencias.


En cuanto al estudio de campo, consideramos que con la herramienta de evaluación propuesta en este trabajo se cubren las lagunas existentes en cuanto a instrumentos específicos de evaluación de SG, aportando parámetros, criterios e indicadores ponderados, que permiten valorar los diferentes aspectos que influyen en su calidad y obtener un diagnóstico externo de sus principales fortalezas y debilidades. Aunque fue creada entre los años 2005 y 2007, consideramos que tiene vigencia en la actualidad, sin perjuicio de que a medida que pase el tiempo se puedan incorporar nuevos criterios relativos a las nuevas posibilidades que ofrece la tecnología, como por ejemplo las prestaciones relacionadas con la web 2.0.


A nivel de los resultados obtenidos en la evaluación, se puede decir que la calidad de los SG analizados es aceptable, pero debe se mejorada. Sin embargo, comparando los resultados del 2007 con los del 2012, vemos que las mejoras son discretas, no pudiéndose hablar de una clara tendencia al alza. Se aprecia que no se explota todo lo que debiera el bagaje bibliotecario del que disponen, percibiéndose carencias en la normalización de las descripciones y en el uso de herramientas que faciliten la recuperación de la información, y que, en general, no cuentan con servicios de valor añadido que hagan más atractiva su utilización. Además, debería haber una apuesta mayor por la transparencia e incluirse toda la documentación necesaria para que el usuario conozca las características del servicio que está utilizando. Si precisamente uno de los mayores problemas de la información en internet es que es difícil averiguar su fiabilidad, un servicio que pretende servir de ayuda para localizar información de calidad debe aportar todas las garantías posibles al respecto. También, con el fin de captar y fidelizar usuarios, deben tenerse más en cuenta los servicios de valor añadido, que, salvo contadas excepciones, son poco frecuentes en los SG y cada vez lo son más en otros tipos de servicios de información. Aunque en la segunda toma de datos se ha observado cierta mejoría al respecto, es insuficiente para poder hacer frente a la competencia de otros servicios y herramientas disponibles en la web.


Centrándonos en los casos concretos analizados, podemos observar que son bastante heterogéneos, apreciándose grandes diferencias entre los mejor y peor valorados. En algunos SG se llega a la excelencia, como en los casos de Merlot, The Gateway, Edna, Ipl2 o Econbiz, que podríamos considerar ejemplos de buenas prácticas, mientras que en otros casos es imprescindible una considerable actualización y mejora. Aunque la disponibilidad presupuestaria y de recursos humanos es importante para poder ofrecer un producto de calidad y podemos asumir que existen importantes diferencias en este sentido, hay muchos aspectos que se podrían mejorar sin necesidad de una gran inversión.


A pesar de las limitaciones de la muestra utilizada, consideramos que con esta investigación se ha podido obtener una visión panorámica de la calidad de los SG en los últimos años. Si bien nos hemos centrado en aquellos que ofrecían la posibilidad de ser consultados en inglés, esta circunstancia no ha supuesto una delimitación geográfica, puesto que, al tratarse de entidades fundamentalmente orientadas al entorno docente y académico, este idioma es usado también en SG de países no anglófonos. No obstante, esta particularidad de la muestra debe tenerse en cuenta en el caso de querer extrapolar los resultados y las conclusiones del estudio.

BIBLIOGRAFÍATop