El primer paso para la elaboración de la herramienta de evaluación consistió en la identificación de aquellos aspectos relevantes que podrían determinar la calidad de un SG y que pudiesen ser susceptibles de ser evaluados. Dichos aspectos, a menudo intangibles y difícilmente medibles, para poder ser trasladados a una herramienta de evaluación, deben ser transformados en parámetros, criterios e indicadores, que permitan una medición lo más objetiva posible y cuyos valores nos permitan conocer en qué grado el aspecto evaluado alcanza los objetivos establecidos (Salvador Oliván y Angós Ullate, 2001).


Tras un primer acercamiento a la literatura sobre evaluación de SG y sobre sitios web en general, se pudo comprobar la heterogeneidad de las diversas herramientas, parámetros, criterios e indicadores, lo que iba a dificultar enormemente su sistematización. Por este motivo se decidió poner el centro de atención en los criterios, ya que se consideró que sería más fácil a partir de ellos establecer tanto los parámetros (por agrupación de criterios) como los indicadores (por desglose en variables medibles). Para su identificación se llevó a cabo una búsqueda de información acerca de los criterios que se habían utilizado para evaluar SG. Se consultaron varios catálogos de bibliotecas, las bases de datos LISA y LISTA, se utilizó el motor de búsqueda Google y se revisó la documentación colgada en los propios SG. En las estrategias de búsqueda, que se lanzaron en septiembre de 2005, no se incluyeron restricciones temporales, pero sí idiomáticas: inglés y español. Los términos incluidos en las búsquedas fueron “subject gateways”, “information gateways”, “quality”, “evaluation”, “assessment”, “criteria”, “directorios temáticos”, “directorios analíticos”, “pasarelas temáticas”, “calidad”, “criterios” y “evaluación”. Debido a la escasez de estudios específicos sobre evaluación de SG, se amplió la búsqueda a documentos sobre criterios de evaluación de sitios web, en especial de sitios web de carácter científico, académico o portales de bibliotecas, ya que, debido a sus muchos puntos en común con los SG, sus criterios de evaluación podrían ser considerados. Los términos incluidos en esta búsqueda fueron “websites”, “portals”, “web”, “quality”, “evaluation”, “assessment”, “criteria”, “portales”, “sitios web”, “portales web”, “portales bibliotecarios”, “calidad”, “criterios” y “evaluación”.


Los documentos recuperados fueron analizados con el fin de determinar su utilidad para los objetivos de este trabajo y se incluyeron en el análisis posterior aquellos que cumplían los siguientes requisitos: 1) contar con criterios de evaluación de SG; 2) que los criterios pudieran ser evaluables externamente; 3) que dichos criterios pudieran ser medibles objetivamente. Posteriormente los criterios se agruparon y sistematizaron y se creó una batería de 37 criterios únicos, eliminando aquellos que estaban repetidos o que no se ajustaban a los requisitos establecidos para su inclusión.


Puesto que en la herramienta a desarrollar cada criterio debe tener un peso específico, se decidió preguntar a los expertos en SG acerca de la importancia que tendría cada criterio. De esta forma, que ya utilizó Chao (2002) en la asignación de los pesos a los criterios de evaluación de webs de bibliotecas universitarias, la asignación del peso de cada criterio se basaría en opiniones fundadas de especialistas en la materia y no en el juicio subjetivo del autor, evitando así ponderaciones arbitrarias. Para ello se elaboró un cuestionario con el listado de criterios seleccionados para que los expertos emitiesen su juicio acerca de lo importante que es cada criterio en una escala de 1 a 5. Antes de su remisión a la muestra de expertos se pidió a 5 responsables de SG que valorasen la adecuación de dicho cuestionario a los fines propuestos. Dos de ellos señalaron la posibilidad de que hubiese criterios que se solapasen y recomendaron considerar su agrupamiento. Puesto que no especificaron cuáles debían agruparse, se decidió posponer la posible agrupación de criterios al análisis de los resultados de la encuesta.


A efectos de identificar la población a la que iría dirigida la encuesta, se consideró experto en SG al personal técnico que trabajase en alguno de ellos. Debido a que no existe un censo oficial de SG ni de las personas que trabajan en ellos, se decidió localizar fuentes solventes para la identificación de SG, que debían ser directorios o listados lo suficientemente amplios como para poder ser tomados como fuentes de referencia. Se eligieron dos en base a la autoridad de la persona o institución en el tema: el listado elaborado por Traugott Koch, que recoge los SG más importantes a su juicio en todo el mundo y que figura como apéndice en su artículo “Quality-controlled Subject gateways” (Koch, 2000) y el directorio PINAKES (http://crl.du.ac.in/Subject%20Gateways%20for%20DU%20site.html).


Como el listado resultante de la unión de ambas fuentes era bastante amplio e incluía algunos recursos que no encajaban bien en las definiciones manejadas de SG, se hizo una criba y se seleccionaron únicamente aquellos que cumplían los siguientes requisitos: aportar una mínima descripción de los recursos y una estructura clasificatoria que permitiese su navegación; estar en inglés o en varios idiomas, siempre y cuando el inglés fuera uno de ellos; y aportar al menos una dirección de correo electrónico de contacto. El número definitivo de SG seleccionados fue 61, de los que se obtuvieron un total de 204 correos electrónicos, incluyendo los correos genéricos y excluyendo los del personal administrativo.


El envío del cuestionario se hizo por dos veces, entre el 15 de diciembre de 2005 y el 15 de enero de 2006 la primera vez y entre el 20 de mayo y el 5 de junio de 2006 la segunda, ya que la tasa de respuesta en la primera ocasión fue bastante baja (menos del 15%). De los 204 cuestionarios enviados se recibieron 57 cumplimentados, lo que supone una tasa de respuesta del 27,9%, un porcentaje razonable teniendo en cuenta que la tasa de respuesta en las encuestas por correo electrónico suele oscilar entre el 25 y el 40% (Shih y Fan, 2009).


Los datos de los cuestionarios fueron extraídos, tabulados y analizados con los programas Microsoft Excel 2000 y SPSS 13.0. Se observó que había 23 valores perdidos (0.006% del total de valores esperados), que fueron imputados mediante la asignación de media de la serie y discretizados para que tomaran como valores números enteros, y se comprobó la fiabilidad de la encuesta mediante la determinación del coeficiente alfa de Cronbach, que fue de 0,926. A partir del análisis de los datos recogidos se asignó un peso a cada criterio, que fue el valor resultante de redondear a un decimal la puntuación media obtenida en cada criterio.


Puesto que en los comentarios a la versión preliminar de la encuesta se apuntó a la posibilidad de que hubiese criterios que pudiesen estar solapados, se decidió analizar las correlaciones que había entre ellos con el fin de detectar correlaciones muy altas, que pudiesen significar que varios criterios pudiesen significar lo mismo o al menos que pudiesen agruparse. Se obtuvieron las correlaciones entre pares de criterios con los coeficientes de Pearson, Spearman y Tau-b de Kendall y se detectó que 7 pares de criterios con correlaciones muy altas tenían una relación lógica que justificaría su fusión. En consecuencia se decidió crear un nuevo criterio que sustituyese a cada uno de estos pares de criterios, siendo su peso la media del peso de ambos criterios.


El último paso en la elaboración de la herramienta de evaluación, fue la agrupación de criterios en parámetros y el desarrollo de indicadores que permitan asignar valores a cada criterio. La primera de estas tareas se llevó a cabo analizando los criterios y agrupándolos en función de su similitud y afinidad, tomando como referencia otras herramientas y modelos de evaluación de sistemas de información en la web. El resultado de esta operación fue el agrupamiento de los 30 criterios en 3 parámetros amplios: 


Acceso a la información, que recoge 11 criterios relacionados con las posibilidades de búsqueda y acceso a la información, así como con la descripción de los recursos.


Gestión y administración, que está centrado en las características y el diseño del SG en cuanto sitio o portal web y cuenta con 12 criterios relacionados con el diseño, la facilidad de navegación, el mantenimiento y otras características deseables en cualquier sitio web.


Servicios de valor añadido, que agrupa 7 criterios relacionados con aquellos aspectos que, no siendo imprescindibles en un SG, aportan valor añadido y son aconsejables para mejorar la percepción que los usuarios puedan tener de él y así fidelizarlos.


Para asegurar que cada criterio se valorase de forma unívoca, se establecieron una serie de indicadores y procedimientos de recogida de datos en base a la literatura existente. Los indicadores se establecieron de forma que la puntuación de cada criterio pueda adoptar diferentes valores en función de su propia naturaleza. Excepto en unos pocos criterios, en los que la valoración solo puede ser sí o no (1 o 0), se ha optado por permitir valores intermedios entre 0 y 1, ya que así pueden matizarse aspectos que requieren una valoración más profunda que un simple sí o no. El resultado final de todo este proceso fue la herramienta de evaluación de SG que figura en la tabla II.



Para alcanzar el otro objetivo de este trabajo, el diagnóstico de la calidad de los SG y su evolución, se consideró que el diseño de investigación más adecuado era el observacional, puesto que no se iba a modificar ninguna variable independiente, longitudinal, ya que habría más de una medición sobre los casos, y prospectivo, ya que las mediciones se llevarían a cabo con posterioridad al diseño.


La población objeto de estudio estaría compuesta por el conjunto de los SG existentes y operativos en internet. Para delimitar el objeto de estudio, puesto que no es un concepto absolutamente asentado, se tomó como referencia la definición de Dempsey (2000) mencionada en la introducción, especificando que debían tener las siguientes características:


Deben recoger recursos de internet. Se excluyen los que únicamente aportan documentos de elaboración propia o accesibles solo a través de canales comerciales.


Deben aportar una mínima descripción de los recursos. Se excluyen los meros listados de enlaces sin ninguna descripción.


Deben contar con una estructura clasificatoria temática.


Puesto que resultaba imposible abordar toda la población objeto de estudio, tanto por su elevado número, como por el hecho de no existir ninguna fuente oficial que sirva de censo y que permita conocer cuántos hay y dónde localizarlos, se decidió seleccionar una muestra abarcable y que pudiera considerarse representativa. Se utilizaron como fuentes para la recogida de casos el directorio Pinakes y la relación de SG elaborada por Koch (2000). Del listado de SG obtenido a partir de estas fuentes, se excluyeron los que ya no estaban operativos, los que tenían un número muy pequeño de recursos (se excluyeron los que tenían menos de 1000) y aquellos que no cumplían los criterios de inclusión anteriormente señalados. El listado se completó con una búsqueda en Google y en las bases de datos ERIC, LISA y LISTA en junio de 2007. Se introdujo también una restricción de tipo idiomático: solo se consideraron los que estaban en inglés o en varios idiomas, siempre y cuando el inglés fuera uno de ellos. De los 119 SG que cumplían los requisitos establecidos, se seleccionó una muestra aleatoria de 30 casos, cuyos datos figuran en la tabla III.


La recogida de datos se llevó a cabo en dos momentos, durante los meses de agosto y septiembre de 2007 y durante los meses de octubre y noviembre de 2012. De cara a analizar su evolución, se hizo el seguimiento de los mismos SG para evitar que los resultados se distorsionen si tomamos muestras distintas en los dos periodos de tiempo, ya que el tamaño muestral es pequeño y existía una alta probabilidad de que los resultados fuesen distintos por efecto del azar. En la segunda toma de datos se observó que de los 30 SG que inicialmente integraban la muestra, 7 habían dejado de funcionar, lo que supuso que el seguimiento solo se pudo hacer de 23 de ellos (los primeros que aparecen en la tabla III).


Para la recogida de datos se utilizó la herramienta diseñada para tal fin, que figura en la tabla II, adoptándose las siguientes decisiones sobre algunos criterios:


Velocidad del sistema: Se midió dos veces, con un intervalo de tiempo de una semana, con una prueba consistente en una búsqueda simple y en la navegación por la estructura hasta el último nivel de profundidad. Se tomó el mejor resultado de los dos.


Mantenimiento: Para valorar el indicador sobre enlaces muertos se verificaron 20 registros elegidos aleatoriamente el 15 de septiembre de 2007 y otros 20 el 4 de noviembre de 2012 y se comprobó el porcentaje de ellos que estaban operativos.


Visibilidad / difusión: En la primera recogida de datos en 2007 se utilizó el operador “linkdomain” del buscador Yahoo para ver el número de enlaces recibidos. En 2012 Yahoo ya no ofrecía esa opción de búsqueda y se utilizó Open Site Explorer (http://www.opensiteexplorer.org). De los datos que aporta este programa, se utilizaron los que aparecían en la pestaña “Total links”, que consideramos que eran los más parecidos a los que ofrecería Yahoo.


Los datos recogidos fueron tabulados en el programa Microsoft Excel 2000 y posteriormente fueron analizados con Microsoft Excel 2011 para Mac y con el programa estadístico SPSS 17.0. Una vez tabulados los datos primarios, se crearon dos matrices de datos: una con los valores absolutos, tal y como se recogieron, y otra con los valores ponderados de acuerdo al peso específico de cada uno de ellos según la herramienta de evaluación empleada. Con los datos de estas dos matrices se llevaron a cabo varios análisis descriptivos (frecuencias totales, relativas, ponderadas y sin ponderar) y comparativos, que se pueden ver en la sección de resultados. Para facilitar la interpretación de los resultados, tanto en los gráficos como en las tablas se muestran los valores porcentuales.



De los resultados obtenidos en este parámetro cabe destacar que todos los SG analizados permiten navegar por la clasificación temática y que las mejores puntuaciones se han obtenido en los criterios más relacionados con tareas bibliotecarias, como el uso de tesauros o vocabularios controlados y los resultados del análisis documental formal y del contenido. Así, se puede observar que casi el 80% de los SG cuentan con tesauro; que la descripción del contenido de los recursos es, en general, amplia y correcta (en torno a 80 puntos), lo que permite valorar a los usuarios la utilidad que puede tener un recurso sin necesidad de acceder a su web; y que la descripción a nivel general de los recursos puede considerarse adecuada, ya que en la mayoría de los casos los registros cuentan con un elevado número de campos, aunque sin embargo, poco más del 50% de las descripciones están basadas o se ajustan al formato Marc o al Dublin Core.


El aporte numérico es muy variable y el rango va desde los poco más de mil recursos que contienen Mathguide o History Guide hasta los más de 50.000 de IPL2 o Iberolink. En cuanto a los niveles de profundidad de la clasificación temática, las puntuaciones son más discretas, en torno al 60% de la puntuación máxima, y hay bastantes diferencias entre unos SG y otros, desde 1 o 2 niveles en el caso de AGNIC o Accesstolaw hasta los 7 de LII. Esto podría deberse a las grandes diferencias en el tamaño de la colección, ya que a mayor volumen de recursos, más necesaria será una clasificación con más niveles de profundidad y, a ser posible, clasificaciones complementarias.


Las posibilidades de búsqueda varían notablemente de unos casos a otros, lo que también guarda relación con el tamaño de la colección, puesto que a medida que aumenta el número de recursos más necesidad existe de contar con opciones sofisticadas para la localización de documentos. A excepción de CFD, todos los SG analizados disponen de al menos búsqueda sencilla, que en la mayor parte de los casos se complementa con la opción de búsqueda avanzada (un 74% en 2012). La posibilidad de refinar las búsquedas mediante algún tipo de filtro es menos frecuente y solo la ofrecían el 22% de los casos en 2007 y el 30% en 2012 y la ordenación de los resultados en función de diversos criterios es una opción que solo contemplan el 50% de los SG. Es habitual que los resultados de las búsquedas se presenten en formato corto, con la información básica de identificación del recurso, y exista la opción de desplegar el registro completo, lo que ocurría en el 74% de los casos en 2007 y en el 83% en 2012, siendo los SG con menor número de campos en sus registros los que más han prescindido de esta opción.


A un nivel general, podríamos decir que los resultados en este parámetro fueron buenos en la mayoría de los casos, con el 70% de los SG con puntuaciones superiores a la media, y bastante similares en los dos momentos de la recogida de datos, un 64,63% de la máxima puntuación posible en 2007 y un 65,87% en 2012, con puntuaciones medias por encima del 50% en 9 de los 11 criterios que conforman este parámetro. Sin embargo, se aprecia que hay SG con puntuaciones muy bajas, que lastran las puntuaciones medias y que deberían hacer un esfuerzo por mejorar. Debemos tener en cuenta que este parámetro recoge los criterios más relacionados con el tratamiento documental de la información y que serían estos aspectos, junto con el proceso de selección de los recursos, los más característicos de los SG y los que los diferencian de otras herramientas de búsqueda de información en internet.


De los tres parámetros analizados este es en el que menor variación ha habido, lo que podría explicarse por la naturaleza de algunos de los criterios que lo integran: niveles de la clasificación temática, uso de tesauros, número de campos en los registros bibliográficos o el uso del Dublin Core o del formato Marc en las descripciones. Modificar cualquiera de estos aspectos implicaría un importante esfuerzo, ya que supondría cambiar cada uno de los registros, pero en otros criterios se podría mejorar con la actualización en la aplicación informática que utilicen, como son la ordenación de resultados, diversidad de formatos o aumentar las posibilidades de búsqueda.


En la Figura 1 se observa un solapamiento casi total en las puntuaciones obtenidas en los criterios de este parámetro, lo que nos lleva a pensar que la tendencia sería de cierta continuidad y pocos cambios estructurales. Las modificaciones estarían más relacionadas con los cambios introducidos en algunos SG concretos que con una tendencia generalizable.

En este parámetro, que evalúa el SG en tanto página web, es en el que se han obtenido las puntuaciones más altas, en torno a los 70 puntos de media y con valores que oscilan entre los 41,11 y los 84,2 puntos en 2007 y entre los 48,72 y los 92,95 en 2012. Sin embargo las diferencias entre los dos momentos de recogida de datos son escasas, de 3,53 puntos porcentuales, por lo que no se puede hablar de cambios significativos ni de una mejora generalizada. De hecho, únicamente en visibilidad, mantenimiento y autodescripción se aprecia cierta mejoría.


En general, las puntuaciones en la mayoría de los criterios son buenas, superándose el aprobado en 10 de los 12 criterios que conforman este parámetro y los 80 puntos porcentuales en 5 de ellos. Así, puede destacarse que en los SG analizados no se han observado errores tipográficos u ortográficos; en el 90% de los casos se menciona expresamente el crecimiento de la colección, lo que aporta información acerca de su grado de actualización; las búsquedas y la navegación por casi todos los SG son rápidas y dan una sensación de agilidad del sistema; casi todos los SG analizados dependen de instituciones académicas o de bibliotecas; y solo el 20% permiten publicidad comercial.


En el resto de criterios, a excepción del uso de metadatos Dublin Core internos, que solo están presentes en el 20% de los SG, las puntuaciones son razonables aunque bastante menores. El mantenimiento y chequeo de los enlaces está en torno a los 70 puntos, cuando debería ser uno de los aspectos más cuidados (es el criterio con más peso en la herramienta de evaluación), puesto que los enlaces muertos dan la impresión de abandono y de falta de actualización y además existen numerosos programas, algunos gratuitos, que pueden llevar a cabo el chequeo de enlaces. La autodescripción del SG y la puesta a disposición de los usuarios de sus políticas de gestión son aspectos importantes que, aunque no obtienen malas puntuaciones (en torno a los 70 puntos porcentuales), podrían mejorarse fácilmente y darían buena imagen, ya que al indicar cuál es su alcance, qué personas trabajan en él, su misión, sus criterios de selección de recursos o sus planes estratégicos, se aporta transparencia y se genera confianza en el usuario. La visibilidad ha experimentado una notable mejoría, pasando de algo menos de 40 puntos en 2007 a 60 en 2012, aunque puede deberse a las diferencias entre las herramientas utilizadas para su medición, comentadas en el apartado de metodología. En este criterio existen grandes diferencias entre los SG analizados, ya que hay unos pocos que reciben más de 10.000 enlaces, mientras que casi el 50% no superan los 1.000. Por último, las puntuaciones en facilidad de navegación rondan los 65 puntos porcentuales en las dos tomas de datos, apreciándose que casi todos cuentan con mapa del sitio y menú de navegación y los enlaces y secciones están claramente indicados, siendo menos frecuente el uso de indicadores de situación o la indicación del cumplimiento de las normas de accesibilidad.



Es en este parámetro en el que mayores carencias se han detectado tanto en 2007 como en 2012, con puntuaciones del 45,37% y del 51,58% respectivamente, y en el que mayores variaciones ha habido en las dos tomas de datos, aumentando las puntuaciones medias un 13,69%. Los incrementos han sido muy significativos en el caso de algunos SG, como Econbiz, Edna y Vifatec, con más de 25 puntos, y en algunos criterios, como el de las posibilidades de uso de los registros, que ha subido 18,26 puntos. Sin embargo, debemos interpretar esas subidas con cautela, puesto que se partía de puntuaciones muy bajas en 2007.


Los mejores resultados se han obtenido en el criterio con menos peso en la herramienta de evaluación, el acceso registrado, no siendo necesario registrarse en ningún SG de la muestra para poder consultarlo. Aunque esto sea positivo, puesto que puede haber personas que no quieran crearse una cuenta en el SG, sí debe ofrecerse la posibilidad de registrarse voluntariamente para acceder a servicios personalizados, como la difusión selectiva de información o el mantenimiento de un espacio virtual donde guardar registros, y esta opción solo estaba disponible en el 21% de los casos en 2007 y en el 17% en 2012.


Más del 90% de los SG cuentan con algún tipo de servicio de noticias, sean éstas relacionadas con el SG o con las disciplinas de las que tratan. En muchos casos se trata de servicios muy básicos que adoptan la forma de boletín mensual en pdf o de un cuadro con texto en alguna parte visible, mientras que en otros, como en Merlot, se trata de un servicio de gran sofisticación que se actualiza a diario e incluye avisos de conferencias y congresos, novedades en el SG, blog, canales RSS, presencia en redes sociales, etc. Cabe señalar que en 2012 el 53% de los SG contaba ya con un blog o con un canal RSS.


El 83% de los SG ofrece algún tipo de ayuda al usuario, pero ésta varía mucho de unos casos a otros. Aunque es frecuente que haya algún tipo de página con instrucciones, no siempre están accesibles desde cualquier lugar del sitio web, incluso en algunos casos llega a ser complicado dar con ellas. La ayuda en contexto, es decir, ayuda específica relacionada con la sección en la que se encuentre el usuario, solo está disponible en 3 de los 23 SG.


La interacción con el usuario es discreta, aunque ha mejorado en la segunda toma de datos, pasando de un 47% a un 58% de la máxima puntuación posible. Casi todos los SG cuentan con una dirección de correo de contacto y muchos permiten que se pueda notificar la detección de algún enlace erróneo, pero son muy pocos los que ofrecen al usuario la posibilidad de comentar o valorar un recurso o dar su opinión sobre los aspectos que mejoraría a través de una encuesta o formulario.


Con respecto a las posibilidades de uso de los registros, algo muy desarrollado en las bases de datos bibliográficas y que empieza a verse también en los catálogos de bibliotecas, las puntuaciones son bajas, aunque hayan subido bastante desde la primera toma de datos hasta la segunda, del 13% de la máxima puntuación posible al 31%. En 2012, el 48% de los SG únicamente permitían consultar los registros en la web, sin posibilidad de importarlos o guardarlos. Solo unos pocos permitían su importación a un gestor de referencias bibliográficas, como Endnote o Reference Manager, o enviarlos por correo electrónico. La posibilidad de guardar los registros en un espacio virtual es ofrecida por muy pocos SG, como Edna, Merlot, Agnic o Econbiz, y está supeditada a que se permita el acceso registrado; aunque existe también la posibilidad de guardar los registros temporalmente, hasta que se salga de la página web, y son muy pocos los que lo permiten, como es el caso de Eisil.