ESTUDIOS / RESEARCH STUDIES

EVALUACIÓN DE USABILIDAD DE LOS PORTALES WEB DE LAS BIBLIOTECAS UNIVERSITARIAS ESPAÑOLAS A PARTIR DE UN MODELO HEURÍSTICO COGNITIVO-EMOCIONAL

Daniel Muñoz-Egido*, Marina Vianello Osti**

* Universidad Carlos III de Madrid.

Correo-e: daniel.megido@alumnos.uc3m.es | ORCID iD: http://orcid.org/0000-0001-8115-7445

** Departamento de Biblioteconomía y Documentación. Universidad Carlos III de Madrid.

ORCID iD: http://orcid.org/0000-0002-8745-3947

EVALUATION OF USABILITY OF SPANISH ACADEMIC LIBRARY WEB PORTALS USING A COGNITIVE-EMOTIONAL HEURISTIC MODEL

CONTENIDOS

1. INTRODUCCIÓN Top

La irrupción de las Tecnologías de la Información y la Comunicación (TICs) ha provocado que, en la actualidad no sólo accedamos a la información, sino que interactuemos con ella e incluso la transformemos, con lo que el factor de uso condiciona sustancialmente el resto de los elementos que conforman el producto informativo.

En este contexto, la usabilidad, disciplina que estudia los elementos que intervienen en el proceso de interacción entre el ser humano y un producto interactivo para facilitar su uso, se convierte en un elemento central para su diseño y evaluación. En entornos web (Pastor Sánchez, 2010Pastor Sánchez, J.A. (2010). Bases para un Diseño Web Integral a través de la convergencia de la Accesibilidad, Usabilidad y Arquitectura de la Información. Scire: representación y organización del conocimiento, 16 (1), pp. 65-80.), la usabilidad “se conforma como el elemento motor, que no central, de una metodología de trabajo, que da forma a las estructuras y contenidos de información en una interfaz accesible”. La importancia que la usabilidad y la facilidad de uso tienen a la hora de evaluar la calidad global de un portal web queda reflejada en la obra de Jiménez Piano (2001Jiménez Piano, M. (2001). Evaluación de sedes web. Revista Española de Documentación Científica, 24 (4), pp. 405-432.), en la que se recogen 125 criterios, siendo los de mayor peso los relacionados con el Contenido, Diseño y Accesibilidad, aspectos estrechamente relacionados con nuestro objeto de estudio.

Además, no debemos olvidar que el usuario es el elemento principal del proceso interactivo, y para poder abordar cualquier análisis de usabilidad desde esta perspectiva tiene necesariamente que apoyarse en la Human-Computer Interaction (HCI). La HCI, es la disciplina que estudia cómo los productos informáticos pueden ayudar a los usuarios en la realización de las tareas, “atendiendo a la facilidad de uso, el tiempo de ejecución, la evitación de los posibles errores, y en consecuencia, su satisfacción” (Marcos, 2001Marcos, M.C. (2001). HCI (human computer interaction): concepto y desarrollo. El profesional de la información, 10 (6), pp. 4-16, http://eprints.rclis.org/19454/1/1.pdf.).

Dentro de la literatura especializada es frecuente encontrar las características, principios y atributos que debe tener un determinado producto interactivo para que sea usable, pero estos trabajos no suelen estar motivados en los principios cognitivos y emocionales que rigen la actividad humana, actores principales de la usabilidad. En nuestra opinión, la facilidad de uso de un producto debe estar determinada por aquellos factores cognitivos y emocionales responsables de regular la interacción: atención, percepción, memoria, pensamiento, lenguaje, aprendizaje, aversión, atracción, etc.

En este trabajo propondremos un método cuantitativo para la evaluación de la usabilidad basado en heurísticas y fundamentado en la dimensión cognitiva y emocional del usuario, aspectos ampliamente abordados por la Human Computer Interaction (Interaction Desing Fundation, 2010Interaction Desing Fundation (2010). The encyclopedia of Human-Computer interaction, [en línea] [Consulta: 15 abril 2016] Disponible en: https://www.interaction-design.org/literature/book/the-encyclopedia-of-human-computer-interaction-2nd-ed.). Aplicaremos este método para analizar los sitios web de las bibliotecas universitarias españolas, verdaderos portales de recursos y servicios. Conoceremos el grado de usabilidad desarrollado para satisfacer todas las necesidades informativas, académicas, científicas y personales de sus usuarios.

2. METODOLOGÍA Top

La elaboración de este método de medición de la usabilidad basado en heurísticas, partió del análisis de los atributos y reglas que mayormente han sido descritos en la literatura especializada y su comparación con los principios expresados en los estudios que desde la perspectiva de la HCI analizan la facilidad de uso. Para la creación de un corpus basado en heurísticas que sirviera para evaluar los portales web de las bibliotecas universitarias, el análisis se centró en los principios de la Ergonomía y la Psicología Cognitiva. Una vez realizada la revisión de la literatura especializada y principios heurísticos previos, se configuró la propuesta del modelo y se utilizó LibreOfice Calc como software de tratamiento de los datos obtenidos del análisis.

Para definir los atributos (o principios, o características, o componentes), entendidos como las reglas más abstractas a aplicar al diseño de un sistema interactivo, se analizaron los modelos propuestos por Nielsen y Molich (1990Nielsen, J.; Molich, R. (1990). Heuristic Evaluation of User Interfaces. Proceedings of the CHI'90 Conference on Human Factors in Computing Systems, pp. 249-256. New York, USA: ACM, https://doi.org/10.1145/97243.97281.), Molich y Nielsen (1990Molich, R.; Nielsen, J. (1990). Improving a human-computer dialogue. Communications of the ACM, 33 (3), pp. 338-348, https://doi.org/10.1145/77481.77486.), Nielsen (1994Nielsen, J. (1994). Enhancing the Explanatory Power of Usability Heuristics. Proceedings of the CHI'94 Conference on Human Factors in Computing Systems, pp. 152-158. New York, USA: ACM, https://doi.org/10.1145/191666.191729 / https://doi.org/10.1145/259963.260333., 1995Nielsen, J. (1995). 10 Heuristics for User Interface Design. Nngroup, [en línea] [Consulta: 1 marzo 2015]. Disponible en: http://www.nngroup.com/articles/ten-usability-heuristics/.), Pierotti (1995Pierotti, D. (1995). Heuristic evaluation: a system checklist. Xerox Corporation, [en línea] [Consulta: 4 mayo 2015]. Disponible en: http://eitidaten.fh-pforzheim.de/daten/mitarbeiter/blankenbach/vorlesungen/GUI/Heuristic_Evaluation_Checklist_stcsig_org.pdf.), Constantine (1995Constantine, L. (1995). What do users want? Engineering usability into software. Windows Tech. Journal, 4 (12), pp. 30-39.), Instone (1997Instone, K. (1997). Site Usability Heuristics for the Web. Instone, [en línea] [Consulta: 28 abril 2015]. Disponible en: http://instone.org/heuristics .), Jiménez Piano (2001Jiménez Piano, M. (2001). Evaluación de sedes web. Revista Española de Documentación Científica, 24 (4), pp. 405-432.), Hassan Montero y Martín Fernández (2003Hassan Montero, Y.; Martín Fernández, F.J. (2003). Guía de Evaluación Heurística de Sitios Web. No Solo Usabilidad, [en línea] [Consulta: 17 febrero 2013]. Disponible en: http://www.nosolousabilidad.com/articulos/heuristica.htm.), ‘HHS’ Guidelines (U.S. Departament of Health & Human Services, 2006U.S. Departament of Health & Human Services (2006). The Research-Based Web Design & Usability Guidelines. Usability, [en línea] [Consulta: 5 mayo 2015]. Disponible en: http://guidelines.usability.gov/.), UsabAIPO (González y otros, 2006González, M.P.; Lorés, J.; Pascual, A.; Granollers, T. (2006). Evaluación Heurística de Sitios Web Académicos Latinoamericanos dentro de la Iniciativa UsabAIPO. Actas del VII Congreso Interacción Personal Ordenador (INTERACCIÓN’06), pp. 145-157. Madrid: Thomson-Paraninfo.), UNE-EN ISO 9241:151 (AENOR, 2008AENOR (2008). UNE-EN ISO 9241-151: Ergonomía de la interacción hombre-sistema. Madrid: AENOR.) y Dix y otros (2010Dix, A.; Finlay, J.; Abowd, G.D.; Beale, R. (2010). Human computer interaction. Harlow; Munich: Pearson Prentice Hall.).

Granollers i Saltiveri (2004Granollers i Saltiveri, T. (2004). MPLu+a. Una metodología que integra la ingeniería del software, la interacción persona- ordenador y la accesibilidad en el contexto de equipos de desarrollo multidisciplinares. Lleida: Universidad de Lleida, [Tesis doctoral].) sintetizó los principales atributos de la usabilidad recogidos en la bibliografía especializada en los siguientes:

• Facilidad de aprendizaje: minimizar el tiempo existente entre el no conocimiento y el conocimiento de un producto interactivo.

• Sintetizabilidad: capacidad del usuario para poder evaluar el efecto en el presente de las operaciones anteriores efectuadas en el producto o sistema.

• Familiaridad: correlación que debe existir entre la experiencia del usuario y los conocimientos que éste necesita para poder usar un nuevo sistema o producto.

• Consistencia: todos los mecanismos de un producto o sistema son usados siempre de la misma manera y tienen los mismos efectos sobre la interacción.

• Flexibilidad: el sistema debe permitir múltiples maneras de interacción con el usuario, proporcionándole “control sobre el producto o sistema, posibilidad de migración de tareas, capacidad de sustitución y adaptabilidad”.

• Robustez: el sistema debe poder ayudar al usuario a cumplir con sus objetivos.

• Recuperabilidad: capacidad del sistema para corregir una acción o recuperarse de un error.

• Tiempo de respuesta: los tiempos de respuesta del producto o sistema deben ser soportados por el usuario.

• Adecuación de las tareas: los servicios del producto se deben ajustar al usuario al que está dirigido y se deben adecuar a sus capacidades mentales.

• Disminución de la carga cognitiva: el sistema o producto debe favorecer un uso basado en el reconocimiento más que en los recuerdos, jugando un papel de enorme importancia la disposición y diseño de los elementos que conforman la interfaz del producto o servicio.

Para el análisis de las reglas de usabilidad o la materialización de los atributos en elementos propios del diseño de productos interactivos, se estudiaron las Ocho reglas de Oro de Shneiderman (1998Shneiderman, B. (1998). Designing the user interface: strategies for effective human-computer-interaction. Reading, Mass: Addison Wesley Longman.), los Siete principios de Norman (1998Norman, D.A. (1998). The design of everyday things. London: MIT.) y los principios del diseño de interacción de Tognazzini (2014Tognazzini, B. (2014). First Principles of Interaction Design. Asktog. [En línea] [Consulta: 14 febrero 2013]. Disponible en: http://www.asktog.com/basics/firstPrinciples.html.).

La capacidad cognitiva del ser humano es limitada. Por lo tanto, comprender los factores cognitivos que le afectan resulta de vital importancia en el diseño de interfaces que se adapten fácilmente a sus estructuras mentales, compensen sus debilidades y sean más eficaces y eficientes en los procesos interactivos hombre-máquina (o sistema). Dentro del conjunto de trabajos que han abordado la usabilidad desde la HCI, se estudiaron las obras de Granollers i Saltiveri (2004Granollers i Saltiveri, T. (2004). MPLu+a. Una metodología que integra la ingeniería del software, la interacción persona- ordenador y la accesibilidad en el contexto de equipos de desarrollo multidisciplinares. Lleida: Universidad de Lleida, [Tesis doctoral].), Rogers y otros (2011Rogers, Y.; Sarp, H.; Preece, J. (2011). Interaction Desing: beyond human-computer interaction. Chichester, West Sussex: John Willey & Sons, [en línea] [Consulta: 25 noviembre 2012]. Disponible en: http://proquest.safaribooksonline.com/book/web-development/usability/9780470665763.) y Vianello Osti (2006Vianello Osti, M. (2006). Usabilidad y cognición: problemáticas y Tecnologías de la Información. Bibliotecas y Tecnologías de la Información, pp. 18-34.), y concretamente desde la psicología cognitiva los trabajos de Yee y otros (2012Yee, C.K.; Ling, C. S.; Yee, W. S.; Zainon, W. M. N. W. (2012). GUI desing based on cognitive phychology: theoretical, empirical and practical approaches. 8th International Conference on Computing Technology and Information Management (ICCM), pp. 836-841. Seul: IEEE.) y Errey y otros (2006Errey, C.; Ginns, P.; Pitts, C. (2006). Cognitive load theory and user interface design. Part 1. Sydney: The Performance Technologies Group Pty Ltd, [en línea] [Consulta: 22 enero 2016]. Disponible en: https://pdfs.semanticscholar.org/a3fa/03be2c81dc90b689612c8202eeac6b12651b.pdf.), que estudian la Teoría de la Carga Cognitiva (Cognitive Load Theory).

La psicología cognitiva aborda la cognición realizando una analogía entre el funcionamiento de la mente humana y el funcionamiento de un ordenador (Vianello Osti, 2006Vianello Osti, M. (2006). Usabilidad y cognición: problemáticas y Tecnologías de la Información. Bibliotecas y Tecnologías de la Información, pp. 18-34.), y estudia sus funciones complejas (Parkin, 1999Parkin, A.J. (1999). Exploraciones en neuropsicología cognitiva. Madrid: Médica Panamericana.). Rogers y otros (2011Rogers, Y.; Sarp, H.; Preece, J. (2011). Interaction Desing: beyond human-computer interaction. Chichester, West Sussex: John Willey & Sons, [en línea] [Consulta: 25 noviembre 2012]. Disponible en: http://proquest.safaribooksonline.com/book/web-development/usability/9780470665763.) estudiaron y analizaron brillantemente estos aspectos en los procesos de diseño de productos interactivos:

La Atención

Es el proceso de selección de las cosas sobre las que nos centramos en un momento de tiempo determinado dentro de una gama de posibilidades concretas. Filtra y organiza las informaciones recibidas por un sujeto con el objetivo de ejecutar respuestas y acciones adecuadas.

La Percepción

Es la actividad encargada de elaborar la información recibida a través de los diferentes órganos sensoriales (ojo, oído, tacto, etc.), para incorporarla a nuestra actividad mental como experiencias de los objetos, eventos, sonidos, etc.

La Memoria

La memoria comprende los procedimientos que nos permiten adquirir, conservar, recuperar y utilizar conocimientos y habilidades. No todo aquello que vemos, oímos, tocamos, etc., es almacenado, sino que previamente a su conservación se realiza un proceso de filtrado. Este filtrado se lleva a cabo a través de tres “sistemas” (Granollers i Saltiveri, 2004Granollers i Saltiveri, T. (2004). MPLu+a. Una metodología que integra la ingeniería del software, la interacción persona- ordenador y la accesibilidad en el contexto de equipos de desarrollo multidisciplinares. Lleida: Universidad de Lleida, [Tesis doctoral].): memoria sensorial, la cual almacena la información por espacios muy cortos de tiempo; memoria operativa, también llamada memoria de trabajo o a corto plazo, en la cual se almacena la información necesaria para interactuar con el entorno y el medio; y la memoria a largo plazo, donde se almacenan los recuerdos vividos, conocimientos acerca del mundo, imágenes, conceptos, estrategias de actuación, etc.

El Aprendizaje

El aprendizaje “es un cambio inferido en el estado mental de un individuo, el cual es una consecuencia de la experiencia, e influye de forma relativamente permanente en el potencial del individuo para la conducta posterior” (Tarpy y otros, 2000Tarpy, R.M.; Evangelista Navarro, G.; Sánchez Balmaseda, P.; Pellón Suárez de Puga, R. (2000). Aprendizaje: teoría e investigación contemporáneas. Madrid [etc.]: McGraw-Hill.).

El Lenguaje

El lenguaje se manifiesta a través de la lectura, el habla o la escucha. Una misma sentencia o frase tendrá un mismo significado independientemente si la leemos, la escuchamos o la decimos. Sin embargo, la facilidad con la que cada uno de los individuos puede leer, escuchar o hablar variarán dependiendo de la persona, la tarea y el contexto.

Algunos de los aspectos cognitivos más relevantes en la usabilidad web son aquellos que tienen que ver con la carga cognitiva o cognitive load. Directamente vinculados a la memoria a corto plazo o memoria de trabajo, nos encontramos con aspectos como la atención dividida (split attention) y la redundancia. Los relacionados con la memoria a largo plazo y aprendizaje son los esquemas o schemadatas (Errey y otros, 2006Errey, C.; Ginns, P.; Pitts, C. (2006). Cognitive load theory and user interface design. Part 1. Sydney: The Performance Technologies Group Pty Ltd, [en línea] [Consulta: 22 enero 2016]. Disponible en: https://pdfs.semanticscholar.org/a3fa/03be2c81dc90b689612c8202eeac6b12651b.pdf.; Chalmers 2003Chalmers, P.A. (2003). The role of cognitive theory in human–computer interface. Computers in Human Behavior, 19 (5), pp. 593-607, http://dx.doi.org/10.1016/S0747-5632(02)00086-9.).

La atención dividida (Kalyuga y otros, 1999Kalyuga, S.; Chandler, P.; Sweller, J. (1999). Managing split-attention and redundancy in multimedia instruction. Applied Cognitive Psychology, 13 (4), pp. 351-371, https://doi.org/10.1002/(SICI)1099-0720(199908)13:4%3C351::AID-ACP589%3E3.0.CO;2-6.) acontece cuando diferentes fuentes de información, las cuales forman parte de un mismo conjunto semántico y son imposibles de comprender por separado, se muestran distanciadas en el espacio o en el tiempo, debiendo el usuario establecer las relaciones mentales necesarias para integrar dicha información.

La redundancia, por su parte, ocurre cuando diferentes informaciones, las cuales son comprensibles por separado y forman parte de una misma unidad semántica, se suministran a través de diferentes formas o formatos en el espacio o en el tiempo, obligando al usuario a realizar un trabajo cognitivo innecesario.

La teoría de los esquemas o schemadatas, enunciada por Spiro y otros (1980Spiro, R.J.; Bruce, B.C.; Brewer, W.F. (1980). Theoretical issues in reading comprehension: perspectives from cognitive psychology, linguistics, artificial intelligence, and education. Hilldale, N.J.: L Erbaum Associates., citado por Fang y Holsapple, 2007Fang, X.; Holsapple, C.W. (2007). An empirical study of web site navigation structures’ impacts on web site usability. Decision Support Systems, 43 (2), pp. 476-491, http://dx.doi.org/10.1016/j.dss.2006.11.004.) hace referencia a cómo el ser humano aprende a través de bloques de cognición o schemas, que no son otra cosa que representaciones organizadas de la realidad. Para asimilar y aprender un nuevo fenómeno o realidad, el ser humano puede añadir ese fenómeno a un esquema ya existente con el cual se da una relación de los elementos que lo conforman (agregación); puede hacer cambios menores a un esquema existente para que ofrezca una mayor visión de la realidad (afinamiento); realizar cambios mayores basados en nuevas experiencias e informaciones (reestructuración); o crear un nuevo esquema si todos los existentes no se corresponden con el fenómeno que está siendo observado. La agregación y el afinamiento son los dos procesos más comunes y los que menos carga cognitiva consumen, necesitando por el contrario los procesos de reestructuración y creación considerables esfuerzos por parte del usuario.

Pero la experiencia humana es mucho más compleja y completa que la cognición. Una determinada respuesta emocional puede variar o transformar el curso de una acción (Dix y otros, 2010Dix, A.; Finlay, J.; Abowd, G.D.; Beale, R. (2010). Human computer interaction. Harlow; Munich: Pearson Prentice Hall.). Por ello, para conocer específicamente los aspectos emocionales del diseño que deben ser tenidos en cuenta en cualquier producto interactivo, se tomó como referencia el Modelo A.C.T de necesidades emocionales desarrollado por Gorp y Adams (2012Gorp, T.; Adams, E. (2012). Desing for emotion. San Francisco, CA: Morgan Kaufmann Publishers, [en línea] [Consulta: 16 octubre 2014]. Disponible en: https://www.elsevier.com/books/design-for-emotion/van-gorp/978-0-12-386531-1.) basado en los trabajos de Reeves y Nass sobre reglas sociales de 1998Reeves, B.; Nass, C. (1998). The media equation: how people treat computers, television and new media like real people and places. Cambridge: Cambridge University Press.. Este trabajo establece tres principales desencadenantes emocionales en un proceso de interacción:

• Atracción: orientada principalmente a la estética, afecta a cómo se ve, cómo suena y cómo se siente el producto.

• Conversación: orientada principalmente a la interacción del producto con el usuario.

• Transacción: orientada a la personalidad que le atribuimos al uso del producto.

Por lo tanto, habiendo determinado los atributos y reglas de usabilidad descritos en la literatura especializada, y conociendo los aspectos cognitivos y emocionales que infieren y afectan al proceso interactivo junto a los elementos específicos de diseño que los regulan, se adaptaron o crearon las heurísticas necesarias para la elaboración de esta propuesta de evaluación.

El paso sucesivo consistió en la selección de una métrica que permitiera cuantificar los resultados. Para ello se tomó la establecida en el modelo SIRIUS (Suárez Torrente, 2011Suárez Torrente, M.C. (2011). SIRIUS: Sistema de Evaluación de la Usabilidad Web Orientado al Usuario y basados en la Determinación de Tareas Críticas. Oviedo: Universidad de Oviedo. Departamento de Informática, [Tesis doctoral].), que permite graduar el resultado en un rango de 0-100 y ponderar las heurísticas en función de la relevancia de su incumplimiento. La relevancia viene determinada por el “valor de relevancia” asignado a cada uno de los criterios: (CR) Crítico, (MA) Mayor, (ME) Medio o (MO) Moderado.

Para la elección de esta métrica fue decisivo el hecho de que este método permita aplicar diferentes grados de relevancia a cada uno de los criterios seleccionados para el modelo, penalizando en el cómputo global el incumplimiento de aquellos que más peso tienen en relación a la tipología del sitio web analizado. SIRIUS establece una audiencia y un conjunto de tareas críticas para diferentes tipos de sitios web, permitiéndonos así determinar las tareas esenciales que deben ser tenidas en cuenta a la hora de abordar un análisis de usabilidad de portales de bibliotecas universitarias. Los valores de relevancia para cada uno de los criterios establecidos en el modelo se recogen en el Anexo I.

Cada una de las heurísticas es valorada mediante una escala numérica o textual, en función de si el criterio es cuantificable en su conjunto, si se cumple o no, o sólo se cumple en determinadas partes del sitio, etc., tal y como se establece en la tabla I.

Tabla I. Tipologías de valores de evaluación de SIRIUS en función de la naturaleza del criterio [Descargar tamaño completo]

Conformado el conjunto de heurísticas que componen el modelo cognitivo-emocional de evaluación de la usabilidad y la métrica, el último paso consistió en su aplicación.

Se seleccionaron las 20 primeras universidades, recogidas en la tabla II, del ranking ISSUE-P elaborado para BBVA e IVIE (Instituto Valenciano de Investigaciones Económicas) por Francisco Pérez y Joaquín Aldás (2015Pérez, F.; Aldás, J. (2015). Rankings ISSUE 2015. Valencia: Fundación BBVA, IVIE, [en línea] [Consulta: 2 enero 2016]. Disponible en: http://www.fbbva.es/TLFU/dat/Informe_rankings_universidades_2015.pdf.). Los rankings ISSUE (Indicadores Sintéticos de las Universidades Españolas), recogidos por estas instituciones desde el año 2013, analizan los indicadores relacionados con la Docencia, Investigación e Innovación y Transferencia tecnológica de 59 universidades españolas. Dentro de los rankings generales se encuentran el ISSUE-V o ranking por volumen, el cual no toma en consideración el tamaño de cada uno de los centros, y el ISSUE-P o ranking de productividad o rendimiento, que sí analiza la variable de tamaño en función del número de profesores, número de alumnos o presupuesto. La cobertura temporal para la elaboración de los indicadores se sitúa en una media móvil de seis años en la gran mayoría de ellos.

Tabla II. Veinte primeras universidades del ranking ISSUE-P del año 2015 [Descargar tamaño completo]

Las sedes web de las bibliotecas seleccionadas, fueron analizadas por los autores de este trabajo aplicando el modelo heurístico desarrollado y ajustado a la naturaleza de este tipo de portales. Una vez realizado el análisis, los datos obtenidos fueron confrontados entre sí para obtener la media de valoración para cada uno de los criterios.

3. RESULTADOS Top

El modelo heurístico cognitivo-emocional de evaluación de la usabilidad resultante está formado por 71 criterios agrupados en seis aspectos de acuerdo a los factores cognitivo-emocionales o “funciones complejas” descritos en la psicología cognitiva. Cada uno de los criterios tiene asignado un valor de relevancia acorde a las características propias de los portales de las bibliotecas universitarias, como podemos ver en el Anexo I.

Finalmente fueron 18 los portales web estudiados ya que no se realizaron análisis de las páginas web de las bibliotecas de la Universidad Politécnica de Madrid y de la Universidad Internacional de Catalunya por no constituir éstas un portal web en sí mismo, puesto que no poseen una página de inicio reconocible y propia a partir de la cual se estructuren el resto de recursos del sitio web, conformándose como una sección más, sin identidad propia, de la página institucional de la Universidad. La media de valoración de cada uno de los criterios se recoge en la figura 1.

Figura 1. Media de usabilidad por Aspectos de los sitios web analizados [Descargar tamaño completo]

De la aplicación de este modelo heurístico de análisis de usabilidad en las sedes web de las 18 bibliotecas universitarias analizadas, obtuvimos una valoración media de 72,30, con una Desviación Típica de 5,57. El portal web con una mayor puntuación ha sido el de la biblioteca de la Universidad de Lleida con 81,36, y el que peor resultado ha alcanzado es el de la biblioteca de la Universidad de Córdoba con 56,10. El total de valoración por aspecto y universidad se recoge en la figura 2.

Como podemos ver en la figura 2, no existe homogeneidad en la valoración de los aspectos, pudiendo haber portales con una alta valoración en uno o varios de ellos y relativamente baja en otros. Sin embargo, sí podemos deducir del análisis de los datos que son los aspectos de Atención y Memoria a Largo Plazo y Aprendizaje los que menor valoración obtienen, y el aspecto de Memoria de Trabajo u Operativa el que alcanza una mayor valoración.

Figura 2. Total de valoración por aspectos y universidades [Descargar tamaño completo]

En la tabla III se recoge la valoración de cada uno de los criterios por universidad y el total de usabilidad por aspecto y centro.

Tabla III. Valoración de los criterios y total de usabilidad, global y por aspectos, de los portales web analizados [Descargar tamaño completo]

Dentro del aspecto de la Atención, los dos puntos más destacados en los que hemos encontrado importantes deficiencias han sido los relacionados con el logotipo o emblema de la biblioteca y el cuadro de búsqueda. En relación al logotipo, en algunas bibliotecas se ha detectado que, ya sea en formato gráfico o simplemente de forma textual, no se encontraba en la parte superior, preferiblemente en el lado izquierdo, sino que se encontraba en un segundo nivel jerárquico o incluso en los casos de las bibliotecas de las universidades de Córdoba, Pública de Navarra y de las Illes Balears, un simple título de página enlazado. Por su parte, los problemas más frecuentes hallados en los cuadros de búsqueda han sido su no inclusión dentro del portal, como es el caso de los sitios de las bibliotecas de las universidades Autónoma de Madrid, Alcalá de Henares o Politécnica de Madrid, o que bien la caja de texto no es lo suficientemente grande como para permitir al menos la visualización de tres palabras de una sentencia de búsqueda como ocurre con el cuadro de búsqueda de la biblioteca de la Universidad de Barcelona.

Criterios que tienen relación con la no inclusión de imágenes en movimiento o cíclicas y texto parpadeante han sido superados satisfactoriamente por la gran mayoría de los sitios analizados. Los dos portales en los que no se ha cumplido alguno de estos criterios han sido los de la biblioteca de la Universidad Pompeu Fabra y el de la Universidad de Cantabria.

La media de valoración para este aspecto ha sido de 66,29 con una Desviación Típica de 10,76, siendo la biblioteca de la Universidad Pompeu Fabra, con una baremación de 81,40, el portal web con una puntuación más alta, y la biblioteca de la Universidad Autónoma de Madrid con 46,67 la que obtiene el resultado más bajo.

Del análisis de los criterios de Percepción podemos determinar que todos los sitios web analizados ofrecen una interfaz limpia sin ruido visual, ofrecen elementos de navegación que orientan al usuario acerca de su ubicación dentro del sitio y han evitado la existencia de enlaces rotos o que lleven a la misma página que se está visitando. Sin embargo, las deficiencias más importantes dentro de este aspecto se han encontrado en el uso espacial de la página y el uso de los bordes y espaciado como elementos para una correcta jerarquización y estructuración de la información. Ninguno de los sitios analizados incorpora sonido ni texto hablado.

La biblioteca de la Universidad de Lleida con 98,48 alcanza la puntuación más alta dentro de este aspecto y la biblioteca de la Universidad de Córdoba la más baja con 43,29, siendo la media de este aspecto de 74,90 con una Desviación Típica de 11,09.

Dentro de la Memoria de trabajo u Operativa, excepto la página web de la biblioteca de la Universidad de Córdoba, todos los sitios analizados mantienen una fuerte consistencia en los controles de navegación y, en general, se ha controlado el número de elementos y términos en los menús. Resultados más dispares ha ofrecido el análisis del equilibrio que ha de existir entre la anchura y profundidad de los elementos de navegación, encontrando un ejemplo claro de esta circunstancia en la página principal de la biblioteca de la Universidad Carlos III de Madrid, en la cual se muestran todas las opciones de navegación disponibles desplegadas, ofreciendo al usuario un número muy grande de elementos de navegación para poder determinar cuál de ellos debe seleccionar.

Los dos criterios de carga de memoria, atención dividida y redundancia, son cumplidos satisfactoriamente por todos los portales, si bien el sitio web de la biblioteca de la Universidad de Córdoba presenta ciertas deficiencias como consecuencia de una información suministrada de manera muy sintética y organizada en forma de puntos secuenciales enlazados dentro de la misma página.

Los datos ofrecidos en relación a la comprensión de los resultados obtenidos al realizar una búsqueda a través de la herramienta implementada por el sitio para tal fin, nos muestran una generalidad y dos casos singulares. Casi todos los sitios utilizan la tecnología de Google para la realización de búsquedas dentro de sus portales web. Los dos casos singulares los aportan las bibliotecas de la Universidad Politécnica de Valencia y la Universidad Pública de Navarra. En el caso de la UPV, la herramienta de búsqueda, la cual emplea la tecnología de Google, no ofrece resultados, y en el caso de la UPN, los resultados son totalmente incomprensibles ya que la búsqueda nos devuelve mayoritariamente documentos en formato PDF en forma de dirección url enlazable.

La biblioteca de la Universidad de Navarra, con 89,64, es la que mayor puntuación ha obtenido, mientras que la biblioteca de la Universidad Miguel Hernández de Elche, la que menos, con una puntuación de 65,65. La media del aspecto se sitúa en 79,67, con una Desviación Típica de 6,79.

Por su parte, los criterios del aspecto de Memoria a Largo Plazo y Aprendizaje nos muestran que la gran mayoría de las bibliotecas, excepto las bibliotecas de las universidades Miguel Hernández de Elche, Pública de Navarra, Santiago de Compostela e Internacional de Barcelona, se organizan de acuerdo con las convenciones y, en todos los casos, se ha evitado el empleo de tareas complejas o que requieran un número elevado de pasos para su consecución. El 55,5 % de los sitios no ofrece una sección de ayuda a los usuarios, el 44,4 % no ofrece una sección de preguntas frecuentes, y el 66,6 % no asiste al usuario en el caso de que su búsqueda no ofrezca ningún resultado. En ninguno de los casos, el sitio informa al usuario de lo que está pasando o de lo que ha pasado.

La biblioteca que mayor puntuación ha obtenido en este aspecto ha sido la de la Universidad de Alcalá con 69,86, y la que menos puntuación alcanza es la Universidad de Córdoba con 29,04. Cabe destacar, en el caso del sitio web de la biblioteca de la Universidad de Alcalá, cómo el diseño de su sitio web va guiando al usuario para que pueda alcanzar de una manera satisfactoria la información deseada y cómo se ha desarrollado la sección de preguntas frecuentes. La media del aspecto es 55.05 con una Desviación Típica de 12,18.

El lenguaje, en sitios con una importante carga informativa como es el caso de las webs de las bibliotecas universitarias, y con una gran diversidad de usuarios, ha sido poco tratado en los análisis de usabilidad. El 33,3% de los portales analizados no ofrecen soporte para otros idiomas que no sea el establecido como principal por la institución, en el 27,77% de ellos la traducción, cuando la hay, no es del todo correcta o completa, y en ninguno de los casos se ha tenido en consideración las posibles limitaciones o formas de interacción que pueden presentar los diferentes usuarios del portal, si bien en todos ellos se ha evitado el empleo de tecnicismos o vocabulario complejo.

Excepto en la web de la biblioteca de la Universidad Pompeu Fabra, se ha evitado el empleo de textos demasiado anchos con más de 80 caracteres y excepto en las bibliotecas de las universidades Autónoma de Barcelona, Pública de Navarra, Complutense y Alicante, se ha utilizado texto no justificado alineado a la izquierda preferiblemente. En el 50% de los sitios analizados no se ha utilizado un correcto interlineado del texto, si bien este ha sido correcto en el efectuado entre los diferentes párrafos.

La biblioteca de la Universidad Pública de Navarra es la que mayor puntuación alcanza con 97,00, mientras que la biblioteca de la Universidad Pompeu Fabra con 56,00 la que peor resultado obtiene como consecuencia del débil contraste que existe entre el texto y el fondo, la considerable anchura del texto que llega a ocupar todo el ancho de la pantalla de un ordenador normal y el escaso interlineado. La media del aspecto se sitúa en 72,36 con una Desviación Típica de 11,75.

La Emoción es el otro aspecto que no ha sido tomado en consideración en modelos propuestos anteriormente. En general, la totalidad de los sitios alcanza una buena puntuación en este aspecto al no cometer importantes fallos. Todos los sitios realizan una correcta asociación del color aunque limitado a la imagen corporativa de la entidad y solo en el caso de la biblioteca de la Universidad de Lleida se usa éste como un elemento más de navegación. La biblioteca de la Universidad de Córdoba es el único sitio analizado en el que el usuario no tiene el control de lo que pasa en la página o los resultados están lejos de ser los esperados.

En relación al contenido, excepto en las bibliotecas de las universidades Miguel Hernández de Elche, Rovira i Virgili, Córdoba y Santiago de Compostela, los sitios son de una alta calidad informativa. En el caso de las bibliotecas anteriormente mencionadas, éstas no ofrecen la cantidad de información necesaria para una correcta interacción y no se emplean lenguajes diferenciados en el caso de que los contenidos sean instructivos o informativos.

La biblioteca que mayor puntuación alcanza es la de la Universidad de Lleida con 87,19, mientras que la de la Universidad de Córdoba se queda con 65,63. La media de valoración para el aspecto se ha situado en 72,30 con una Desviación Típica de 5,57.

4. CONCLUSIONES Top

De este análisis de usabilidad basado en un modelo cognitivo-emocional podemos concluir que se han alcanzado satisfactorios y homogéneos grados de usabilidad en este tipo de portales web, si bien son los aspectos de la Atención y la Memoria a Largo Plazo o Aprendizaje los que menos puntuación alcanzan, y por lo tanto, aquellos que de una manera menos efectiva han sido afrontados en el diseño e implementación.

Desde el punto de vista de la Atención, la propia naturaleza de la biblioteca universitaria plantea importantes retos de usabilidad. Su adscripción a una institución mayor, con la que mantiene una identidad y estructura, en ocasiones supone un importante reto a la hora de diseñar sus portales web. Uno de los ejemplos más paradigmáticos lo encontramos en la ubicación del logotipo o emblema de la biblioteca dentro del sitio. El modelo más extendido lo constituye el posicionamiento horizontal de éste junto con el de la Universidad, primero el de la universidad seguido del de la biblioteca, de tal manera que se perciba nítidamente la secuencia “es parte de”, cada uno enlazado con la página principal de sus correspondientes sitios. Desarrollar formas de identificación diferentes implica no sólo escapar de las convenciones, sino confundir al usuario cuando quiere volver a la página principal del sitio.

Las herramientas de búsqueda también plantean importantes inconvenientes debido a esta situación, habiendo encontrado tres posibles soluciones: realizar la búsqueda sólo en el sitio web de la biblioteca; realizar la búsqueda tanto en el sitio web de la biblioteca como en el de la Universidad; o pedir al usuario que seleccione dónde realizar la búsqueda. Añadir opciones para la realización de búsquedas rápidas no parece adecuarse a las expectativas de los usuarios, por lo que la mejor manera de implementar satisfactoriamente esta función es hacer comprensibles los resultados al usuario mediante una correcta ordenación y marcado de los términos de búsqueda en los ítems recuperados.

En relación con la Memoria a Largo Plazo y Aprendizaje, la posibilidad que nos ofrece la web y las tendencias actuales de diseño, de mantener a la vista la mayor parte de las opciones de navegación, no es suficiente para aquellos sitios que soportan una importante carga informativa. El empleo de una sección de Ayuda, que sea fácilmente accesible y se mantenga de manera consistente a lo largo de todo el sitio, así como una sección de preguntas frecuentes, siguen siendo herramientas útiles y bien valoradas por los usuarios. Ninguno de los sitios analizados ha implementado en la actualidad sistemas de ayuda síncronos como ya lo están realizando algunas bibliotecas públicas.

Por su parte, son los criterios de la Memoria a Corto Plazo u Operativa aquellos que una mayor valoración obtienen, coincidiendo con aquellos aspectos que ha abordado de una manera más recurrente la usabilidad y el diseño centrado en el usuario: consistencia, equilibrio entre anchura y profundidad, existencia de un enlace permanente para volver a la página de inicio, etc. Sí cabe destacar en este sentido que la mayoría de los sitios analizados no marcan aquellos enlaces que han sido visitados por el usuario, siendo consecuencia de los modernos Sistemas de Gestión de Contenidos y el lenguaje de programación que mayoritariamente emplean, PHP. Solo en el caso de aquellos portales (2) que han empleado OpenCMS, escrito en Java, se ha mantenido esta función, la cual, si bien es cierto no supone una importante merma de valoración en el sistema de evaluación propuesto, creemos necesario su mantenimiento.

Por último, resultados más dispares nos ha ofrecido el estudio de los aspectos de Lenguaje y Emoción. Si bien ninguno de ellos comete errores sustanciales, tampoco alcanzan altos grados de cumplimiento. Podemos señalar, por ejemplo, como todavía hemos encontrado sitios que utilizan texto justificado, falta de un correcto uso del interlineado o el poco uso del color como elemento y estímulo para la navegación y el aprendizaje.

5. AGRADECIMIENTOSTop

Queremos agradecer, sinceramente, los comentarios y aportaciones de todos aquellos que con su lectura, recomendaciones y sugerencias han contribuido a mejorar este trabajo, especialmente a Félix Ortega, Consuelo Roso, Mar Arribas, y a los revisores de esta revista. Gracias a ellos, este trabajo es mucho mejor.

ACKNOWLEDGEMENTS

We want to be thankful, sincerely, the commentaries and contributions of all those that with their reading, recommendations and suggestions have contributed to improve this work, specially to Felix Ortega, Consuelo Roso, Mar Arribas, and to the reviewers of this journal. Thanks to them, this work is far better.

6. REFERENCIASTop

ANEXOTop

Anexo I. Aspectos, criterios, valor de relevancia y valores del criterio del modelo cognitivo-emocional propuesto para la evaluación de la usabilidad en portales de bibliotecas universitarias [Descargar tamaño completo]