ESTUDIOS / RESEARCH STUDIES

Evaluación de la accesibilidad de páginas web de universidades españolas y extranjeras incluidas en rankings universitarios internacionales

José R. Hilera*, Luis Fernández*, Esther Suárez*, Elena T. Vilar**

* Universidad de Alcalá. Madrid, España. jose.hilera@uah.es; luis.fernandezs@uah.es; esther_su6@hotmail.com

** SERMAS. Alcalá de Henares. Madrid, España. Correo-e: evilar.gapm03@salud.madrid.org

 

RESUMEN
En este artículo se describe un estudio llevado a cabo para evaluar la accesibilidad de los contenidos de los portales Web de algunas de las universidades extranjeras y españolas más relevantes según tres rankings universitarios publicados. Se han seleccionado universidades incluidas simultáneamente en “Academic Ranking of World Universities”, en “Times Higher Education Supplement” y en “Webometrics Rankings of World Universities”. La evaluación de la accesibilidad se ha realizado comprobando el cumplimiento de las pautas de accesibilidad de contenidos Web establecidas por el World Wide Web Consortium en la recomendación WCAG 2.0. Se ha tratado de determinar si universidades con prestigio a nivel académico ofrecen la información sobre la universidad a través de su Web, de tal forma que pueda ser visitada por todas las personas (profesores, estudiantes), independientemente de si tienen o no algún tipo de discapacidad. Desafortunadamente los resultados no han sido tan buenos como cabría esperar de universidades de tanta importancia.

Accessibility assessment of web pages of Spanish and foreign universities included in international rankings

ABSTRACT
This article describes a study conducted to evaluate the accessibility of the contents of the Web sites of some of the most important universities in Spain and the rest or the world, according with three international rankings. Universities included simultaneously in “Academic Ranking of World Universities”, in “Times Higher Education Supplement” and in “Webometrics Rankings of World Universities” have been selected. The accessibility assessment has been carried out to check compliance with accessibility guidelines for Web content established by the World Wide Web Consortium recommendation in WCAG 2.0. We have tried to determine whether universities with greater academic prestige have been concerned to provide accesible information about the university through its website so that it can be accessed by everyone (teachers, students), regardless of whether or not the user has a disability. Unfortunately the results have not been as good as expected from universities as important.

Recibido: 18-11-2011; 2ª versión: 18-5-2012; Aceptado: 19-6-2012.

Cómo citar este artículo / Citation: Hilera, J.R.; Fernández, L.; Suárez, E.; Vilar, E.T. (2013). Evaluación de la accesibilidad de páginas web de universidades españolas y extranjeras incluidas en rankings universitarios internacionales. Revista Española de Documentación Científica, 36(1):e004. doi: http://dx.doi.org/10.3989/redc.2013.1.913.

PALABRAS CLAVE: Accesibilidad de contenidos Web; usabilidad; ranking universitario; discapacidad; WCAG 2.0.

KEYWORDS: Web content accessibility; usability; ranking of universities; disability; WCAG 2.0.

Copyright: © 2013 CSIC. Este es un artículo de acceso abierto distribuido bajo los términos de la licencia Creative Commons Attribution-Non Commercial (by-nc) Spain 3.0.

CONTENIDOS

RESUMEN
ABSTRACT
1. INTRODUCCIÓN
2. TRABAJOS RELACIONADOS
3. SELECCIÓN DE UNIVERSIDADES
4. INDICADORES DE ACCESIBILIDAD WEB EVALUADOS
5. HERRAMIENTAS UTILIZADAS PARA LA EVALUACIÓN
6. RESULTADOS OBTENIDOS
7. ANÁLISIS DE LOS RESULTADOS
8. CONCLUSIONES
9. AGRADECIMIENTOS
10. BIBLIOGRAFÍA

 

1. INTRODUCCIÓN Top

La accesibilidad indica la facilidad con la que algo puede ser usado, visitado o accedido en general por todas las personas, especialmente por aquellas que poseen algún tipo de discapacidad (BOE, 2003BOE (2003). Ley 51/2003, de 2 de diciembre, de igualdad de oportunidades, no discriminación y accesibilidad universal de las personas con discapacidad (BOE número 289 de 3/12/2003, páginas 43187 a 43195).). La accesibilidad web se refiere a la facilidad de que todas las personas puedan percibir, entender, navegar e interactuar con la web. Existen multitud de normas y estándares en el diseño de páginas web encaminadas a facilitar la consecución de un adecuado nivel de accesibilidad (Serrano y otros, 2010Serrano, E.; Moratilla, A.; Olmeda, I. (2010). Métrica para la evaluación de la accesibilidad en Internet: propuesta y testeo. Revista Española de Documentación Científica, vol. 33 (3), 378-396.).

Entre los esfuerzos de normalización, destaca la Web Accesibility Initiative del World Wide Web Consortium (W3C), que trata de establecer recomendaciones para conseguir contenidos, navegadores, entornos de desarrollo de web accesibles. Entre sus recomendaciones se encuentran las Web Content Accesibility Guidelines (WCAG), o conjunto de pautas para conseguir páginas web accesibles. La última versión de esta recomendación es WCAG 2.0 (W3C, 2008W3C (2008). Web Content Accessibility Guidelines (WCAG) 2.0 [en línea]. World Wide Web Consortium. http://www.w3.org/TR/WCAG/ [consulta: 17-05-2012]), adoptada en 2012 por ISO como estándar (ISO, 2012ISO (2012). ISO/IEC 40500, Information technology -- W3C Web Content Accessibility Guidelines (WCAG) 2.0. Ginebra: International Organization for Standardization.), y el estudio llevado a cabo en este artículo se ha basado precisamente en esta última versión, que establece un total de 12 pautas a seguir (tabla I). Estas doce pautas no son testeables en sí, sino que proporcionan los objetivos básicos que los autores deben lograr con objeto de crear un contenido más accesible para los usuarios con discapacidades. Para cada pauta se proporcionan los criterios de éxito verificables que permiten emplear las pautas en aquellas situaciones en las que existan requisitos y necesidad de comprobación de conformidad.

Para cada una de las pautas y criterios de éxito, el W3C ha documentado también una amplia variedad de técnicas. Cada pauta tiene asignada una prioridad que indica cómo afecta a la accesibilidad de un sitio web si dicho punto de verificación no se cumple. Las prioridades son las siguientes:

Dependiendo del grado de cumplimiento de los criterios de éxito por un determinado sitio web existen tres niveles de conformidad (W3C, 2008W3C (2008). Web Content Accessibility Guidelines (WCAG) 2.0 [en línea]. World Wide Web Consortium. http://www.w3.org/TR/WCAG/ [consulta: 17-05-2012]):

Aunque WCAG es sólo una recomendación, en países como España o Estados Unidos se ha convertido es un estándar de obligado cumplimiento. Así, en España, la legislación exige el cumplimiento del nivel de conformidad “AA” de WCAG 1.0 (W3C, 1999W3C (1999). Web Content Accessibility Guidelines (WCAG) 1.0 [en línea]. World Wide Web Consortium. http://www.w3.org/TR/WCAG10/ [consulta: 17-05-2012]) para las páginas web de: la Administración Pública, entidades y empresas que se encarguen de gestionar servicios públicos, de empresas privadas que reciban financiación pública, y de cualquier otra empresa con más de 100 trabajadores o una facturación superior a 6 millones de euros (BOE, 2007aBOE (2007a). Real Decreto 1494/2007, de 12 de noviembre (Ministerio de la Presidencia), por el que se aprueba el Reglamento sobre las condiciones básicas para el acceso de las personas con discapacidad a las tecnologías, productos y servicios relacionados con la sociedad de la información y medios de comunicación social (BOE de 21/11/2007, páginas 47567 a 47572).). Por tanto, las universidades tienen obligación del cumplirlas.

En este artículo se analiza un grupo representativo de páginas web de los portales de las siete universidades españolas incluidas simultáneamente en tres conocidos rankings mundiales de instituciones universitarias, con objeto de comprobar el grado de cumplimiento de las recomendaciones WCAG 2.0. También se hace lo propio con los sitios web de algunas de las universidades más importantes a nivel mundial. Aunque la legislación en los países a los que pertenecen las universidades exige el cumplimiento de WCAG 1.0, se ha realizado el estudio de la nueva versión 2.0, por entender que en breve la legislación se actualizará para exigir el cumplimiento de la versión más reciente.

  Tabla I. Pautas de accesibilidad de contenido web establecidas en WCAG 2.0 (traducción disponible en http://www.sidar.org/traducciones/wcag20/es/)  
 
Número pauta Texto original pauta
1.1 Proporcionar alternativas textuales para todo contenido no textual de modo que se pueda convertir a otros formatos que las personas necesiten, tales como textos ampliados, braille, voz, símbolos o en un lenguaje más simple.
1.2 Proporcionar alternativas para los medios tempodependientes.
1.3 Crear contenido que pueda presentarse de diferentes formas (por ejemplo, con una disposición más simple) sin perder información o estructura.
1.4 Facilitar a los usuarios ver y oír el contenido, incluyendo la separación entre el primer plano y el fondo.
2.1 Proporcionar acceso a toda la funcionalidad mediante el teclado.
2.2 Proporcionar a los usuarios el tiempo suficiente para leer y usar el contenido.
2.3 No diseñar contenido de un modo que podría provocar ataques, espasmos o convulsiones.
2.4 Proporcionar medios para ayudar a los usuarios a navegar, encontrar contenido y determinar dónde se encuentran.
3.1 Hacer que los contenidos textuales resulten legibles y comprensibles.
3.2 Hacer que las páginas web aparezcan y operen de manera predecible.
3.3 Ayudar a los usuarios a evitar y corregir los errores.
4.1 Maximizar la compatibilidad con las aplicaciones de usuario actuales y futuras, incluyendo las ayudas técnicas.
 

 

2. TRABAJOS RELACIONADOS Top

Se han publicado numerosos estudios de la accesibilidad de sitios web en diferentes áreas temáticas y países. Algunos de los más recientes se muestran en la tabla II.

Estos estudios se caracterizan por la aplicación de diferentes metodologías para la evaluación de la accesibilidad. El W3C está elaborando una metodología estándar de evaluación del cumplimiento de las pautas WCAG 2.0 por los sitios web, que próximamente será publicada como la recomendación WCAG-EM (W3C, 2012W3C (2012). Website Accessibility Conformance Evaluation Methodology 1.0. W3C Working Draft [en línea]. World Wide Web Consortium. http://www.w3.org/TR/WCAG-EM/ [consulta: 17-05-2012]). Autores como Brajnik (2009Brajnik, G. (2009). Validity and reliability of web accessibility guidelines. Proceedings of the 11th International ACM SIGACCESS Conference on Computers and Accessibility. Nueva York: ACM. pp. 131-138) han publicado estudios comparativos de diferentes métodos de evaluación de la accesibilidad web, que suelen clasificarse en las siguientes categorías: métodos de evaluación de la accesibilidad: Conformance Review; Subjective Assessment, Screening, Barrier Walkthrough o User testing (Brajnik, 2008Brajnik, G. (2008). A Comparative Test of Web Accessibility Evaluation Methods. Proceedings of the 10th International ACM SIGACCESS Conference on Computers and Accessibility. Nueva York: ACM. pp. 113-120.). En este trabajo se ha aplicado el método definido por el Instituto Nacional de Tecnologías de las Comunicaciones (INTECO, 2008INTECO (2008). Estudio-Diagnóstico de accesibilidad y calidad web en la pyme española [en línea]. Madrid: Instituto Nacional de Tecnologías de la Comunicación. http://www.inteco.es/Accesibilidad/estudios_de_accesibilidad/accesibilidad_publicaciones/accesibilidad_estudios_e_informes/estudio_accesibilidad_pyme [consulta: 17-05-2012]) y probado en casos reales. Como ocurre en la mayoría de estudios publicados (tabla II), este método sería de la categoría Conformance Review, ya que un experto es quien realiza la evaluación, empleando un criterio para la elección de las páginas web a analizar, utilizando las herramientas pertinentes para la validación, que incluyen también listas de checkpoints o criterios de éxito, y realizando una comparación de los resultados (Serrano y otros, 2010Serrano, E.; Moratilla, A.; Olmeda, I. (2010). Métrica para la evaluación de la accesibilidad en Internet: propuesta y testeo. Revista Española de Documentación Científica, vol. 33 (3), 378-396.).

La mayoría de los estudios evalúan la accesibilidad de contenidos web según el estándar WCAG 1.0; sin embargo, no es el único estándar que puede aplicarse en este contexto. En la tabla III se recogen algunos otros estándares que pueden ser de aplicación. En la evaluación realizada en este artículo, se ha decidido aplicar WCAG 2.0, aunque la legislación española y de otros países todavía no exige su cumplimiento, pero será la referencia en el futuro en este contexto. En el caso español, en 2012 se ha publicado la nueva versión de la norma UNE 139803 (AENOR, 2012AENOR (2012). UNE 139803:2012. Requisitos de accesibilidad para contenidos en la web. Madrid: Asociación Española de Normalización y Certificación.), que es una traducción de WCAG 2.0 y, en consecuencia, toda la legislación ligada actualmente a la versión de 2004 de la norma UNE, lo estará en el futuro próximo a la nueva versión, y por tanto a WCAG 2.0.

La principal novedad del trabajo que aquí se presenta frente a otros análisis de universidades españolas (Discapnet, 2010Discapnet (2010). Accesibilidad de Portales web Universitarios [en línea]. Madrid: Discapnet. http://www.discapnet.es/Castellano/areastematicas/Accesibilidad/Observatorio_infoaccesibilidad/informesInfoaccesibilidad/Paginas/AccesibilidaddePortalesWebUniversitarios.aspx [consulta: 17-05-2012]; Ribera y otros, 2009Ribera, M.; Térmens, M.; Frías, A. (2009). La accesibilidad de las webs de las universidades españolas. Balance 2001-2006. Revista Española de Documentación Científica, vol. 32 (3), 66-88.) o extranjeras (Alexander y Rippon, 2007Alexander, D.; Rippon, S. (2007). University website accessibility revisited [en línea]. Australia: Southern Cross University. http://ausweb.scu.edu.au/aw07/papers/refereed/alexander/paper.html [consulta: 17-05-2012].; Hill, 2010Hill, C.M. (2010). Access to Information for Students with Disabilities; An Evaluation of the 2010 U.S. News and World Report’s Ranking of the Nation’s Best Colleges and Universities. UIW McNair Scholars Research Journal, vol. 11, 100-115.; Kane y otros, 2007Kane, S.K.; Shulman, J.A.; Ladner, R.E. (2007). A Web Accessibility Report Card for Top International University Web Sites. Proceedings of the 2007 international cross-disciplinary conference on Web accessibility. Nueva York: ACM, 148-156.; Thompson y otros, 2010Thompson, T.; Burgstahler, S.; Moore, E.J. (2010). Web accessibility: A longitudinal study of college and university home pages in the northwestern United States. Disability and Rehabilitation: Assistive Technology, vol. 5 (2), 108-114.), además de aplicar la nueva versión WCAG 2.0, es que incluye la evaluación simultánea de universidades españolas y extranjeras; lo cual permite la comparación de los resultados en ambo ámbitos. En algunos de los estudios citados se ha realizado la selección de universidades a partir de un ranking (Hill, 2010Hill, C.M. (2010). Access to Information for Students with Disabilities; An Evaluation of the 2010 U.S. News and World Report’s Ranking of the Nation’s Best Colleges and Universities. UIW McNair Scholars Research Journal, vol. 11, 100-115.; Kane y otros, 2007Kane, S.K.; Shulman, J.A.; Ladner, R.E. (2007). A Web Accessibility Report Card for Top International University Web Sites. Proceedings of the 2007 international cross-disciplinary conference on Web accessibility. Nueva York: ACM, 148-156.). En nuestro trabajo se han utilizado tres rankings en la fase de selección, pero con el mismo objetivo que en los otros casos: comprobar si las universidades con prestigio a nivel académico ofrecen la información sobre la universidad a través de su web de tal forma que pueda ser visitada por todas las personas (profesores, estudiantes), independientemente de si tiene o no algún tipo de discapacidad, es decir si son accesibles.

  Tabla II. Trabajos recientes sobre casos de evaluación de accesibilidad de sitios web  
 
Caso de evaluación Referencia
Accessibility audit of Australian University websites (Alexander y Rippon, 2007Alexander, D.; Rippon, S. (2007). University website accessibility revisited [en línea]. Australia: Southern Cross University. http://ausweb.scu.edu.au/aw07/papers/refereed/alexander/paper.html [consulta: 17-05-2012].)
Evaluación comparativa de la accesibilidad de los espacios web de las bibliotecas universitarias españolas y norteamericanas (Caballero-Cortés y otros, 2009Caballero-Cortés, L.; Faba-Pérez, C.; Moya-Anegón, F. (2009). Evaluación comparativa de la accesibilidad de los espacios web de las bibliotecas universitarias españolas y norteamericanas. Investigación Bibliotecológica: archivonomía, bibliotecología e información, vol. 47 (23), 45-66.)
Accesibilidad de las Páginas de Internet de las principales empresas españolas (CERMI, 2010CERMI (2010). Observatorio de Accesibilidad de las Páginas de Internet de las principales empresas españolas. 2ª entrega 2010 [en línea]. Madrid: Comité Español de Representantes de Personas con Discapacidad. http://www.discapnet.es/Castellano/areastematicas/Accesibilidad/Observatorio_infoaccesibilidad/Otros_Informes/Documents/CERMI-ObservatorioWebEsp-Parte2_30042010.pdf [consulta: 17-05-2012])
Assessment of the Status of eAccessibility in Europe (Comisión Europea, 2008Comisión Europea (2008). Assessment of the Status of eAccessibility in Europe [en línea]. Bruselas: Europe’s Information Society Thematic Portal. http://ec.europa.eu/information_society/activities/einclusion/library/studies/meac_study/index_en.htm [consulta: 17-05-2012])
Accessibility of European Commission Websites - Analysis of current status and recommendations for improvement (Comisión Europea, 2009aComisión Europea (2009a). Accessibility of European Commission Websites - Analysis of current status and recommendations for improvement [en línea]. Bruselas: Europe’s Information Society Thematic Portal. http://ec.europa.eu/information_society/activities/einclusion/policy/accessibility/web_access/commission_web_accessibility/index_en.htm [consulta: 17-05-2012])
Web accessibility in European countries: level of compliance with latest international accessibility specifications, notably WCAG 2.0, and approaches or plans to implement those specifications (Comisión Europea, 2009bComisión Europea (2009b). Study report: Web accessibility in European countries: level of compliance with latest international accessibility specifications, notably WCAG 2.0, and approaches or plans to implement those specifications [en línea]. Bruselas: Europe’s Information Society Thematic Portal. http://ec.europa.eu/information_society/activities/einclusion/library/studies/web_access_compliance/index_en.htm [consulta: 17-05-2012])
Estudio comparativo de accesibilidad web en portales informativos de universidades peruanas de educación a distancia (Córdova, 2012Córdova, M.A. (2012). Estudio comparativo de accesibilidad web en portales informativos de universidades peruanas de educación a distancia. En Calidad y Accesibilidad de la Formación Virtual. Alcalá de Henares: Universidad de Alcalá, 63-73.)
Accesibilidad web en los portales de los Ministerios de España (Discapnet, 2009aDiscapnet (2009a). Accesibilidad web en los portales de los Ministerios [en línea]. Madrid: Discapnet. http://www.discapnet.es/Castellano/areastematicas/Accesibilidad/Observatorio_infoaccesibilidad/informesInfoaccesibilidad/Paginas/AccesibilidaddePortalesWebUniversitarios.aspx [consulta: 17-05-2012])
Accesibilidad en los portales web de Servicios y Plataformas de eLearning (Discapnet, 2009bDiscapnet (2009b). Accesibilidad en los portales web de Servicios y Plataformas de eLearning [en línea]. Madrid: Discapnet. http://www.discapnet.es/Castellano/areastematicas/Accesibilidad/Observatorio_infoaccesibilidad/informesInfoaccesibilidad/Paginas/AccesibilidadenlosportalesWebdeServiciosyPlataformasdeeLearning.aspx [consulta: 17-05-2012])
Accesibilidad de Portales web Universitarios de España (Discapnet, 2010Discapnet (2010). Accesibilidad de Portales web Universitarios [en línea]. Madrid: Discapnet. http://www.discapnet.es/Castellano/areastematicas/Accesibilidad/Observatorio_infoaccesibilidad/informesInfoaccesibilidad/Paginas/AccesibilidaddePortalesWebUniversitarios.aspx [consulta: 17-05-2012])
Accesibilidad de Plataformas de Redes Sociales (Discapnet, 2011Discapnet (2011). Accesibilidad de Plataformas de Redes Sociales [en línea]. Madrid: Discapnet. http://www.discapnet.es/Castellano/areastematicas/Accesibilidad/Observatorio_infoaccesibilidad/informesInfoaccesibilidad/Paginas/AccesibilidaddePlataformasdeRedesSociales.aspx [consulta: 17-05-2012])
Evaluación de la accesibilidad de portales web en instituciones educativas en el área de Centroamérica (Hernández y Amado-Salvatierra, 2012Hernández, R.; Amado-Salvatierra, H.R. (2012). Evaluación de la accesibilidad de portales web en instituciones educativas en el área de Centroamérica. En Calidad y Accesibilidad de la Formación Virtual. Alcalá de Henares: Universidad de Alcalá, 74-80.)
Access to Information for Students with Disabilities; An Evaluation of the 2010 U.S. News and World Report’s Ranking of the Nation’s Best Colleges and Universities (Hill, 2010Hill, C.M. (2010). Access to Information for Students with Disabilities; An Evaluation of the 2010 U.S. News and World Report’s Ranking of the Nation’s Best Colleges and Universities. UIW McNair Scholars Research Journal, vol. 11, 100-115.)
Estudio Diagnóstico de Accesibilidad y Calidad web de la PYME Española (INTECO, 2008INTECO (2008). Estudio-Diagnóstico de accesibilidad y calidad web en la pyme española [en línea]. Madrid: Instituto Nacional de Tecnologías de la Comunicación. http://www.inteco.es/Accesibilidad/estudios_de_accesibilidad/accesibilidad_publicaciones/accesibilidad_estudios_e_informes/estudio_accesibilidad_pyme [consulta: 17-05-2012])
Informe sobre la accesibilidad de los sistemas de mensajería instantánea (INTECO, 2009INTECO (2009). Informe sobre la accesibilidad de los sistemas de mensajería instantánea [en línea]. Madrid: Instituto Nacional de Tecnologías de la Comunicación. http://www.inteco.es/Accesibilidad/estudios_de_accesibilidad/accesibilidad_publicaciones/accesibilidad_estudios_e_informes/informe_im [consulta: 17-05-2012])
A Web Accessibility Report Card for Top International University Web Sites (Kane y otros, 2007Kane, S.K.; Shulman, J.A.; Ladner, R.E. (2007). A Web Accessibility Report Card for Top International University Web Sites. Proceedings of the 2007 international cross-disciplinary conference on Web accessibility. Nueva York: ACM, 148-156.)
Accessibility and readability of university websites in Finland (Karhu y otros, 2012Karhu, M.; Hilera, J.R.; Fernández, L.; Rios, R. (2012). Accessibility and readability of university websites in Finland. En Calidad y Accesibilidad de la Formación Virtual. Alcalá de Henares: Universidad de Alcalá, 151-158.)
Accesibilidad de plataformas web comerciales en España (Serrano y otros, 2010Serrano, E.; Moratilla, A.; Olmeda, I. (2010). Métrica para la evaluación de la accesibilidad en Internet: propuesta y testeo. Revista Española de Documentación Científica, vol. 33 (3), 378-396.)
La accesibilidad de las webs de las universidades españolas. Balance 2001-2006 (Ribera y otros, 2009Ribera, M.; Térmens, M.; Frías, A. (2009). La accesibilidad de las webs de las universidades españolas. Balance 2001-2006. Revista Española de Documentación Científica, vol. 32 (3), 66-88.)
Web accessibility: A longitudinal study of college and university home pages in the northwestern United States (Thompson y otros, 2010Thompson, T.; Burgstahler, S.; Moore, E.J. (2010). Web accessibility: A longitudinal study of college and university home pages in the northwestern United States. Disability and Rehabilitation: Assistive Technology, vol. 5 (2), 108-114.)
 
  Tabla III. Principales estándares y recomendaciones sobre accesibilidad de contenidos web  
 
Estándar o recomendación Referencia
UNE 139803: Aplicaciones informáticas para personas con discapacidad. Requisitos de accesibilidad para contenidos en la web. (Versión 2004 equivalente a WCAG 1.0, versión 2012 equivalente a WCAG 2.0) (AENOR, 2004AENOR (2004). UNE 139803:2004. Requisitos de accesibilidad para contenidos en la web. Madrid: Asociación Española de Normalización y Certificación.) (AENOR, 2012AENOR (2012). UNE 139803:2012. Requisitos de accesibilidad para contenidos en la web. Madrid: Asociación Española de Normalización y Certificación.)
UNE 139802: Requisitos de accesibilidad de software. (Traducción de ISO 9241-171) (AENOR, 2009AENOR (2009). UNE 139802:2009. Requisitos de accesibilidad al ordenador: Software. Madrid: Asociación Española de Normalización y Certificación.)
BS 8878: Web accessibility. Code of practice (BSI, 2010BSI (2010). BS 8878: 2010 Web accessibility code of practice. Londres: British Standards Institution.)
CWA 15554: Specifications for a Web Accessibility Conformity Assessment Scheme and a Web Accessibility Quality Mark (CEN, 2006CEN (2006). CWA 15554: Specifications for a Web Accessibility Conformity Assessment Scheme and a Web Accessibility Quality Mark. European Committee for Standardization.)
Section 508 Standards: Rules 1194.22 Web-based intranet and internet information and applications.(Incluye algunos requisitos WCAG 1.0) (GSA, 2010GSA (2010). Section 508 Standards Guide [en línea]. Estados Unidos: General Services Administration. http://www.section508.gov/docs/Section%20508%20Standards%20Guide.pdf [consulta: 17-05-2012])
ISO 9241-151 Ergonomics of human-system interaction -- Part 151: Guidance on World Wide Web user interfaces (ISO, 2008aISO (2008a). ISO 9241-151 Ergonomics of human-system interaction -- Part 151: Guidance on World Wide Web user interfaces. Ginebra: International Organization for Standardization.)
ISO 9241-171 Ergonomics of human-system interaction -- Part 171: Guidance on software accessibility (ISO, 2008bISO (2008b). ISO 9241-171 Ergonomics of human-system interaction -- Part 171: Guidance on software accessibility. Ginebra: International Organization for Standardization.)
ISO/IEC TR 29138: Information technology - Accessibility considerations for people with disabilities (ISO, 2009ISO (2009). ISO/IEC TR 29138: Information technology - Accessibility considerations for people with disabilities. Ginebra: International Organization for Standardization.)
ISO 9241-210 Ergonomics of human-system interaction -- Part 210: Human-centred design for interactive systems (ISO, 2010ISO (2010). ISO 9241-210 Ergonomics of human-system interaction -- Part 210: Human-centred design for interactive systems. Ginebra: International Organization for Standardization.)
WCAG 1.0: Web Content Accessibility Guidelines (W3C, 1999W3C (1999). Web Content Accessibility Guidelines (WCAG) 1.0 [en línea]. World Wide Web Consortium. http://www.w3.org/TR/WCAG10/ [consulta: 17-05-2012])
WCAG 2.0: Web Content Accessibility Guidelines (W3C, 2008W3C (2008). Web Content Accessibility Guidelines (WCAG) 2.0 [en línea]. World Wide Web Consortium. http://www.w3.org/TR/WCAG/ [consulta: 17-05-2012])
WAI-ARIA 1.0: Accessible Rich Internet Applications (W3C, 2011W3C (2011). Accessible Rich Internet Applications (WAI-ARIA) 1.0. W3C Candidate Recommendation [en línea]. World Wide Web Consortium. http://www.w3.org/TR/wai-aria/ [consulta: 17-05-2012])
WCAG-EM 1.0 Website Accessibility Conformance Evaluation Methodology (W3C, 2012W3C (2012). Website Accessibility Conformance Evaluation Methodology 1.0. W3C Working Draft [en línea]. World Wide Web Consortium. http://www.w3.org/TR/WCAG-EM/ [consulta: 17-05-2012])
 

 

3. SELECCIÓN DE UNIVERSIDADES Top

Como ya se ha indicado, el objetivo principal del trabajo presentado en este artículo ha sido realizar una evaluación de la accesibilidad de páginas web de una selección de universidades españolas y extranjeras que aparecen en los rankings universitarios internacionales, con el fin de comprobar si las mejores universidades tienen páginas web accesibles. En este tipo de rankings se presenta una clasificación comparativa entre instituciones universitarias de distintos países (Rodríguez, 2006Rodríguez, R. (2006). Rankings universitarios ¿un oscuro objeto de deseo? Segunda parte. Campus Milenio, nº 202, 23.). A la hora de realizar estos rankings se suele diferenciar entre dos grandes familias: (1) Las listas “reputacionales” o subjetivas, elaboradas con base en encuestas de opinión sobre grupos que son capaces de emitir puntos de vista relevantes (Federkeil, 2008Federkeil, G. (2008). Rankings and Quality Assurance in Higher Education. Higher Education in Europe, vol. 33 (2-3), 219-231.). Este método es el más antiguo y suele ser criticado por problemas de representatividad estadística. (2) Los llamados “rankings objetivos”, basados en indicadores de desempeño que se calculan a partir de un determinado conjunto de datos empíricos (Dill y Soo, 2005Dill, D.; Soo, M. (2005). Academic Quality, League Tables, and Public Policy: A crossnational analysis of University Ranking Systems. Higher Education Review, vol. 49 (4), 495-533.). Las clasificaciones del segundo tipo son los que más abundan, debido al hecho de que en Internet circula un gran número de datos concernientes a las variables de desempeño universitario.

Las principales críticas a estos rankings suelen referirse a que tienden a comparar realidades institucionales muy distintas y, sobre todo, porque, excepto algunos indicadores básicos (tamaño de las poblaciones estudiantiles y académicas, recursos financieros de las instituciones, o indicadores de productividad científica), las variables de la calidad docente, o la apreciación de las funciones de difusión y extensión, suelen pasar desapercibidas (Federkeil, 2008Federkeil, G. (2008). Rankings and Quality Assurance in Higher Education. Higher Education in Europe, vol. 33 (2-3), 219-231.; Ishikawa, 2009Ishikawa, M. (2009). University Rankings, Global Models, and Emerging Hegemony: Critical analysis from Japan. Journal of Studies in International Education, vol. 13 (2), 159-173.). Los rankings mundiales que se han utilizado en este estudio son algunos de los más conocidos y analizados en publicaciones internacionales (Aguillo y otros, 2008Aguillo, I.F.; Ortega, J.L.; Fernández, M. (2008). Webometric Ranking of World Universities: Introduction, Methodology, and Future Developments. Higher Education in Europe, vol. 33 (2-3), 233-244.; Dill y Soo, 2005Dill, D.; Soo, M. (2005). Academic Quality, League Tables, and Public Policy: A crossnational analysis of University Ranking Systems. Higher Education Review, vol. 49 (4), 495-533.; Federkeil, 2008Federkeil, G. (2008). Rankings and Quality Assurance in Higher Education. Higher Education in Europe, vol. 33 (2-3), 219-231.; Ishikawa, 2009Ishikawa, M. (2009). University Rankings, Global Models, and Emerging Hegemony: Critical analysis from Japan. Journal of Studies in International Education, vol. 13 (2), 159-173.; Liu y Cheng, 2005Liu, N.C.; Cheng, T. (2005). The Academic Ranking of World Universities. Higher Education in Europe, vol. 30 (2), 127-136.; Ordorika y Rodríguez-Gómez, 2010Ordorika, I.; Rodríguez-Gómez, R. (2010). El ranking Times en el mercado del prestigio universitario. Perfiles Educativos XXXII, vol. 129, 8-29.). Se trata de los siguientes:

Se ha decidido analizar sólo universidades que aparezcan simultáneamente en los tres rankings. En el caso de las universidades extranjeras, otro requisito que se ha considerado es que se encuentren entre las 10 primeras de al menos dos de los rankings. En la tabla IV se muestran las 9 universidades que cumplen este requisito, así como la posición ocupada en cada uno de los rankings.

En el caso de las universidades españolas, se han seleccionado las 7 únicas universidades incluidas simultáneamente en los tres rankings (Tabla V).

  Tabla IV. Universidades extranjeras seleccionadas (orden alfabético)  
 
Universidad ARWU THES Webometrics
California Institute of Techonology (Estados Unidos) 6 1 37
Harvard University (Estados Unidos) 1 2 1
Massachusetts Institute of Technology (Estados Unidos) 4 7 2
Princeton University (Estados Unidos) 7 5 45
Stanford University (Estados Unidos) 3 3 3
University of California, Berkeley (Estados Unidos) 2 10 5
University of Cambridge (Reino Unido) 5 6 24
University of Chicago (Estados Unidos) 9 9 60
University of Oxford (Reino Unido) 10 4 36
 
  Tabla V. Universidades españolas seleccionadas (orden alfabético)  
 
Universidad ARWU THES Webometrics
Universidad Autónoma de Barcelona 301-400 201-225 221
Universidad Autónoma de Madrid 201-300 276-300 469
Universidad de Barcelona 201-300 201-225 252
Universidad de Valencia 201-300 301-350 268
Universidad de Zaragoza 401-500 351-400 253
Universidad Politécnica de Valencia 301-400 351-400 261
Universidad Pompeu Fabra 301-400 186 328
 

 

4. INDICADORES DE ACCESIBILIDAD WEB EVALUADOS Top

Como en los estudios citados en la tabla II, un paso previo a la evaluación de la accesibilidad es la selección de las páginas de cada universidad, cuya accesibilidad se va a analizar. El número de páginas utilizado por cada autor es diferente; por ejemplo, Ribera y otros (2009Ribera, M.; Térmens, M.; Frías, A. (2009). La accesibilidad de las webs de las universidades españolas. Balance 2001-2006. Revista Española de Documentación Científica, vol. 32 (3), 66-88.) utilizaron 2 páginas por universidad; Alexander y Rippon (2007Alexander, D.; Rippon, S. (2007). University website accessibility revisited [en línea]. Australia: Southern Cross University. http://ausweb.scu.edu.au/aw07/papers/refereed/alexander/paper.html [consulta: 17-05-2012].) analizaron 4 de cada universidad, y en el informe de Discapnet (2010Discapnet (2010). Accesibilidad de Portales web Universitarios [en línea]. Madrid: Discapnet. http://www.discapnet.es/Castellano/areastematicas/Accesibilidad/Observatorio_infoaccesibilidad/informesInfoaccesibilidad/Paginas/AccesibilidaddePortalesWebUniversitarios.aspx [consulta: 17-05-2012]) fueron 5 las evaluadas. En nuestro estudio se han seleccionado 3 páginas suficientemente representativas de cada una de las 16 universidades, según el siguiente criterio:

  1. La página principal del sitio web (home) de la universidad. Es la página más importante en cuanto a accesibilidad, porque si no lo es, los usuarios podrían tener problemas incluso para llegar a otras páginas del sitio.

  2. Una página que contenga formularios y que sea habitual su visita por los usuarios para hacer gestiones, dado que entre los requisitos de accesibilidad web a evaluar, hay algunos asociados a los formularios en los que los usuarios deben introducir datos o interactuar con el sistema, porque si no se ha diseñado adecuadamente puede presentar problemas de accesibilidad.

  3. Una página que contenga tablas. Por la misma razón que el caso anterior, porque existen requisitos específicos de accesibilidad para este componente de las páginas web, cuyo uso es muy habitual para presentar información.

De este modo, al analizar tres páginas de cada una de las universidades se pueden obtener unos resultados más equilibrados que si únicamente analizásemos la página principal, y existe una gran probabilidad de que entre las tres incluyan la mayoría de componentes problemáticos frente a la accesibilidad. Es evidente que un estudio exhaustivo de todas las páginas de la universidad conduciría a unos resultados más precisos, pero también es un realidad que la mayoría de las páginas de un sitio web siguen un patrón de diseño similar.

Una vez seleccionada la muestra de páginas a analizar, el siguiente paso es la definición de la métrica que se evaluará para determinar el grado de accesibilidad del conjunto de páginas de cada universidad. Normalmente dicha métrica se calcula a partir de indicadores derivados de los requisitos establecidos en estándares, como es el caso de WCAG. Por ejemplo, en los informes de Discapnet, incluido el de universidades de España (Discapnet, 2010Discapnet (2010). Accesibilidad de Portales web Universitarios [en línea]. Madrid: Discapnet. http://www.discapnet.es/Castellano/areastematicas/Accesibilidad/Observatorio_infoaccesibilidad/informesInfoaccesibilidad/Paginas/AccesibilidaddePortalesWebUniversitarios.aspx [consulta: 17-05-2012]) se han utilizado 12 indicadores, que coincidían con los criterios de éxito de WCAG 1.0. Por su parte, Ribera y otros, (2009Ribera, M.; Térmens, M.; Frías, A. (2009). La accesibilidad de las webs de las universidades españolas. Balance 2001-2006. Revista Española de Documentación Científica, vol. 32 (3), 66-88.), además de los indicadores WCAG 1.0 utilizaron los añadidos en la legislación de Estados Unidos (GSA, 2010GSA (2010). Section 508 Standards Guide [en línea]. Estados Unidos: General Services Administration. http://www.section508.gov/docs/Section%20508%20Standards%20Guide.pdf [consulta: 17-05-2012]) y otros 5 nuevos definidos por los autores del estudio. En el estudio de Hill (2010Hill, C.M. (2010). Access to Information for Students with Disabilities; An Evaluation of the 2010 U.S. News and World Report’s Ranking of the Nation’s Best Colleges and Universities. UIW McNair Scholars Research Journal, vol. 11, 100-115.) se utilizaron 7 indicadores específicos para la información en la web de las universidades, pero sin considerar WCAG en su definición. En el análisis de la accesibilidad web de universidades norteamericanas realizadas por Thompson y otros (2010Thompson, T.; Burgstahler, S.; Moore, E.J. (2010). Web accessibility: A longitudinal study of college and university home pages in the northwestern United States. Disability and Rehabilitation: Assistive Technology, vol. 5 (2), 108-114.) se definieron 8 indicadores. En general se trata de indicadores derivados de WCAG 1.0. En nuestro caso, como han hecho otros autores (Hernández y Amado-Salvatierra, 2012Hernández, R.; Amado-Salvatierra, H.R. (2012). Evaluación de la accesibilidad de portales web en instituciones educativas en el área de Centroamérica. En Calidad y Accesibilidad de la Formación Virtual. Alcalá de Henares: Universidad de Alcalá, 74-80.,; Karhu y otros, 2012Karhu, M.; Hilera, J.R.; Fernández, L.; Rios, R. (2012). Accessibility and readability of university websites in Finland. En Calidad y Accesibilidad de la Formación Virtual. Alcalá de Henares: Universidad de Alcalá, 151-158.), para realizar la evaluación de cada una de las páginas de la muestra, se ha tomado como marco de referencia las Pautas WCAG 2.0, sintetizadas en una serie de verificaciones técnicas de aquellos aspectos más relevantes y con mayor incidencia. Basándose en el estudio realizado por el INTECO (2008INTECO (2008). Estudio-Diagnóstico de accesibilidad y calidad web en la pyme española [en línea]. Madrid: Instituto Nacional de Tecnologías de la Comunicación. http://www.inteco.es/Accesibilidad/estudios_de_accesibilidad/accesibilidad_publicaciones/accesibilidad_estudios_e_informes/estudio_accesibilidad_pyme [consulta: 17-05-2012]), estas verificaciones se reúnen en un conjunto de catorce indicadores referidos a las recomendaciones WCAG.

Estos indicadores han sido seleccionados debido a que reflejan la mayoría de las WCAG 2.0 correspondientes a los tres niveles posibles (A, AA y AAA). Los indicadores están formados a su vez por una serie de comprobaciones que analizan diferentes aspectos del indicador. Se considera que estos criterios son capaces de proporcionar una idea general bastante ajustada de la accesibilidad de un sitio web.

Los indicadores que se han tenido en cuenta para realizar el análisis, son los que se describen a continuación:

  1. Documentos web válidos: La validación de los documentos frente a las gramáticas formales declaradas en los mismos permite asegurar la compatibilidad entre los distintos agentes de usuario utilizados para acceder al contenido, al tiempo que facilitan una presentación uniforme.

  2. Imágenes: Las imágenes deben disponer de una descripción textual alternativa que asegure la comprensión del documento cuando éstas no se muestran, o cuando no se pueden visualizar. Se tienen en cuenta las siguientes alternativas:

  3. Encabezados: Debe existir una estructura de encabezados que refleje adecuadamente la estructura lógica de los documentos, de forma que faciliten la lectura, comprensión y navegación no visual de los mismos.

  4. Enlaces: Como elemento fundamental en la estructura e interacción con un sitio web, la correcta utilización de los enlaces resulta fundamental para garantizar el uso completo y satisfactorio de un sitio web, así como para conocer el objetivo y propósito de los mismos, teniendo en cuenta:

  5. Contraste y uso semántico de los colores:

  6. Presentación: La separación de los aspectos referentes a presentación y contenido ha de permitir la comprensión del documento incluso cuando se prescinde totalmente de la información visual. En este aspecto se tienen en cuenta las siguientes comprobaciones:

  7. Tamaño del texto: El texto debe estar definido en unidades relativas de forma que se permita su redimensionado para facilitar su legibilidad, adaptándose a las necesidades de las personas que acceden a él.

  8. Formularios: Los elementos de formulario para la introducción de datos han de usarse correctamente, de forma que permitan una interacción adecuada con las ayudas técnicas y usuarios.

  9. Tablas de datos: Estos elementos han de utilizarse de forma correcta para identificar datos tabulares y relacionados. No deben utilizarse para organizar la presentación y maquetación de los contenidos.

  10. Accesibilidad a través de teclado: Los componentes de la interfaz de usuario y la navegación deben ser operables, por lo que es necesario hacer que toda la funcionalidad de la página esté disponible a través del teclado.

  11. Destellos: La intención de este criterio de cumplimiento es permitir a los usuarios un acceso completo al sitio sin inducirle convulsiones a causa de la fotosensibilidad. Los usuarios que sufren de desórdenes convulsivos por fotosensibilidad pueden sufrir ataques debido al contenido que destella varias veces con cierta frecuencia. Algunas personas son aún más sensibles a los destellos rojos que a otros colores, por lo tanto se proporciona una prueba especial para los destellos con rojo saturado.

  12. Navegable: Es necesario crear páginas web que proporcionen medios que sirvan de ayuda a los usuarios a la hora de navegar.

  13. Comprensible: Identificar correctamente el idioma y los cambios de idioma en una página facilita la comprensión del contenido a los usuarios que utilizan lectores de pantalla o programas de síntesis de voz, ya que éstos detectarán el idioma y verbalizarán correctamente el contenido.

  14. Tiempo suficiente: Debe darse a los usuarios el tiempo suficiente para leer y usar un contenido. Estos criterios ayudan a que los usuarios pueden completar una tarea sin cambios inesperados en el contenido, que sean resultados de un límite de tiempo o de una información cambiante.

Para evaluar cada uno de estos puntos hemos tenido en cuenta uno o varios criterios de éxito de las WCAG 2.0. En la tabla VI se muestran cada uno de los puntos que hemos verificado, con sus criterios de éxito y prioridades correspondientes (W3C, 2008W3C (2008). Web Content Accessibility Guidelines (WCAG) 2.0 [en línea]: World Wide Web Consortium. http://www.w3.org/TR/WCAG/ [consulta: 17-05-2012]).

Basándose en el estudio realizado por INTECO (2008INTECO (2008). Estudio-Diagnóstico de accesibilidad y calidad web en la pyme española [en línea]. Madrid: Instituto Nacional de Tecnologías de la Comunicación. http://www.inteco.es/Accesibilidad/estudios_de_accesibilidad/accesibilidad_publicaciones/accesibilidad_estudios_e_informes/estudio_accesibilidad_pyme [consulta: 17-05-2012]), las comprobaciones se evalúan en base a los valores “Bien“, “Mal“, “Pocos fallos” y “No aplicable (NA)”:

El número total de indicadores que se han evaluado es:

Total de Nº indicadores = Nº indicadores evaluados x Nº páginas evaluadas

Siendo el Número de indicadores evaluados igual a 14 (los indicadores descritos en este mismo apartado) y el Número de páginas evaluadas igual a 3. Por lo tanto, el total de indicadores tenidos en cuenta en la evaluación de cada universidad es de 42.

De este número es necesario eliminar los indicadores no aplicables (NA). Para cada una de las páginas este número tomará un valor distinto. Una vez que hemos hallado el dato anterior, el porcentaje de éxito de la página se calculará de la siguiente forma:

Porcentaje de éxito = 100% x Bien + 50% x Pocos fallos / Total indicadores aplicables

Siendo Bien los indicadores que cumplen los requisitos establecidos por los criterios de éxito de WCAG 2.0, Pocos_fallos los de incumplimiento mínimo, y Total_indicadores_aplicables el valor calculado anteriormente (42 - NA). En el caso de que se cumpliesen el total de indicadores, entonces el porcentaje de éxito de la página sería del 100%.

  Tabla VI. Criterios de éxito WCAG 2.0 a verificar para cada indicador de accesibilidad  
 
Indicador de accesibilidad a verificar Criterios de éxito WCAG 2.0
Prioridad 1
Criterios de éxito WCAG 2.0
Prioridad 2
Criterios de éxito WCAG 2.0
Prioridad 3
1. Validación de las tecnologías W3C 4.1.1
2. Imágenes 1.1.1 1.4.5 1.4.9
3. Encabezados 1.3.1, 2.4.1 2.4.6 2.4.10
4. Enlaces 2.4.4 2.4.9, 3.2.5
5. Contraste y uso semántico de los colores 1.3.3, 1.4.1, 1.4.3 1.4.6
6. Presentación visual 1.3.1 1.4.8
7. Tamaño del texto 1.4.4
8. Formularios 1.1.1, 1.3.1, 3.3.1, 3.3.2 3.3.3 3.3.5
9. Tablas de datos 1.3.1
10. Accesible a través de teclado 2.1.1, 2.1.2 2.1.3
11. Destellos 2.3.1 2.3.2
12. Navegable 2.4.1, 2.4.2 2.4.5, 2.4.7 2.4.8
13. Comprensible 3.1.1 3.1.2
14. Tiempo suficiente 2.2.1, 2.2.2
 

 

5. HERRAMIENTAS UTILIZADAS PARA LA EVALUACIóN Top

En la actualidad existen herramientas disponibles para la evaluación y comprobación de la accesibilidad de una página web, que permiten automatizar el proceso de evaluación de la accesibilidad de la página, valorando su nivel de conformidad de acuerdo a las pautas WCAG 2.0. Sin embargo, la evaluación de la accesibilidad web requiere también la revisión mediante pruebas manuales, ya que las validaciones automáticas no permiten comprobar el total cumplimiento de los sitios web. Sólo así es posible verificar el cumplimiento de ciertos indicadores como la adecuación de los textos alternativos en las imágenes o la comprensibilidad del texto de los enlaces, entre otros. Por este motivo, el proceso de evaluación de la accesibilidad web seguido ha constado de dos fases:

  1. En primer lugar, se ha realizado un análisis automático para detectar algunos problemas de accesibilidad. Las herramientas utilizadas no emplean ningún método de inteligencia artificial y sus resultados se obtienen de forma mecánica, por lo que son simplemente una ayuda y no son suficientes para asegurar que un sitio web es 100% accesible. Se han utilizado las herramientas de análisis automático indicadas en la tabla VII, disponibles en las direcciones URL indicadas.

  2. Como complemento, se ha realizado una evaluación manual para identificar todos aquellos problemas que no pueden ser comprobados en la primera fase, y se han revisado aquellos puntos dudosos que requieren de pruebas adicionales para su comprobación completa. Esta evaluación también se basa en la utilización de herramientas que simulan el entorno real en el que se va a realizar la utilización accesible de los contenidos de las páginas web.

  Tabla VII. Herramientas de análisis automático utilizadas  
 
Herramienta Tipo URL
Validador (X) HTML de W3C Validación de gramática http://validator.w3.org/
Validador de CSS de W3C Validación de gramática http://jigsaw.w3.org/css-validator/
TAW Evaluación de accesibilidad web http://www.tawdis.net/
Web Developer Toolbar Evaluación de accesibilidad web https://addons.mozilla.org/en-US/firefox/addon/web-developer/
Web Accessibility Toolbar Evaluación de accesibilidad web http://www.visionaustralia.org.au/info.aspx?page=614
WCAG Contrast Checker Evaluación de color y contraste https://addons.mozilla.org/en-US/firefox/addon/wcag-contrast-checker/
Colour Contrast Analyser Evaluación de color y contraste http://www.visionaustralia.org.au/info.aspx?page=628
PEAT Detección de epilepsia http://trace.wisc.edu/peat/
Flesh Evaluación de legibilidad http://flesh.sourceforge.net
Inflesz Evaluación de legibilidad http://www.legibilidad.com
 

 

6. RESULTADOS OBTENIDOS Top

Como se indicó en el apartado 3, se ha realizado la evaluación de la accesibilidad de 16 sitios web pertenecientes a universidades de todo el mundo incluidas simultáneamente en los rankings ARWU, THES y Webometrics. Se han seleccionado 9 universidades extranjeras y 7 españolas. En este apartado se describen las principales barreras de accesibilidad detectadas en el análisis de los portales web, en relación a las pautas WCAG 2.0.

6.1. Resultados por sitio web

La tabla VIII sintetiza los resultados porcentuales obtenidos en el análisis de accesibilidad para la muestra de 16 portales universitarios, en cuanto a indicadores cumplidos (columna “Bien”), no cumplidos (columna “Mal”), indicadores con pocos fallos, no aplicados (NA) y porcentaje de éxito, ordenados de mayor a menor. Cada uno de estos posibles valores se explicó en el apartado 4. Como se puede observar, la más destacada en el cumplimiento de criterios de accesibilidad es el portal de la Universidad de Cambridge (55,41%), y la que obtiene un menor porcentaje de éxito es la Universidad Politécnica de Valencia (16,67%). En la tabla VIII aparecen sombreadas las universidades españolas para que se distingan de las extranjeras.

Considerado diferentes márgenes en el porcentaje de éxito, según el grado de cumplimiento de los criterios de accesibilidad, podríamos establecer, de forma similar a como hacen otros autores (Discapnet, 2010bDiscapnet (2010). Accesibilidad de Portales web Universitarios [en línea]. Madrid: Discapnet. http://www.discapnet.es/Castellano/areastematicas/Accesibilidad/Observatorio_infoaccesibilidad/informesInfoaccesibilidad/Paginas/AccesibilidaddePortalesWebUniversitarios.aspx [consulta: 17-05-2012]), los siguientes niveles o categorías:

a) Nivel de accesibilidad ALTO: Sitios web con un nivel de éxito de los requisitos de accesibilidad analizados entre 100% y 70%. Ninguna de las universidades analizadas se ha acercado a este rango de porcentajes.

b) Nivel de accesibilidad MODERADO: Sitios web con un nivel de éxito de los requisitos de accesibilidad analizados entre 70% y 50%. El nivel de cumplimiento no es tan notable como en el caso anterior, aunque se considera moderado. En esta categoría se encontrarían sólo dos de las universidades extranjeras (Cambridge y Oxford) y ninguna de las españolas.

c) Nivel de accesibilidad DEFICIENTE: Sitios web con un nivel de éxito de los requisitos de accesibilidad analizados entre 50% y 25%. Estos sitios web se caracterizan por tener un nivel de accesibilidad bajo, con bastantes dificultades y barreras de acceso a los contenidos para las personas con diversidad funcional. Como se puede ver en la tabla VIII, la mayoría de los sitios web analizados se encuentran en este rango de porcentajes, viéndose el bajo cumplimiento de los criterios analizados.

d) Nivel de accesibilidad MUY DEFICIENTE: Sitios web con un nivel de éxito de los requisitos de accesibilidad analizados inferior al 25%. La única universidad incluida en esta categoría es la Universidad Politécnica de Valencia, que ha obtenido un porcentaje de éxito del 16,67%.

Los datos expuestos son los correspondientes a la muestra de 3 páginas seleccionadas en cada universidad. Puede ser interesante analizar también los datos de accesibilidad únicamente de la página principal de cada institución, ya que es la primera que visita un usuario, y si presenta serios problemas de accesibilidad puede condicionar la navegación por el resto de páginas del sitio web de la universidad. Por esta razón, en la tabla IX se muestran los resultados de la evaluación considerando sólo la página principal. En este caso las universidades con mejor y peor porcentaje de éxito siguen siendo las mismas que en el caso anterior, si bien la universidad de Cambridge aumenta considerablemente su porcentaje, alcanzando el nivel de alta accesibilidad para su página principal.

  Tabla VIII. Resultados del análisis realizado a cada uno de los portales evaluando 3 páginas webs  
 
Portal Bien Mal Pocos fallos NA Porcentaje de éxito
University of Cambridge (Reino Unido) 20 16 1 5 55,41 %
University of Oxford (Reino Unido) 18 17 2 5 51,35 %
University of Chicago (Estados Unidos) 16 19 2 5 45,95 %
Harvard University (Estados Unidos) 15 19 2 6 44,44 %
Universidad de Barcelona (España) 16 22 1 3 42,31 %
Massachusetts Institute of Technology (Estados Unidos) 15 21 1 5 41,89 %
Princeton University (Estados Unidos) 14 20 3 5 41,89 %
Stanford University (Estados Unidos) 14 22 1 5 39,19 %
California Institute of Techonology (Estados Unidos) 13 21 2 6 38,89 %
University of California, Berkeley (Estados Unidos) 12 23 1 6 34,72 %
Universidad de Autónoma de Barcelona (España) 12 26 2 2 32,5 %
Universidad Autónoma de Madrid (España) 12 25 0 5 32,43 %
Universidad de Zaragoza (España) 11 24 0 7 31,43 %
Universidad Pompeu Fabra (España) 10 26 2 4 28,95 %
Universidad de Valencia (España) 9 24 2 7 28,57 %
Universidad Politécnica de Valencia 6 30 0 6 16,67 %
 
  Tabla IX. Resultados del análisis realizado a cada uno de los portales evaluando sólo la página web principal (home)  
 
Página principal (home) Bien Mal Pocos fallos NA Porcentaje de éxito
University of Cambridge (Reino Unido) 8 3 1 2 70,83%
Stanford University (Estados Unidos) 7 5 0 2 58,33%
Universidad Autónoma de Madrid (España) 6 6 0 2 58,33%
University of Oxford (Reino Unido) 6 5 1 2 54,17%
University of Chicago (Estados Unidos) 6 6 0 2 50%
Harvard University (Estados Unidos) 5 5 1 3 50%
Massachusetts Institute of Technology (Estados Unidos) 4 7 1 2 41,67%
Princeton University (Estados Unidos) 4 7 1 2 41,67%
University of California, Berkeley (Estados Unidos) 4 7 1 2 37,50%
Universidad de Barcelona (España) 4 9 0 1 30,77%
California Institute of Techonology (Estados Unidos) 3 8 1 2 29,17%
Universidad de Zaragoza (España) 3 8 0 3 27,27%
Universidad de Valencia (España) 3 8 0 3 27,27%
Universidad Pompeu Fabra (España) 3 9 0 2 3 9 0 2 25%
Universidad de Autónoma de Barcelona (España) 2 10 1 1 19,23%
Universidad Politécnica de Valencia 2 10 0 2 16,67%
 

6.2. Resultados por indicador de accesibilidad

En la tabla X se muestran los resultados que se obtuvieron a partir de cada uno de los indicadores analizados. Se puede ver cuántas veces son aplicados en las páginas cada uno de los indicadores (columna “Aplica”) y en cuántos casos han sido aplicados bien, mal o con pocos fallos.

Como se puede ver en la tabla X, el indicador que consigue el mayor grado de cumplimiento es el referente a los destellos, aunque éste únicamente está presente en 6 de las muestras analizadas. Siendo el más bajo el contraste y uso semántico, requisito que no es satisfecho por ninguna de las páginas analizadas.

  Tabla X. Resultados obtenidos del análisis clasificados por indicador verificado  
 
Indicador de accesibilidad Aplica Bien Mal Pocos fallos Porcentaje de éxito
Destellos 6 6 0 0 100%
Tiempo suficiente 48 46 2 0 95,83%
Accesibilidad a través de teclado 48 29 19 0 60,42%
Encabezados 48 26 21 1 55,21%
Comprensible 48 22 26 0 45,83%
Enlaces 48 20 24 4 45,83%
Imágenes 48 12 22 14 39,58%
Navegable 48 16 31 1 34,37%
Formularios 37 9 26 2 27,03%
Tamaño del texto 48 10 38 0 20,83%
Tablas 20 4 16 0 20,00%
Documentos válidos 47 7 40 0 14,89%
Presentación 48 6 42 0 12,50%
Contraste y uso semántico 48 0 48 0 0%
 

 

7. ANÁLISIS DE LOS RESULTADOS Top

A partir del análisis de los datos que se han expuesto en el apartado anterior, se pueden extraer algunas conclusiones de carácter general, como las siguientes:

Si tenemos en cuenta sólo la página principal de cada universidad, podemos comprobar en la tabla IX que la mitad de las universidades mejora o mantiene su accesibilidad, mientras que la otra mitad lo reduce considerablemente. Esto es especialmente importante, ya que se se trata de la puerta de entrada del usuario al sitio web de la universidad.

En cuanto al porcentaje de cumplimiento general de cada uno de los indicadores de accesibilidad, por el conjunto global de las 16 universidades, los datos fundamentales que se puedan destacar son los siguientes:

 

8. CONCLUSIONES Top

La Web se creó como una red universal de conocimiento que ha supuesto un gran avance en cuanto a la adquisición de información. Partiendo de la idea de que hoy en día, debido a diferentes motivos, existen grandes barreras en la web para un amplio número de ciudadanos, se ha realizado un estudio en profundidad en las páginas de universidades importantes. A partir de los resultados obtenidos, se ha llegado a la conclusión de que la mayoría de los sitios analizados no llegan a un nivel de cumplimiento aceptable. A pesar de ser todas ellas instituciones incluidas en tres importantes rankings universitarios, únicamente dos de las universidades analizadas, lo que representa un 12,5% de la muestra, consigue un nivel de accesibilidad moderado. Estas barreras pueden dificultar o impedir el acceso a los contenidos a personas que puedan tener alguna limitación física o sensorial.

Estos resultados no difieren en gran medida con los obtenidos en otros estudios similares, como por ejemplo el publicado por Discapnet (2010Discapnet (2010). Accesibilidad de Portales web Universitarios [en línea]. Madrid: Discapnet. http://www.discapnet.es/Castellano/areastematicas/Accesibilidad/Observatorio_infoaccesibilidad/informesInfoaccesibilidad/Paginas/AccesibilidaddePortalesWebUniversitarios.aspx [consulta: 17-05-2012]), en el que se analiza la accesibilidad web de 16 portales universitarios españoles: 14 universidades, el portal del Ministerio de Educación, y el portal de la Conferencia de Rectores (CRUE). Sólo 2 de las universidades analizadas en este artículo también estaban incluidas en el estudio de Discapnet, la Universidad de Barcelona y Universidad de Valencia. Aunque los resultados obtenidos en ambos casos no han sido los mismos, debido a que los criterios de evaluación han sido diferentes. En el caso de la Universidad de Barcelona, según el método de Discapnet, el porcentaje de éxito de cumplimiento de criterios de accesibilidad WCAG 1.0 en 2010 era del 54,29% (en nuestro caso, aplicando WCAG 2.0 se ha obtenido un 42,31%). La Universidad de Valencia obtuvo un 24,40%, muy parecido al 28,57% de nuestro estudio.

Otro estudio de accesibilidad web de todas las universidades españolas fue el realizado por Ribera y otros (2009Ribera, M.; Térmens, M.; Frías, A. (2009). La accesibilidad de las webs de las universidades españolas. Balance 2001-2006. Revista Española de Documentación Científica, vol. 32 (3), 66-88.). En dicho trabajo se evaluaba el porcentaje de cumplimiento de los indicadores WCAG 1.0 por la página principal de cada universidad en 2006. Aunque en nuestro estudio también se ha incluido dicha página, no es posible hacer una comparación entre ambos, por basarse en criterios diferentes. Aunque sí se puede asegurar, a la vista de las cifras de dicho trabajo, que al menos las dos universidades españolas con página principal mejor posicionadas en nuestro estudio (Universidad Autónoma de Madrid y Universidad de Barcelona), han mejorado su nivel de accesibilidad desde el año 2006.

En cuanto a otros estudios internacionales de accesibilidad web en los que hayan estado implicadas algunas de las universidades extranjeras citadas en este artículo, de la información disponible, sólo en el de Hill (2010Hill, C.M. (2010). Access to Information for Students with Disabilities; An Evaluation of the 2010 U.S. News and World Report’s Ranking of the Nation’s Best Colleges and Universities. UIW McNair Scholars Research Journal, vol. 11, 100-115.) se incluyó la Universidad de Harvard, con un porcentaje de cumplimiento de los indicadores de accesibilidad de un 43%, muy parecido al obtenido en nuestro estudio (44%), a pesar de utilizar diferentes indicadores.

El trabajo presentado en este articulo tiene la novedad de incluir universidades españolas y extranjeras, por lo que merece la pena comentar brevemente alguna conclusión derivada de la comparación de los resultados obtenidos por ambos grupos. A nivel de sitio web, considerando la muestra de tres páginas relevantes por universidad, todas las webs españolas tienen una accesibilidad menor que las extranjeras, excepto en el caso de la Universidad de Barcelona, que tiene un nivel de accesibilidad por encima de 5 de las 9 universidades extranjeras analizadas, sólo por detrás de Cambridge, Oxford, Chicago y Harvard; y por delante de universidades tan importantes como Massachusetts, Princeton, Stanford, California y Berkeley.

Si tenemos en cuenta sólo la página principal de las universidades, entonces la Universidad Autónoma de Madrid sería la mejor posicionada, solo por detrás de las universidades de Cambridge y Stanford. Y la Universidad de Barcelona sólo superaría en este caso a la de California. El resto de universidades españolas estaría por detrás de las extranjeras en nivel de accesibilidad de su página web principal. Después de analizar la cifras, se puede afirmar que aunque en general las universidades españolas incluidas simultáneamente en los rankings internacionales ARWU, THES o Webometrics, tienen páginas web menos accesibles que las mejores posicionadas en los rankings, algunas de ellas tienen un nivel de accesibilidad similar o incluso superior.

Para concluir, es conveniente aclarar respecto a la accesibilidad web que, aunque es habitual que se piense que la accesibilidad es algo que atañe únicamente a personas discapacitadas, se trata de una idea equivocada, ya que cualquier persona puede tener dificultades de acceso a la Web en un momento determinado, por ejemplo, debido a una conexión de Internet lenta, a dificultades para entender el idioma o a la fractura de una extremidad superior. En definitiva, conseguir sitios web accesibles, además de ser un imperativo legal en algunos países, es muy conveniente porque es algo que beneficia a todos los usuarios.

En nuestra opinión, debido a que el acceso a las tecnologías de la información es determinante en la sociedad en la que vivimos, los diseñadores de páginas web deberían plantearse crear sus sitios adaptándose a las normas de accesibilidad, como WCAG, olvidando prejuicios tales como la creencia de que crear páginas accesibles supone una mayor dificultad o inversión. Se trata de conseguir que todas las personas puedan acceder a ellas, ya que la falta de acceso a este tipo de tecnologías genera desigualdades y discriminación en nuestra sociedad. Pero como afirma Terrill Thompson (Thompson y otros, 2010Thompson, T.; Burgstahler, S.; Moore, E.J. (2010). Web accessibility: A longitudinal study of college and university home pages in the northwestern United States. Disability and Rehabilitation: Assistive Technology, vol. 5 (2), 108-114.), en referencia a la accesibilidad web de las universidades norteamericanas, pero que se puede aplicar también tanto a las españolas como a las de otros países, “la realidad es que todavía queda un largo camino por recorrer”.

 

9. AGRADECIMIENTOSTop

El trabajo ha sido realizado con el apoyo de la Comisión Europea a través del proyecto ESVI-AL del programa ALFA III.

 

10. BIBLIOGRAFÍATop

AENOR (2004). UNE 139803:2004. Requisitos de accesibilidad para contenidos en la web. Madrid: Asociación Española de Normalización y Certificación.
AENOR (2009). UNE 139802:2009. Requisitos de accesibilidad al ordenador: Software. Madrid: Asociación Española de Normalización y Certificación.
AENOR (2012). UNE 139803:2012. Requisitos de accesibilidad para contenidos en la web. Madrid: Asociación Española de Normalización y Certificación.
Aguillo, I.F.; Ortega, J.L.; Fernández, M. (2008). Webometric Ranking of World Universities: Introduction, Methodology, and Future Developments. Higher Education in Europe, vol. 33 (2-3), 233-244.
Alexander, D.; Rippon, S. (2007). University website accessibility revisited [en línea]. Australia: Southern Cross University. Australia: Southern Cross University. http://ausweb.scu.edu.au/aw07/papers/refereed/alexander/paper.html [consulta: 17-05-2012].
BOE (2003). Ley 51/2003, de 2 de diciembre, de igualdad de oportunidades, no discriminación y accesibilidad universal de las personas con discapacidad (BOE número 289 de 3/12/2003, páginas 43187 a 43195).
BOE (2007a). Real Decreto 1494/2007, de 12 de noviembre (Ministerio de la Presidencia), por el que se aprueba el Reglamento sobre las condiciones básicas para el acceso de las personas con discapacidad a las tecnologías, productos y servicios relacionados con la sociedad de la información y medios de comunicación social (BOE de 21/11/2007, páginas 47567 a 47572).
BOE (2007b). Ley 49/2007, de 26 de diciembre, por la que se establece el régimen de infracciones y sanciones en materia de igualdad de oportunidades, no discriminación y accesibilidad universal de las personas con discapacidad (BOE número 310 de 27/12/2007, páginas 53278 a 53284).
BOE (2007c). Ley 56/2007, de 28 de diciembre, de Medidas de Impulso de la Sociedad de la Información (BOE número 312 de 29/12/2007, páginas 53701 a 53719).
Brajnik, G. (2008). A Comparative Test of Web Accessibility Evaluation Methods. Proceedings of the 10th International ACM SIGACCESS Conference on Computers and Accessibility. Nueva York: ACM. pp. 113-120.
Brajnik, G. (2009). Validity and reliability of web accessibility guidelines. Proceedings of the 11th International ACM SIGACCESS Conference on Computers and Accessibility. Nueva York: ACM. pp. 131-138
BSI (2010). BS 8878: 2010 Web accessibility code of practice. Londres: British Standards Institution.
Caballero-Cortés, L.; Faba-Pérez, C.; Moya-Anegón, F. (2009). Evaluación comparativa de la accesibilidad de los espacios web de las bibliotecas universitarias españolas y norteamericanas. Investigación Bibliotecológica: archivonomía, bibliotecología e información, vol. 47 (23), 45-66.
CEN (2006). CWA 15554: Specifications for a Web Accessibility Conformity Assessment Scheme and a Web Accessibility Quality Mark: European Committee for Standardization.
CERMI (2010). Observatorio de Accesibilidad de las Páginas de Internet de las principales empresas españolas. 2ª entrega 2010 [en línea]. Madrid: Comité Español de Representantes de Personas con Discapacidad. http://www.discapnet.es/Castellano/areastematicas/Accesibilidad/Observatorio_infoaccesibilidad/Otros_Informes/Documents/CERMI-ObservatorioWebEsp-Parte2_30042010.pdf [consulta: 17-05-2012]
Comisión Europea (2008). Assessment of the Status of eAccessibility in Europe [en línea]. Bruselas: Europe’s Information Society Thematic Portal. http://ec.europa.eu/information_society/activities/einclusion/library/studies/meac_study/index_en.htm [consulta: 17-05-2012]
Comisión Europea (2009a). Accessibility of European Commission Websites - Analysis of current status and recommendations for improvement [en línea]. Bruselas: Europe’s Information Society Thematic Portal. http://ec.europa.eu/information_society/activities/einclusion/policy/accessibility/web_access/commission_web_accessibility/index_en.htm [consulta: 17-05-2012]
Comisión Europea (2009b). Study report: Web accessibility in European countries: level of compliance with latest international accessibility specifications, notably WCAG 2.0, and approaches or plans to implement those specifications [en línea]. Bruselas: Europe’s Information Society Thematic Portal. http://ec.europa.eu/information_society/activities/einclusion/library/studies/web_access_compliance/index_en.htm [consulta: 17-05-2012]
Córdova, M.A. (2012). Estudio comparativo de accesibilidad web en portales informativos de universidades peruanas de educación a distancia. Calidad y Accesibilidad de la Formación Virtual, 63-73. Alcalá de Henares: Universidad de Alcalá.
Dill, D.; Soo, M. (2005). Academic Quality, League Tables, and Public Policy: A crossnational analysis of University Ranking Systems. Higher Education Review, vol. 49 (4), 495-533.
Discapnet (2009a). Accesibilidad web en los portales de los Ministerios [en línea]. Madrid: Discapnet. http://www.discapnet.es/Castellano/areastematicas/Accesibilidad/Observatorio_infoaccesibilidad/informesInfoaccesibilidad/Paginas/AccesibilidaddePortalesWebUniversitarios.aspx [consulta: 17-05-2012]
Discapnet (2009b). Accesibilidad en los portales web de Servicios y Plataformas de eLearning [en línea]. Madrid: Discapnet. http://www.discapnet.es/Castellano/areastematicas/Accesibilidad/Observatorio_infoaccesibilidad/informesInfoaccesibilidad/Paginas/AccesibilidadenlosportalesWebdeServiciosyPlataformasdeeLearning.aspx [consulta: 17-05-2012]
Discapnet (2010). Accesibilidad de Portales web Universitarios [en línea]. Madrid: Discapnet. http://www.discapnet.es/Castellano/areastematicas/Accesibilidad/Observatorio_infoaccesibilidad/informesInfoaccesibilidad/Paginas/AccesibilidaddePortalesWebUniversitarios.aspx [consulta: 17-05-2012]
Discapnet (2011). Accesibilidad de Plataformas de Redes Sociales [en línea]. Madrid: Discapnet. http://www.discapnet.es/Castellano/areastematicas/Accesibilidad/Observatorio_infoaccesibilidad/informesInfoaccesibilidad/Paginas/AccesibilidaddePlataformasdeRedesSociales.aspx [consulta: 17-05-2012]
Federkeil, G. (2008). Rankings and Quality Assurance in Higher Education. Higher Education in Europe, vol. 33 (2-3), 219-231.
GSA (2010). Section 508 Standards Guide [en línea]. Estados Unidos: General Services Administration. http://www.section508.gov/docs/Section%20508%20Standards%20Guide.pdf [consulta: 17-05-2012]
Hernández, R.; Amado-Salvatierra, H.R. (2012). Evaluación de la accesibilidad de portales web en instituciones educativas en el área de Centroamérica. En Calidad y Accesibilidad de la Formación Virtual. Alcalá de Henares: Universidad de Alcalá, 74-80.
Hill, C.M. (2010). Access to Information for Students with Disabilities; An Evaluation of the 2010 U.S. News and World Report’s Ranking of the Nation’s Best Colleges and Universities. UIW McNair Scholars Research Journal, vol. 11, 100-115.
INTECO (2008). Estudio-Diagnóstico de accesibilidad y calidad web en la pyme española [en línea]. Madrid: Instituto Nacional de Tecnologías de la Comunicación. http://www.inteco.es/Accesibilidad/estudios_de_accesibilidad/accesibilidad_publicaciones/accesibilidad_estudios_e_informes/estudio_accesibilidad_pyme [consulta: 17-05-2012]
INTECO (2009). Informe sobre la accesibilidad de los sistemas de mensajería instantánea [en línea]. Madrid: Instituto Nacional de Tecnologías de la Comunicación. http://www.inteco.es/Accesibilidad/estudios_de_accesibilidad/accesibilidad_publicaciones/accesibilidad_estudios_e_informes/informe_im [consulta: 17-05-2012]
Ishikawa, M. (2009). University Rankings, Global Models, and Emerging Hegemony: Critical analysis from Japan. Journal of Studies in International Education, vol. 13 (2), 159-173.
ISO (2008a). ISO 9241-151 Ergonomics of human-system interaction -- Part 151: Guidance on World Wide Web user interfaces. Ginebra: International Organization for Standardization.
ISO (2008b). ISO 9241-171 Ergonomics of human-system interaction -- Part 171: Guidance on software accessibility. Ginebra: International Organization for Standardization.
ISO (2009). ISO/IEC TR 29138: Information technology - Accessibility considerations for people with disabilities. Ginebra: International Organization for Standardization.
ISO (2010). ISO 9241-210 Ergonomics of human-system interaction -- Part 210: Human-centred design for interactive systems. Ginebra: International Organization for Standardization.
ISO (2012). ISO/IEC 40500, Information technology -- W3C Web Content Accessibility Guidelines (WCAG) 2.0.. Ginebra: International Organization for Standardization.
Kane, S.K.; Shulman, J.A.; Ladner, R.E. (2007). A Web Accessibility Report Card for Top International University Web Sites. Proceedings of the 2007 international cross-disciplinary conference on Web accessibility, 148-156. Nueva York: ACM.
Karhu, M.; Hilera, J.R.; Fernández, L.; Rios, R. (2012). Accessibility and readability of university websites in Finland. En Calidad y Accesibilidad de la Formación Virtual. Alcalá de Henares: Universidad de Alcalá, 151-158.
Liu, N.C.; Cheng, T. (2005). The Academic Ranking of World Universities. Higher Education in Europe, vol. 30 (2), 127-136.
Ordorika, I.; Rodríguez-Gómez, R. (2010). El ranking Times en el mercado del prestigio universitario. Perfiles Educativos XXXII, vol. 129, 8-29.
Ribera, M.; Térmens, M.; Frías, A. (2009). La accesibilidad de las webs de las universidades españolas. Balance 2001-2006. Revista Española de Documentación Científica, vol. 32 (3), 66-88.
Rodríguez, R. (2006). Rankings universitarios ¿un oscuro objeto de deseo? Segunda parte. Campus Milenio nº 202, 23.
Serrano, E.; Moratilla, A.; Olmeda, I. (2010). Métrica para la evaluación de la accesibilidad en Internet: propuesta y testeo. Revista Española de Documentación Científica, vol. 33 (3), 378-396.
Thompson, T.; Burgstahler, S.; Moore, E.J. (2010). Web accessibility: A longitudinal study of college and university home pages in the northwestern United States. Disability and Rehabilitation: Assistive Technology, vol. 5 (2), 108-114.
W3C (1999). Web Content Accessibility Guidelines (WCAG) 1.0 [en línea]: World Wide Web Consortium. http://www.w3.org/TR/WCAG10/ [consulta: 17-05-2012]
W3C (2008). Web Content Accessibility Guidelines (WCAG) 2.0 [en línea]: World Wide Web Consortium. http://www.w3.org/TR/WCAG/ [consulta: 17-05-2012]
W3C (2011). Accessible Rich Internet Applications (WAI-ARIA) 1.0. W3C Candidate Recommendation [en línea]: World Wide Web Consortium. http://www.w3.org/TR/wai-aria/ [consulta: 17-05-2012]
W3C (2012). Website Accessibility Conformance Evaluation Methodology 1.0. W3C Working Draft [en línea]: World Wide Web Consortium. http://www.w3.org/TR/WCAG-EM/ [consulta: 17-05-2012]