La necesidad de evaluar y competir en todos los ámbitos de la vida cotidiana ha llevado a desarrollar una nueva forma de concebir la educación universitaria (Olssen y Peters, 2005). En este contexto han aparecido numerosos rankings de universidades que generan polémica y debate, a veces apasionados, cada vez que se publican. Las clasificaciones académicas han proliferado en el mundo, han aparecido sistemas de información sobre ellas como el Ranking System Clearinghouse, apadrinado por el Institute for Higher Education Policy, y han nacido observatorios encargados de evaluar la calidad y el rigor utilizados en los rankings promoviendo las buenas prácticas y los valores éticos en su redacción (i.e. IREG Observatory on Academic Ranking y Excellence). También se aprecia su fama por el nacimiento de instrumentos que intentan sintetizar el puesto de las universidades en los distintos rankings (Delgado-López-Cózar, 2012).

Según el diccionario de la Real Academia Española, un ranking es una “clasificación de mayor a menor, útil para establecer criterios de valoración”. Como primer concepto se encuentra “clasificación”, pero es especialmente relevante su para qué: “la utilidad para establecer criterios de valoración”. Por tanto, se espera que los rankings aporten un plus, más allá de una mera clasificación. Y esto radica en la capacidad de guiar al interlocutor ofreciéndose como fuente fiable y honesta en la formación del prestigio y de la calidad de una universidad.

La fama de los rankings de universidades adquiere una relevancia especial con la publicación del Academic Ranking of World Universities (ARWU), aunque los rankings hayan aparecido por primera vez en 1870 según Grewal y otros (2008). Por otro lado, las instituciones de educación superior intentan incorporar estudiantes y, según Sung y Yang (2008), la imagen proyectada por la universidad es el principal agente que puede conseguirlo. Para Luque y Barrio (2009), la imagen corporativa de una organización es un buen predictor del poder de atracción que esta institución tendrá sobre su público objetivo. Las universidades toman conciencia de la importancia de generar una imagen que sea fuerte en la visión de sus públicos objetivo (Brown y Mazzarol, 2009). La fuerza que ejerce la imagen corporativa se puede reflejar en la sociedad en su conjunto, como pasa con las universidades británicas y estadunidenses que hacen aparecer su entorno de igual prestigio que sus universidades (Sung y Yang, 2008). Alves (2011) comprueba que la imagen es importante al influenciar el valor percibido y, por consecuencia, la satisfacción. Crear una imagen es parte de la estrategia básica de una institución y los rankings ayudan en el intento (Luque-Martínez, 2015a). En este contexto, los rankings son útiles instrumentos para crear una imagen influyente, partiendo de una información parcial e incompleta (Alves y Raposo, 2010). Además intentan abarcar a todas las instituciones (cuando son rankings globales) resumiendo varios indicadores con diferente ponderación para llegar a una puntuación (cuando son rankings sintéticos).

Existe amplia literatura sobre rankings universitarios y sobre comparación entre ellos, pero se ha identificado una ausencia en la literatura de trabajos sobre meta-ranking de universidades y, como consecuencia, la inexistencia de estudios de posicionamiento de universidades basados en meta-ranking. Sin embargo, trabajar con varios rankings aporta más solvencia a la clasificación que se realiza, puesto que diferentes rankings, al utilizar diferentes indicadores, aportan matices que enriquecen la clasificación. Además, al disponer de más indicadores se puede elaborar un perfil más completo de las universidades y permite comprobar con más detalle el posicionamiento respecto de otras universidades nacionales e internacionales.

En suma, ante la diversidad de rankings, que siempre son aproximaciones y que incorporan matices diferentes, cabe preguntarse sobre la idoneidad de hacer una clasificación con la información de varios rankings: un meta-ranking que reúna y resuma esos matices. Precisamente el objetivo de este trabajo es elaborar un meta-ranking, a partir de rankings sintéticos y globales para obtener una clasificación de universidades que resuma una información más completa a través de dos vías: una, utilizando la puntuación global de cada ranking seleccionado y, otra, utilizando todos los indicadores de los rankings seleccionados que permiten un análisis más detallado de la clasificación, una vez elaborado, es aplicado a las universidades españolas para obtener una representación del posicionamiento de las mismas identificando, por una parte, aquéllas que están mejor posicionadas en las diferentes dimensiones utilizadas y, por otra, qué universidades del mundo son referentes en cada una de ellas.

Los rankings universitarios son una forma de ordenar las universidades con arreglo a unos criterios, por tanto son una aproximación, y esto no debe olvidarse. Para una utilización correcta hay que tener muy presente los detalles de su elaboración y no perder de vista sus limitaciones. Efectivamente, un uso correcto sirve para tener información sobre la evolución de una universidad y poder compararla con otras del entorno o del mundo (Docampo y otros, 2012). Constituyen una buena herramienta para hacer benchmarking, establecer objetivos contrastables y, en general, para la planificación estratégica (Luque-Martínez y Barrio-García, 2009).

De manera sintética, se pueden establecer diferentes tipo de rankings dependiendo del criterio:

Los rankings de universidades han sido objeto de muchas críticas (Luque-Martínez y Barrio-García, 2016; Hazelkorn, 2012, Docampo, 2008 y 2010). En primer lugar, está el grupo de críticas relacionadas con la medida de los indicadores, puesto que predominan los indicadores bibliométricos o de investigación o porque hay infrarrepresentación para algunos campos, como las humanidades o las ciencias sociales (Ishikawa, 2009; Robinson-García, 2014). También han sido objeto de críticas por la falta de transparencia en la recogida de los datos (Liu y Cheng, 2005) o el sesgo introducido por la lengua predominante en las publicaciones científicas, en concreto el inglés (Altbach, 2015). Además, se cuestiona la idoneidad de determinados indicadores como los premios Nobel (Marginson y van der Wende, 2007; Sanz-Casado y otros, 2013).

Segundo, las criticas relativas a las características de las instituciones que se ordenan. Se comparan universidades con características muy diferentes, por estructura organizativa y grados de autonomía (Aghion y otros, 2010), con años de historia muy diferentes (Luque-Martínez, 2013), con tamaños muy diversos (por estudiantes, profesores, ratio de alumnos-profesor), o diferentes ofertas de titulaciones. Además las universidades pueden estar enfocadas a la docencia o a la investigación o a la transferencia, con especialización en campos diferentes. También las universidades operan en contextos económicos y sociales muy diversos, con niveles de recursos desiguales (Luque-Martínez, 2015b). Además, en unos casos son universidades privadas y en otros son públicas.

Finalmente, las críticas que se refieren a consideraciones metodológicas, por la forma de recoger los datos bibliométricos (Waltman y otros, 2012), porque recurren a indicadores múltiples, así como por la forma de sintetizarlos (Sanz-Casado y otros, 2013), o por cómo se ponderan los indicadores seleccionados (Buela-Casal y otros, 2007).

Todo esto dificulta la comparación y erosiona la utilidad de las clasificaciones.

En el presente análisis se utilizan rankings sintéticos, puesto que se elaboran con diferentes criterios e indicadores que se sintetizan en una puntuación global para cada universidad, mediante ponderaciones propias de cada ranking. Al mismo tiempo, son rankings globales porque intentan abarcar las instituciones más relevantes del mundo. Cada uno de los rankings universitarios globales y sintéticos pone el énfasis en matices diferentes, ya sea de producción científica o de otras dimensiones. Si la ordenación de las universidades se realiza considerando al mismo tiempo varios rankings, la clasificación obtenida será más completa puesto que reúne más dimensiones de la actividad universitaria.

Tales rankings trabajan con indicadores bibliométricos pero también no bibliométricos y con encuestas, consideran tanto indicadores de investigación como de otra índole. En suma, los rankings utilizados en esta investigación deben cumplir con los requisitos de ser sintéticos, globales y tener accesible la información de sus indicadores. A pesar del indudable interés que tienen, no se han seleccionado algunos rankings porque no dan una puntuación sintética (como el de Leiden o U-Multirank), no son globales o la información de los indicadores no está accesible (i.e. Scimago). Los seleccionados tienen una gran notoriedad y son utilizados por universidades y sistemas universitarios como fuentes de información y como instrumentos para hacer benchmarking (Hernández y otros, 2016; Hazelkorn, 2012; Rauhvargers, 2014; Robinson-García y otros, 2014). Son los siguientes (los criterios de elaboración se pueden ver la respectiva web):

Los tres primeros rankings utilizan básicamente indicadores bibliométricos especialmente referidos a investigación, mientras que los otros dos (THE y QS) además de algún indicador bibliométrico (principalmente citas), también utilizan otros (i.e. internacionalización, reputación, ratio estudiantes por profesor o ingresos por investigación) y alguno de ellos se obtiene mediante encuestas, como los referidos a la reputación, ya sea académica o de investigación.

Estos rankings están entre los más conocidos y gozan de gran notoriedad en la comunidad universitaria internacional, se vienen publicando desde hace años y sus puntuaciones son accesibles en sus respectivas páginas web. Cada uno recoge datos con matices diferentes, por ello es interesante compendiarlos para llegar a un ranking resumen, o un meta-ranking. Y una vez elaborado, aplicarlo a las universidades españolas, representándolas y consiguiendo el posicionamiento de las diferentes universidades en dicho meta-ranking.

Para alcanzar el objetivo hay que resolver, en primer lugar, el asunto de la materia prima con la que trabajar. Es decir, la confección de una base de datos completa de universidades lo más homogénea y completa posible. Después, elegir y aplicar una técnica de análisis que sintetice la información y la trate para extraer utilidad que aporte valor para las universidades y el sistema universitario. Para ello se ha seguido un proceso que consta de las siguientes etapas.

Tras todo el proceso llevado a cabo se extraen las conclusiones y aplicaciones que a continuación se resumen, siendo conscientes de que dicho proceso ha tenido que solventar dificultades y, por tanto, se ha tenido que optar por soluciones lo que conecta con sus limitaciones.

En la literatura que conocemos no existe un análisis de este número de rankings realizado conjuntamente, partiendo de una base de datos común de las universidades que aparecen en, al menos, cuatro de los cinco rankings. Esto constituye una aportación a destacar, así como todo el proceso de imputación de datos faltantes para disponer de una base homogénea y completa.

En este trabajo se han seleccionado cinco rankings globales, denominados así porque recogen datos de universidades de todo el mundo, y sintéticos, porque resumen en una valoración global los indicadores que utilizan.

A pesar de la elevada correlación entre ellos, hay que resaltar que cabe diferenciar entre dos subconjuntos. Uno formado por los tres rankings que utilizan datos (básicamente de producción científica) y otro formado por los dos rankings que además de algunos datos bibliométricos incorporan opiniones basadas en encuestas u otros indicadores no relacionados con investigación (nivel de internacionalización, reputación o ratio estudiantes por profesor).

Las puntuaciones de todos los rankings tienen correlaciones significativas y elevadas. Pero es de destacar que las correlaciones mayores se dan entre esos dos grupos identificados. Por un lado, tienen correlaciones más altas entre sí los rankings URAP, ARWU y NTU y, por otro lado, las tiene el grupo formado por los rankings THE y QS. Las correlaciones menores se dan entre cada uno de los rankings de un grupo con los del otro.

En general, el ranking QS es el que muestra una correlación menor con el resto y el que tiene más valores faltantes entre las universidades que aparecen en cuatro de los cinco rankings seleccionados. En este sentido es el más atípico. Le sigue en correlación más baja con el resto el ranking THE, también en valores faltantes, aunque ya con un número mucho menor de estos valores. Como ya se ha dicho y se puede ver en los criterios de elaboración, estos dos rankings, con respecto a los otros, también presentan otras peculiaridades tanto por su elaboración como por ser realizados por entidades privadas no universitarias.

Es posible elaborar un meta-ranking que resuma o sintetice a todos los seleccionados. El análisis factorial realizado proporciona indicadores más que aceptables, se ha obtenido un factor que contiene el 79,1% de la información. Las posiciones de las 459 universidades analizadas en el meta-ranking se correlacionan de manera significativa y muy elevada con las posiciones que tienen en cada uno de los cinco rankings.

El meta-ranking tiene una correlación superior al 0,9 en el primer caso, para el ranking ARWU y NTU alcanza el 0,892, y sobrepasa con creces el 0,8 con los otros rankings.

A pesar de la gran diferencia existente entre el factor 1 y factor 2 en cuanto a varianza explicada (más de siete veces mayor la del primero) y solamente a efectos de interpretación y para conocer el posicionamiento de las universidades, se ha considerado una solución rotada con esos dos factores.

Al representar las universidades españolas en ese plano de dos dimensiones, se pueden extraer algunas conclusiones interesantes. En la dimensión o factor 1, que es la relativa a los rankings que consideran datos de investigación principalmente, hay 7 universidades por encima de la media (solamente se consideran las 14 universidades que aparecen en al menos cuatro de los 5 rankings) y las siete restantes están por debajo. La situación es peor en la segunda dimensión o factor 2, que considera otros indicadores basados en encuestas y no exclusivamente relacionados con investigación, puesto que solamente la Universidad Autónoma de Barcelona está por encima de la media. Dicha universidad es la única que aparece por encima de la media en las dos dimensiones. Siempre hablando en términos comparativos con el resto de las universidades analizadas para esta solución de dos dimensiones, hay que añadir que muchas universidades que tienen un buen desempeño en la dimensión 1 (universidades de Valencia, Granada, Sevilla y Zaragoza), lo tienen claramente menor en la dimensión 2.

El análisis factorial de todos los indicadores con los que se elaboran los rankings seleccionados aporta reflexiones interesantes.

En general, considerando las puntuaciones globales de los rankings, las universidades españolas tienen peor desempeño en reputación (académica, científica, de empleadores), el reconocimiento que se pone de manifiesto mediante encuestas, en internacionalización, en la proporción de estudiantes y profesores extranjeros y en ingreso por la industria. Se pone de relieve que en reputación, las universidades españolas tienen unos resultados peores que en la producción científica. Siempre en términos relativos para esta solución de dos dimensiones.

Una implicación clara, derivada del análisis de todos los indicadores, es la necesidad de mejora que tienen las universidades españolas en la calidad y regularidad de la producción científica (más que en volumen) y esto se hace reconociendo la calidad y la excelencia de la investigación y promoviendo un sistema estable de financiación que mantenga la regularidad, algo que no se ha tenido en los últimos años.

Paralelamente, hay que prestar más atención a la reputación de la universidad y del sistema universitario, primero por la vía de la producción científica (volumen y calidad) como se ha dicho, pero también con otras acciones de gestión universitaria y de comunicación, para ganar en reconocimiento de la sociedad (estudiantes, empleadores y demás público objetivo) que son los que responden a encuestas con las que finalmente se mide la reputación. De esta manera mejorar en imagen, es un aspecto de las universidades que cada vez reclama más interés (Sung y Yang, 2008; Luque y Barrio, 2009; Brown y Mazzarol, 2009).

Aunque ha habido iniciativas y estrategias de internacionalización, se constata que la internacionalización y la vinculación con el sector productivo y social son ámbitos con mucho margen de mejora para la universidad española, como lo corroboran los análisis comentados. No se ha sabido aprovechar la potencialidad de tener un idioma de los más hablados del mundo, ni la existencia de un espacio latinoamericano con tanta demanda en formación. La actuación de las universidades británicas y australianas constituye un buen ejemplo para la internacionalización. Mejorar en internacionalización pasa por mejorar la proporción de estudiantes y profesores extranjeros. Todo esto debe redundar en una mayor visibilidad internacional de la universidad española.

Este tipo de información es de utilidad para realizar benchmarking con otras universidades y apoyar la toma de decisiones de los directivos de las universidades y de las administraciones públicas, que tienen responsabilidad en los sistemas universitarios, aprendiendo de quien obtiene mejores resultados dentro de un grupo comparable de universidades. Este es el verdadero plus o valor añadido derivado de este meta-ranking, la utilidad como ejercicio de comparación, nacional e internacional, puesto que se pueden ver las universidades que están para cada dimensión por debajo o por encima de la media del conjunto de universidades considerado y cuáles son las que lideran cada dimensión en el mundo. Como se ha visto, para la producción científica principalmente estadounidenses, para la internacionalización británicas y australianas y para la vinculación con la industria las chinas y coreanas.

Finalmente, cabe destacar algunas limitaciones de este trabajo. Se ha contado con las puntuaciones de cinco rankings, no son todos los existentes pero sí son de los que cumplen los requisitos establecidos y están entre los más reconocidos. La población está formada por 459 a las que hemos tenido que realizar un proceso de imputación de datos faltantes para tener un número importante de casos. En particular, el ranking QS se constata que es el más incompleto por el número de datos faltantes que tiene. Además, se ha optado por un determinado procedimiento de extracción de los factores y una determinada rotación. Son elecciones que, aunque argumentadas, implican que no hay un único modo de operar.

Hay que insistir en que los rankings seleccionados tienen sus debilidades, que han sido puestas de relieve, y que no podemos ignorar, es necesario tenerlas presentes pero eso no debe paralizar el análisis. Más aún, debe ser un aliciente para superar las limitaciones, una vía es tomar en consideración los diferentes matices o dimensiones existentes en las universidades y que los rankings intentan captar, como se ha intentado con este trabajo.