1. ANTECENDENTES: SURGIMIENTO Y UTILIDAD DE LOS RANKINGS UNIVERSITARIOS
⌅A los rankings universitarios se les ha aplicado repetidamente una frase que tiene mucho de cierto: los rankings han venido para quedarse. Efectivamente, con sus deficiencias y sus utilidades, ya forman parte del panorama universitario nacional e internacional. Aunque para su adecuada utilización debe leerse su prospecto, es decir, tener muy presente realmente qué miden y qué no miden. Por otro lado, como sostienen Luque-Martínez y otros (2018) Luque-Martínez, T., Faraoni, N., y Doña-Toledo, L. (2018). Meta-ranking de universidades. Posicionamiento de las universidades españolas. Revista Española de Documentación Científica, 41 (1): e198. DOI: https://doi.org/10.3989/redc.2018.1.1456 , un ranking es una clasificación que debe aportar utilidad y no se debe desligar del para qué se hace.
Aunque hay antecedentes diversos, una fecha clave en la historia de los rankings universitarios es el año 2003 cuando aparece el conocido Academic Ranking of World Universities (ARWU) o ranking de Shanghái. En realidad, esta clasificación surge como herramienta para el seguimiento del proceso de transformación de las universidades chinas ( Altbach y Salmi, 2011 Altbach, P. G., y Salmi, J. (eds.). (2011). The road to academic excellence: The making of world-class research universities. The World Bank.). A partir de ese año el número de rankings universitarios ha aumentado notablemente y también lo ha hecho la influencia ejercida en la gestión de las universidades y en la reputación de las mismas ( Safón, 2019 Safón, V. (2019). Inter-ranking reputational effects: an analysis of the Academic Ranking of World Universities (ARWU) and the Times Higher Education World University Rankings (THE) reputational relationship. Scientometrics, 121(2), 897-915.).
Los rankings son aproximaciones, susceptibles de mejora, para cuya utilización siempre se ha de tener presente qué miden y cómo lo hacen. Como Delgado López-Cózar (2012) Delgado López-Cózar, E. (2012). Cómo se cocinan los rankings universitarios. Dendra Médica. Revista de Humanidades, 11 (1), 43-58. advierte y aconseja, hay que poner el énfasis en la metodología y en la materia prima con la que se elaboran.
Hay muestras de la relevancia de los rankings en el panorama universitario. Robinson-Sánchez y otros (2013) Robinson-García, N., Rodríguez-Sánchez, R., García, J. A., Torres-Salinas, D., y Fdez-Valdivia, J. (2013). Análisis de redes de las universidades españolas de acuerdo a su perfil de publicación en revistas por áreas científicas. Revista Española de Documentación Científica, 36 (4): e027, DOI: http://dx.doi.org/10.3989/redc.2013.4.1042 analizan los perfiles de universidades en cuanto a las características de su producción científica que ayudan a comprender su posición en los rankings y, especialmente, el diseño de estrategias de colaboración a partir de mapas de universidades que plasman sus perfiles investigadores. Aunque todo ello no está exento de dificultades. Sanz-Casado y otros (2013) Sanz-Casado, E., García-Zorita, C., Serrano-López, A. E., Efraín-García, P., y De Filippo, D. (2013). Rankings nacionales elaborados a partir de múltiples indicadores frente a los de índices sintéticos. Revista Española de Documentación Científica, 36(3): e012. DOI: http://dx.doi.org/10.3989/redc.2013.3.1.023 defienden el interés de la elaboración de rankings nacionales y de múltiples indicadores frente a los indicadores sintéticos. Sin embargo, la utilización de indicadores nacionales no facilita la comparación internacional, puesto que no siempre son homogéneos en diferentes países.
La publicación de rankings tiene una gran repercusión social. González-Riaño y otros (2014) González-Riaño, M. G., Repiso, R., y Delgado López-Cózar, E. (2014). Repercusión de los rankings universitarios en la prensa española. Revista Española de Documentación Científica, 37(3): e055. DOI: http://dx.doi.org/10.3989/redc.2014.3.1128 analizaron las noticias sobre ranking en los medios de comunicación españoles entre 1998-2012 y constatan una progresiva presencia alcanzando el máximo del período en el año 2010. Sin duda mucho tuvo que ver en ello el momentum de la iniciativa Campus de Excelencia Internacional (CEI) lanzada por el Ministerio español competente en universidades. Estos autores ponen de manifiesto cómo las noticias sobre rankings tienen que ver tanto con el momento de su publicación como con el calendario académico, siendo los ranking ARWU y SIR (Scimago Institutions Rankings) los que tenían mayor presencia mediática, sobre todo el primero de ellos.
Efectivamente, la publicación cada año de ARWU, el 15 de agosto en pleno período vacacional, tiene gran eco en los medios, aumentando por la escasez de noticias habituales como son las de índole política. Y esto sucede tanto en medios de comunicación tradicionales como en medios digitales y redes sociales. Las universidades y los agentes sociales siguen dicha publicación. Es más, para las universidades es una referencia cada vez más utilizada en la elaboración de su estrategia y para seguimiento de la misma.
Los rankings sintéticos utilizan indicadores que se ponderan para obtener una puntuación global a partir de la que se establece un orden. La selección de tales indicadores y la forma en que se ponderan, precisamente, son los principales motivos de crítica ( Luque-Martínez y Del Barrio, 2016 Luque-Martínez, T., y Barrio-García, S. del (2016). Constructing a synthetic indicator of research activity. Scientometrics, 108 (3), 1049-1064. DOI: https://doi.org/10.1007/s11192-016-2037-8 ). El ranking ARWU es un ranking de este tipo que utiliza seis indicadores y también ha sido sometido a crítica por diferentes autores ( Soh, 2012 Soh, K. (2015). What the Overall doesn’t tell about world university rankings: examples from ARWU, QSWUR, and THEWUR in 2013. Journal of Higher Education Policy and Management, 37(3), 295-307. DOI: https://doi.org/10.1080/1360080X.2015.1035523 ). La variación en tales indicadores, consideración o no de uno o varios de ellos, tiene consecuencias muy heterogéneas para las universidades incluidas.
Los rankings universitarios son una ordenación de universidades, con arreglo a unos criterios, que debe aportar utilidad. Dicha utilidad consiste en saber el orden existente de las universidades. Para algunos autores esta utilidad es cuestionable mientras que para otros es un indicador o una aproximación al desempeño de la universidad, un reflejo de su actividad en comparación con otras universidades y que afecta a la imagen de la universidad, como concepto subjetivo del observador, y a la reputación universitaria, en tanto que modela la idea colectiva de una universidad. Por tanto, la utilidad reside en poder establecer comparaciones con la misma universidad a lo largo del tiempo o con otras universidades según la orientación de las mismas y con arreglo a determinados aspectos (benchmarking). Ahora se pretende ir más allá, profundizar en esa utilidad a nivel de cada indicador que integra el ranking.
Las universidades presentan diferentes grados de sensibilidad en la posición o en la puntuación (ya se mida la variación en términos absolutos o en términos relativos) ante los cambios en los diferentes indicadores. Conocer el grado de sensibilidad de una universidad a un indicador informa sobre la mayor o menor dependencia de la dicha universidad al indicador, incluso sobre la orientación estratégica de la misma. También aporta conocimiento que puede ser interesante para orientar las estrategias de mejora que provoquen aumentos en los indicadores y, por ende, para gestionar mejor la posición en el ranking.
El objetivo principal que se persigue en este trabajo es analizar la sensibilidad (en términos absolutos y relativos) para los diferentes indicadores de las universidades españolas dentro de las 1000 contempladas en el ARWU 2021 y la identificación de grupos de universidades homogéneos respecto a dicha sensibilidad. La utilidad asociada a este objetivo es la de conocer qué universidades españolas son más o menos sensibles a la modificaciones de indicadores y cuanto mejorarían tomando medidas para mejorar cada uno de los indicadores.
Este objetivo se puede desglosar en los siguientes sub-objetivos:
-
Conocer la dependencia de las universidades españolas de cada indicador de ARWU, cuantificando la consecuencia de la variación de cada indicador en cada universidad
-
Cuantificar la importancia que tiene la consideración o no de indicadores de índole personal (autores altamente citados o premios Nobel) de ARWU para las universidades españolas.
-
Delimitar grupos homogéneos de universidades españolas en función de su sensibilidad a los indicadores de ARWU.
-
Identificar las consecuencias de determinadas actuaciones para mejorar en los indicadores
El presente trabajo aporta profundidad y matices a la comparación entre universidades. Su utilidad reside en conocer mejor la dependencia de cada universidad a los respectivos indicadores que conforman el ranking ARWU, así como cuantificar la sensibilidad y la elasticidad a la modificación de cada indicador (en el hipotético caso extremo de su supresión), ya sea de índole personal como los referidos a Nobel o autores altamente citados, de calidad de las publicaciones o de volumen de las mismas. Todo ello referido al millar de universidades consideradas en el ranking, centrando la atención en las españolas.
2. EL ACADEMIC RANKING OF WORLD UNIVERSITIES (ARWU): UNO DE LOS RANKINGS GLOBALES CON MAYOR NOTORIEDAD
⌅Existe abundante literatura sobre la utilización de los rankings universitarios, y en particular del ARWU, en las decisiones universitarias, en el diseño de su planificación o en su comunicación.
Ya Hazelkorn (2011) Hazelkorn, E. (2011). Rankings and the reshaping of higher education. The battle for world-class excellence. Londres: Palgrave Mcmillan., en el primer estudio desde una perspectiva global, analizó con profundidad el papel de los rankings y su importancia para la institución y para los intereses de los gobiernos. Los ranking globales de universidades implican un nuevo y significativo estado en el posicionamiento de la educación superior, de la investigación y el desarrollo en el centro de la economía global y de la geopolítica en el contexto del creciente impulso político para la comparabilidad, la evaluación y la rendición de cuentas en ámbito internacional, según Hazelkorn (2012 Hazelkorn, E. (2012). The Effects of Rankings on Student Choices and Institutional Selection. En Jongbloed, B., y Vossensteyn, H. (eds.), Access and Expansion Post- Massification: Opportunities and Barriers to Further Growth in Higher Education Participation. London: Routledge., 2018) Hazelkorn, E. (2018). Reshaping the world order of higher education: the role and impact of rankings on national and global systems. Policy Reviews in Higher Education, 2(1), 4-31. DOI: https://doi.org/10.1080/23322969.2018.1424562 .
Jajo y Harrison (2014) Jajo, N. K., y Harrison, J. (2014). World university ranking systems: An alternative approach using partial least squares path modelling. Journal of Higher Education Policy and Management, 36(5), 471-482. consideran a los rankings de universidades como claves en orientación de la planificación estratégica. La Estrategia de Lisboa pretendía convertir a la UE en la economía basada en el conocimiento más competitiva del mundo; para ello era fundamental el papel de la educación superior. En dicha estrategia y en otras iniciativas internacionales o nacionales, como la de los Campus de Excelencia Internacional, durante este siglo XXI estaban presentes de manera expresa o implícita los rankings universitarios como testigos, así como en otras iniciativas llevadas a cabo en el presente siglo. Zacharewicz y otros (2021) Zacharewicz, T., Jonkers, K., y Hazelkorn, E. (2021). Are global rankings compatible with higher education policy? In Research Handbook on University Rankings. Edward Elgar Publishing. revisan el papel de los rankings universitarios en el diseño de la política de educación durante los últimos años en la UE y su compatibilidad con los propósitos de dicha política educativa.
Desde que aparece ARWU ha sido sometido a análisis de todo tipo. Florian (2007) Florian,R.V. (2007). Irreproducibility of the results of the Shanghai academic ranking of world universities. Scientometrics, 72(1), 25-32. Springer;Akadémiai Kiadó. encontró problemas para reproducir los resultados de la clasificación, debido a discrepancias en la consideración de la puntuación del indicador SCI (Science Citation Index) con lo manifestado en su metodología, así como en la proporcionalidad de algunas puntuaciones en N&S (revistas Nature y Science). Docampo (2013 Docampo, D. (2013). Reproducibility of the Shanghai academic ranking of world universities results. Scientometrics, 94(2), 567-587., 2010) Docampo, D. (2010). On using the Shanghai ranking to assess the investigation performance of university systems. Scientometrics, 86 (1), 77-92. DOI: https://doi.org/10.1007/s11192-0100280-y insiste en las dificultades para reproducir los resultados de las universidades, debido a la identificación de afiliaciones de autores, y presenta formas para estimar las puntuaciones de las universidades en ARWU con bastante precisión.
Pandiella-Dominique y otros (2018) Pandiella-Dominique, A., Moreno-Lorente, L., García-Zorita, C., y Sanz-Casado, E. (2018). Model for estimating Academic Ranking of World Universities (Shanghai Ranking) scores. Revista Española de Documentación Científica, 41(2): e204. DOI: https://doi.org/10.3989/redc.2018.2.1462 presentan un modelo para replicar y predecir los resultados de ARWU. En concreto se aplica con éxito para estimar las puntuaciones de las publicaciones de la Web of Science (indicador PUB) y en Nature y Science (N&S). Según los autores, esto contribuye a un mejor conocimiento teórico de la metodología utilizada para construir el ranking así como para su interpretación, haciéndolo más accesible para los usuarios que busquen información de las instituciones. De esta manera se favorece el desarrollo de planes estratégicos y la realización de benchmarking entre universidades.
También se ha analizado el efecto provocado por la normalización de los datos en el orden de las universidades ( Jovanovic y otros, 2012 Jovanovic, M., Jeremic, V., Savic, G., Bulajic, M., y Martic, M. (2012). How does the normalization of data affect the ARWU ranking?. Scientometrics, 93(2), 319-327. DOI?) o el análisis de sensibilidad general de ARWU, llegando a proponer una versión alternativa que reduce el número de indicadores a cuatro ( Dobrota y Dobrota, 2016 Dobrota, M., y Dobrota, M. (2016). ARWU ranking uncertainty and sensitivity: What if the award factor was excluded?. Journal of the Association for Information Science and Technology, 67(2), 480-482.)
Como afirma Dowsett (2020) Dowsett, L. (2020). Global university rankings and strategic planning: a case study of Australian institutional performance. Journal of Higher Education Policy and Management, 42(4), 478-494., ARWU forma parte del paisaje de la educación superior y, para las universidades del sistema australiano que analiza, forma parte de los planes estratégicos y orienta sus decisiones.
En definitiva, ARWU goza de un gran reconocimiento internacional y es una herramienta transparente con un metodología estable, lo que permite comparar universidades a lo largo del tiempo ( Wu y Liu, 2017 Wu, Y., y Liu, N. C. (2017). Academic ranking of world universities (ARWU): Methodologies and trends. In Research Analytics, 95-120. Auerbach Publications.). Por ello, este ranking es utilizado con frecuencia, por ejemplo para estratificar y segmentar las universidades y para predecir el estatus global de las universidades ( Cantwell y Taylor, 2013 Cantwell, B., y Taylor, B. J. (2013). Global status, intra-institutional stratification and organizational segmentation: A time-dynamic tobit analysis of ARWU position among US universities. Minerva, 51(2), 195-223.). Hou y otros (2012) Hou, A. Y. C., Morse, R., y Chiang, C. L. (2012). An analysis of mobility in global rankings: making institutional strategic plans and positioning for building world-class universities. Higher Education Research y Development, 31(6), 841-857. comprueban que las universidades más reputadas aparecen en ARWU, entre otros, e identifican cuáles son los indicadores más influyentes en la movilidad de la clasificación para una institución. La influencia de los rankings también se ha constatado en el sistema universitario chileno ( Véliz y Marshall, 2021 Véliz, D., y Marshall, P. (2021) Influence of global rankings on strategic planning from the perspective of decision-makers: A case study of a Chilean research university. Higher Education Quarterly. DOI: https://doi.org/10.1111/hequ.12333 ) y de otros países ( Luque-Martínez, 2015 Luque-Martínez, T. (2015). Horizon 2031. The University of Granada in Light of its V Century. Reflections on the Future of the University. Granada: Editorial Universidad de Granada. Disponible en: http://biotic.ugr.es/pages/horizon-2031 .) o para valorar el resultado de iniciativas como la de Campus de Excelencia Internacional en España ( Luque-Martínez y otros, 2016 Luque-Martínez, T., Doña, L., y Docampo, D. (2016). Influencia del programa Campus de Excelencia Internacional en la posición de las universidades españolas en el ranking de Shanghái. Revista Española de Documentación Científica, 39(3): e143. DOI: http://dx.doi.org/10.3989/redc.2016.3.1339 ).
Todos estos son ejemplos, sin pretensión de exhaustividad, prueban la generalizada utilización de este ranking para diferentes propósitos, razón por la que es pertinente para realizar este análisis.
3. LA SENSIBILIDAD Y LA ELASTICIDAD DE LOS INDICADORES DEL ARWU. CUESTIONES DE INVESTIGACIÓN
⌅Es clara la importancia de los rankings, la notoriedad, la relevancia e influencia social que tienen y son conocidas sus utilidades y sus debilidades. Sin duda uno de los más notorios, relevantes y utilizados es el ranking de Shanghái.
De los seis indicadores con los que se elabora ARWU (ver tabla I ) hay tres que tienen un carácter de tipo personal, directamente vinculados a personas concretas, mientras que el resto se pueden calificar como de un carácter institucional. Indicadores personales son Alumni y Award, referidos a alumnos o profesores que han recibido reconocimientos especiales como premio Nobel o medallas Fields, y también lo es el indicador HiCi que está referido a las personas altamente citadas.
| Indicador | Definición |
|---|---|
| I1: Alumni
10% |
The total number of the alumni of an institution winning Nobel Prizes and Fields Medals. Alumni are defined as those who obtain bachelor’s, master’s or doctoral degrees from the institution. Different weights are set according to the periods of obtaining degrees. The weight is 100% for alumni obtaining degrees after 2011, 90% for alumni obtaining degrees in 2001-2010, 80% for alumni obtaining degrees in 1991-2000, and so on, and finally 10% for alumni obtaining degrees in 1921-1930. If a person obtains more than one degree from an institution, the institution is considered once only. |
| I2: Award
20% |
The total number of the staff of an institution winning Nobel Prizes in Physics, Chemistry, Medicine and Economics and Fields Medal in Mathematics. Staff is defined as those who work at an institution at the time of winning the prize. Different weights are set according to the periods of winning the prizes. The weight is 100% for winners after 2011, 90% for winners in 2001-2010, 80% for winners in 1991-2000, 70% for winners in 1981-1990, and so on, and finally 10% for winners in 1921-1930. If a winner is affiliated with more than one institution, each institution is assigned the reciprocal of the number of institutions. For Nobel prizes, if a prize is shared by more than one person, weights are set for winners according to their proportion of the prize. |
| I3: HiCi 20% |
The number of Highly Cited Researchers selected by Clarivate Analytics. The Highly Cited Researchers list issued in November 2020 was used for the calculation of HiCi indicator in ARWU 2021. Only the primary affiliations of Highly Cited Researchers are considered. |
| I4: N&S 20% |
The number of papers published in Nature and Science between 2016 and 2020. To distinguish the order of author affiliation, a weight of 100% is assigned for corresponding author affiliation, 50% for first author affiliation (second author affiliation if the first author affiliation is the same as corresponding author affiliation), 25% for the next author affiliation, and 10% for other author affiliations. When there are more than one corresponding author address, we consider the first corresponding author address as the corresponding author address and consider other corresponding author addresses as first author address, second author address etc. following the order of the author addresses. Only publications of ‘Article’ type are considered. |
| I5: PUB 20% |
Total number of papers indexed in Science Citation Index-Expanded and Social Sciences Citation Index in 2020. Only publications of ‘Article’ type are considered. When calculating the total number of papers of an institution, a special weight of two was introduced for papers indexed in Social Science Citation Index. |
| I6: PCP 10% |
The weighted scores of the above five indicators divided by the number of full-time equivalent academic staff give PCP scores. If the number of academic staff for institutions of a country cannot be obtained, the weighted scores of the above five indicators are used. For ARWU 2020, the numbers of full-time equivalent academic staff are obtained for institutions in USA, UK, Chinese Mainland, France, Canada, Japan, Italy, Australia, Netherlands, Sweden, Switzerland, Belgium, South Korea, Czechia, New Zealand, Saudi Arabia, Spain, Austria, Norway, Poland, Israel etc. |
El cuarto indicador, N&S, intenta captar la excelencia en la investigación mediante el volumen de artículos publicados en Nature y Science. Se efectúa una corrección de su ponderación para instituciones especializadas en investigación humanista y de ciencias sociales.
El quinto indicador se refiere a volumen de producción científica (PUB) y el último es un indicador que contempla la consideración del efecto tamaño por número de profesores.
Lógicamente, la inclusión o no de algunos de esos indicadores provoca cambios en la ordenación que son de intensidad diferente. Para cuantificar estos cambios se puede recurrir al análisis de la sensibilidad y/o de la elasticidad. La sensibilidad de una universidad a un indicador se define como la variación, en valores absolutos, que produce la eliminación de dicho indicador en la puntuación total y/o en la posición de dicha universidad en la clasificación. Mientras que la elasticidad para una universidad sería la variación relativa que se produce en la puntuación total o en las posiciones de la misma como consecuencia de una variación relativa en el indicador, siendo tal variación del 100% en caso de eliminar dicho indicador.
No hemos encontrado en la literatura un análisis de la sensibilidad y de la elasticidad de los diferentes indicadores. Es un asunto no tratado y que tiene el interés de permitir conocer qué universidades son más sensibles o menos, más elásticas o menos, ante la eliminación de un indicador o un tipo de indicador y al mismo tiempo en qué posiciones o puntuaciones se presentan más o menos sensibilidad o elasticidad. También permite conocer si la sensibilidad o elasticidad es mayor o menor según la naturaleza personal o institucional de los indicadores.
Centrando el análisis en el sistema universitario español, esto conduce a plantear las siguientes cuestiones de investigación:
-
Q1 ¿Cómo varían las puntuaciones y las posiciones de las universidades españolas al modificar los respectivos indicadores de ARWU? ¿Cuáles son las que ganan o pierden más posiciones al no considerar alguno de los indicadores?
-
Q2 ¿Son homogéneas las variaciones de las universidades españolas según la posición o puntuación inicial para los diferentes indicadores de ARWU?
-
Q3 En términos de variación relativa, ¿qué universidades ganan o pierden más al no considerar algunos de los indicadores? ¿Cuáles son las universidades más y menos elásticas a la no utilización de alguno de los indicadores de ARWU?
-
Q4 ¿Qué grupos de universidades se pueden identificar de acuerdo con la variación relativa en posiciones y puntuaciones de ARWU?
4. METODOLOGÍA
⌅El proceso seguido para responder a estas cuestiones se resume en la figura 1 . En primer lugar, los datos se extrajeron de la página web oficial del ranking: www.shanghairanking.com/rankings/arwu/2021 , para cada uno de los diferentes indicadores cuya descripción se presenta literalmente en la tabla I . Tales indicadores forman una escala con una fiabilidad bastante buena como lo muestra el alfa de Cronbach de 0,9.
A partir de esos datos se calculó la puntuación global de cada una de las 1000 universidades siguiendo la metodología establecida por el propio ranking. Como en dicha metodología se específica, no se consideró el indicador N&S para instituciones especializadas en ciencias sociales y humanidades, como son los casos de London School of Economics and Political Science, University of Toulouse 1 o Stockholm School of Economics, entre otros. La puntuación de ese indicador se distribuyó entre los otros. Así se obtuvo la posición concreta de cada universidad.
Tras calcular la puntuación de cada universidad, se obtiene su correspondiente posición. A continuación se opera de la misma forma sin los indicadores relativos a reconocimientos como los Nobel/ Fields Medal (Alumni y Award) obteniendo la nueva puntuación y posición de cada universidad. Después se hace lo mismo sin tener en cuenta el indicador HiCi. También se opera igual sin tener en cuenta los tres indicadores anteriores que tienen un carácter personal.
El mismo procedimiento se aplica sin los siguientes indicadores: N&S, PUB y PCP; siempre calculando la puntuación global de la universidad y la posición correspondiente sin incluir el respectivo indicador.
En el siguiente paso se calcula para cada universidad la sensibilidad o diferencia existente entre la situación inicial en posiciones y puntuación con todos los indicadores y la situación al no considerar cada indicador.
A partir de lo anterior se obtiene la elasticidad para cada universidad, definida como la variación relativa en posiciones y/o puntuación dividida por la variación relativa del indicador, que al eliminarlo sería una disminución del 100%. Es decir, para cada universidad sería:
(Variación puntuación/Puntuación) / (Variación Ii/Ii), para el caso de las puntuaciones
(Variación posición/Posición) / (Variación Ii/Ii), para el caso de las posiciones.
Finalmente, se identifican tipologías o grupos de universidades en función de su elasticidad a los respectivos indicadores del ranking de Shanghái, recurriendo al análisis clúster. Este análisis es una técnica de análisis multivariable de interdependencia, es decir no diferencia entre variables dependientes e independientes, utilizando todas las variables seleccionadas (en este caso las puntuaciones en los diferentes indicadores ARWU) para formar grupos homogéneos internamente (lo más parecido posible entre sus integrantes) y heterogéneos entre ellos (lo más diferentemente posible entre los diferentes grupos). En este caso se aplica con diferentes procedimientos de agrupación (jerárquicos, no jerárquicos y bietápicos) mediante el software SPSS Statistics.
5 ANÁLISIS DE DATOS
⌅La media de la puntuación global ARWU de las 1000 universidades del mundo es de 14,43 con una desviación típica (DT) de 9,66 y un coeficiente de variación (CV) de 0,67. Esto es muy parecido al escenario en el que no se consideran los autores altamente citados cuya media es de 15,34 (DT=9,63; CV=0,63). Sin embargo, es sensiblemente menor y con mayor dispersión que en los escenarios de suprimir los indicadores relativos a Nobel (media=18,98; DT=10,26; CV=0,54) y más aún si también se suprimen los autores altamente citados (media=22,21; DT=10,41; CV=0,47). Por el contrario la media de la puntuación global es claramente superior y con menor dispersión que si se suprimen PUB (media=9,28; DT=9,54; CV=1,03) y PCP (media=13,64; DT=9,83; CV=0,72).
A continuación de analizan los efectos de suprimir los respectivos indicadores, cuyo detalle se presenta en las tablas II , III y IV .
| Universidad | ARWU (Harvard=100 y 1ª) |
Diferencias de posiciones (+=ganadas; -=perdidas) al no considerar los indicadores mostrados | |||||||
|---|---|---|---|---|---|---|---|---|---|
| Etiqueta | Nombre | Puntuación | Posición | I1 e I2
Nobel |
I3=HC | I1 - I2 - I3 | I4: N&S | I5: PUB | I6: PCP |
| UB | Barcelona | 20,1530 | 182 | 39 | -13 | 35 | 10 | -31 | -3 |
| UGR | Granada | 16,6854 | 255 | 36 | -86 | -1 | 26 | -33 | 7 |
| UAB | Autónoma de Barcelona | 16,5630 | 263 | 33 | 37 | 82 | 10 | -79 | -8 |
| UCM | Complutense de Madrid | 16,4610 | 266 | -36 | 54 | 23 | 10 | -65 | 17 |
| UV | Valencia | 15,0841 | 311 | 29 | 14 | 52 | 23 | -127 | 13 |
| EHU | País Vasco | 13,9827 | 357 | 21 | 43 | 81 | -33 | -48 | 10 |
| UAM | Autónoma de Madrid | 13,9521 | 358 | 18 | 42 | 81 | -18 | -52 | 1 |
| UPV | Politécnica de Valencia | 12,9118 | 396 | 16 | -42 | -19 | -2 | -10 | 10 |
| UPF | Pompeu Fabra | 12,7588 | 400 | 16 | 97 | 134 | -117 | 54 | -107 |
| US | Sevilla | 11,7899 | 458 | 21 | 16 | 39 | 39 | -195 | 26 |
| USAL | Salamanca | 11,3921 | 480 | 23 | -110 | -78 | -19 | 62 | 17 |
| USC | Santiago de Compostela | 11,0964 | 497 | 25 | -12 | 15 | -9 | -64 | 13 |
| UVIGO | Vigo | 10,8210 | 511 | 21 | -196 | -171 | 26 | 69 | -8 |
| UNIZAR | Zaragoza | 10,1275 | 566 | 12 | 107 | 129 | -43 | -208 | 8 |
| UNAVARRA | Navarra | 10,0969 | 573 | 14 | -263 | -85 | 11 | 101 | 41 |
| URV | Rovira i Virgili | 9,9949 | 580 | 11 | -39 | 134 | 17 | 58 | -77 |
| UPM | Politécnica de Madrid | 9,7909 | 598 | 12 | 107 | 131 | -58 | -172 | 16 |
| UA | Alicante | 9,7705 | 601 | 12 | -44 | -22 | 4 | 1 | 1 |
| UJI | Jaume I | 9,5156 | 630 | 16 | -232 | -25 | 86 | 120 | -41 |
| UNEX | Extremadura | 9,1994 | 654 | 14 | -187 | -157 | 62 | 49 | -6 |
| UIB | Islas Baleares | 8,8424 | 693 | 19 | -88 | -61 | 29 | 91 | -39 |
| UM | Murcia | 8,6894 | 707 | 18 | 106 | 137 | -40 | -123 | 1 |
| UNIOVI | Oviedo | 8,6792 | 708 | 18 | 105 | 135 | -65 | -107 | 11 |
| UMA | Málaga | 8,4855 | 724 | 13 | 102 | 130 | -1 | -149 | 4 |
| ULL | La Laguna | 8,4651 | 728 | 10 | 102 | 129 | -187 | 43 | 10 |
| UDL | Lleida | 8,4243 | 734 | 10 | -203 | -174 | 55 | 195 | -67 |
| UPC | Politécnica de Cataluña | 8,3121 | 746 | 9 | 105 | 128 | -35 | -94 | -4 |
| UJAEN | Jaén | 8,2815 | 748 | 9 | -204 | -177 | 106 | 104 | -31 |
| UCLM | Castilla-La Mancha | 7,9041 | 785 | 12 | 85 | 117 | 39 | -119 | -31 |
| UCO | Córdoba | 7,5982 | 827 | 13 | 87 | 113 | 29 | -54 | -60 |
| UDG | Girona | 7,5472 | 832 | 13 | 86 | 111 | 13 | 1 | -121 |
| UPLG | Las Palmas de G. Canaria | 7,3840 | 854 | 13 | -106 | -84 | 23 | 136 | -15 |
| UAH | Alcalá | 7,3432 | 860 | 13 | 76 | 104 | -27 | -12 | -40 |
| UPO | Pablo de Olavide | 7,2922 | 871 | 14 | 75 | 105 | -92 | 158 | -101 |
| UNICAN | Cantabria | 7,0168 | 926 | 18 | 76 | 106 | -2 | 66 | -38 |
| URJC | Rey Juan Carlos | 6,8536 | 950 | 18 | 69 | 100 | -15 | 87 | -15 |
| UC3M | Carlos III | 6,8230 | 960 | 18 | 71 | 101 | 29 | 68 | -8 |
| UVA | Valladolid | 6,8027 | 963 | 19 | 69 | 100 | 31 | 28 | 19 |
| UAL | Almería | 6,6599 | 984 | 18 | 67 | 97 | 57 | 79 | -3 |
| Universidad | Variaciones relativas al no considerar los respectivos indicadores (%) | ||||||
|---|---|---|---|---|---|---|---|
| Etiqueta | Nombre | I1 e I2: Nobel |
I3=HC | I1 - I2 - I3 | I4: N&S | I5: PUB | I6: PCP |
| UB | Barcelona | 21,4286 | -7,1429 | 19,2308 | 5,4945 | -17,0330 | -1,6484 |
| UGR | Granada | 14,1176 | -33,7255 | -0,3922 | 10,1961 | -12,9412 | 2,7451 |
| UAB | Autónoma de Barcelona | 12,5475 | 14,0684 | 31,1787 | 3,8023 | -30,0380 | -3,0418 |
| UCM | Complutense de Madrid | -13,5338 | 20,3008 | 8,6466 | 3,7594 | -24,4361 | 6,3910 |
| UV | Valencia | 9,3248 | 4,5016 | 16,7203 | 7,3955 | -40,8360 | 4,1801 |
| EHU | País Vasco | 5,8824 | 12,0448 | 22,6891 | -9,2437 | -13,4454 | 2,8011 |
| UAM | Autónoma de Madrid | 5,0279 | 11,7318 | 22,6257 | -5,0279 | -14,5251 | 0,2793 |
| UPV | Politécnica de Valencia | 4,0404 | -10,6061 | -4,7980 | -0,5051 | -2,5253 | 2,5253 |
| UPF | Pompeu Fabra | 4,0000 | 24,2500 | 33,5000 | -29,2500 | 13,5000 | -26,7500 |
| US | Sevilla | 4,5852 | 3,4934 | 8,5153 | 8,5153 | -42,5764 | 5,6769 |
| USAL | Salamanca | 4,7917 | -22,9167 | -16,2500 | -3,9583 | 12,9167 | 3,5417 |
| USC | Santiago de Compostela | 5,0302 | -2,4145 | 3,0181 | -1,8109 | -12,8773 | 2,6157 |
| UVIGO | Vigo | 4,1096 | -38,3562 | -33,4638 | 5,0881 | 13,5029 | -1,5656 |
| UNIZAR | Zaragoza | 2,1201 | 18,9046 | 22,7915 | -7,5972 | -36,7491 | 1,4134 |
| UNAVARRA | Navarra | 2,4433 | -45,8988 | -14,8342 | 1,9197 | 17,6265 | 7,1553 |
| URV | Rovira i Virgili | 1,8966 | -6,7241 | 23,1034 | 2,9310 | 10,0000 | -13,2759 |
| UPM | Politécnica de Madrid | 2,0067 | 17,8930 | 21,9064 | -9,6990 | -28,7625 | 2,6756 |
| UA | Alicante | 1,9967 | -7,3211 | -3,6606 | 0,6656 | 0,1664 | 0,1664 |
| UJI | Jaume I | 2,5397 | -36,8254 | -3,9683 | 13,6508 | 19,0476 | -6,5079 |
| UNEX | Extremadura | 2,1407 | -28,5933 | -24,0061 | 9,4801 | 7,4924 | -0,9174 |
| UIB | Islas Baleares | 2,7417 | -12,6984 | -8,8023 | 4,1847 | 13,1313 | -5,6277 |
| UM | Murcia | 2,5460 | 14,9929 | 19,3777 | -5,6577 | -17,3975 | 0,1414 |
| UNIOVI | Oviedo | 2,5424 | 14,8305 | 19,0678 | -9,1808 | -15,1130 | 1,5537 |
| UMA | Málaga | 1,7956 | 14,0884 | 17,9558 | -0,1381 | -20,5801 | 0,5525 |
| ULL | La Laguna | 1,3736 | 14,0110 | 17,7198 | -25,6868 | 5,9066 | 1,3736 |
| UDL | Lleida | 1,3624 | -27,6567 | -23,7057 | 7,4932 | 26,5668 | -9,1281 |
| UPC | Politécnica de Cataluña | 1,2064 | 14,0751 | 17,1582 | -4,6917 | -12,6005 | -0,5362 |
| UJAEN | Jaén | 1,2032 | -27,2727 | -23,6631 | 14,1711 | 13,9037 | -4,1444 |
| UCLM | Castilla-La Mancha | 1,5287 | 10,8280 | 14,9045 | 4,9682 | -15,1592 | -3,9490 |
| UCO | Córdoba | 1,5719 | 10,5200 | 13,6638 | 3,5067 | -6,5296 | -7,2551 |
| UDG | Girona | 1,5625 | 10,3365 | 13,3413 | 1,5625 | 0,1202 | -14,5433 |
| UPLG | Las Palmas de G. Canaria | 1,5222 | -12,4122 | -9,8361 | 2,6932 | 15,9251 | -1,7564 |
| UAH | Alcalá | 1,5116 | 8,8372 | 12,0930 | -3,1395 | -1,3953 | -4,6512 |
| UPO | Pablo de Olavide | 1,6073 | 8,6108 | 12,0551 | -10,5626 | 18,1401 | -11,5959 |
| UNICAN | Cantabria | 1,9438 | 8,2073 | 11,4471 | -0,2160 | 7,1274 | -4,1037 |
| URJC | Rey Juan Carlos | 1,8947 | 7,2632 | 10,5263 | -1,5789 | 9,1579 | -1,5789 |
| UC3M | Carlos III | 1,8750 | 7,3958 | 10,5208 | 3,0208 | 7,0833 | -0,8333 |
| UVA | Valladolid | 1,9730 | 7,1651 | 10,3842 | 3,2191 | 2,9076 | 1,9730 |
| UAL | Almería | 1,8293 | 6,8089 | 9,8577 | 5,7927 | 8,0285 | -0,3049 |
| Universidad | Variaciones relativas al no considerar los respectivos indicadores (%) | ||||||
|---|---|---|---|---|---|---|---|
| Etiqueta | Nombre | I1 e I2: Nobel | I3=HC | I1 - I2 - I3 | I4: N&S | I5: PUB | I6: PCP |
| UB | Barcelona | 44,0852 | -2,2213 | 58,8267 | 8,7136 | -41,0022 | -3,4054 |
| UGR | Granada | 44,0852 | -9,8513 | 59,4049 | 15,7958 | -41,4878 | -2,5093 |
| UAB | Autónoma de Barcelona | 44,0852 | 9,6895 | 78,1740 | 7,8329 | -47,8627 | -7,0215 |
| UCM | Complutense de Madrid | 28,9982 | 14,2608 | 64,2328 | 8,3454 | -46,1386 | -1,5180 |
| UV | Valencia | 44,0852 | 8,1272 | 75,6364 | 12,0344 | -53,8782 | -4,0934 |
| EHU | País Vasco | 44,0852 | 12,2466 | 82,3278 | 2,5339 | -47,4961 | -4,9616 |
| UAM | Autónoma de Madrid | 44,0852 | 12,2173 | 82,2801 | 4,6872 | -47,8401 | -6,5052 |
| UPV | Politécnica de Valencia | 44,0852 | 0,6188 | 63,4400 | 9,7479 | -43,2407 | -4,8241 |
| UPF | Pompeu Fabra | 44,0852 | 25,6246 | 104,0583 | -6,3088 | -32,8195 | -21,6226 |
| US | Sevilla | 44,0852 | 9,7585 | 78,2862 | 16,9309 | -60,0088 | -4,4379 |
| USAL | Salamanca | 44,0852 | -2,7168 | 58,0218 | 8,3048 | -36,4567 | -6,5632 |
| USC | Santiago de Compostela | 44,0852 | 8,7669 | 76,6755 | 10,1525 | -49,8887 | -6,4759 |
| UVIGO | Vigo | 44,0852 | -8,9488 | 47,8990 | 16,6260 | -36,1813 | -8,6139 |
| UNIZAR | Zaragoza | 44,0852 | 25,6246 | 104,0583 | 7,1541 | -62,6795 | -7,4026 |
| UNAVARRA | Navarra | 44,0852 | -11,4283 | 61,5977 | 12,9352 | -35,7919 | -3,6006 |
| URV | Rovira i Virgili | 44,0852 | 6,9091 | 104,0583 | 14,0876 | -40,0078 | -16,8464 |
| UPM | Politécnica de Madrid | 44,0852 | 25,6246 | 104,0583 | 5,2106 | -61,2657 | -6,9432 |
| UA | Alicante | 44,0852 | 6,4793 | 72,9596 | 11,9869 | -46,7603 | -8,7959 |
| UJI | Jaume I | 44,0852 | -8,3062 | 72,1263 | 21,8545 | -35,7739 | -14,0587 |
| UNEX | Extremadura | 44,0852 | -3,0657 | 57,4552 | 20,0537 | -44,0121 | -9,8973 |
| UIB | Islas Baleares | 44,0852 | 4,4698 | 69,6955 | 15,4819 | -41,6070 | -14,5533 |
| UM | Murcia | 44,0852 | 25,6246 | 104,0583 | 8,2259 | -61,3690 | -9,4686 |
| UNIOVI | Oviedo | 44,0852 | 25,6246 | 104,0583 | 5,2530 | -59,6997 | -8,3381 |
| UMA | Málaga | 44,0852 | 25,6246 | 104,0583 | 13,5453 | -66,4800 | -9,6493 |
| ULL | La Laguna | 44,0852 | 25,6246 | 104,0583 | -6,1599 | -47,3285 | -9,1691 |
| UDL | Lleida | 44,0852 | -5,7055 | 53,1672 | 19,5411 | -31,8646 | -17,6981 |
| UPC | Politécnica de Cataluña | 44,0852 | 25,6246 | 104,0583 | 8,9774 | -60,6941 | -10,7056 |
| UJAEN | Jaén | 44,0852 | -6,2457 | 52,2898 | 25,6246 | -42,1384 | -13,5957 |
| UCLM | Castilla-La Mancha | 44,0852 | 25,6246 | 104,0583 | 19,1407 | -67,7428 | -13,4067 |
| UCO | Córdoba | 44,0852 | 25,6246 | 104,0583 | 17,1934 | -63,4087 | -15,4766 |
| UDG | Girona | 44,0852 | 25,6246 | 104,0583 | 15,4388 | -55,5221 | -20,7944 |
| UPLG | Las Palmas de G. Canaria | 44,0852 | 0,2915 | 62,9084 | 16,9489 | -42,7402 | -11,2192 |
| UAH | Alcalá | 44,0852 | 25,6246 | 104,0583 | 12,3642 | -60,9168 | -13,4496 |
| UPO | Pablo de Olavide | 44,0852 | 25,6246 | 104,0583 | 2,4324 | -41,4923 | -21,6818 |
| UNICAN | Cantabria | 44,0852 | 25,6246 | 104,0583 | 11,7475 | -56,5427 | -16,7081 |
| URJC | Rey Juan Carlos | 44,0852 | 25,6246 | 104,0583 | 8,7999 | -55,8818 | -14,7249 |
| UC3M | Carlos III | 44,0852 | 25,6246 | 104,0583 | 14,3578 | -60,7540 | -15,3196 |
| UVA | Valladolid | 44,0852 | 25,6246 | 104,0583 | 14,7007 | -66,2867 | -10,8190 |
| UAL | Almería | 44,0852 | 25,6246 | 104,0583 | 17,9294 | -61,7162 | -17,5825 |
ARWU sin indicadores de Nobel/Fields (I1 e I2)
Se trata de analizar las posiciones y puntuaciones de las universidades sin tener en cuenta los indicadores Alumni y Award.
Considerando el conjunto de universidades españolas que aparecen en el ranking, si se suprimieran los dos indicadores relativos a premios Nobel/Fields la subida media de posiciones sería de 16. El aumento sería mayor entre las universidades que están más arriba como las de Barcelona, Granada, Autónoma de Barcelona o Valencia, que ascenderían entre 39 y 29 posiciones. La única que bajaría posiciones sería la Complutense de Madrid ( tabla II ).
Las universidades que están más arriba en la clasificación son más sensibles a este cambio, a medida que se desciende en la tabla el efecto es menor. Cuanto más arriba el efecto es más positivo, con la excepción de la Complutense -la única con puntuación en uno de estos indicadores- para la que es negativo. Por término medio, las que están entre las 500 primeras posiciones subirían 25 puestos, mientras que las que están en la segunda mitad subirían 14.
La mayor variación relativa o elasticidad en las posiciones se presenta en las tres primeras universidades: Autónoma de Barcelona, Granada y Barcelona, a las que la no consideración de estos indicadores supondría un aumento de posiciones entre un 12,5% y un 21,4%. Por supuesto, a la única que supondría un descenso (de un 13,5%) es a la Complutense ( tabla III ).
La variación relativa o elasticidad en puntuación es de un 44% para todas las universidades españolas, excepto para la Complutense que es de un 29% ( tabla IV ). Hay que recordar que en todas las situaciones, los valores de la puntuación de cada universidad están con referencia a Harvard que marca el máximo y es 100.
ARWU sin indicador de autores altamente citados HC (I3)
Al no considerar el indicador de autores altamente citados, la variación media en las posiciones de las universidades españolas en conjunto es pequeña, -0,69. La supresión de este indicador es la que provoca el menor cambio en términos netos para las universidades españolas, sin embargo es el que presenta una variabilidad mayor. Así, como se muestra en la tabla II , hay universidades que bajarían entre 100 y 200 posiciones si no se tuviera en cuenta este indicador (es el caso de Las Palmas de Gran Canaria, Salamanca, Extremadura y Vigo), incluso más de 200 posiciones (como Lleida, Jaén, Jaume I y Navarra). Esto da una idea de la gran dependencia con respecto a este indicador para esas universidades. En la parte opuesta, subirían algo más de 100 posiciones: Málaga, La Laguna, Zaragoza, Oviedo, Murcia, Zaragoza y las Politécnicas de Madrid y de Cataluña. La mitad de las universidades españolas que aparecen en el ranking son muy sensibles a este indicador.
En términos relativos, las universidades más elásticas a la pérdida de posiciones por la eliminación total de este indicador (con una elasticidad por encima del 30%) son las de Granada, Jaume I, Vigo y Navarra ( tabla III ). Por el contrario, las más sensibles a ganar posiciones, por encima del 20% al eliminar el indicador, son Complutense y Pompeu Fabra. En cuanto a las puntuaciones, también bajarían más en términos relativos (entre -9% y -11% de puntuación) Vigo, Granada y Navarra mientras que la mitad de las universidades aumentaría algo más del 25% ( tabla IV ).
ARWU sin indicadores asociados directamente a personas (I1, I2 e I3)
Si se quitan los indicadores directamente relativos a personas (premios Nobel/Fields y autores altamente citados), la variación media de las universidades españolas consideradas subiría 41 posiciones. Existe una gran diferencia entre las que bajan muchos puestos y que son muy dependientes de estos indicadores (casi únicamente del indicador de autores altamente citados), por un lado, como es el caso de Extremadura, Vigo, Lleida y Jaén que perderían más de 150 puestos, y, por otro lado, las que subirían (más de 130 puestos) como Murcia, Oviedo, Rovira i Virgili o Pompeu Fabra, Málaga y Politécnica de Madrid ( tabla II ).
Las universidades más elásticas a perder posiciones si no se contemplan los indicadores asociados a personas son Jaén, Lleida, Extremadura y Vigo, con más del 20% ( tabla III ). Lo contrario ocurre para Zaragoza, Rovira i Virgili, Autónoma de Barcelona y Pompeu Fabra. En puntuación todas suben bastante, desde un mínimo en torno al 50% (Vigo y Jaén) hasta más del 100% en la mitad de los casos ( tabla IV ). La exclusión de este indicador produciría el mayor aumento de puntuación de las universidades españolas.
ARWU sin indicador de publicaciones N&S (I4)
El indicador N&S no se considera para algunas instituciones especializadas en ciencias sociales y humanidades, como es el caso de London School of Economic, Toulouse, Montpellier o Bocconi. En tales casos su puntuación se reparte entre los otros indicadores de estas instituciones. La no consideración de un indicador referido a estas publicaciones de excelencia, Nature y Science, de alguna manera corrige parcialmente el agravio para ciencias sociales y humanidades. Su ausencia provoca una variación media en el conjunto de las universidades españolas de -0,72 posiciones. Las universidades más perjudicadas por su exclusión, véase tabla II , serían Pompeu Fabra y La Laguna (caen más de 100 puestos) y las más beneficiadas sería Jaume I y Jaén (subirían 86 y 108 puestos, respectivamente). Tras el caso de HiCi, es la situación en la que el cambio provoca más heterogeneidad.
En términos relativos, las posiciones de La Laguna y Pompeu Fabra caerían más de un 20%, mientras que las que más subirían serían Granada, Jaume I y Jaén (más de un 10%) como se muestra en tabla III . Estas serían las universidades más elásticas. En cuanto a la puntuación, tabla IV , caerían solamente Pompeu Fabra y La Laguna, por el contrario subirían más del 20% la puntuación de Extremadura, Jaume I y Jaén
ARWU sin indicador PUB (I5)
Suprimir el indicador PUB de volumen de producción de artículos produciría un descenso medio de 4,4 posiciones entre las universidades españolas. Las universidades más sensibles, por tanto las que más puestos perderían, serían Politécnica de Madrid, Sevilla y Zaragoza (por encima de 170 puestos), mientras las que más subirían serían Las Palmas, Pablo de Olavide y Lleida, lo harían en más de 130 puestos ( tabla II ).
En términos relativos, esto afectaría de manera importante a las posiciones de las universidades españolas, algunas descenderían en más de un 30% sus posiciones (Autónoma de Barcelona, Zaragoza, Valencia y Sevilla), en tanto que otras las aumentarían en torno a un 20% (Pablo de Olavide, Jaume I) o más (Lleida), son las universidades más elásticas a este indicador ( tabla III ). La variación relativa de la puntuación es negativa para todas las universidades españolas, desde un descenso entre el 30% y el 40% para Salamanca, Vigo, Navarra, Jaume I, Pompeu Fabra y Lleida hasta descensos superiores al 60% para Castilla-La Mancha, Málaga, Valladolid, Córdoba y Zaragoza ( tabla IV ).
ARWU sin indicador PCP (I6)
Finalmente, la no inclusión del último indicador, PCP, que contempla la corrección por el tamaño de las instituciones, provocaría un descenso medio de 15,3 posiciones pero con mucha menor variabilidad que los indicadores anteriores (exceptuando el de Nobel/Fields). En este caso, por término medio se descenderían más puestos, en torno al centenar para Pablo de Olavide, Pompeu Fabra y Girona; mientras que subirían algunos puestos, entre 17 y 26, Complutense, Salamanca, Sevilla o Valladolid y, sobre todo, Navarra que ascendería 41 puestos ( tabla II ).
En números relativos, especialmente se verían afectadas las universidades Pompeu Fabra (-26,75%) y Girona (-14,5%) y también, con caídas superiores al 10% Pablo de Olavide y Rovira i Virgili ( tabla III ). Por el contrario crecerían, algo más del 5%, las universidades de Sevilla, Complutense y Navarra. En cuanto a la puntuación, todas las universidades españolas perderían puntuación, en unos casos por encima del 20% como Girona, Pompeu Fabra y Pablo de Olavide; mientras que en otros solamente perderían menos del 4% como Navarra, Barcelona, Granada y Complutense ( tabla IV ).
Grupos de universidades según elasticidad
Por otra parte, las características y/o la actuación de las universidades que condicionan los valores de sus indicadores son diferentes, de manera que existen tipologías o grupos de universidades con perfiles diferenciados. De acuerdo con los datos disponibles, una técnica adecuada para identificar grupos de universidades que tengan características lo más parecidas posibles dentro del grupo, siendo tales grupos lo más diferentes posible entre ellos, es el análisis clúster ( Luque-Martínez, 2012 Luque-Martínez, T. (2012). Técnicas de análisis de datos para la investigación de mercados. Madrid: Pirámide.).
Para ello se toma en consideración las elasticidades o variaciones relativas, tanto en posición como en puntuación, de las universidades españolas derivadas de la no consideración de los indicadores de los premios Nobel/medallas Fields (I1 y I2), los autores altamente citados (I3), ninguno de los indicadores de tipo personal (los tres indicados), y también de la no consideración de cada uno de los tres restantes (I4, I5 e I6). Al aplicar varias alternativas de medida de distancias, diferentes métodos de agrupación jerárquicos (especialmente el método de Ward) y métodos no jerárquicos (K-medias), la solución más consistente es la que identifica 5 grupos. Dicha solución es ratificada al aplicar el método de conglomerados biétapico según el cual ésta se puede calificar como una buena solución. Los resultados se resumen en la tabla V para las valoraciones y la tabla VI para la composición de los grupos.
| Variación media (valores estandarizados) sin incluir el indicador: | Grupo 1 | Grupo 2 | Grupo 3 | Grupo 4 | Grupo 5 | |
|---|---|---|---|---|---|---|
| En la posición | I1 e I2 (relativos a Nobel/medalla Fields) | 1,1693 | -,1722 | -,2043 | -3,4164 | -,2983 |
| I3 (HiCi) | ,0007 | -1,3329 | ,8783 | 1,1268 | ,5975 | |
| I1 - I2- I3 | ,3739 | -1,4276 | ,8573 | ,0952 | ,5153 | |
| I4 (N&S) | ,2465 | ,6322 | -2,4292 | ,4332 | -,1054 | |
| I5 (PUB) | -,9476 | ,98196 | ,8981 | -1,1518 | -,1771 | |
| I5 (PCP) | ,5775 | ,0107 | -1,6023 | 1,2876 | -,1116 | |
| En la puntuación | I1 e I2 (relativos a Nobel/medalla Fields) | ,1601 | ,1601 | ,1601 | -6,0849 | ,1601 |
| I3 (HiCi) | -,5376 | -1,2050 | ,9559 | ,1133 | ,8692 | |
| I1 - I2- I3 | -,5836 | -1,1684 | ,9441 | -1,0013 | ,9441 | |
| I4 (N&S) | -,2532 | ,7943 | -2,1936 | -,4713 | ,0867 | |
| I5 (PUB) | ,1923 | 1,0150 | ,9008 | ,3748 | -,9348 | |
| I5 (PCP) | 1,0441 | -,0425 | -1,2546 | 1,6650 | -,4296 | |
| Grupo 1 | Grupo 2 | Grupo 3 | Grupo 4 | Grupo 5 |
|---|---|---|---|---|
| Barcelona Granada Autónoma Barcelona Autónoma Madrid Valencia País Vasco Politécnica de Valencia Sevilla Santiago Compostela |
Salamanca Vigo Navarra Alicante Jaume I Extremadura Illes Balears Lleida Jaén Las Palmas G.C. |
Pompeu Fabra La Laguna Pablo Olavide |
Complutense | Zaragoza Rovira i Virgili Politécnica Madrid Murcia Oviedo Málaga Politécnica Cataluña Castilla-La Mancha Córdoba Girona Alcalá Cantabria Rey Juan Carlos Carlos III Valladolid Almería |
Grupo 1: universidades grandes y mejor posicionadas en el ranking.
Está compuesto por universidades de mayor tamaño que se caracterizan sobre todo por ser las que más posiciones subirían al quitar los indicadores relativos a premios Nobel/Fields y también subirían en la puntuación si se suprime la corrección por tamaño (PCP). Por otro lado, es el grupo que más disminuiría en posiciones al suprimir el indicador de producción (PUB) (ver tabla V ).
Es el grupo con mayor puntuación en los indicadores altamente citados, producción científica. Junto con la Complutense, son las universidades con mayores puntuaciones y por tanto con posiciones más altas en la clasificación. Es el grupo más sensible a la no consideración de los premios Nobel/Fields (el que más subiría) y el segundo más sensible (en este caso perdiendo posiciones) al indicador PUB.
Grupo 2: universidades más elásticas al indicador autores altamente citados, publicaciones de excelencia y producción científica.
Lo más característico es que es el grupo que más empeora sus posiciones y puntuaciones si no se contemplara los autores altamente citados. Al mismo tiempo es el que mejoraría más si no se contemplara las publicaciones en Nature y Science. La corrección por tamaño prácticamente no le afecta ( tabla V ).
Es el grupo más sensible (perdiendo posiciones en el ranking) a la eliminación de autores altamente citados, y si no se consideran los indicadores asociados a personas. También es el más sensible, ahora subiendo posiciones, al suprimir el indicador de Nature y Science y también al suprimir el indicador de producción científica (PUB).
Grupo 3: universidades más elásticas a publicaciones en Nature y Science y al indicador PCP.
Es un grupo con solamente tres universidades. Es el que más perdería en posiciones y puntuaciones al no considerar las publicaciones en Nature y Science, y también le perjudicaría la no consideración del indicador de corrección por tamaño (PCP). Mientras que subiría en posiciones y puntuaciones al quitar los indicadores referidos directamente a personas, especialmente el de autores altamente citados y también mejoraría si no se considerara la producción científica (PUB).
Es el grupo más elástico al no contemplar los indicadores relativos a personas, ganando posiciones, y en el mismo sentido es una de los más sensibles a PUB. También es el más sensible al indicador de publicaciones en Nature & Science, pero ahora por pérdida de posiciones y también al indicador que corrige por tamaño de la institución (PCP).
Grupo 4: única universidad con puntuación en Alumni.
Integrado solamente por la universidad Complutense de Madrid, la única con puntuación en indicadores relativos a premio Nobel (aunque lejano en el tiempo) y la única que perdería posiciones al suprimir este indicador. También es la que más ganaría, por su tamaño, al quitar el indicador que corrige por tamaño.
Es la más sensible al eliminar la puntuación por Nobel y de PUB, perdiendo puestos, y la más sensible a la eliminación del indicador de autores altamente citados y el de corrección por tamaño, ganando posiciones,
Grupo 5: universidades con elasticidad intermedia.
Es el grupo más numeroso y, con diferencia, el más diverso. Se beneficiaría al suprimir los indicadores personales, en particular el de autores altamente citados pero sobre todo en puntuación no tanto en posiciones. Esto es así porque se encuentran en la segunda mitad de la clasificación donde la influencia de esos indicadores no es tan relevante.
Respecto al resto de indicadores, es un grupo de universidades con una elasticidad intermedia. Es el que más le afecta la supresión del indicador PUB en cuanto a posición pero no tanto en cuanto a las posiciones que ocupan.
La figura 2 sintetiza las consecuencias en las posiciones medias para cada grupo de la supresión de cada indicador.
En la figura 3 se puede ver las consecuencias de suprimir los indicadores referidos a Nobel/Fields en las universidades españolas según la posición que ocupa en el ARWU. Salvo una excepción en la que se desciende, casi todas llegan a una variación por encima del 10% incluso del 30% de las posiciones para las que están entre las primeras. En la figura 4 cuando la supresión afecta a todos los indicadores personales (Alumni, Award y HiCi). Las universidades que están a partir de la posición 500 las que tienen mayores variaciones relativas en este caso, sobre todo por el efecto de los/as HiCi
6. CONCLUSIONES, RECOMENDACIONES Y LIMITACIONES
⌅Tras los análisis efectuados se está en condiciones de responder a las cuestiones de investigación planteadas.
En cuanto a Q1, el análisis permite conocer cómo varían las puntuaciones y las posiciones de las universidades españolas al modificar los respectivos indicadores, así como las universidades que ganan o pierden más posiciones.
Como se ha visto, y respondiendo a Q2, tales variaciones, en posiciones y en puntuaciones, son bastante heterogéneas tanto por indicador como por el lugar ocupado en la clasificación y tanto en términos absolutos como en términos relativos, como se muestra en las figuras, en particular en la figura 2 .
Respecto a Q3, la eliminación de los indicadores que tienen que ver con Nobel/Fields haría mejorar las posiciones de las universidades españolas en una media de 16 posiciones, sería más entre las que están entre las primeras posiciones (25 puestos), la única universidad que bajaría es la Complutense, como se muestra en la figura 3 .
La eliminación del indicador de autores altamente citados es la que provoca menos variación neta en el conjunto de las universidades españolas pero la que presenta mayor heterogeneidad. La mitad de las universidades españolas variarían más de 100 posiciones (ocho de ellas descendiendo y siete mejorando). Cuatro de ellas perderían por encima del 30% de sus posiciones y otras cuatro ganarían por encima del 15% en posiciones.
La supresión de los indicadores relativos a personas (Alumni, Award y HiCi) provoca variaciones muy heterogéneas en las posiciones de las universidades españolas que en términos netos aumentarían 41 posiciones. Además es la variación que aumentaría más la puntuación de las universidades españolas, como muestra la figura 4 .
La no consideración del indicador N&S provoca una gran heterogeneidad aunque en términos netos los aumentos se compensan con los descensos de posiciones, por lo que el resultado para el sistema universitario en cuanto a posiciones varía poco.
Catorce universidades variarían más de 100 puestos si no se contemplara en el ranking el indicador PUB, seis de ellas ganando y el resto perdiendo puestos. La variación neta es de pérdida de 4,4 posiciones por término medio. Las universidades españolas son muy sensibles a esta situación puesto que todas ellas perderían puntuación al suprimir este indicador.
La exclusión del indicador PCP provoca pérdida neta de posiciones de las universidades españolas, por lo general en universidades más pequeñas. También todas las universidades españolas tendrían una variación negativa en la puntuación al no incluir este indicador
Los indicadores personales son los que generarían más diferencia de posiciones en las universidades españolas, que se ven especialmente afectadas por la relevancia dada en ARWU a indicadores de carácter personal (Alumni, Award y HiCi) frente a los de carácter más institucional (especialmente PUB y PCP).
Una crítica que hacen algunos estudiantes (y sus padres) de universidades con numerosos premios Nobel es que terminan sus estudios sin ver o ser atendidos por un premio Nobel, poniendo en duda la relevancia de tal indicador para su formación. Esto lleva a plantear si los indicadores relativos a Nobel/Fields deben tener tanta importancia, en general si los indicadores de naturaleza personal en la valoración de una institución deben pesar tanto. Una de las opciones es eliminar tales indicadores, o reducir el peso que tienen, un planteamiento que diferentes autores han realizado y que incluso se ha tomado en consideración por quienes elaboran el propio ranking al proponer una opción sin tales indicadores.
En cuanto a Q4, se han identificado clústeres de universidades en función de su elasticidad a los indicadores del ARWU, en concreto son cinco grupos homogéneos de universidades españolas.
La composición de los grupos sirve para identificar universidades similares con las que hacer análisis comparativos o benchmarking, aplicando criterios idóneos para ello, como los indicados por Diem y Wolter (2013) Diem, A., y Wolter, S. C. (2013). The use of bibliometrics to measure research performance in education sciences. Research in higher education, 54(1), 86-114., a la vista de la elasticidad de los indicadores ARWU. Estos grupos son los de las universidades grandes y mejor posicionadas; universidades más elásticas al indicador HiCi, producción de excelencia y volumen de producción científica; más elásticas al indicador de publicaciones en Nature & Science; universidades con elasticidad intermedia y el grupo integrado por la única universidad con puntuación por Nobel.
La cuantificación de la sensibilidad y elasticidad a estos cambios permite a las universidades conocer las consecuencias de posibles modificaciones en los indicadores, anticipar consecuencias de cambios o hacer benchmarking de universidades o grupos de universidades referentes en algunos indicadores, además de para adoptar medidas en evaluación del desempeño de las universidades y de su política científica.
La utilidad de este análisis clúster es la de identificar grupos homogéneos de universidades atendiendo a su mayor o menor sensibilidad y elasticidad a los diferentes indicadores, en el hipotético caso que se suprimieran. De esta manera se puede saber a qué grupos de universidades les vendría mejor potenciar las publicaciones en N&S o en aumentar sus PUB, su PCP o cualquier otro indicador y qué universidades (de otros grupos) les podrían servir de inspiración porque lo hacen mejor en uno de esos indicadores. También serviría para hacer seguimiento y comparar la evolución futura de las universidades que partían de la misma situación (es decir de su mismo grupo).
Esta manera de proceder aporta utilidad a una universidad porque permite estimar cómo mejoraría su posición al mejorar en los respectivos indicadores, ceteris páribus es decir si el resto permaneciera igual. En consecuencia, esto sirve para inspirar medidas que produzcan la mejora en cada indicador concreto y priorizar las mismas en función de la sensibilidad o elasticidad de dicha universidad a cada indicador porque la repercusión es muy diferente según el indicador. Por ejemplo, si una universidad es muy sensible al indicador de publicaciones en N&S y no tanto al de autores altamente citados, la implicación es que deberá promover un plan con medidas concretas (financieras, de recompensa, de formación, etc.) para elevar el número de publicaciones en N&S, mientras que para ella no sería un prioridad tan fuerte el conseguir más autores altamente citados.
Con todo, es necesario subrayar que un indicador “indica”, valga la redundancia, que se dan determinadas características de un fenómeno observable. Es un reflejo de tales características, no “es” la característica y no se debe confundir con ella. En las decisiones de dirección y gestión universitarias el énfasis debe estar en mejorar las características que redundará en los indicadores, no en obsesionarse simplemente en mejorar los indicadores descuidando las características que reflejan. Por esta razón, debiera actuarse con cuidado ante determinadas propuestas, como las de “fichajes estrella” para actuar sobre los indicadores de índole personal (Alumni, Award y HiCi) o la de fusión de universidades con el único criterio de subir en los rankings, puesto que en lo fundamental no habrá transformación sustancial (en las características), si sólo se ficha o se fusiona. La estrategia de “fichajes estrella” actúa sobre todo en los indicadores de naturaleza personal, a un determinado nivel pueden significar un elevado coste para los magros resultados que se alcancen sobre las características, además de que es dudosa la influencia sobre la calidad de la docencia.
En cuanto a la fusión de universidades, es una medida que afecta a los indicadores de naturaleza institucional. Para empezar, el resultado de la suma de dos instituciones será menor que su consideración por separado, porque habrá parte de la producción que es común, como ya se comprobó en el caso español respecto a la iniciativa de Campus de Excelencia Internacional ( Docampo y otros, 2012 Docampo, D., Luque-Martínez, T., Torres-Salinas, D., y Herrera, F. (2012). Efecto de la agregación de universidades españolas en el Ranking de Shanghai (ARWU): caso de las comunidades autónomas y los campus de excelencia. El profesional de la información, 21(4), 428-432. DOI: http://dx.doi.org/10.3989/redc.2011.2.797 ). Cuanto más próximas (espacialmente y en la relación que tengan) sean las instituciones más se notará ese efecto. Por otra parte, la mera agregación de las instituciones no garantiza mejora en las características de la resultante, incluso puede que haya ineficiencias por coordinación, al margen del resultado que se obtenga en uno u otro indicador.
Una futura línea de investigación a seguir derivada es profundizar el análisis descendiendo a áreas temáticas para ver el efecto en cada caso más ajustado al tipo o la orientación de la universidad.
Como es lógico, estas conclusiones están sujetas a las limitaciones implícitas en el número de indicadores y forma en que los utiliza el ranking de Shanghái, sin olvidar que se refieren solamente al año 2021, centrándonos en las universidades españolas incluidas en él. Además, no se ha tenido en cuenta la orientación de las universidades que puede ser más o menos técnica o más o menos generalista, puesto que el ranking no las tiene en cuenta. Entrar en estas distinciones conduciría a grupos muy reducidos de universidades como para establecer comparaciones.
También se ha de advertir que el número de decimales puede aumentar la “sensación” de precisión. Sin embargo aunque inicialmente la medida se refiere a personas o publicaciones, esto se transforma e iguala a 100 para la universidad con más puntuación (Harvard) de manera que los decimales hacen referencia no al número de publicaciones o autores altamente citados, por ejemplo, sino a la diferencia con respecto al máximo que es Harvard.