ESTUDIOS / RESEARCH STUDIES

META-RANKING DE UNIVERSIDADES. POSICIONAMIENTO DE LAS UNIVERSIDADES ESPAÑOLAS

Teodoro Luque-Martínez*, Nina Faraoni**, Luis Doña-Toledo*

* Universidad de Granada, Dpto. Comercialización e Investigación de Mercados. Facultad de Ciencias Económicas y Empresariales, Campus Universitario de La Cartuja

Correo-e: tluque@ugr.es | ORCID iD: http://orcid.org/0000-0003-1282-6822

Correo-e: luisdt@ugr.es | ORCID iD: http://orcid.org/0000-0003-2238-2671

** Universidad de Granada, Doctoranda programa de Economía y Empresa. Facultad de Ciencias Económicas y Empresariales, Campus Universitario de La Cartuja, Granada

Correo-e: faraoninina@correo.ugr.es | ORCID iD: http://orcid.org/0000-0003-1582-5104

UNIVERSITIES METARANKING. POSITIONING OF THE SPANISH UNIVERSITIES

CONTENIDOS

1. INTRODUCCIÓN Top

La necesidad de evaluar y competir en todos los ámbitos de la vida cotidiana ha llevado a desarrollar una nueva forma de concebir la educación universitaria (Olssen y Peters, 2005Olssen, M.; Peters, M. A. (2005). Neoliberalism, higher education and the knowledge economy: From the free market to knowledge capitalism. Journal of Education Policy, 20 (3), 313-345. https://doi.org/10.1080/02680930500108718.). En este contexto han aparecido numerosos rankings de universidades que generan polémica y debate, a veces apasionados, cada vez que se publican. Las clasificaciones académicas han proliferado en el mundo, han aparecido sistemas de información sobre ellas como el Ranking System Clearinghouse, apadrinado por el Institute for Higher Education Policy, y han nacido observatorios encargados de evaluar la calidad y el rigor utilizados en los rankings promoviendo las buenas prácticas y los valores éticos en su redacción (i.e. IREG Observatory on Academic Ranking y Excellence). También se aprecia su fama por el nacimiento de instrumentos que intentan sintetizar el puesto de las universidades en los distintos rankings (Delgado-López-Cózar, 2012Delgado-López-Cózar, E. (2012). Cómo se cocinan los rankings universitarios. How to cook the university rankings. Dendra médica, 11 (1), 43-58.).

Según el diccionario de la Real Academia Española, un ranking es una “clasificación de mayor a menor, útil para establecer criterios de valoración”. Como primer concepto se encuentra “clasificación”, pero es especialmente relevante su para qué: “la utilidad para establecer criterios de valoración”. Por tanto, se espera que los rankings aporten un plus, más allá de una mera clasificación. Y esto radica en la capacidad de guiar al interlocutor ofreciéndose como fuente fiable y honesta en la formación del prestigio y de la calidad de una universidad.

La fama de los rankings de universidades adquiere una relevancia especial con la publicación del Academic Ranking of World Universities (ARWU), aunque los rankings hayan aparecido por primera vez en 1870 según Grewal y otros (2008Grewal, R.; Dearden, J. A.; Lilien, G. L. (2008). The University Rankings Game: Modeling the Competition among Universities for Ranking. The American Statistician, 62 (3), 232-237. https://doi.org/10.1198/000313008X332124.). Por otro lado, las instituciones de educación superior intentan incorporar estudiantes y, según Sung y Yang (2008Sung, M.; Yang, S. U. (2008). Toward the model of university image: The influence of brand personality, external prestige and reputation. Journal of Public Relations Investigation, 20 (4), 357-376. https://doi.org/10.1080/10627260802153207.), la imagen proyectada por la universidad es el principal agente que puede conseguirlo. Para Luque y Barrio (2009Luque-Martínez, T.; Barrio-García, S. del (2009). Modelling university image: The teaching staff viewpoint. Public Relations Review, 35 (3), 325-327. https://doi.org/10.1016/j.pubrev.2009.03.004.), la imagen corporativa de una organización es un buen predictor del poder de atracción que esta institución tendrá sobre su público objetivo. Las universidades toman conciencia de la importancia de generar una imagen que sea fuerte en la visión de sus públicos objetivo (Brown y Mazzarol, 2009Brown, R. M.; Mazzarol, T. W. (2009). The importance of institutional image to student satisfaction and loyalty within higher education. Higher Education, 58 (1), 81-95. https://doi.org/10.1007/s10734-008-9183-8.). La fuerza que ejerce la imagen corporativa se puede reflejar en la sociedad en su conjunto, como pasa con las universidades británicas y estadunidenses que hacen aparecer su entorno de igual prestigio que sus universidades (Sung y Yang, 2008Sung, M.; Yang, S. U. (2008). Toward the model of university image: The influence of brand personality, external prestige and reputation. Journal of Public Relations Investigation, 20 (4), 357-376. https://doi.org/10.1080/10627260802153207.). Alves (2011Alves, H. (2011). The measurement of perceived value in higher education: a unidimensional approach. The Service Industries Journal, 31 (12), 1943-1960. https://doi.org/10.1080/02642069.2011.550042.) comprueba que la imagen es importante al influenciar el valor percibido y, por consecuencia, la satisfacción. Crear una imagen es parte de la estrategia básica de una institución y los rankings ayudan en el intento (Luque-Martínez, 2015aLuque-Martínez, T. (2015a). Horizon 2031. The University of Granada in Light of its V Century. Reflections on the Future of the University. Granada (España): Editorial Universidad de Granada. http://biotic.ugr.es/pages/horizon-2031.). En este contexto, los rankings son útiles instrumentos para crear una imagen influyente, partiendo de una información parcial e incompleta (Alves y Raposo, 2010Alves, H.; Raposo, M. (2010). The influence of university image on student behaviour. International Journal of Educational Management, 24 (1), 73-85. https://doi.org/10.1108/09513541011013060.). Además intentan abarcar a todas las instituciones (cuando son rankings globales) resumiendo varios indicadores con diferente ponderación para llegar a una puntuación (cuando son rankings sintéticos).

Existe amplia literatura sobre rankings universitarios y sobre comparación entre ellos, pero se ha identificado una ausencia en la literatura de trabajos sobre meta-ranking de universidades y, como consecuencia, la inexistencia de estudios de posicionamiento de universidades basados en meta-ranking. Sin embargo, trabajar con varios rankings aporta más solvencia a la clasificación que se realiza, puesto que diferentes rankings, al utilizar diferentes indicadores, aportan matices que enriquecen la clasificación. Además, al disponer de más indicadores se puede elaborar un perfil más completo de las universidades y permite comprobar con más detalle el posicionamiento respecto de otras universidades nacionales e internacionales.

En suma, ante la diversidad de rankings, que siempre son aproximaciones y que incorporan matices diferentes, cabe preguntarse sobre la idoneidad de hacer una clasificación con la información de varios rankings: un meta-ranking que reúna y resuma esos matices. Precisamente el objetivo de este trabajo es elaborar un meta-ranking, a partir de rankings sintéticos y globales para obtener una clasificación de universidades que resuma una información más completa a través de dos vías: una, utilizando la puntuación global de cada ranking seleccionado y, otra, utilizando todos los indicadores de los rankings seleccionados que permiten un análisis más detallado de la clasificación, una vez elaborado, es aplicado a las universidades españolas para obtener una representación del posicionamiento de las mismas identificando, por una parte, aquéllas que están mejor posicionadas en las diferentes dimensiones utilizadas y, por otra, qué universidades del mundo son referentes en cada una de ellas.

2. RANKINGS SELECIONADOS PARA LA ELABORACIÓN DE UN META-RANKING DE UNIVERSIDADES ESPAÑOLAS Top

Los rankings universitarios son una forma de ordenar las universidades con arreglo a unos criterios, por tanto son una aproximación, y esto no debe olvidarse. Para una utilización correcta hay que tener muy presente los detalles de su elaboración y no perder de vista sus limitaciones. Efectivamente, un uso correcto sirve para tener información sobre la evolución de una universidad y poder compararla con otras del entorno o del mundo (Docampo y otros, 2012Docampo, D.; Herrera, F.; Luque-Martínez, T.; Torres-Salinas, D. (2012). Efecto de la agregación de universidades españolas en el Ranking de Shanghai (ARWU): caso de las comunidades autónomas y los campus de excelencia. El Profesional de la Información, 21 (4), 428-432. https://doi.org/10.3145/epi.2012.jul.16.). Constituyen una buena herramienta para hacer benchmarking, establecer objetivos contrastables y, en general, para la planificación estratégica (Luque-Martínez y Barrio-García, 2009Luque-Martínez, T.; Barrio-García, S. del (2009). Modelling university image: The teaching staff viewpoint. Public Relations Review, 35 (3), 325-327. https://doi.org/10.1016/j.pubrev.2009.03.004.).

De manera sintética, se pueden establecer diferentes tipo de rankings dependiendo del criterio:

• Según el número de indicadores considerados pueden ser unidimensionales cuando se tiene en cuenta uno solo, o multidimensionales, cuando son varios los tomados en consideración.

• Según el territorio que abarquen, serán nacionales, internacionales (para una zona o región que comprenda varios países) o globales (para todo el mundo).

• De acuerdo con el ámbito al que se apliquen, en este caso pueden ser de investigación, de docencia, de reputación, de sostenibilidad o de empleabilidad, entre otros aspectos a considerar.

• Teniendo en cuenta el tipo de indicador que se utilice, los hay basados en datos, ya sean bibliométricos (indicadores de investigación, como número de artículos o número de citas), de I+D+I (incluye proyectos, número e importe de contratos, patentes o creación de spin-off), o de otras dimensiones (como infraestructuras o internacionalización), en definitiva, datos secundarios o estadísticas oficiales. O bien se elaboran a partir de percepciones u opiniones sobre algunas de las dimensiones de la actividad universitaria mediante encuestas de diferentes carácterísticas y metodología.

Los rankings de universidades han sido objeto de muchas críticas (Luque-Martínez y Barrio-García, 2016Luque-Martínez, T.; Barrio-García, S. del (2016). Constructing a synthetic indicator of research activity. Scientometrics, 108 (3), 1049-1064. https://doi.org/10.1007/s11192-016-2037-8.; Hazelkorn, 2012Hazelkorn, E. (2012). The Effects of Rankings on Student Choices and Institutional Selection. En: Jongbloed, B.; Vossensteyn, H. (eds.), Access and Expansion Post-Massification: Opportunities and Barriers to Further Growth in Higher Education Participation. London: Routledge., Docampo, 2008Docampo, D. (2008). Rankings internacionales y calidad de los sistemas universitarios. Revista de Educación, 1, 149-176. y 2010Docampo, D. (2010). On using the Shanghai ranking to assess the investigation performance of university systems. Scientometrics, 86 (1), 77-92. https://doi.org/10.1007/s11192-010-0280-y.). En primer lugar, está el grupo de críticas relacionadas con la medida de los indicadores, puesto que predominan los indicadores bibliométricos o de investigación o porque hay infrarrepresentación para algunos campos, como las humanidades o las ciencias sociales (Ishikawa, 2009Ishikawa, M. (2009). University rankings, global models, and emerging hegemony. Critical analysis from Japan. Journal of Studies in International Education, 13 (2), 159-173. https://doi.org/10.1177/1028315308330853.; Robinson-García, 2014Robinson-García, N. (2014). Classifying and visualizing the disciplinary focus of universities. The invisible factor of university ranking. Universidad de Granada. Doctoral thesis.). También han sido objeto de críticas por la falta de transparencia en la recogida de los datos (Liu y Cheng, 2005Liu, N. C.; Cheng, Y. (2005). The academic ranking of world universities. Higher Education in Europe, 30 (2), 127-136. https://doi.org/10.1080/03797720500260116.) o el sesgo introducido por la lengua predominante en las publicaciones científicas, en concreto el inglés (Altbach, 2015Altbach, P. (2015). The dilemmas of ranking. International Higher Education, 42. https://doi.org/10.6017/ihe.2006.42.7878.). Además, se cuestiona la idoneidad de determinados indicadores como los premios Nobel (Marginson y van der Wende, 2007Marginson, S.; Van der Wende, M. (2007). To rank or to be ranked: The impact of global rankings in higher education. Journal of Studies in International Education, 11 (3-4), 306-329. https://doi.org/10.1177/1028315307303544.; Sanz-Casado y otros, 2013Sanz-Casado, E.; García-Zorita, C.; Serrano-López, A. E.; Efraín-García, P.; De Filippo, D. (2013). Rankings nacionales elaborados a partir de múltiples indicadores frente a los de índices sintéticos. Revista Española de Documentación Científica, 36 (3), e012. https://doi.org/10.3989/redc.2013.3.1.023.).

Segundo, las criticas relativas a las características de las instituciones que se ordenan. Se comparan universidades con características muy diferentes, por estructura organizativa y grados de autonomía (Aghion y otros, 2010Aghion, P.; Dewatripont, M.; Hoxby, C.; Mas-Colell, A.; Sapir, A. (2010). The governance and performance of universities: Evidence from Europe and the US. Economic Policy, 25 (61), 7-59. https://doi.org/10.1111/j.1468-0327.2009.00238.x.), con años de historia muy diferentes (Luque-Martínez, 2013Luque-Martínez, T. (2013). La actividad investigadora de la universidad española en la primera década del siglo XXI: la importancia del tamaño de la universidad. Revista Española de Documentación Científica, 36 (4), e026. http://dx.doi.org/10.3989/redc.2013.4.1046.), con tamaños muy diversos (por estudiantes, profesores, ratio de alumnos-profesor), o diferentes ofertas de titulaciones. Además las universidades pueden estar enfocadas a la docencia o a la investigación o a la transferencia, con especialización en campos diferentes. También las universidades operan en contextos económicos y sociales muy diversos, con niveles de recursos desiguales (Luque-Martínez, 2015bLuque-Martínez, T. (2015b). Actividad investigadora y contexto económico. El caso de las universidades públicas españolas. Revista Española de Documentación Científica, 38 (1), e076. http://dx.doi.org/10.3989/redc.2015.1.1135.). Además, en unos casos son universidades privadas y en otros son públicas.

Finalmente, las críticas que se refieren a consideraciones metodológicas, por la forma de recoger los datos bibliométricos (Waltman y otros, 2012Waltman, L.; Calero-Medina, C.; Kosten, J.; Noyons, E.; Tijssen, R. J.; Eck, N. J.; Wouters, P. (2012). The Leiden Ranking 2011/2012: Data collection, indicators, and interpretation. Journal of the American Society for Information Science and Technology, 63 (12), 2419-2432. https://doi.org/10.1002/asi.22708.), porque recurren a indicadores múltiples, así como por la forma de sintetizarlos (Sanz-Casado y otros, 2013Sanz-Casado, E.; García-Zorita, C.; Serrano-López, A. E.; Efraín-García, P.; De Filippo, D. (2013). Rankings nacionales elaborados a partir de múltiples indicadores frente a los de índices sintéticos. Revista Española de Documentación Científica, 36 (3), e012. https://doi.org/10.3989/redc.2013.3.1.023.), o por cómo se ponderan los indicadores seleccionados (Buela-Casal y otros, 2007Buela-Casal, G.; Gutiérrez-Martínez, O.; Bermúdez-Sánchez, M. P.; Vadillo-Muñoz, O. (2007). Comparative study of international academic rankings of universities. Scientometrics, 71 (3), 349-365. https://doi.org/10.1007/s11192-007-1653-8.).

Todo esto dificulta la comparación y erosiona la utilidad de las clasificaciones.

En el presente análisis se utilizan rankings sintéticos, puesto que se elaboran con diferentes criterios e indicadores que se sintetizan en una puntuación global para cada universidad, mediante ponderaciones propias de cada ranking. Al mismo tiempo, son rankings globales porque intentan abarcar las instituciones más relevantes del mundo. Cada uno de los rankings universitarios globales y sintéticos pone el énfasis en matices diferentes, ya sea de producción científica o de otras dimensiones. Si la ordenación de las universidades se realiza considerando al mismo tiempo varios rankings, la clasificación obtenida será más completa puesto que reúne más dimensiones de la actividad universitaria.

Tales rankings trabajan con indicadores bibliométricos pero también no bibliométricos y con encuestas, consideran tanto indicadores de investigación como de otra índole. En suma, los rankings utilizados en esta investigación deben cumplir con los requisitos de ser sintéticos, globales y tener accesible la información de sus indicadores. A pesar del indudable interés que tienen, no se han seleccionado algunos rankings porque no dan una puntuación sintética (como el de Leiden o U-Multirank), no son globales o la información de los indicadores no está accesible (i.e. Scimago). Los seleccionados tienen una gran notoriedad y son utilizados por universidades y sistemas universitarios como fuentes de información y como instrumentos para hacer benchmarking (Hernández y otros, 2016Hernández, M.; Sureda, B.; Escribano, B.; Carrera, E.; Martínez, J.; Aguado, J. C.; Cot, M.; Busquets, P. (2016). Informe sobre la Competència de Sostenibilitat i Compromís Social a la Universitat Politècnica Catalunya.; Hazelkorn, 2012Hazelkorn, E. (2012). The Effects of Rankings on Student Choices and Institutional Selection. En: Jongbloed, B.; Vossensteyn, H. (eds.), Access and Expansion Post-Massification: Opportunities and Barriers to Further Growth in Higher Education Participation. London: Routledge.; Rauhvargers, 2014Rauhvargers, A. (2014). Where are the global rankings leading us? An analysis of recent methodological changes and new developments. European Journal of Education, 49 (1), 29-44. https://doi.org/10.1111/ejed.12066.; Robinson-García y otros, 2014Robinson-García, N.; Torres-Salinas, D.; López-Cózar, E. D.; Herrera, F. (2014). An insight into the importance of national university rankings in an international context: the case of the I-UGR rankings of Spanish universities. Scientometrics, 101 (2), 1309-1324. https://doi.org/10.1007/s11192-014-1263-1.). Son los siguientes (los criterios de elaboración se pueden ver la respectiva web):

• University Ranking by Academic Performance (URAP): http://www.urapcenter.org

• Academic Ranking of World Universities (ARWU); http://www.shanghairanking.com

• National Taiwan University (NTU): http://nturanking.lis.ntu.edu.tw/

• Times Higher Education (THE): https://www.timeshighereducation.com/world-university-rankings

• Quacquarelli Symonds-QS ranking (QS): http://www.topuniversities.com/university-rankings

Los tres primeros rankings utilizan básicamente indicadores bibliométricos especialmente referidos a investigación, mientras que los otros dos (THE y QS) además de algún indicador bibliométrico (principalmente citas), también utilizan otros (i.e. internacionalización, reputación, ratio estudiantes por profesor o ingresos por investigación) y alguno de ellos se obtiene mediante encuestas, como los referidos a la reputación, ya sea académica o de investigación.

Estos rankings están entre los más conocidos y gozan de gran notoriedad en la comunidad universitaria internacional, se vienen publicando desde hace años y sus puntuaciones son accesibles en sus respectivas páginas web. Cada uno recoge datos con matices diferentes, por ello es interesante compendiarlos para llegar a un ranking resumen, o un meta-ranking. Y una vez elaborado, aplicarlo a las universidades españolas, representándolas y consiguiendo el posicionamiento de las diferentes universidades en dicho meta-ranking.

3. ASPECTOS METODOLÓGICOS Top

Para alcanzar el objetivo hay que resolver, en primer lugar, el asunto de la materia prima con la que trabajar. Es decir, la confección de una base de datos completa de universidades lo más homogénea y completa posible. Después, elegir y aplicar una técnica de análisis que sintetice la información y la trate para extraer utilidad que aporte valor para las universidades y el sistema universitario. Para ello se ha seguido un proceso que consta de las siguientes etapas.

3.1. Recogida y depuración de datos

Cada ranking trabaja con un diferente número y composición de universidades. El primer reto es elaborar una base de datos de universidades lo más homogénea, amplia y completa posible.

Se recogieron los datos (de indicadores, puntuación general y posición) de los cinco rankings, a partir de las respectivas webs oficiales. Hubo que comprobar la denominación de las universidades y homogeneizarlas. En total 358 universidades aparecen en los rankings seleccionados y 101 universidades más lo hacían en al menos 4 de los 5 rankings seleccionados, esto hace una suma de 459 universidades. El análisis se va a realizar con las universidades que aparecen al menos en 4 rankings, porque da un número próximo al mínimo que consideran los rankings con menor número de universidades (500), de esta manera no se tiene un número excesivo de datos faltantes.

Todos los rankings tienen algún dato de puntuación global que falta y de los 2.295 casos diferentes (universidades), estaban completos 2.092 y solamente 203 (un 8,8% del total) figuran como datos faltantes. De ese total, el ranking QS es el que presenta más missing data (27,9%) y es el que menos universidades incluye con datos completos, 331 universidades de 459. Por el contrario, el ranking con un número mayor de ellas es el URAP, con 455, por tanto con menos missing data (0,9%). Los otros tres rankings tenían números intermedios como se aprecia en la tabla I.

Tabla I. Número de universidades en los rankings y datos faltantes [Descargar tamaño completo]

3.2. El problema de los datos faltantes

A medida que aumenta el número de rankings a analizar conjuntamente, el número de los datos que faltan crece. La primera cuestión a resolver es el tratamiento de los datos faltantes, es decir, si se busca una solución (y cuál) o no. Para trabajar con una base de datos completa es necesario realizar un proceso de estimación de los datos faltantes y comprobar que es mejor solución que no hacer nada. En este caso se ha elegido el método de imputación múltiple implementado en IBM SPSS STATISTIC 20. En concreto la opción de “Fully Conditional Specification” (FCS) algoritmo de imputación múltiple, que realiza la imputación de los valores faltantes secuencialmente en cada iteración comenzando por la primera variable que tiene valores perdidos.

Se repite 100 veces para obtener 100 imputaciones. Cada cadena comienza con diferentes números aleatorios iniciales y diferentes valores iniciales.

Un proceso similar para los datos faltantes se hace también con los 31 indicadores de los rankings seleccionados.

3.3. Comprobación

Tras la imputación de los missing data se comprueba que las correlaciones entre los diferentes rankings antes y después de imputar se mantienen en valores muy parecidos, en los casos de mayor diferencia solamente es de pocas centésimas. En todos los casos las correlaciones son significativas al 1%, como se observa en la tabla II. La correlación que presenta la mayor diferencia antes y después de la imputación es la que se da entre NTU y QS, que alcanza un valor de 0,04 mientras que se mantiene en los mismos valores o con valores de una centésima en ocho de diez correlaciones. Esto sirve de aval para la imputación realizada.

Tabla II. Correlación entre las puntuaciones globales de los rankings antes y después de la imputación (entre paréntesis) [Descargar tamaño completo]

3.4. Transformación y calibración de los datos

A pesar de que los datos vienen en un rango de valores parecido, aunque no totalmente coincidente, se aplica la transformación de datos recomendada por Rainer y Miller (2005Rainer Jr, R. K.; Miller, M. D. (2005). Examining differences across journal rankings. Communications of the ACM, 48 (2), 91-94. https://doi.org/10.1145/1042091.1042096.) y aplicada también por Franke y Schreier (2008Franke, N.; Schreier, M. (2008). A meta-ranking of technology and innovation management/entrepreneurship journals. Entrepreneurship Journals. Die Betriebswirtschaft (DBW).), consistente en la siguiente operación:

Donde

X^t_ij= puntuación transformada de la universidad i en el ranking j.

X_ij= puntuación original de la universidad i en el ranking j.

X_jmax= puntuación máxima en el ranking j.

X_jmin= puntuación mínima en el ranking j.

Aunque se tenga el mismo rango de valores, puede que el criterio que subyace en cada ranking haga que los datos no sean directamente comparables, por este motivo Franke y Schreier (2008Franke, N.; Schreier, M. (2008). A meta-ranking of technology and innovation management/entrepreneurship journals. Entrepreneurship Journals. Die Betriebswirtschaft (DBW).) recomiendan realizar la siguiente calibración:

Donde

X^s_ij= puntuación calibrada de la universidad i en el ranking j.

X^t_ij= puntuación transformada de la universidad i en el ranking j.

Ranking_k,referente: puntuación de la universidad k en el ranking elegido como referente.

Ranking_k,j: puntuación de la universidad k en el ranking j.

n= número de universidades en presentes en el ranking j.

k= universidades que aparecen en el ranking de referencia y en el ranking j.

3.5. Elaboración de un meta-ranking

Para resumir la información de los cinco rankings en uno solo se aplica análisis factorial, de esta manera se obtiene una nueva variable que sintetiza la información de todos los rankings, es decir, un meta-ranking a partir de las puntuaciones factoriales de cada caso, minimizando la pérdida de la información de partida contenida en las puntuaciones iniciales. También se comprueba la pertinencia de considerar una o varias dimensiones que se pueden distinguir entre los rankings considerados. Como se ha visto en la tabla de correlación anterior, se aprecia cierta estructura de correlación entre los rankings que consideran datos de investigación de carácter bibliométrico, por un lado, y los rankings que consideran además otros tipos de datos y los recogidos por encuestas, por otro. Esto apoya la división en dos dimensiones que vamos a comprobar realizando un análisis factorial con dos factores.

Para profundizar en los detalles se aplica análisis factorial a los 31 indicadores de los 5 rankings identificando las principales dimensiones que subyacen en la información que contienen.

3.6. Representación de las universidades

Realizado el análisis factorial, se observa tanto la posición de las universidades con una sola dimensión como la posición al considerar dos dimensiones. Para ello se han seleccionado las universidades españolas que aparecen en al menos cuatro de los cinco rankings seleccionados.

También se describe la posición (en las principales dimensiones se representan) de las universidades españolas en las dimensiones identificadas en al análisis factorial.

4. ANÁLISIS DE DATOS Top

4.1. Análisis de las puntuaciones globales

En este caso concreto la aplicación o no de la transformación y calibración de los datos mencionados anteriormente no genera diferencias puesto que el rango de valores de los rankings es muy parecido y al realizarse la imputación no hay datos faltantes. A lo que hay que añadir que se trabaja con la matriz de correlaciones para realizar el análisis factorial, o esa con o sin transformaciones, el resultado es el mismo.

A partir de la base de datos con 459 universidades y aplicando el procedimiento mencionado de imputación (100 imputaciones), se realiza un análisis de componentes principales utilizando el programa SPSS 20. El análisis es pertinente puesto que presenta un índice KMO de 0,847 y la prueba de esfericidad de Bartlett es significativa (p=0,00), lo que demuestra la existencia de estructura de correlación. Hay un solo factor con valor propio mayor que 1, ese único factor extraído contiene el 79,1% de la varianza original de las puntuaciones de los cinco rankings. En todos los casos la comunalidad es superior a 0,7, desde las más bajas de NTU y QS que tienen una comunalidad de 0,734 y 0,728, respectivamente, hasta las mayores que son ARWU y URAP (0,839 y 0,838). En todo caso, son valores muy superiores a los mínimos establecidos como necesarios en la aplicación de este análisis. Las cargas factoriales superan sobradamente el valor de 0,8: URAP (0,916), ARWU (0,916), NTU (0,857), THE (0,903) y QS (0,853).

Para comprobar el parecido de este meta-ranking con los rankings iniciales se han calculado las correlaciones ordinales, según el orden resultante de este meta-ranking y el existente inicialmente para cada ranking. Para ello se utilizó el coeficiente de correlación de rangos rho de Spearman. Como se observa en la tabla III, todas las correlaciones son significativas y muy elevadas. La correlación más elevada se da entre el ranking NTU y URAP 0,939, en todos los demás casos las correlaciones mayores se producen con el META-RANKING. Aún con esa excepción, esto es un buen indicador de la capacidad de representación de los rankings analizados mediante el meta-ranking.

Tabla III. Correlaciones ordinales (rho de Spearman) entre los rankings globales sintéticos y el meta-ranking [Descargar tamaño completo]

En el sistema universitario español, solamente hay 14 universidades que cumplen el requisito de aparecer en al menos cuatro de los cinco rankings analizados. Al sintetizar en una sola dimensión la información de los 5 rankings, que recordemos conserva casi el 80% de la información inicial (79,1%), la clasificación de esas universidades en España y en el mundo se muestra en la tabla IV. Las primeras posiciones están ocupadas por las universidades de Barcelona y Madrid. Así por orden de posición, en primer lugar aparece la Universidad de Barcelona seguida de la Autónoma de Barcelona que están entre las 200 primeras del mundo. Entre las posiciones 200 y 300 del ranking mundial se situan la Autónoma de Madrid, Pompeu Fabra y Complutense. En el intervalo 300-400 están las universidades de Valencia, Granada y Politécnica de Cataluña y en el último, 400-459, se encuentran las universidades de Santiago de Compostela, País Vasco, Zaragoza, Sevilla y Salamanca.

Tabla IV. Posiciones de las universidades españolas (que aparecen en al menos cuatro de los cinco rankings seleccionados) en los rankings y en el META-RANKING [Descargar tamaño completo]

No obstante, como ya se observó en la estructura de correlación, cabe distinguir dos subconjuntos de rankings entre los seleccionados. Es pertinente plantear la existencia de dos dimensiones, dos grupos de rankings entre los seleccionados. En el análisis factorial exploratorio se observa la gran diferencia en importancia entre el factor 1 que explica el 79,1% de la varianza frente al 9,85% que explica el factor 2. La nueva estructura de 2 factores contiene un 88,95% de la información. Todas la variables consideradas (puntuaciones globales de los rankings) están muy bien representadas, como lo demuestran las altas comunalidades existentes, superiores a 0,848, que es la menor y corresponde a NTU.

Solamente a efectos de facilitar la interpretación de los dos factores se recurrió a la rotación varimax, una rotación ortogonal que, por tanto, mantiene la incorrelación de los factores. Tras la rotación, la importancia de los factores se equilibra, así el primer factor explica un 47,19% de la información contenida en las 5 variables iniciales (puntuaciones globales de los 5 rankings) y sintetiza sobre todo la información de los 3 rankings elaborados con datos de investigación de carácter bibliométrico (URAP, ARWU y NTU). Por otro lado, el factor 2 representa el 41,76% de la información total y sintetiza principalmente la información de los rankings que utilizan otros indicadores además de los de investigación y que recurren a encuestas. Esto se deduce de las cargas de los factores recogidas en la tabla V. Sin embargo, no hay que despreciar la información del ranking THE captada por el factor 1, así como la información de ARWU y URAP captada por el factor 2.

Tabla V. Matriz de cargas de componentes rotados [Descargar tamaño completo]

En suma, el factor 1 representa una dimensión en la que se oponen las universidades que han obtenido altas puntuaciones en los rankings con datos bibliométricos de investigación frente a las que han obtenido puntuaciones más bajas, como se puede apreciar en la figura 1. En este factor, destacan las universidades de Barcelona, Valencia o Granada que presentan las mayores puntuaciones, aunque también superan el punto medio las de Sevilla, Zaragoza, País Vasco y Autónoma de Barcelona, que están por encima de la media del conjunto de universidades considerado (459). En el lado opuesto están todas las demás, en particular, con menores puntuaciones, las universidades Politécnicas de Cataluña y Valencia y la Pompeu Fabra.

En cuanto al factor 2, opone las universidades que han obtenido puntuaciones mayores en los rankings que utilizan otros indicadores incluyendo encuestas, frente a las universidades que tienen menores puntuaciones en ellos. La única española que aparece en la parte superior del gráfico, por tanto por encima de la media de las 459 universidades consideradas, es la Universidad Autónoma de Barcelona. Están próximas la Pompeu Fabra, la Autónoma de Madrid y la de Barcelona. El resto está por debajo de la media, en algunos casos bastante alejadas, como las universidades de Sevilla, Salamanca, Valencia, Zaragoza, País Vasco o Granada.

Figura 1. Representación de las universidades españolas según factor 1 y factor 2 (rotación varimax) [Descargar tamaño completo]

4.2. Análisis de los indicadores de todos los rankings

El análisis factorial evidenció que de los 31 indicadores de los cinco rankings uno de ellos no tiene mucho que ver con el resto (ratio profesores-alumnos del ranking QS), como lo pone de manifiesto una comunalidad inferior a 0,3. Los indicadores de idoneidad del análisis son muy buenos, al alcanzar un KMO de 0,915 y una prueba de esfericidad de Bartlett significativa (0,00). La mayor parte de los indicadores tienen una comunalidad superior a 0,8 y solamente uno de ellos no llega a 0,6 (citas por profesor tiene 0,58).

Se identifican cinco factores con valores propios mayores que 1, que explican un 84,72% de la varianza total. La comunalidad y las cargas factoriales con rotación varimax se pueden ver en el Anexo 1.

Factor 1: volumen de producción científica. Sintetiza los indicadores de producción científica mostrados por los datos biliométricos como son: número de artículos (en el año en curso o como media de los últimos años), citas, documentos totales, impacto total de la producción científica, colaboración internacional en los artículos, junto a estos también están los indicadores de reputación docente y de investigación (ranking THE) y reputación académica (ranking QS). Es una prueba más de la vinculación entre reputación universitaria y producción científica. Esta dimensión explica el 28,9% de la información total (tras la rotación varimax) y reúne indicadores de los diferentes rankings, especialmente de URAP que es un ranking claramente de producción científica, de NTU y ARWU en los indicadores de volumen y de THE y QS en los de reputación.

Las universidades españolas que destacan y que están por encima de la media del conjunto de las 459 analizadas son Barcelona, Autónoma de Barcelona, Complutense de Madrid, Autónoma de Madrid, Valencia, Granada y Sevilla.

Las diez universidades del mundo que más destacan en esta dimensión son Toronto, Sao Paolo, University College London, Oxford, Michigan, Harvard, Tokyo, Johns Hopkins, British Columbia y Seoul National.

Factor 2: regularidad de la producción científica. Este factor explica un 20,74% de la información contenida de todos los indicadores, resume los indicadores que se refieren a la producción científica pero como media de los últimos años como: el número de artículos, número de citas, media de citas, de artículos más altamente citados todos ellos referidos a los últimos 11 años, además de las citas y el indice h de los últimos dos años. Todos ellos referidos al ranking NTU.

En esta dimensión solamente hay dos universidades españolas que superan la media de todas las consideradas que son las de Barcelona y Valencia.

En cuanto a las universidades referentes en este factor, salvo la universidad china de Soochow, todas son estadounidenses: Johns Hopkins, Michigan, California Los Angeles, Pennsylvania, Washington University of St. Louis, MIT, Standford, Pittsburg y University California San Diego.

Factor 3: calidad-productividad de la producción científica. Explica casi lo mismo que el anterior (19,4%) y contiene los indicadores de calidad de los diferentes rankings como impacto de las citas (URAP), Premios Nobel entre alumnos o profesores, autores altamente citados, publicaciones en Nature o Science, producción per cápita (ARWU), citas, reputación docente y de investigación (THE) y citas por profesor (QS).

Como se ve, la calidad de la producción académica también está vinculada a la reputación de investigación y académica puesto que son indicadores que tienen unas cargas parecidas a las que tienen en el factor 1.

Entre las universidades españolas solo están por encima de la media del conjunto la Pompeu Fabra y la de Salamanca. En particular las universidades más grandes (Sevilla, Complutense, Valencia, Granada y Barcelona) son las que están en las posiciones más bajas de las catorce universidades españolas analizadas.

Entre las diez primeras universidades del mundo en esta dimensión abundan las estadounidenses que son mayoría (8): California Institute of Technology, Harvard, Princeton, MIT, University California-Berkeley, Cambridge, Stanford, Chicago, ENS Paris y Columbia.

Factor 4: internacionalización. Este factor explica bastante menos que los anteriores (10,04%) y resume los indicadores de internacionalización medidos por los indicadores de ratio profesores internacionales y estudiantes internacionales de los rankings THE y QS. Aunque con un peso bastante menor algo aporta la reputación de los empleadores (medida por QS).

También son únicamente dos las universidades españolas que superan la media del conjunto (Pompeu Fabra y Politécnica de Cataluña), aunque en este caso están muy próximas a la media las universidades Autónoma de Barcelona, Granada y Autónoma de Madrid.

Entre las universidades que lideran esta dimensión hay mayoría de origen anglosajón (en particular británicas y australianas) y ninguna estadounidense. Las diez primeras son: Hong Kong, London School of Economics, Essex, EPF Lausanne, Singapore, Warwick, Nanyang Tech., Tecnology of Sidney, Australian National y New South Wales.

Factor 5: ingresos de la empresa. Es el factor que menos explica (5,65% del total de la información) . Básicamente recoge el indicador de ingresos derivados de las empresas que mide el THE y algo la reputación del empleador del QS. Este último indicador se reparte casi por igual entre el factor 4 (internacionalización) y éste.

Entre las universidades españolas destacan las politécnicas (Politécnica de Valencia y de Cataluña) y la de Salamanca que se sitúa en la media del conjunto de las 459 universidades.

Entre las primeras universidades hay un claro predominio asiático, en particular de China con seis y Corea con tres. Las diez primeras son: Soochow, Tsinghua, Shandong, Pekin, Tianjin, Shanghai Jiao Tong, Korea Advanced Institute of Science and Tech., Pohang, Seoul National y Delft.

Solamente hay una universidad no asiática (Delft) y ninguna estadounidense.

A continuación se muestra el posicionamiento de las universidades españolas respecto de los factores con mayor poder explicativo, que son los tres primeros. La figura 2 muestra el posicionamiento de las universidades españolas en las dimensiones volumen de producción y regularidad de la producción científica. Hay dos universidades por encima de la media en las dos dimensiones (Barcelona y Valencia), y destacan tanto en volumen como en regularidad de la producción científica. Mientras que cinco más superan la media de volumen de producción.

La figura 3 muestra el posicionamiento de las universidades españolas en las dimensiones volumen de producción y calidad de la producción científica. No hay ninguna universidad española que esté por encima de la media en las dos dimensiones, siete superan la media de volumen de producción, dos superan la media del factor calidad de la producción (Salamanca y Pompeu Fabra) y las otras cinco no superan la media en ninguna de las dos dimensiones.

Respecto a la figura 4 que representa el factor de la regularidad con el de la calidad, la mayoría de las universidades españolas no superan la media en regularidad del conjunto de universidades estudiado, en concreto diez de catorce. Como ya se ha comentado hay dos que superan la media en regularidad y dos que la superan en calidad.

Figura 2. Análisis factorial de los indicadores de los rankings. Representación de las universidades españolas según factor 1 (volumen) y factor 2 (regularidad de la producción científica) con rotación varimax [Descargar tamaño completo]

Figura 3. Análisis factorial de los indicadores de los rankings. Representación de las universidades españolas según factor 1 (volumen) y factor 3 (calidad de la producción científica) con rotación varimax [Descargar tamaño completo]

Figura 4. Análisis factorial de los indicadores de los rankings. Representación de las universidades españolas según factor 2 (regularidad) y factor 3 (calidad de la producción científica) con rotación varimax [Descargar tamaño completo]

5. CONCLUSIONES Y LIMITACIONES Top

Tras todo el proceso llevado a cabo se extraen las conclusiones y aplicaciones que a continuación se resumen, siendo conscientes de que dicho proceso ha tenido que solventar dificultades y, por tanto, se ha tenido que optar por soluciones lo que conecta con sus limitaciones.

En la literatura que conocemos no existe un análisis de este número de rankings realizado conjuntamente, partiendo de una base de datos común de las universidades que aparecen en, al menos, cuatro de los cinco rankings. Esto constituye una aportación a destacar, así como todo el proceso de imputación de datos faltantes para disponer de una base homogénea y completa.

En este trabajo se han seleccionado cinco rankings globales, denominados así porque recogen datos de universidades de todo el mundo, y sintéticos, porque resumen en una valoración global los indicadores que utilizan.

• Los rankings globales y sintéticos analizados presentan entre ellos correlaciones positivas elevadas y significativas tanto en las puntuaciones como en las posiciones de las universidades.

• Por un lado, los rankings basados en datos bibliométricos presentan correlaciones más elevadas entre ellos. Por otro lado, también presentan correlaciones más elevadas entre ellos los rankings que consideran otros datos no directamente de investigación y basados en encuestas.

A pesar de la elevada correlación entre ellos, hay que resaltar que cabe diferenciar entre dos subconjuntos. Uno formado por los tres rankings que utilizan datos (básicamente de producción científica) y otro formado por los dos rankings que además de algunos datos bibliométricos incorporan opiniones basadas en encuestas u otros indicadores no relacionados con investigación (nivel de internacionalización, reputación o ratio estudiantes por profesor).

Las puntuaciones de todos los rankings tienen correlaciones significativas y elevadas. Pero es de destacar que las correlaciones mayores se dan entre esos dos grupos identificados. Por un lado, tienen correlaciones más altas entre sí los rankings URAP, ARWU y NTU y, por otro lado, las tiene el grupo formado por los rankings THE y QS. Las correlaciones menores se dan entre cada uno de los rankings de un grupo con los del otro.

En general, el ranking QS es el que muestra una correlación menor con el resto y el que tiene más valores faltantes entre las universidades que aparecen en cuatro de los cinco rankings seleccionados. En este sentido es el más atípico. Le sigue en correlación más baja con el resto el ranking THE, también en valores faltantes, aunque ya con un número mucho menor de estos valores. Como ya se ha dicho y se puede ver en los criterios de elaboración, estos dos rankings, con respecto a los otros, también presentan otras peculiaridades tanto por su elaboración como por ser realizados por entidades privadas no universitarias.

• El meta-ranking sintetiza una gran parte de la información que contienen los rankings analizados.

Es posible elaborar un meta-ranking que resuma o sintetice a todos los seleccionados. El análisis factorial realizado proporciona indicadores más que aceptables, se ha obtenido un factor que contiene el 79,1% de la información. Las posiciones de las 459 universidades analizadas en el meta-ranking se correlacionan de manera significativa y muy elevada con las posiciones que tienen en cada uno de los cinco rankings.

• El THE, ARWU o ranking de Shanghái y NTU son los que tienen mayor correlación con el meta-ranking.

El meta-ranking tiene una correlación superior al 0,9 en el primer caso, para el ranking ARWU y NTU alcanza el 0,892, y sobrepasa con creces el 0,8 con los otros rankings.

• El análisis factorial muestra las dos dimensiones o grupos en los rankings seleccionados, los netamente de investigación y bibliométricos y el resto.

A pesar de la gran diferencia existente entre el factor 1 y factor 2 en cuanto a varianza explicada (más de siete veces mayor la del primero) y solamente a efectos de interpretación y para conocer el posicionamiento de las universidades, se ha considerado una solución rotada con esos dos factores.

• Las universidades españolas ocupan mejores posiciones en el primer grupo (investigación-bibliométrico) que en el segundo.

Al representar las universidades españolas en ese plano de dos dimensiones, se pueden extraer algunas conclusiones interesantes. En la dimensión o factor 1, que es la relativa a los rankings que consideran datos de investigación principalmente, hay 7 universidades por encima de la media (solamente se consideran las 14 universidades que aparecen en al menos cuatro de los 5 rankings) y las siete restantes están por debajo. La situación es peor en la segunda dimensión o factor 2, que considera otros indicadores basados en encuestas y no exclusivamente relacionados con investigación, puesto que solamente la Universidad Autónoma de Barcelona está por encima de la media. Dicha universidad es la única que aparece por encima de la media en las dos dimensiones. Siempre hablando en términos comparativos con el resto de las universidades analizadas para esta solución de dos dimensiones, hay que añadir que muchas universidades que tienen un buen desempeño en la dimensión 1 (universidades de Valencia, Granada, Sevilla y Zaragoza), lo tienen claramente menor en la dimensión 2.

El análisis factorial de todos los indicadores con los que se elaboran los rankings seleccionados aporta reflexiones interesantes.

• El volumen de producción científica está vinculado a la reputación investigadora pero también a la docente y a la reputación académica, en general.

• El número mayor de universidades españolas que supera la media del conjunto se da en la dimensión de volumen de producción científica (concretamente la mitad de ellas). Ese número es muy inferior en internacionalización, relación con las empresas, calidad y, sobre todo, en regularidad de la producción científica.

• De acuerdo con el punto anterior, la reputación de la universidad española viene sobre todo por el volumen de producción científica, no tanto por la calidad.

• Se han identificado las universidades que lideran cada dimensión y que constituyen un buen referente para realizar acciones de benchmarking.

• Las universidades estadounidenses predominan en las primeras posiciones por volumen, pero sobre todo por regularidad y calidad de la producción científica. Sin embargo, no aparecen universidades estadounidenses en las dimensiones de internacionalización y vinculación con las empresas.

• Las primeras posiciones en la dimensión de internacionalización están ocupadas por universidades anglosajonas. En particular, esto refleja la orientación a la internacionalización de las universidades británicas y de las australianas. Su apuesta por la internacionalización ha dado resultados.

• En cuanto a la vinculación con la industria y a la obtención de financiación son las universidades asiáticas (chinas y coreanas) las que ocupan las primeras posiciones. Su estrategia de vincularse con el sector productivo ha sido clara y estos datos la confirman.

• Recomendaciones interesantes se pueden extraer de todo esto para las universidades españolas, en particular en términos de reputación, internacionalización y vinculación con la industria.

En general, considerando las puntuaciones globales de los rankings, las universidades españolas tienen peor desempeño en reputación (académica, científica, de empleadores), el reconocimiento que se pone de manifiesto mediante encuestas, en internacionalización, en la proporción de estudiantes y profesores extranjeros y en ingreso por la industria. Se pone de relieve que en reputación, las universidades españolas tienen unos resultados peores que en la producción científica. Siempre en términos relativos para esta solución de dos dimensiones.

Una implicación clara, derivada del análisis de todos los indicadores, es la necesidad de mejora que tienen las universidades españolas en la calidad y regularidad de la producción científica (más que en volumen) y esto se hace reconociendo la calidad y la excelencia de la investigación y promoviendo un sistema estable de financiación que mantenga la regularidad, algo que no se ha tenido en los últimos años.

Paralelamente, hay que prestar más atención a la reputación de la universidad y del sistema universitario, primero por la vía de la producción científica (volumen y calidad) como se ha dicho, pero también con otras acciones de gestión universitaria y de comunicación, para ganar en reconocimiento de la sociedad (estudiantes, empleadores y demás público objetivo) que son los que responden a encuestas con las que finalmente se mide la reputación. De esta manera mejorar en imagen, es un aspecto de las universidades que cada vez reclama más interés (Sung y Yang, 2008Sung, M.; Yang, S. U. (2008). Toward the model of university image: The influence of brand personality, external prestige and reputation. Journal of Public Relations Investigation, 20 (4), 357-376. https://doi.org/10.1080/10627260802153207.; Luque y Barrio, 2009Luque-Martínez, T.; Barrio-García, S. del (2009). Modelling university image: The teaching staff viewpoint. Public Relations Review, 35 (3), 325-327. https://doi.org/10.1016/j.pubrev.2009.03.004.; Brown y Mazzarol, 2009Brown, R. M.; Mazzarol, T. W. (2009). The importance of institutional image to student satisfaction and loyalty within higher education. Higher Education, 58 (1), 81-95. https://doi.org/10.1007/s10734-008-9183-8.).

Aunque ha habido iniciativas y estrategias de internacionalización, se constata que la internacionalización y la vinculación con el sector productivo y social son ámbitos con mucho margen de mejora para la universidad española, como lo corroboran los análisis comentados. No se ha sabido aprovechar la potencialidad de tener un idioma de los más hablados del mundo, ni la existencia de un espacio latinoamericano con tanta demanda en formación. La actuación de las universidades británicas y australianas constituye un buen ejemplo para la internacionalización. Mejorar en internacionalización pasa por mejorar la proporción de estudiantes y profesores extranjeros. Todo esto debe redundar en una mayor visibilidad internacional de la universidad española.

• Más allá de posiciones concretas, el interés está en el mapa de posicionamiento de las universidades y en la identificación de las universidades líderes en el mundo para cada dimensión, como herramienta de benchmarking.

Este tipo de información es de utilidad para realizar benchmarking con otras universidades y apoyar la toma de decisiones de los directivos de las universidades y de las administraciones públicas, que tienen responsabilidad en los sistemas universitarios, aprendiendo de quien obtiene mejores resultados dentro de un grupo comparable de universidades. Este es el verdadero plus o valor añadido derivado de este meta-ranking, la utilidad como ejercicio de comparación, nacional e internacional, puesto que se pueden ver las universidades que están para cada dimensión por debajo o por encima de la media del conjunto de universidades considerado y cuáles son las que lideran cada dimensión en el mundo. Como se ha visto, para la producción científica principalmente estadounidenses, para la internacionalización británicas y australianas y para la vinculación con la industria las chinas y coreanas.

Finalmente, cabe destacar algunas limitaciones de este trabajo. Se ha contado con las puntuaciones de cinco rankings, no son todos los existentes pero sí son de los que cumplen los requisitos establecidos y están entre los más reconocidos. La población está formada por 459 a las que hemos tenido que realizar un proceso de imputación de datos faltantes para tener un número importante de casos. En particular, el ranking QS se constata que es el más incompleto por el número de datos faltantes que tiene. Además, se ha optado por un determinado procedimiento de extracción de los factores y una determinada rotación. Son elecciones que, aunque argumentadas, implican que no hay un único modo de operar.

Hay que insistir en que los rankings seleccionados tienen sus debilidades, que han sido puestas de relieve, y que no podemos ignorar, es necesario tenerlas presentes pero eso no debe paralizar el análisis. Más aún, debe ser un aliciente para superar las limitaciones, una vía es tomar en consideración los diferentes matices o dimensiones existentes en las universidades y que los rankings intentan captar, como se ha intentado con este trabajo.

6. REFERENCIASTop

ANEXO 1Top

Anexo 1. Análisis factorial de indicadores de los cinco rankins. Comunalidades y cargas factoriales con rotación varimax [Descargar tamaño completo]