ESTUDIOS / RESEARCH STUDIES

INFLUENCIA DEL PROGRAMA CAMPUS DE EXCELENCIA INTERNACIONAL EN LA POSICIÓN DE LAS UNIVERSIDADES ESPAÑOLAS EN EL RANKING DE SHANGHÁI

Teodoro Luque-Martínez*, Luis Doña-Toledo**, Domingo Docampo***

* Universidad de Granada, CEI BioTic

** Universidade de Vigo, Atlantic Research Center for ICT

*** Charles Darwin University, Northern Institute, Ellengowan Drive, Brinkin NT 0909 Australia

Correo-e: tluque@ugr.es

INFLUENCE OF THE CAMPUS OF INTERNATIONAL EXCELLENCE INITIATIVE ON THE POSITION OF SPANISH UNIVERSITIES IN SHANGHAI’S ACADEMIC RANKING

CONTENIDOS

1. INTRODUCCIÓN Top

La Estrategia Universidad 2015 (Ministerio de Educación, 2011Ministerio de Educación (2011). Estrategia Universidad 2015. Contribución de las universidades al progreso socioeconómico español 2010-2015, pdf [consulta: 14 abril 2011] http://www.educacion.es/dctm/eu2015/2011-estrategia-2015-espanol.pdf?documentId=0901e72b80910099.) impulsó la convocatoria del programa de Campus de Excelencia Internacional, por la que se concedieron ayudas con la finalidad de que los campus universitarios españoles adquieran un nivel de excelencia e internacionalización que les permita constituir un referente en el ámbito internacional. El horizonte establecido fue el año 2015. Este era el plazo para reforzar el papel de la universidad como motor de la nueva sociedad basada en el conocimiento, por medio de una estrategia que se hacía eco de las clasificaciones de universidades como herramienta de benchmarking, de modo que se reconocía como objetivo fundamental mejorar la posición de las universidades españolas en los rankings internacionales.

Alcanzado dicho horizonte, y a pesar de las vicisitudes de la iniciativa, vinculadas a una época de profunda crisis económica, cabe preguntarse si las universidades españolas han mejorado efectivamente sus posiciones en los rankings internacionales y si, en particular, lo han hecho y hasta qué punto las vinculadas a los 32 proyectos de Campus de Excelencia Internacional, en los que han participado casi todas las universidades públicas españolas y algunas de las privadas. A esta cuestión intenta responder el presente trabajo, en el que analizamos en qué medida las universidades que lideran proyectos de Campus de Excelencia Internacional han mejorado sus posiciones en el contexto internacional. Hemos tratado también de analizar si esta variación en el ranking podría estar relacionada con el carácter de ser universidad pública o privada, ser coordinadora de proyecto CEI o no, o bien con el hecho de formar parte de proyectos CEI en los que participen una o más universidades.

Dado que los Campus de Excelencia Internacional han sido decididos en función de la capacidad investigadora de las universidades integrantes y de la calidad del proyecto investigador presentado, hemos elegido entre las clasificaciones globales aquella que está basada casi fundamentalmente en la producción investigadora y el reconocimiento científico internacional por medio de los niveles de citas, el Academic Ranking of World Universities (ARWU), también conocido como ranking de Shanghái, que ya ha sido utilizado con anterioridad en el análisis de los sistemas universitarios y sus retos (Docampo, 2011Docampo, D. (2011). On using the Shanghai ranking to assess the research performance of university systems. Scientometrics, 86 (1), pp. 77-92, http://dx.doi.org/10.1007/s11192-010-0280-y.; Erkkilä, 2013Erkkilä, T. (2013). Global University Rankings: Challenges for European Higher Education. New York: Palgrave Macmillan, http://dx.doi.org/10.1057/9781137296870.).

Hasta el año 2013 se creía que los resultados del ranking de Shanghái eran irreproducibles, por lo que hubiese sido imposible obtener la información necesaria para el análisis planteado en el trabajo. Gracias a la aportación de uno de los autores (Docampo, 2013Docampo, D. (2013). Reproducibility of the Shanghai academic ranking of world universities results. Scientometrics, 94 (2), pp. 567-587, http://dx.doi.org/10.1007/s11192-012-0801-y.) se ha desarrollado una completa metodología que permite estimar con un elevado nivel de precisión los resultados de ARWU en cualquiera de sus ediciones desde 2003 hasta 2015. Utilizando dicha metodología podemos obtener las puntuaciones de 3500 instituciones de educación superior a nivel global: prácticamente todas las universidades con una producción científica anual de al menos 100 contribuciones indexadas. Esos cálculos nos permitirán evaluar la posición en la que las universidades se encontraban antes de la iniciativa CEI y la que ocupan en los tres últimos años.

El trabajo se estructura del siguiente modo. En primer lugar revisamos algunos antecedentes de mejora en sistemas universitarios a lo largo del mundo. Luego exponemos las principales características del ranking de Shanghái, para, a continuación, explicitar detalladamente la metodología que hemos seguido en nuestro trabajo para la recogida de los datos de las universidades españolas. La sección central de nuestro trabajo está centrada en el análisis de las cuestiones que fueron formuladas en la introducción. Una sección en la que damos cuenta de las limitaciones de nuestro estudio al tiempo que incluimos nuestras conclusiones y recomendaciones da remate al trabajo.

2. INICIATIVAS DE MEJORA EN LAS UNIVERSIDADES Top

La universidad del futuro debe plantearse si es una institución en la sociedad o para la sociedad, como sugiere Barnett (2012Barnett, R. (ed.) (2012). The future university: Ideas and possibilities. New York: Routledge.), lo que implica no solamente constituirse en un reflejo de la sociedad sino erigirse en un agente activo para mejorarla, en definitiva, para construir una buena sociedad. Para ello se precisan universidades que desarrollen acertadamente sus misiones, siendo en general las universidades que ostentan buenos niveles de investigación y docencia (que suelen ir de la mano) las que también presentan buenos resultados en su conexión con la sociedad, al extender su influencia al conjunto de la misma (Shattock, 2010Shattock, M. (2010). Managing successful universities. Maidenhead: McGraw-Hill Education (UK), p.27.).

Estos retos se han abordado en los sistemas universitarios de todo el mundo tratando de organizar la búsqueda o el camino hacia la excelencia en las universidades, como se recoge en el análisis realizado por Altbach y Salmi (2011Altbach, P. G.; Salmi, J. (eds.) (2011). The road to academic excellence: The making of world-class research universities. Washington DC: World Bank Publications, http://dx.doi.org/10.1596/978-0-8213-8805-1.), en el que estudian casos concretos de universidades de todos los continentes que aspiran a ser calificadas como universidades de clase mundial. En ellas hay tres factores clave: una alta atracción de talento de profesores y estudiantes, abundantes recursos para ofrecer un aprendizaje adecuado y llevar a cabo investigaciones avanzadas, y características favorables de gobernabilidad (Salmi, 2019Salmi, J. (2009). The challenge of establishing world-class universities. Washington, DC: World Bank Publications, http://dx.doi.org/10.1596/978-0-8213-7865-6.). Paralelamente, ha crecido la necesidad de medir y cuantificar si se ha alcanzado esa categoría y qué posición se ocupa en la misma, para lo cual se han desarrollado diferentes procedimientos y rankings, no exentos de críticas como indica Hazelkorn (2011Hazelkorn, E. (2011). Rankings and the reshaping of higher education: The battle for world-class excellence. New York: Palgrave Macmillan, http://dx.doi.org/10.1057/9780230306394.).

Precisamente, entre los planteamientos de la iniciativa CEI, además de la búsqueda de la excelencia en docencia e investigación y de la internacionalización, se encuentra el reconocimiento de la necesidad de una buena conexión universidad-entorno. Esto implica el reconocimiento de las consecuencias que tiene la investigación en el territorio (Kretz y Sá, 2013Kretz, A.; Sá, C. (2013). Third stream, fourth mission: Perspectives on university engagement with economic relevance. Higher Education Policy, 26 (4), pp. 497-506, http://dx.doi.org/10.1057/hep.2013.32.) y, en definitiva, la asunción de los postulados de la triple hélice de Etzkowitz y Leydesdorff (1998Etzkowitz, H.; Leydesdorff, L. (1998). The endless transition: A ‘‘triple helix’’ of university–industry–government relations. Minerva, 36 (3), pp. 203-208, http://dx.doi.org/10.1023/A:1017159001649.), añadiendo un cuarto factor (medios, cultura y sociedad civil), incluso un quinto (énfasis en el entorno natural) según Carayannis y Campbell (2011Carayannis, E.G.; Campbell, D. F. J. (2011). Open Innovation Diplomacy and a 21st Century Fractal Research, Education and Innovation (FREIE) Ecosystem: Building on the Quadruple and Quintuple Helix Innovation Concepts and the “Mode 3” Knowledge Production System. Journal of the Knowledge Economy, 2 (3), pp. 257-326, http://dx.doi.org/10.1007/s13132-011-0058-3.). En suma, la iniciativa CEI pretendía servir de estímulo para las misiones básicas de la universidad y también para dinamizar el desarrollo social y económico del territorio. De alguna forma constituye un antecedente que coincide con los planteamientos de la estrategia de la Unión Europea de especialización de los territorios denominada Research and Innovation Strategy for Smart Specialisation o RIS3 (2013RIS 3 (2013). Guide to Research and Innovation Strategies for Smart Specialisation (RIS 3) 2013, http://s3platform.jrc.ec.europa.eu/en/c/document_library/get_file?uuid=e50397e3-f2b1-4086-8608-7b86e69e8553.).

Iniciativas similares han tenido lugar por todo el mundo desde la década de los años 1980. Salmi (2015aSalmi, J. (2015a). How effective are excellence initiatives at building world-class universities?. En: Luque-Martínez, T. (ed.), Horizon 2031. The University of Granada in Light of its C Centenary. “Reflections on the future of the University”. Granada: Editorial Universidad de Granada, http://biotic.ugr.es/pages/horizon-2031.) analiza las experiencias existentes en todos los continentes (véase un resumen en la tabla I), que pueden afectar a las universidades en su conjunto o a centros de excelencia especializados, prestando atención a su grado de financiación, que ha sido desigual según los países. Este autor destaca cuantitativamente la apuesta de países como China, Francia, Singapur o Taiwán, en los que reconoce la influencia que los rankings internacionales han tenido tanto en la promoción de las iniciativas como en la determinación de los gobiernos para llevarlas a cabo. Es por ello que advierte acerca del riesgo de sobre-enfatizar la investigación, debido a la influencia de los rankings internacionales, con la posible consecuencia de fomentar el elitismo en lugar de la mejora institucional, provocando con ello una mayor desigualdad en la educación superior, ignorando de facto posibles restricciones académicas y democráticas en algunos países.

Por otra parte, Delgado (2015Delgado, L. (2015). Análisis comparado de programas de excelencia. Jornadas sobre la Iniciativa de Campus de Excelencia Internacional “Análisis de las experiencias en diferentes países y propuestas de futuro”, 9 abril 2015, Granada, http://biotic.ugr.es/pages/jornada-cei-9-de-abril.) analiza las iniciativas de excelencia en 9 países de Europa y Asia, con programas que reciben financiación desde 65 a 2.700 millones de euros. Aun señalando que no hay un modelo común de universidad de excelencia y que cada programa presenta sus peculiaridades, este autor encuentra aspectos comunes relativos a la promoción de la investigación de clase mundial y sinergias interdisciplinares e interinstitucionales, así como a la mejora de la visibilidad de las universidades en el contexto mundial mediante la activación de los procesos de cooperación internacionales.

Tabla I. Distribución geográfica de las iniciativas de excelencia [Descargar tamaño completo]

En la 6th International Conference on World-Class Universities (Salmi, 2015aSalmi, J. (2015a). How effective are excellence initiatives at building world-class universities?. En: Luque-Martínez, T. (ed.), Horizon 2031. The University of Granada in Light of its C Centenary. “Reflections on the future of the University”. Granada: Editorial Universidad de Granada, http://biotic.ugr.es/pages/horizon-2031.), celebrada en Shanghái y organizada por la propia Universidad Jiao Tong promotora del ARWU, ha ocupado un lugar especial el análisis de las iniciativas de excelencia. El propio Salmi (2015bSalmi, J. (2015b). Excellence strategies and the creation of world-class universities. 6th International Conference on World-Class Universities, 1-4 November, Shanghai (China), http://www.shanghairanking.com/wcu/wcu6/3.pdf.) hace un exhaustivo y actualizado análisis de ellas para los diferentes países en los que se pusieron en marcha. Además se analizaron experiencias específicas de países como como Rusia (Yudkevich, 2015Yudkevich, M. (2015). Global visibility and locally engagement: Can they go together? The case of National Research University Higher School of Economics. 6th International Conference on World-Class Universities, 1-4 November, Shanghai (China), http://www.shanghairanking.com/wcu/wcu6/21.pdf.), Singapur (Ramakrishna, 2015Ramakrishna, S. (2015). Strategies to be globally visible and locally engaged. 6th International Conference on World-Class Universities, 1-4 November, Shanghai (China), http://www.shanghairanking.com/wcu/wcu6/22.pdf.), Francia (Buisson, 2015Buisson, L. (2015). Trading between visibility and performance at global and local levels: The example of research universities in France. 6th International Conference on World-Class Universities, 1-4 November, Shanghai (China), http://www.shanghairanking.com/wcu/wcu6/20.pdf.) o Alemania (Huber, 2015Huber, B. (2015). The role of universities in society: Challenges ahead. 6th International Conference on World-Class Universities, 1-4 November, Shanghai (China), http://www.shanghairanking.com/wcu/wcu6/14.pdf.), entre otros, y siempre con vistas al progreso en los rankings. Sin embargo, en ningún caso los análisis de las iniciativas de excelencia establecen una comparación descendiendo a la puntuación o posición concreta de cada una de las universidades que forman el sistema universitario de un país como es nuestro objetivo para el caso de España.

Con respecto a programas en los que el catalizador ha sido específicamente la mejora de las posiciones en el ranking de Shanghái podemos señalar el caso de Francia, en el que han participado en el programa de excelencia el 40% de sus instituciones de educación superior y Alemania, en el que lo han participado, bien en proyectos concretos o de mejora institucional, el 60% de las universidades (Grau, 2015Grau Vidal, F.J. (2015). Rankings, impacto científico y sistemas universitarios. Monografias CRUE. ISBN: 978-84-608-3021-4. http://www.crue.org/Publicaciones/Documents/MONO_RANKING_WEB.pdf.). La mejora en el sistema francés se ha buscado mediante un plan de agregación de universidades en nuevas instituciones (COMUES). De un total de más de 70 instituciones de educación superior se pretende en Francia pasar a un número de COMUES por debajo de 20. En Docampo y otros (2015Docampo, D.; Egret, D.; Cram, L. (2015). The effect of university mergers on the Shanghai ranking. Scientometrics, 104 (1), pp. 175-191, http://dx.doi.org/10.1007/s11192-015-1587-5.) se ha realizado un trabajo de prospectiva para indicar cuál sería la posición de las COMUES si fuesen analizadas dentro de ARWU. El trabajo constata que Francia ganaría visibilidad entre las 100 primeras universidades, manteniendo intacto el total de instituciones listadas entre las 500 universidades clasificadas en ARWU. Para dar una idea del interés público por esta iniciativa en Francia podemos mencionar el hecho de que este trabajo de prospectiva fue recogido y comentado en una de las publicaciones diarias de mayor impacto (Laroussiere, 2015Larousserie, D. (2015). La racine carrée du classement de Shangaï. LE MONDE SCIENCE ET TECHNO, http://www.lemonde.fr/sciences/article/2015/04/06/la-racine-carree-du-classement-de-shangai_4610477_1650684.html.).

La iniciativa CEI de España cuenta por tanto con numerosos antecedentes, que de seguro han contribuido a la definición de sus objetivos y prioridades. El contexto económico de la universidad no es neutro (Luque-Martínez, 2015Luque-Martínez, T. (ed.) (2015). Horizon 2031. The University of Granada in Light of its V Centenary. “Reflections on the future of the University”. Granada: Editorial Universidad de Granada, http://biotic.ugr.es/pages/horizon-2031.) ni tampoco lo es el de estas iniciativas que parten de situaciones muy diferentes en lo económico y en lo político, con financiación diferente además de desigual orientación y vinculación de los diferentes colectivos implicados. Hay que constatar que existe algún antecedente del interés por evaluar los efectos de los CEI como se ha puesto de relieve por Docampo y otros (2012Docampo, D.; Luque-Martínez, T.; Torres-Salinas, D.; Herrera, F. (2012). Efecto de la agregación de universidades españolas en el Ranking de Shanghai (ARWU): caso de las comunidades autónomas y los campus de excelencia. El profesional de la información, 21 (4), pp. 428-432, http://dx.doi.org/10.3989/redc.2011.2.797.), al analizar la posición que ocuparían los CEI en ARWU bajo el supuesto de fusión de las universidades que los integran o por De la Torre y otros (2014De La Torre, E.; Perez-Esparrells, C.; Casani, F. (2014). El programa campus de excelencia internacional en España y algunas estrategias de universidades de la Comunidad de Madrid para mejorar su posición en los rankings globales. Investigaciones de Economía de la Educación, 9, pp. 351-369, http://EconPapers.repec.org/RePEc:aec:ieed09:09-18.) que estudian las iniciativas CEI en la comunidad de Madrid. Pretendemos con el presente trabajo buscar evidencias que nos permitan comprobar si la iniciativa ha podido tener algún efecto medible en la mejora de las universidades españolas en los rankings internacionales.

3. ACADEMIC RANKING OF WORD UNIVERSITIES (ARWU) Top

El ranking de Shanghái surge en 2003 y ha alcanzado desde entonces notoriedad internacional. La metodología ha sido expuesta por sus autores (Liu y Cheng, 2005Liu, N. C.; Cheng, Y. (2005). Academic ranking of world universities: Methodologies and problems. Higher education in Europe, 30 (2), pp. 127-136, http://dx.doi.org/10.1080/03797720500260116.), aunque durante años han persistido dificultades insalvables en su interpretación con el fin de replicar los resultados de ARWU. Ese objetivo se ha conseguido finalmente con la publicación de Docampo (2013Docampo, D. (2013). Reproducibility of the Shanghai academic ranking of world universities results. Scientometrics, 94 (2), pp. 567-587, http://dx.doi.org/10.1007/s11192-012-0801-y.).

ARWU clasifica instituciones de acuerdo con la suma ponderada de las puntuaciones en seis indicadores, recogidos en la tabla II, que se obtienen a partir de datos en bruto sobre premios internacionales, listas de investigadores relevantes, producción científica total y publicaciones, en dos revistas concretas de ámbito muy general en la ciencia, Science y Nature.

Tabla II. Criterios, indicadores y ponderación en el ARWU [Descargar tamaño completo]

Para replicar con precisión los datos de ARWU son necesarios los siguientes pasos (Docampo y Cram, 2014Docampo, D.; Cram, L. (2014). On the Dynamics of the Shanghai ranking. Scientometrics, 98 (2), pp. 1347-1366, http://dx.doi.org/10.1007/s11192-013-1143-y.):

1. Hacer acopio de los nuevos datos en bruto

   Analizar las fuentes de datos relevantes con el fin de obtener información actualizada sobre nuevos premios Nobel (cada año) y medallas Fields (cada cuatro años), los nuevos miembros de las listas de HCR (highly cited researchers) de Thompson ISI y la filiación de los autores en Science o Nature en los pasados cinco años y en las publicaciones ISI del año anterior. En los países para los que ARWU utiliza el dato de FTE (full time equivalent staff), buscar una fuente oficial que proporcione datos de número y categoría de profesores para cada universidad. Todas las fuentes necesarias para la obtención de los datos anteriores son accesibles y se relacionan en el apéndice bibliográfico dentro de la sección de recursos electrónicos.

2. Combinar datos en bruto y aplicar escalado

   Sumar y/o promediar las puntuaciones resultantes de los datos recogidos en la etapa anterior en las ventanas de tiempo de acuerdo con los algoritmos publicados en la web de ARWU. Para cada indicador (salvo PCP) multiplicar el valor de la puntuación en bruto por un factor de escala fija de modo que la Universidad de Harvard reciba una puntuación de 10.000. Calcular un paso intermedio necesario para el cómputo del indicador PCP mediante la división de la suma ponderada de las puntuaciones brutas escaladas por el FTE del California Institute of Technology (CALTECH), institución con mejor puntuación PCP, y aplicar un factor de escala de modo que dicha puntuación intermedia para Caltech sea de 10.000.

3. Comprimir los datos en bruto a escala

   Para cada indicador, comprimir el rango dinámico de las puntuaciones en bruto mediante el cálculo de su raíz cuadrada para obtener la puntuación final.

4. Calcular la puntuación total

   Finalmente, combinar las puntuaciones finales de los indicadores utilizando los pesos indicados en la web de ARWU, y reescalar linealmente la puntuación total de modo que la de la primera clasificada sea de 100.

En la Figura 1 representamos la posición de las universidades españolas que han aparecido al principio y/o al final de nuestro periodo de análisis (2009-2015) entre las 500 universidades recogidas en la lista oficial de ARWU, aunque algunas universidades no salen todos los años entre las 500 primeras, como la USC, EHU y US.

Figura 1. Evolución de las universidades españolas entre las 500 primeras en ARWU 2009-2015 [Descargar tamaño completo]

4. ASPECTOS METODOLÓGICOS Top

Para cumplir los objetivos del presente trabajo, se ha procedido de la siguiente manera.

1. Obtención de Indicadores:

   De acuerdo con la metodología desarrollada por Docampo (2013Docampo, D. (2013). Reproducibility of the Shanghai academic ranking of world universities results. Scientometrics, 94 (2), pp. 567-587, http://dx.doi.org/10.1007/s11192-012-0801-y.), se han reproducido los resultados de ARWU para un total de 3500 universidades ente 2008 y 2015, lo que permite obtener no solamente las puntuaciones de las universidades españolas en ARWU, sino también sus posiciones en el mundo en el período que estamos analizando. Los márgenes de error de dos de los indicadores (PUB y N&S, en los demás no se comete ningún error en las aproximaciones), debido sobre todo a la identificación precisa de las instituciones en los motores de búsqueda de la Web of Knowledge, se mantienen por debajo del 3%, por lo que inducen un error en la puntuación final del orden del 1%, lo que permite realizar adecuadamente las comparaciones. Baste señalar a ese efecto que el error de redondeo de ARWU (que solamente muestra una cifra decimal en sus resultados oficiales, puede llegar a ser cercano a ese 1% en las instituciones con baja puntuación).

2. Agregación de indicadores

   Ha habido en total tres convocatorias de Campus de Excelencia Internacional (2009, 2010 y 2011). Ese hecho, junto a la conveniencia de alejar la comparación interanual de la posible influencia de oscilaciones puntuales en los valores de los indicadores, hace recomendable tomar como referencia de comparación la media de tres años, lo que permite suavizar las variaciones alejadas de la tendencia. Es decir, a efectos de medir la variación en las posiciones en ARWU se contemplan dos períodos: el momento inicial es el resultado de la puntuación media alcanzada por las universidades en los años 2009, 2010 y 2011, siendo el momento final de la comparación la media también de tres años, en este caso 2013, 2014 y 2015.

3. Identificación de los proyectos de Campus de Excelencia Internacional:

   Se ha confeccionado una base de datos que recoge para cada universidad su carácter público o privado, si participa en algún proyecto o no, si ese proyecto tenía una o más universidades y si era la universidad coordinadora o no. Se han incluido además en la base de datos las puntuaciones en ARWU y las posiciones globales ocupadas, obtenidas en las etapas 1 y 2.

4. Tratamiento estadístico de la información:

   Analizando los datos de los dos períodos anteriormente mencionados, se pretende observar si hay diferencias en las puntuaciones medias del conjunto de universidades españolas, de las públicas o privadas y de cada una de ellas, así como en las posiciones netas (resultado de la diferencia neta entre subidas y bajadas de posición en la clasificación mundial durante ese período). Esto permite asimismo comprobar si hay diferencias, y en su caso si son positivas o negativas, en las puntuaciones medias de las universidades coordinadoras o que están en un CEI con una o más universidades.

5. Clasificación de las universidades participantes en proyectos CEI:

   A partir del análisis estadístico, se pretende clasificar a las universidades de acuerdo con la diferencia que generan sus características y las del CEI al que pertenecen en la puntuación media en el ranking ARWU.

5. ANÁLISIS Top

Como base para la comparación se ha tomado la puntuación media de los tres años del comienzo del período correspondientes a las convocatorias CEI (2009, 2010 y 2011). La puntuación media final es la referida a los tres últimos años (2013, 2014 y 2015). Los datos relativos a cada universidad en las puntuaciones promedio, clasificación global y pertenencia a proyectos CEI se incluyen en las tablas del anexo 1 y 2.

Considerando la puntuación total de cada universidad estimada según ARWU, en el comienzo del período analizado, la UB alcanzaba la máxima puntuación con 17,20 puntos, siendo la media de todas las españolas de 4,84 puntos. Al final del período analizado se ha producido un aumento considerable en las puntuaciones de las universidades españolas. La UB sigue en cabeza, ahora con 18 puntos, y la puntuación media asciende a 5,77 puntos. Un aumento importante cercano al 20%. Conviene recordar que la dinámica de conversión de los datos brutos en puntuaciones finales se produce mediante un proceso de compresión (véase Docampo y Cram, 2014Docampo, D.; Cram, L. (2014). On the Dynamics of the Shanghai ranking. Scientometrics, 98 (2), pp. 1347-1366, http://dx.doi.org/10.1007/s11192-013-1143-y.) que de hecho acerca a todas las universidades entre sí y con respecto a la que encabeza la lista. Una consecuencia que se deriva de este hecho es que si se quiere doblar la puntuación en ARWU han de multiplicarse por 4 los indicadores en bruto. Cuando hablamos, por tanto, de una mejora del 19% estamos implícitamente hablando de una mejora real superior al 40% en las cifras de producción científica en cantidad (artículos indexados en las revistas JCR) y en calidad (artículos en Science y Nature).

Otro aspecto destacable en este período es que se ha reducido la variabilidad. La dispersión en la puntuación global media del ranking de las universidades españolas era mayor en 2009 y, se ha reducido en 2015, como lo muestra el descenso del coeficiente de variación (0,81 y 0,70, respectivamente).

En cuanto a los criterios que utiliza ARWU, reflejados en la tabla II, las universidades españolas no tienen puntuación en AWARDS y solamente una la tiene en ALUMNI, por lo que no tiene sentido analizar su variabilidad. El criterio de autores altamente citados (HiCi) es el que presenta mayor variabilidad puesto que afecta a un número reducido de universidades. Los criterios de publicaciones (PUB) y de rendimiento (PCP) son los más estables y de menor variabilidad, como se puede ver en la tabla III, en la que se recogen las puntuaciones (años 2009 y 2015) de las universidades españolas.

Tabla III. Estadísticas descriptivas de los criterios del ranking ARWU (año 2015) y puntuación total (años 2009 y 2015) de las universidades españolas [Descargar tamaño completo]

Por otro lado, la evolución de la puntuación media de las universidades españolas no es homogénea, dependiendo de la naturaleza pública o privada de la universidad. Así, las universidades públicas españolas alcanzan mayor puntuación que las privadas en todos los años, con diferencias importantes. La puntuación media de las universidades públicas también aumenta más en términos absolutos que la de las universidades privadas, puesto que se pasa de una media de 6,99 en el período 2009-10-11 a una media de 7,86 en al período 2013-14-15. Mientras que las universidades privadas pasan de una media de 0,98 a 1,73, mayor porcentualmente dado que parten de unos resultados muy bajos en 2009.

Si se analiza la posición de las universidades españolas en el mundo, en 2009 había 33 instituciones españolas entre las 1.000 primeras, mientras que en el año 2015 esa cifra ya es de 39, como resultado de que se incorporan 7 nuevas y sale una. Circunscribiendo el análisis a las 32 que permanecieron entre las 100 primeras a lo largo del intervalo temporal 2009-2015, las universidades españolas han ganado 444 posiciones netas (se ganan 1.118 por 16 instituciones y se pierden 674 en las otras 16) en el contexto de las 1.000 primeras universidades del ranking.

Considerando las universidades públicas y las posiciones de la media de los tres años iniciales y finales, se han incorporado 5 instituciones a las 1.000 primeras del mundo. Por otro lado, hay 31 universidades públicas que mejoran sus posiciones entre un momento y otro del período (ascendiendo un total de 2.783 posiciones) frente a 19 universidades que bajan posiciones (un total de 681) resultando un saldo positivo de 2.102 posiciones mejoradas por las universidades españolas.

a. Análisis según participación en proyectos CEI

Dado el número reducido de universidades privadas que participan en la iniciativa CEI, vinculadas solamente a dos proyectos, nos ha parecido razonable limitar el análisis a las universidades públicas. Como ya se ha comentado ha habido una mejora medible tanto en las posiciones como en las puntuaciones. En ambos casos con una correlación muy elevada, de 0,965 para las puntuaciones en el ranking y una correlación ordinal de 0,964 para el caso de las posiciones.

1. Universidades coordinadoras vs no coordinadoras de proyectos CEI

Los proyectos CEI surgen en instituciones que presentan iniciativas para incentivar y mejorar los resultados de investigación. Por otra parte, la evaluación de dichos proyectos mediante una comisión internacional primó el impacto científico de la institución coordinadora, un indicador muy relacionado con el posicionamiento en rankings (Grau, 2015Grau Vidal, F.J. (2015). Rankings, impacto científico y sistemas universitarios. Monografias CRUE. ISBN: 978-84-608-3021-4. http://www.crue.org/Publicaciones/Documents/MONO_RANKING_WEB.pdf.). No es por tanto extraño que las universidades coordinadoras de un proyecto de Campus de Excelencia Internacional (ver tabla IV) presentan siempre puntuaciones globales medias muy superiores a las universidades que no son coordinadoras. Esto entra dentro de la lógica puesto que asumir la coordinación del proyecto supone una capacidad de liderazgo probada y, por tanto, capacidad reconocida de coordinación de las diferentes universidades agregadas.

Debido a que el punto de partida de las coordinadoras es sensiblemente más alto, los márgenes de mejora de las universidades coordinadas son mayores. Efectivamente, se comprueba que aunque para ambos tipos de universidad, coordinadora o no, se produce un claro incremento de puntuación media entre los años 2009-11 y 2013-15, el incremento en el caso de las coordinadoras está en torno al 9% mientras supera el 21% en las no coordinadoras.

Como resultado de la cooperación bajo el liderazgo de la universidad coordinadora se constata la reducción de las diferencias de puntuación entre las universidades. Así, al comienzo del período las universidades coordinadoras superaban en un 84% la puntuación media de las no coordinadoras mientras que al final del período esa diferencia se reduce al 66,5%. Podríamos concluir que el establecimiento del programa ha resultado en una mayor homogeneidad en el sistema universitario español.

Tabla IV. Comparación de la puntación global media de las universidades españolas en ARWU, según sean o no coordinadoras de proyectos CEI [Descargar tamaño completo]

2. CEI con una universidad vs CEI con más de una

En los proyectos CEI con una sola institución, las universidades presentan puntuaciones medias muy superiores a la media de las puntuaciones de las universidades que forman parte de proyectos CEI con varias universidades. Ambas categorías incrementan su puntuación media entre el inicio y el final, como muestra la tabla V. Así, las universidades que forman parte de un CEI con una sola universidad han incrementado alrededor de un 13% su puntuación media, mientras que las que integran un CEI con varias universidades aumentan algo menos (un 11%). Esto hace que la diferencia entre unas y otras se acreciente, pasando de una diferencia del 43% al principio a otra del 46% al final del periodo, siempre con puntuación mayor para las que forman en solitario un proyecto CEI. De todas formas, la diferencia en este caso no es sustantiva, dada la similitud de las cifras.

Tabla V. Comparación de la puntación global media de las universidades españolas en ARWU, según proyectos CEI con una o varias universidades [Descargar tamaño completo]

3. Análisis de las universidades que forman parte de proyectos CEI

Tomando en consideración las posiciones de las universidades públicas españolas en ARWU, se puede contrastar si existe correlación entre la posición alcanzada y determinadas características referidas a los proyectos CEI (tabla VI). Para ello hacemos uso de los test tau de Kendall y rho de Spearman. Según los valores de ambos estadísticos, el hecho de ser o no universidad coordinadora de un proyecto CEI está asociado a la posición ocupada en ARWU: las coordinadores ocupan posiciones mejores en el ranking al principio, aunque la intensidad de la correlación se reduce entre el principio y el final tanto para el coeficiente de Kendall como el de Spearman, como efecto del proceso de homogeneización al que anteriormente hemos hecho referencia.

Tabla VI. Correlación entre la posición de las universidades españolas en ARWU y ser o no coordinadora de proyecto CEI o pertenecer a un CEI con una o más universidades [Descargar tamaño completo]

Por otro lado, también es de interés comprobar si el hecho de que el proyecto CEI esté formado por una o más universidades está correlacionado de manera significativa con la posición que ocupen dichas universidades en ARWU. El resultado obtenido para los dos estadísticos empleados conduce a una misma interpretación: efectivamente se observa una correlación positiva entre la mejor posición en el ranking y el hecho de figurar como única universidad en un CEI, derivada del hecho de que las universidades que han elegido proyectos mono-institucionales partían de una situación de ventaja al principio del periodo analizado y la han mantenido. No obstante, la participación en proyectos CEI parece haber ido acompañada de una mejora en las puntuaciones de las demás universidades, por lo que al final del periodo analizado las diferencias se han reducido.

4. Clasificación de las universidades según tipo de CEI

Con el fin de clasificar las universidades en función de las características que se están analizando, es decir, carácter público o privado, ser o no coordinadora de un proyectos CEI y tomar parte en un proyecto CEI con una o más universidades, se ha aplicado el método CHAID (Luque-Martínez y Muñoz-Leiva, 2012Luque-Martínez, T.; Muñoz-Leiva, F. (2012). Segmentación jerárquica. En: Luque-Martínez, T. (ed.), Técnicas de análisis de datos en investigación de mercados. Madrid: Pirámide.). Para ello se han establecido los siguientes criterios, el nivel máximo de profundidad del árbol establecido es de 4, mínimo de casos para la partición de un nodo 10, mínimo de casos en un nodo 5. El resultado obtenido se muestra en la Figura 2 con dos niveles. Está claro que el criterio con mayor capacidad discriminante en cuanto a la variable dependiente, que es la puntuación en ARWU 2015, es el que distingue por número de universidades en el proyecto CEI. Dentro del grupo de los proyectos CEI conformados por varias universidades, le sigue el criterio de ser coordinadora o no. El hecho de ser pública o privada no es un criterio que marque diferencias en este contexto. Al final, se tienen cuatro grupos de universidades:

Grupo del nodo 2, formado por 17 universidades (23% del total) que participan en proyectos CEI de una sola universidad, que alcanzan una puntuación media próxima a 10. El coeficiente de variación nos indica que se trata del segundo grupo menos heterogéneo en cuanto a las puntuaciones obtenidas.

El nodo 3 no es un nodo final, reúne a los CEI con más de una universidad y alcanzan una puntuación media de 6,5, situada entre las puntuaciones extremas del nodo 1, la mayor, y nodo 2, la menor. Este nodo incluye 33 universidades, el 44,6% del total, y se divide en los nodos 4 y 5.

Grupo del nodo 5, el menos numeroso, con 14 universidades (cerca del 20%) y una puntuación media un 22% inferior al anterior. Forman parte de proyectos CEI con varias universidades, en los que actúan como institución coordinadora, y constituye un grupo más heterogéneo que el anterior en cuanto a las puntuaciones medias.

Grupo del nodo 4, formado por 19 universidades (un poco más del 25% del total) con una puntuación sensiblemente inferior al primero (casi un 90% menor). Constituye, sin duda, el grupo más homogéneo de los analizados. Reúne a las instituciones que forman parte de proyectos CEI con varias universidades en los que no son coordinadoras.

Finalmente, el grupo del nodo 1 es el de menor puntuación, llegando solamente un 18% de la puntuación media del grupo primero. Es el más numeroso, con 24 universidades (32,4% del total), y el más heterogéneo en su puntuación media al tener el mayor coeficiente de variación. Está integrado por universidades que no forman parte de ningún proyecto CEI, la mayor parte de ellas instituciones privadas.

Figura 2. Clasificación de las universidades según tipo de CEI [Descargar tamaño completo]

6. LIMITACIONES, CONCLUSIONES Y RECOMENDACIONES Top

En el presente trabajo hemos analizado la mejora de la visibilidad internacional de las universidades españolas, derivada de su mejora en la prestación investigadora durante el periodo de duración de los proyectos de Campus de Excelencia Internacional. Con el fin de juzgar esa mayor o menor visibilidad, hemos elegido entre las clasificaciones globales la que nos ha parecido más ajustada al objetivo de centrarse en las mejoras en investigación, el ranking de Shanghái. Entre las limitaciones de este trabajo hay que asumir las propias del ranking ARWU tanto en la selección de los criterios como en la ponderación de los mismos, que han sido ampliamente tratadas en la literatura (Marginson y van der Wende, 2007Marginson, S.; van der Wende, M. (2007). Globalization and Higher Education. En: OCDE Education Working Papers, nº 8. Paris: OCDE, http://dx.doi.org/10.1787/173831738240.; Hazelkorn, 2011Hazelkorn, E. (2011). Rankings and the reshaping of higher education: The battle for world-class excellence. New York: Palgrave Macmillan, http://dx.doi.org/10.1057/9780230306394.; Sanz-Casado y otros, 2013Sanz-Casado, E.; García-Zorita, C.; Serrano-López, A.E.; Efraín-García, P.; De Filippo, D. (2013). Rankings nacionales elaborados a partir de múltiples indicadores frente a los de índices sintéticos. Revista Española de Documentación Científica, 36 (3), pp. 1-18, http://dx.doi.org/10.3989/redc.2013.3.1.023.).

No obstante, nos parece importante señalar que ARWU, pese a la proliferación de otros rankings de universidades y a las duras críticas recibidas, se ha convertido en el referente básico para identificar a las universidades de investigación a nivel global. De hecho, “la accesibilidad de sus fuentes y el hecho de que la jerarquía de universidades que ARWU reconoce se alinee con las percepciones acerca de la calidad de las universidades de élite a lo largo de los últimos tiempos han contribuido poderosamente a la primacía del ranking de Shanghái entre las clasificaciones académicas de ámbito global” (Docampo y Cram, 2014Docampo, D.; Cram, L. (2014). On the Dynamics of the Shanghai ranking. Scientometrics, 98 (2), pp. 1347-1366, http://dx.doi.org/10.1007/s11192-013-1143-y.). Por otra parte, conviene destacar el tratamiento favorable en ARWU a la producción científica en Ciencias Sociales y Humanidades: como se ha puesto de manifiesto en Docampo (2013Docampo, D. (2013). Reproducibility of the Shanghai academic ranking of world universities results. Scientometrics, 94 (2), pp. 567-587, http://dx.doi.org/10.1007/s11192-012-0801-y.) ARWU asigna una puntuación doble a las publicaciones recogidas en el Social Science Citation Index, en el que además de las publicaciones indexadas en Ciencias Sociales se incluye en el caso de las universidades españolas más de un tercio de las indexadas en el ámbito de las Artes y las Humanidades.

Otra de las limitaciones con las que nos hemos encontrado es la posible volatilidad anual de los indicadores de productividad investigadora. Con el fin de evitar incrementos espurios debido a las posibles oscilaciones anuales, y en consonancia con el hecho de que ha habido tres convocatorias CEI, hemos optado por reducir el riesgo trabajando con las puntuaciones medias de tres años tanto al inicio como al final del período. De todos modos los autores son plenamente conscientes de que correlación no implica causación, por lo que debemos señalar que está fuera de la capacidad de nuestro análisis identificar estrictamente los efectos de los CEI con independencia de las condiciones de contorno en los que la iniciativa se ha desarrollado. Entre otros factores de incremento de la producción científica y por ende de las posiciones en clasificaciones internaciones, conviene no olvidar los incentivos a la producción investigadora y la puesta en marcha de los sistemas de acreditación para el profesorado universitario.

A lo largo del trabajo hemos documentado el hecho de que, entre 2009 y 2015, el sistema universitario español ha mejorado su prestación investigadora a juzgar por el incremento de su puntuación media en ARWU, superior al 19%. En dicho período se ha reducido la dispersión, derivando en un sistema universitario más homogéneo respecto a la puntuación media alcanzada en ARWU. Es importante remarcar que, debido al proceso de compresión de las puntuaciones en el ranking de Shanghái, esta mejora supone un incremento real superior al 40% en el conjunto de los indicadores que componen el ranking en los que las universidades españolas tienen puntuaciones positivas.

Al final del período de análisis se constata que hay más universidades españolas entre las 1.000 primeras en la clasificación mundial con los criterios de ARWU, de 33 se pasa a 39, es decir un 18% más. Casi todas las universidades que estaban al principio y al final de este período han conseguido una perceptible mejora en sus posiciones.

Atendiendo a las características de los proyectos CEI, las universidades coordinadoras tenían y tienen más puntuación media y ocupaban posiciones más elevadas en el ranking, en consonancia con su reconocida capacidad de liderazgo para la coordinación. Las universidades coordinadoras, al partir de niveles más altos en sus puntuaciones, presentan una evolución más estable que las no coordinadoras.

Las universidades que están solas en un proyecto CEI parecen haber sacado mayor provecho de la iniciativa, puesto que no solamente partían de una media mayor que la media de las universidades que están en proyectos con varias universidades sino que además al final del período se amplía tal diferencia, aunque en pequeña escala. El que un proyecto se presente por una sola universidad no es sinónimo de no colaboración con otras universidades, precisamente son universidades que presentan elevados indicadores de colaboración (por ejemplo en producción científica). Una posible explicación es que la financiación del proyecto CEI no se tiene que repartir con otras universidades, además todo el proceso es más fácil de coordinar, más eficaz en el desarrollo y más orientado a los resultados concretos de una sola universidad. Estas conclusiones son revalidadas al analizar los datos ordinales, relativos a las posiciones de las universidades.

Ser universidad coordinadora está correlacionado con ocupar mejores posiciones, aunque más al principio que al final del período, debido la positiva contribución que la coordinadora parece haber ejercicio sobre las instituciones coordinadas. Las universidades que coordinan CEI mono-institucionales ocupan, como ya se ha indicado, mejores posiciones en el ranking, un fenómeno que se acentúa al final del período.

Las evidencias encontradas apuntan, ceteris paribus, a un cierto efecto iniciativa CEI en las puntuaciones medias y en las posiciones de las universidades públicas españolas en ARWU. Se produce al mismo tiempo una mejora y una reducción de las diferencias entre las universidades que no han coordinado un proyecto CEI y las que sí lo han hecho. Esto puede aconsejar desarrollos policéntricos en futuras convocatorias, en los que se intente, en primer lugar, promover proyectos con una universidad y en segundo lugar proyectos con pocas universidades y próximas, con el fin de mejorar la visibilidad internacional de las universidades no coordinadoras.

Aunque los proyectos CEI fueron concedidos en años diferentes, en la práctica se gestaron al mismo tiempo. La iniciativa CEI se ha desarrollado en un plazo demasiado corto y solamente en tres años se ha dispuesto de cierta financiación, que además ha sido escasa en relación a las expectativas y los objetivos perseguidos en los proyectos. A esto hay que añadir una postura titubeante con la continuidad de la iniciativa. No obstante, la prestación investigadora de las universidades españolas, analizada a través del prisma de los resultados en el ranking de Shanghái, se ha revelado sumamente positiva, incluso en un contexto de crisis económica que ha mermado en gran medida los recursos disponibles para la investigación. Es difícil pensar, de todos modos, que dicha situación se repita si se continúa trabajando con escasez de medios y difuso horizonte de futuro.

El reto de la mejora de la visibilidad internacional del sistema universitario español precisa de más tiempo y una apuesta más decidida y sostenida no solamente en términos de financiación sino con otras medidas complementarias y de apoyo que puedan reforzarla, como las acciones en los planes nacionales de investigación, de movilidad internacional y otras medidas de internacionalización, de creación de empresas y emprendimiento, de acciones en posgrado y, en particular, en doctorado.

7. REFERENCIASTop

ANEXOTop

ANEXO 1. Relación de Campus de Excelencia Internacional, universidades coordinadoras y participantes [Descargar tamaño completo]

ANEXO 2. Relación de Universidades Públicas españolas con su puntuación y posición en ARWU [Descargar tamaño completo]