¿Garantiza el Ranking de Shanghai alto desempeño académico?

1. INTRODUCCIÓN

La llegada del Espacio Europeo de Educación Superior ha supuesto una serie de cambios significativos que sitúan a la calidad en primer plano. El fin social que se le atribuye a la universidad requiere una mayor transparencia que asegure el cumplimiento de unos criterios o estándares y, a su vez, impulse su orientación hacia la mejora. La calidad del sistema universitario no resulta, sin embargo, fácil de evaluar. Construir un mecanismo de evaluación que dé respuesta a todas sus misiones y funciones, requiere identificar las principales áreas de acción e implementar una gama de indicadores que cubra todo el campo de actividad de las instituciones. Los referidos al desempeño académico del alumnado, sin embargo, no siempre ocupan un papel principal en las decisiones universitarias, teniendo una mayor repercusión instrumentos orientados a otros aspectos como la investigación.

La misión actual de la docencia se fundamenta en una enseñanza centrada en el alumno, orientada a la mejora de su aprendizaje y rendimiento académico (Mella y otros, 2015Mella Núñez, Í.; Santos Rego, M. A.; Malheiro Gutiérrez, X. M. (2015). Aprendizaje-Servicio y rendimiento académico en alumnado universitario. Revista de Estudios e Investigación en Psicología y Educación, 12(1), 1-5. https://doi.org/10.17979/reipe.2015.0.). Esta docencia se encuentra en relación directa con la calidad del servicio que se presta, siendo los estudiantes, por tanto, uno de los grupos de interés relevantes para precisarla (Rodríguez-Ponce y Pedraja, 2015Rodríguez-Ponce, E.; Pedraja-Rejas, L. (2015). Estudio exploratorio de la relación entre gestión académica y calidad en las instituciones universitarias. Interciencia, 40(10), 656-663.). Reflexionar sobre todos los elementos que la evaluación del desempeño del alumnado proporciona se convierte, así, en un mecanismo valioso para la mejora de todo el proceso educativo. Para medir este desempeño pueden emplearse dos tipos de indicadores: indicadores de resultados e indicadores de proceso. Los primeros hacen referencia a la adquisición de competencias orientadas a la graduación, empleabilidad e inserción laboral, mientras los segundos se orientan al logro estudiantil definido a través del rendimiento o abandono (Gutiérrez-Gómez, 2018Gutiérrez Gómez, X. (2018). Factores relacionados al rendimiento académico en estudiantes del Máster en Salud Sexual y Reproductiva, Unan-Managua. Revista Multi-Ensayos, 3(6), 9-21.).

El desempeño académico del alumnado, medido a través de diferentes tasas, se considera un aspecto importante de la calidad en los procesos formativos de las universidades, pues muestra grados de eficiencia y eficacia institucional (Mella y otros, 2015Mella Núñez, Í.; Santos Rego, M. A.; Malheiro Gutiérrez, X. M. (2015). Aprendizaje-Servicio y rendimiento académico en alumnado universitario. Revista de Estudios e Investigación en Psicología y Educación, 12(1), 1-5. https://doi.org/10.17979/reipe.2015.0.). Los indicadores vinculados con el rendimiento, la graduación o el abandono en los grados universitarios pueden constituir instrumentos valiosos para realizar un seguimiento del nivel de desempeño. García de Fanelli (2004)García de Fanelli, A. M. (2004). Indicadores y estrategias en relación con la graduación y el abandono universitario. En: C. Marquís (ed.) La Agenda Universitaria.; Buenos Aires: Universidad de Palermo. señala dos condiciones que deben cumplirse para poder afirmar que una organización universitaria es más o menos eficiente. Por un lado, se deben diseñar instrumentos que permitan controlar los efectos de las acciones que se realizan; por otro, es necesario poder determinar la calidad de los servicios que se están considerando. Estos resultados deben, interpretarse siempre en contexto, analizando las posibles causas de los desajustes que se detecten, para poder extraer la máxima información posible de ellos.

Un grave problema al que se enfrentan las instituciones educativas a nivel mundial es el abandono de los estudios (Álvarez-Pérez y López-Aguilar, 2017Álvarez Pérez, P. R.; López Aguilar, D. (2017). Estudios sobre deserción académica y medidas orientadoras de prevención en la Universidad de la Laguna (España). Revista Paradigma, vol. 38(1), 48-71.). Se trata de una problemática objeto de atención debido a las repercusiones económicas que tiene en el seno de las organizaciones universitarias (Colás, 2015Colás Bravo, M. P. S. (2015). El abandono universitario. Revista Fuentes, vol. 16, 9-14. http://dx.doi.org/10.12795/revistafuentes.2015.i16.) agravada, además, ante el descenso del número de alumnos y el incremento en el número de instituciones. Cuando se considera de un modo agregado, por titulaciones y tipologías de estudiantes, se convierte en un indicador valioso que orienta sobre determinados funcionamientos sistémicos de las universidades (Rué, 2014Rué, J. (2014). El abandono universitario: variables, marcos de referencia y políticas de calidad. Revista de Docencia Universitaria, 12(2), 281-306.). Brindar mejor información sobre las titulaciones ofertadas, mejorar la relación profesor-alumno o permitir la libre migración entre programas académicos pueden ser estrategias eficaces para elevar la retención de estudiantes, si se diseñan teniendo en cuenta tanto las particularidades de cada programa como las características propias de cada institución.

La mejora en los índices de graduación también es un aspecto importante que las instituciones deben cumplir en aras de la calidad educativa. El acceso de un alumnado cada vez más heterogéneo en su perfil socioeconómico, educativo y en aspiraciones laborales requiere explorar nuevos caminos para alcanzar este objetivo. Formar profesionales sin rebajar los niveles de calidad, e incluso buscando elevarlos, es actualmente un desafío de alta complejidad en universidades de gran tamaño y reducido presupuesto (García de Fanelli, 2004García de Fanelli, A. M. (2004). Indicadores y estrategias en relación con la graduación y el abandono universitario. En: C. Marquís (ed.) La Agenda Universitaria.; Buenos Aires: Universidad de Palermo.). El aumento en la tasa de Graduación se convierte de esta forma en un aspecto importante para alcanzar mejores niveles de excelencia y dar fe del cumplimiento de los objetivos docentes.

El desempeño académico es, por tanto, producto de múltiples factores; individuales, familiares, institucionales y sociales, está mediado por el proceso de enseñanza-aprendizaje, orientado por el profesorado y se refleja de forma objetiva a través de calificaciones (Gutiérrez-Gómez, 2018Gutiérrez Gómez, X. (2018). Factores relacionados al rendimiento académico en estudiantes del Máster en Salud Sexual y Reproductiva, Unan-Managua. Revista Multi-Ensayos, 3(6), 9-21.). Su medición a través de diferentes tasas permite definir estrategias de intervención, centradas en aquellas variables que pueden ser manipuladas y que son determinantes en las decisiones que toma el estudiante.

2. METODOLOGÍA

Para el desarrollo de la investigación se consideraron como variables de desempeño académico las tasas de Graduación, Rendimiento y Abandono de las titulaciones de Grado. La tasa de Graduación fue seleccionada como indicador de resultado orientado hacia la adquisición de competencias por parte del alumnado. La empleabilidad e inserción laboral no cuentan en la actualidad con mecanismos de medición estandarizados por lo que no pudieron emplearse para realizar una comparación a nivel de sistema universitario completo. Los indicadores de proceso orientados al logro estudiantil se reflejaron a través de las tasas de Rendimiento y Abandono, consideradas muy valiosas para evitar la deserción y detectar comportamientos universitarios sistémicos.

La fuente empleada para el diseño de la base de datos fue el Sistema Integrado de Información Universitaria (SIIU), plataforma que recoge información a nivel micro de todos los estudiantes. A través de ella se obtuvieron las tasas de Rendimiento, Graduación y Abandono de todas las universidades españolas, tanto públicas como privadas. El SIIU aporta en su metodología la siguiente definición de cada uno de los indicadores seleccionados:

Los datos seleccionados para el análisis hicieron referencia al curso 2017/2018 y la fecha de publicación en la plataforma fue el 24/10/2019. Aparecieron desglosados para cada tasa en ámbitos de estudio International Standard Classification of Education (ISCED); se realizó una agrupación de estos ámbitos en las cinco Ramas de Enseñanza siguiendo la equivalencia Rama-ISCED 2013, publicada por la Secretaría General de Universidades del Ministerio de Educación, Cultura y Deporte. La agrupación fue la siguiente:

Las tasas se analizaron de forma multivariante y se compararon con los resultados obtenidos por cada institución española en la edición 2019 del Ranking de Shanghai (ver Anexo 2). Se identificaron las universidades clasificadas en este ranking para determinar si presentaban buenas características en las tasas. Esta comparación permitió evaluar la capacidad de ARWU para capturar el desempeño académico.

En la Tabla I se detalla el número de universidades que mostraron valores de las tres tasas para cada una de las Ramas de Enseñanza. En el caso de Ciencias Sociales y Jurídicas e Ingeniería y Arquitectura aparece el desglose para cada uno de los ámbitos que las componen. También se detalla el número de universidades clasificadas en ARWU dentro de cada grupo analizado. En el momento de realizar la investigación, aparecieron registradas en el SIIU 82 universidades con estudios de Grado. Se observa en la Tabla I que existe un número variable para cada una de las Ramas de Enseñanza, pues no todas las universidades imparten titulaciones de Grado en todas las áreas.

El análisis se realizó a través de la técnica multivariante HJ-Biplot (Galindo, 1986Galindo, M. P. (1986). Una alternativa de representación simultánea: HJ-Biplot. Qüestioó, 10(1), 13-23.), que permite representar simultáneamente variables (tasas) e individuos (universidades) con máxima calidad de representación. Se trata de una potente herramienta de visualización que posibilita, mediante una simple inspección, interpretar de manera intuitiva la relación entre variables, entre individuos o entre variables e individuos sin la exigencia de tener conocimientos estadísticos especializados; es suficiente con saber interpretar la distancia entre dos puntos, la longitud de un vector, el ángulo entre dos vectores y la forma de ordenar los puntos sobre un vector. Los métodos Biplot presentan una serie de ventajas frente a otras técnicas multivariantes más empleadas en Bibliometría como el Análisis de Clusters, el Análisis Factorial o el Análisis de Correspondencias. Entre ellas señalar que permiten identificar la combinación de variables que motiva las agrupaciones entre ellas, proporcionan información sobre la similitud entre las unidades objeto de estudio y se pueden aplicar a cualquier matriz de datos.

El potencial de los métodos Biplot en el campo de la Bibliometría está suficientemente demostrado. Los factores que inciden en la actividad científica son tan elevados que el patrón, la estructura de los datos y la relación entre ellos son complejos y deben ser estudiados a través de métodos multivariantes que capten la multidimensionalidad. Su utilidad en este campo se ha orientado, principalmente, a analizar la actividad científica de las universidades en el área biosanitaria (Díaz-Faes y otros, 2015Díaz-Faes, A. A.; Costas, R.; Galindo, M. P.; Bordons, M. (2015). Unravelling the Performance of Individual Scholars: Use of Canonical Biplot Analysis to Explore the Performance of Scientists by Academic Rank and Scientific Field. Journal of Infometrics, 9(4), 722-733. https://doi.org/10.1016/j.joi.2015.04.006.), estudiar la producción de los centros del CSIC en relación a indicadores de impacto y colaboración científica (Díaz-Faes y otros, 2013Díaz-Faes, A. A.; González-Albo, B.; Galindo, M. P.; Bordons, M. (2013). HJ-Biplot como herramienta de inspección de matrices de datos bibliométricos. Revista Española de Documentación Científica, 36(1), 1-16. https://doi.org/10.3989/redc.2013.1.988.) o explorar las diferencias en la actividad científica de los investigadores españoles del CSIC. Sin embargo, no se ha realizado, hasta el momento, ninguna aplicación orientada a comparar la clasificación de las universidades en un ranking internacional con el desempeño académico de sus estudiantes.

En esta investigación los datos se organizaron en varias matrices (una para cada Rama de Enseñanza) que contuvieron como filas a las universidades (o ámbito de estudio de cada universidad en el caso de Ramas con más de un ámbito) y como columnas las tres tasas de desempeño definidas: Rendimiento, Graduación y Abandono. El HJ-Biplot (Galindo, 1986Galindo, M. P. (1986). Una alternativa de representación simultánea: HJ-Biplot. Qüestioó, 10(1), 13-23.) consiguió representar simultáneamente las universidades y las tasas en un plano en el cual la similitud entre universidades fue inversamente proporcional a la distancia euclídea entre ellas. Los ángulos entre las tasas hicieron posible valorar el grado de covariación entre ellos: ángulos agudos indicaron correlación directa, ángulos obtusos correlación inversa y ángulos rectos independencia. La longitud de los vectores aproximó la desviación típica de las tasas. El orden de las proyecciones ortogonales de los marcadores fila sobre un marcador columna aproximó el orden de los elementos fila (universidades) en esa columna (tasa). Cuanto mayor fue la proyección de un punto sobre un vector, más se desvió la universidad de la media de esa tasa.

El plano Biplot sobre el que se representaron universidades y tasas tuvo como ejes de referencia las componentes principales obtenidas como vectores propios de la matriz de covarianzas entre tasas. Los valores propios asociados, permitieron valorar la cantidad de información que explicó cada plano biplot (varianza explicada). El ángulo que formó cada tasa con el eje factorial 1, se conoce como contribución del factor 1 a la variabilidad de esa tasa; análoga explicación para el ángulo con el eje factorial 2. La suma de ambas contribuciones determinó la calidad de representación en el plano factorial.

El análisis se realizó con el programa MultBiplot, desarrollado por Vicente-Villardón (2015)Vicente Villardón, J. L. (2015). A package for multivariate analysis using Biplots. http://biplot.usal.es/ClassicalBiplot/index.html.itado . En los gráficos HJ-Biplot, las tasas se representaron mediante vectores, mientras que las universidades se identificaron mediante puntos, cuya etiqueta incluyó un código numérico (ver Anexos 1 y 3), seguido de las iniciales del ámbito (en caso de que la Rama contuviera más de un ámbito) y precedido del símbolo “S” en el caso de su pertenencia al Ranking de Shanghai. Para una mejor interpretación, las universidades pertenecientes a la clasificación se representaron en color burdeos y el resto de centros en color verde. Se emplearon técnicas de clúster a partir de las coordenadas Biplot para recoger no solo información de las variables, sino también las posibles interacciones entre ellas. Las clasificaciones jerárquicas se llevaron a cabo con el método de Ward (que une los casos buscando minimizar la varianza dentro de cada grupo) y se seleccionaron tres clúster.

3. RESULTADOS

En cada Rama de Enseñanza se analizaron todas las universidades recogidas en la Tabla I que mostraron datos para las tres tasas. Los datos se estandarizaron por columnas. La varianza explicada por los dos primeros ejes factoriales para cada una de las Ramas de Enseñanza aparece en la Tabla II.

Para todas las Ramas, el plano HJ-Biplot capturó más del 80% de la información contenida en los datos, superándose el 90% en el área de Ciencias Sociales y Jurídicas y en la de Ingeniería y Arquitectura. En todos los casos el primer eje factorial absorbió la mayor cantidad de información, por tanto, el gradiente horizontal fue el más interesante a la hora de explicar la ordenación de las universidades según ese gradiente latente multivariante, que capturó de manera conjunta la información de las tres tasas y sus interrelaciones.

La Tabla III recoge la contribución de cada eje factorial a la variabilidad de las diferentes tasas. De nuevo se puso de manifiesto que fue el primer eje Biplot el que contuvo más información en todas las áreas; sin embargo, la tasa con mayor relevancia no fue la misma. En las áreas de Artes y Humanidades y Ciencias Sociales y Jurídicas las tres tasas recibieron alta contribución del eje 1 (horizontal). En las áreas de Ciencias, Ciencias de la Salud e Ingeniería y Arquitectura, el eje 2 (vertical) también aportó información de interés, como se pondrá de manifiesto a continuación en los gráficos factoriales. La interpretación de la tasa de Abandono fue fundamental a la hora de explicar los gráficos factoriales en las áreas antes citadas.

3.1 Artes y Humanidades

 ⌅

Se realizó el análisis de las 54 universidades que mostraron datos de las tres variables consideradas (Tabla I). Se retuvieron los dos primeros ejes pues se consiguió una inercia acumulada muy elevada (87,70%), suficiente para caracterizar a las universidades con relación a las variables consideradas, tal y como se indica en la Tabla II.

En cuanto a las universidades, de las 54 universidades analizadas, 4 no quedaron bien representadas en ese plano.

En la figura 1 se muestra el gráfico factorial del plano 1-2. Los indicadores de rendimiento académico, representados mediante vectores, indicaron una relación directa entre las tasas de Graduación y Rendimiento (ángulo agudo entre los dos vectores), siendo esta última variable la más importante para discriminar entre universidades en el eje X. Asimismo, existió una correlación negativa entre las tasas de Rendimiento y Abandono (ángulo obtuso entre los dos vectores) y una correlación ligeramente negativa entre las tasas de Graduación y Abandono. Por tanto, las universidades situadas en la parte izquierda presentaron las mejores características en cuanto a desempeño (menor Abandono y mayor Rendimiento y Graduación).

Figura 1.  Representación factorial HJ-Biplot Artes y Humanidades, plano 1-2

En el primer análisis realizado aparecieron tres universidades con características muy diferentes del resto: Lleida, Universidad Nacional de Educación a Distancia (UNED) y Oberta de Catalunya. Dos de ellas pertenecen a la modalidad no presencial que, por su particularidad, muestra diferente comportamiento en cuanto a las tasas consideradas. Estos centros se excluyeron del análisis para poder estudiar de forma más detallada el resto de instituciones.

Se puede observar en el gráfico que las universidades pertenecientes al ranking de Shanghai (color burdeos) se situaron en diferentes zonas y no mostraron, por tanto, un comportamiento similar. El clúster que presentó mejores características (parte izquierda) estuvo formado por las universidades de Mondragón, Deusto, Politécnica de Catalunya y Pablo de Olavide, las dos últimas pertenecientes a la clasificación internacional. La proximidad entre ellas indicó unos comportamientos similares en cuanto a las tasas analizadas (elevados valores en Rendimiento y Graduación y bajo en Abandono).

En el clúster situado en la zona opuesta se situaron aquellos centros con peor desempeño y mayor Abandono. Aparecieron en esta zona 20 universidades entre las que podemos destacar por situarse más a la izquierda del gráfico Illes Balears, La Laguna o Huelva. Resulta llamativa la presencia de 18 universidades pertenecientes a Shanghai de las 33 analizadas, entre ellas las que ocuparon las cinco primeras posiciones: Barcelona, Autónoma de Barcelona, Complutense, Granada y Valencia.

3.2 Ciencias

 ⌅

Se analizaron las 51 universidades que mostraron datos de las tres variables consideradas (Tabla I). Se retuvieron los dos primeros ejes pues se consiguió una inercia acumulada muy elevada (86,87%), suficiente para caracterizar a las universidades con relación a las variables consideradas (Tabla II).

La figura 2 muestra el gráfico del plano factorial 1-2. Los indicadores de rendimiento académico mostraron una relación directa entre las tasas de Graduación y Rendimiento, siendo esta última variable la más importante para discriminar entre universidades en el eje X. Asimismo, las tasas de Rendimiento y Abandono correlacionaron de forma negativa y apareció una correlación ligeramente negativa entre las tasas de Graduación y Abandono. Por tanto, las universidades situadas en la parte izquierda presentaron el mejor desempeño. Se excluyó del análisis a la UNED pues, por su particularidad respecto a la modalidad no presencial, mostró valores muy alejados del resto.

Figura 2.  Representación factorial HJ-Biplot Ciencias, plano 1-2

Las universidades pertenecientes al ranking de Shanghai (color burdeos) se situaron en diferentes zonas del gráfico y no mostraron, por tanto, un comportamiento similar en cuanto a las tres tasas consideradas.

El clúster que presentó mejores características (parte izquierda) estuvo formado por 18 universidades, 13 de ellas pertenecientes a ARWU. De las cinco mejor posicionadas en la clasificación destacaron Barcelona, Autónoma de Barcelona y Valencia. Universidades como Carlos III, Autónoma de Madrid o León aparecieron también en esta parte de la Figura 2.

En el clúster situado en la zona opuesta (mayor Abandono y menor Graduación y Rendimiento) se situaron 13 centros, nueve de ellos pertenecientes a Shanghai. La Universidad de Granada, una de las mejor posicionadas en el ranking, apareció en este clúster. A Coruña, Almería, Huelva, Illes Balears, La Laguna, Málaga o Santiago también se posicionaron en esta zona.

3.3 Ciencias de la Salud

 ⌅

Se analizaron las 68 universidades que mostraron datos de las variables consideradas (Tabla I). Se retuvieron los dos primeros ejes pues se consiguió una inercia acumulada muy elevada (84,92%), suficiente para caracterizar a las universidades con relación a las tasas (Tabla II).

Atendiendo a las contribuciones del factor al elemento para las columnas (Tabla III), todas las variables pudieron interpretarse en el plano factorial 1-2. En cuanto a las contribuciones para las filas, quedaron excluidas 6 universidades por mostrar calidades de representación bajas en este plano.

La figura 3 muestra el gráfico del plano factorial 1-2. Los indicadores de rendimiento académico mostraron una relación directa entre las tasas de Graduación y Rendimiento, siendo esta última variable la más importante para discriminar entre universidades en el eje X. Asimismo, apareció una correlación negativa entre las tasas de Rendimiento y Abandono y una correlación ligeramente negativa entre las tasas de Graduación y Abandono. Por tanto, las universidades situadas en la parte izquierda presentaron las mejores características en cuanto a desempeño. Se excluyó a la UNED porque mostró valores muy alejados del resto.

Figura 3.  Representación factorial HJ-Biplot Ciencias de la Salud, plano 1-2

Las universidades pertenecientes al ranking de Shanghai (color burdeos) se situaron en diferentes zonas del gráfico y no mostraron, por tanto, un comportamiento similar en cuanto a las tasas.

El clúster de la parte derecha mostró las mejores características (bajos valores en Abandono y elevados en Rendimiento y Graduación) y agrupó a 33 universidades, 18 de ellas pertenecientes a ARWU. Universidades como León, Autónoma de Madrid, Carlos III, Navarra, Universidad de Barcelona y Complutense aparecieron en esta zona de la Figura 3.

El clúster situado en la zona opuesta determinó las peores características y agrupó a las universidades Politécnica de Valencia (S64), Pablo de Olavide (S59) e Illes Balears (S43); resulta llamativo que todas pertenecieran al ranking de Shanghai.

3.4 Ciencias Sociales y Jurídicas

 ⌅

En la Tabla I se desglosan las universidades analizadas en cada uno de los ámbitos de conocimiento correspondientes a esta Rama de Enseñanza: Educación, Ciencias sociales, periodismo y documentación; Negocios, administración y derecho; y Servicios. Se retuvieron los dos primeros ejes pues se consiguió una inercia acumulada muy elevada (91,31%), suficiente para caracterizar a las universidades con relación a las variables consideradas (Tabla II).

Atendiendo a las contribuciones del factor al elemento para las columnas (Tabla III), todas las tasas pudieron interpretarse en el plano factorial 1-2. Respecto a las filas, no quedaron bien recogidas en los dos primeros ejes una universidad relativa al ámbito de Educación, seis universidades del ámbito de Ciencias sociales, cinco universidades del ámbito de Negocios y una universidad de Servicios.

La figura 4 muestra el gráfico del plano factorial 1-2. Apareció una relación fuerte y directa entre las tasas de Rendimiento y Graduación, siendo esta última variable la más importante para discriminar entre universidades en el eje X. Asimismo, existió una correlación negativa entre las tasas de Graduación y Abandono, y una correlación ligeramente negativa entre las tasas de Rendimiento y Abandono. Por tanto, los ámbitos de las universidades situadas en la parte izquierda presentaron mejores rendimientos. Los ámbitos de Educación, Negocios y Servicios de la UNED se excluyeron del análisis.

Figura 4.  Representación factorial HJ-Biplot Ciencias Sociales y Jurídicas, plano 1-2

Los centros pertenecientes a Shanghai se situaron en diferentes zonas del gráfico y no mostraron, por tanto, un comportamiento similar en cuanto a las variables consideradas. El clúster de la parte izquierda presentó las mejores características (bajo Abandono, alto Rendimiento y Graduación) y estuvo formado por 51 universidades de Educación, 27 universidades de Ciencias sociales, 13 universidades de Negocios y 21 del ámbito de Servicios. Respecto a las clasificadas en ARWU, 31 centros de Educación, 5 de Ciencias sociales, 4 de Negocios y 14 de Servicios pertenecían a esta clasificación.

En el clúster situado en la parte derecha del gráfico (mayores Tasas de Abandono y menor Rendimiento y Graduación) aparecieron un total de 40 ámbitos de diferentes universidades de los cuales 25 pertenecían a Shanghai; resultó llamativa la presencia de Granada en el ámbito de Negocios.

3.5 Ingeniería y Arquitectura

 ⌅

En la Tabla I se muestran las universidades analizadas para los tres ámbitos relativos a esta Rama de Enseñanza: Informática; Ingeniería, industria y construcción; Agricultura, ganadería y pesca. Se retuvieron los dos primeros ejes pues se consiguió una inercia acumulada muy elevada (90,11%), suficiente para caracterizar a las universidades con relación a las variables consideradas (Tabla II).

Atendiendo a las contribuciones del factor al elemento para las columnas (Tabla III), se observó que todas las tasas pudieron interpretarse en el plano factorial 1-2. En cuanto a las universidades, no quedaron bien recogidas en los dos primeros ejes tres del ámbito de Informática, seis de Ingeniería y seis de Agricultura.

La figura 5 muestra el gráfico del plano factorial 1-2. Apareció una relación fuerte y directa entre las tasas de Graduación y Rendimiento, siendo esta última variable la más importante para discriminar entre universidades en el eje X. Las tasas de Graduación y Abandono correlacionaron de forma negativa y existió una correlación ligeramente negativa entre las tasas de Rendimiento y Abandono. Por tanto, los ámbitos situados en la parte izquierda presentaron los mejores rendimientos. La UNED se excluyó del análisis por tener valores muy alejados del resto de centros.

Figura 5.  Representación factorial HJ-Biplot Ingeniería y Arquitectura, plano 1-2

Las universidades pertenecientes a Shanghai (color burdeos) se situaron en diferentes zonas del gráfico y no mostraron, por tanto, un comportamiento similar en cuanto a las tasas. El clúster de la izquierda mostró las mejores características de desempeño (menores valores en Abandono y mayores en Rendimiento y Graduación) y agrupó a tres universidades del ámbito de Informática, 12 de Ingeniería y una de Agricultura. Respecto a las clasificadas en ARWU, solo apareció una del ámbito de Informática, cinco de Ingeniería y una de Agricultura. La Universidad de León se posicionó en esta zona en dos de los tres ámbitos analizados: Informática e Ingeniería.

El clúster situado más a la derecha del gráfico mostró los 64 ámbitos por universidad de menor desempeño. Resultó llamativa la presencia en esta parte de tres universidades pertenecientes a las primeras posiciones de Shanghai: Granada y Valencia, en Ingeniería; Complutense y Granada en Informática. La Universidad de la Laguna apareció en esta zona del gráfico en los tres ámbitos analizados.

En la Tabla IV se muestra un resumen de los resultados para todas las Ramas de Enseñanza. Se detalla el número de universidades que aparecen en el clúster 1, relativo al mejor desempeño, y en el clúster 3, que muestra los valores más altos en Abandono y bajos en Rendimiento y Graduación. Asimismo, se enumeran las universidades clasificadas en ARWU pertenecientes a estos dos grupos y el porcentaje que representaron respecto al total. Se puede observar que las universidades que mostraron el mejor desempeño académico no fueron las pertenecientes a la lista internacional ni en todas las Ramas, ni en todos los ámbitos para aquellas áreas con más de una especialidad (Ciencias Sociales y Jurídicas, Ingeniería y Arquitectura).

Tabla IV.  Universidades analizadas en cada Rama de Enseñanza.

Artes y Humanidades	Universidades	Universidades ARWU	% ARWU
Clúster 1	4	2	50%
Clúster 3	24	18	75%
Ciencias
Clúster 1	18	13	72%
Clúster 3	13	9	69%
Ciencias de la Salud
Clúster 1	33	18	55%
Clúster 3	3	3	100%
Ciencias Sociales y Jurídicas
Educación
Clúster 1	51	31	61%
Clúster 3	1	0	0%
Ciencias sociales, periodismo y documentación
Clúster 1	27	5	19%
Clúster 3	4	1	25%
Negocios, administración y derecho
Clúster 1	13	4	31%
Clúster 3	29	18	62%
Servicios
Clúster 1	21	14	67%
Clúster 3	6	6	100%
Ingeniería y Arquitectura
Informática
Clúster 1	3	1	33%
Clúster 3	25	19	76%
Ingeniería, industria y construcción
Clúster 1	12	5	42%
Clúster 3	28	23	82%
Agricultura, ganadería y pesca
Clúster 1	1	1	100%
Clúster 3	11	10	91%

4. CONCLUSIONES Y DISCUSIÓN

La investigación demostró la utilidad práctica de los métodos Biplot para la clasificación de universidades en función de sus tasas de Rendimiento, Graduación y Abandono. La técnica HJ-Biplot (Galindo, 1986Galindo, M. P. (1986). Una alternativa de representación simultánea: HJ-Biplot. Qüestioó, 10(1), 13-23.) permitió realizar una representación gráfica, en la que pudieron superponerse ámbitos de universidades y tasas académicas en un mismo sistema de referencia con máxima calidad de representación.

En el estudio se analizaron las variables de desempeño académico del alumnado de Grado, para observar si las universidades españolas pertenecientes a Shanghai mostraron comportamientos similares respecto a las tasas. En las cinco Ramas de Enseñanza se consiguió una inercia acumulada suficiente en el plano 1-2, que permitió una interpretación más intuitiva de los distintos gráficos.

Los indicadores de rendimiento académico de los alumnos, representados mediante vectores, mostraron una correlación directa entre las tasas de Graduación y Rendimiento de todas las disciplinas. Asimismo, apareció una covariación negativa entre las tasas de Rendimiento y Abandono y una correlación ligeramente negativa entre las tasas de Graduación y Abandono. Por tanto, Rendimiento y Graduación fueron variables con una tendencia similar y opuesta al Abandono, lo cual resulta lógico pues son tasas relacionadas con la no deserción del alumnado. También se observó que esta relación entre las variables presentó distinta intensidad en las diferentes Ramas de Enseñanza.

Las características analizadas no fueron dependientes de ARWU, pues las universidades pertenecientes a esta clasificación se posicionaron en zonas distintas de los gráficos resultantes en todas las Ramas. Las cinco mejor clasificadas en Shanghai (Barcelona, Autónoma de Barcelona, Complutense, Granada y Valencia) presentaron comportamientos diferentes en cada uno de los ámbitos y Ramas.

La Universidad de Barcelona, primera en la clasificación internacional, mostró las mejores características en Ciencias y Ciencias de la Salud. Este comportamiento se muestra en la línea de autores como Albatach (2006)Altbach, P. (2006). The Dilemmas of Ranking. En: Altbach, P. (editor) International Higher Education: Reflections on policy and practice. Chesnut Hill; EE.UU. o Teodoro y otros (2018)Teodoro, A.; Santos, E.; Da Costa Junior, R. (2018). University Rankings: Between Market Regulation and the Diffusion of Organizational Models. The Brazilian Case. Revista Lusofona de Educacao, 41(41), 175-191. https://doi.org/10.24140/issn.1645-7250.rle41.11., que destacan la ventaja en Shanghai de las universidades con este tipo de estudios. También se observó un desempeño elevado en dos ámbitos de Ciencias Sociales y Jurídicas (educación y servicios). Desde una perspectiva opuesta, la institución mostró su peor posición en Artes y Humanidades. El comportamiento de las siguientes cuatro universidades en la clasificación fue también heterogéneo: Autónoma de Barcelona destacó en Ciencias; Ingeniería y Arquitectura; y Ciencias Sociales y Jurídicas; y mostró características más alejadas en Artes y Humanidades. La Universidad de Complutense apareció mejor situada en Ciencias de la Salud y Ciencias Sociales y Jurídicas y, por el contrario, se posicionó en el clúster de menor rendimiento en Artes y Humanidades e Ingeniería y Arquitectura. Valencia se situó más alejada en Artes y Humanidades y mostró un desempeño elevado en Ciencias, Ingeniería y Arquitectura y Ciencias Sociales y Jurídicas. La Universidad de Granada fue de las cinco primeras clasificadas en Shanghai la que presentó valores inferiores de desempeño en un mayor número de Ramas de Enseñanza: Artes y Humanidades, Ciencias, Ingeniería y Arquitectura y Ciencias Sociales y Jurídicas (negocios).

Las universidades que mostraron las mejores características de rendimiento académico de los alumnos en un mayor número de Ramas fueron Autónoma de Madrid, Politécnica de Catalunya, Navarra, Carlos III y León. De ellas, las tres primeras pertenecían a la clasificación internacional. Desde una perspectiva opuesta, las universidades con peor desempeño en un mayor número de Ramas fueron A Coruña, Almería, Huelva, Illes Balears, La Laguna, Málaga y Santiago; cuatro instituciones clasificadas en ARWU.

Podemos concluir, por tanto, que todas las universidades pertenecientes a Shanghai no mostraron los mejores comportamientos en cuanto a Rendimiento, Graduación y Abandono. Los resultados obtenidos son consistentes con investigaciones realizadas por autores como Docampo (2008)Docampo, D. (2008). International Rankings and Quality of the University Systems. Revista de Educación, vol. extraordinario (1), 149-176., Marginson (2006)Marginson, S. (2006). Global University Rankings at the End of 2006: is this the Hierarchy we have to have? Proceedings workshop Institutional diversity: Ranking and typologies in higher education, 1-16. OECD/IMHE & Hochschulrektorenkonferenz; Alemania. http://www.cshe.unimelb.edu.au/people/marginson_docs/IMHE_Bonn_rankings041206.pdf. o Tomàs-Folch y otros (2015)Tomàs-Folch, M.; Feixas, M.; Bernabeu, M.; Ruíz, J. (2015). La literatura científica sobre rankings universitarios: una revisión sistemática. REDU. Revista de Docencia Universitaria, 13, 33-54. https://doi.org/10.4995/redu.2015.5418., que definen a la metodología del ranking con una orientación hacia la investigación. La clasificación revela, además, una serie de inconsistencias en cuanto a la fiabilidad de los datos empleados que deberían tenerse en consideración. La selección y normalización de sus indicadores (Moed, 2017Moed, H. F. (2017). A Comparative Study of Five World University Rankings. Scientometrics, 110, 967-990. https://doi.org/10.1007/978-3-319-60522-7_18.; Paruolo y otros, 2013Paruolo, P.; Saisana, M.; Saltelli, A. (2013). Ratings and Rankings: Voodoo or Science? Journal of the Royal Statistical Society. Series A: Statistics in Society, 176(3), 609-634. https://doi.org/10.1111/j.1467-985X.2012.01059.x.), la dependencia del tamaño de la institución (Docampo y Cram, 2015Docampo, D.; Cram, L. (2015). On the Effects of Institutional Size in University Classifications: The Case of the Shanghai Ranking. Scientometrics, 102(2), 1325-1346. https://doi.org/10.1007/s11192-014-1488-z.), la capacidad para representar áreas como las Ciencias Sociales y Humanidades (Fauzi y otros, 2020Fauzi, M. A.; Tan, C. N. L.; Daud, M.; Awalludin, M. M. N. (2020). University Rankings: A Review of Methodological Flaws. Issues in Educational Research, 30(1), 79-96. https://www.iier.org.au/iier30/fauzi.pdf.) o la selección de los premios para medir características que medirían mejor otras variables (Pandiella-Dominique y otros, 2018Pandiella-Dominique, A.; Moreno-Lorente, L.; García-Zorita, C.; Sanz-Casado, E. (2018). Model for Estimating Academic Ranking of World Universities (Shanghai Ranking) Scores. Revista Española de Documentación Científica, 41(2), 1-14. https://doi.org/10.3989/redc.2018.2.1462.; Dobrota y Dobrota, 2016Dobrota, M.; Dobrota, M. (2016). ARWU Ranking Uncertainty and Sensitivity: what if the Award Factor was Excluded? Journal of the Association for Information Science and Technology, 67(2), 480-482. https://doi.org/https://doi.org/10.1002/asi.23527.) son algunas de las preocupaciones acerca de la capacidad de ARWU para medir el rendimiento universitario.

La investigación es, sin duda, una actividad fundamental pero su evaluación no puede extrapolarse al desempeño completo de la universidad en todas sus misiones. La docencia, medida a través de indicadores académicos del alumnado, muestra también grados de eficiencia y eficacia institucional (Mella y otros, 2015Mella Núñez, Í.; Santos Rego, M. A.; Malheiro Gutiérrez, X. M. (2015). Aprendizaje-Servicio y rendimiento académico en alumnado universitario. Revista de Estudios e Investigación en Psicología y Educación, 12(1), 1-5. https://doi.org/10.17979/reipe.2015.0.). Como afirman Dill y Soo (2005)Dill, D. D.; Soo, M. (2005). Academic Quality, League Tables, and Public Policy: a Cross-National Analysis of University Ranking Systems. Higher Education, 49 (4), 495-533 https://doi.org/10.1007/s10734-004-1746-8., la mejor acción para mejorar las clasificaciones sería incorporar medidas asociadas con los resultados de aprendizaje de los estudiantes. También Dávila (2018)Dávila, M. (2018). Rankings universitarios internacionales y conflictos por la regulación de la educación superior. Revista Iberoamericana de Ciencia, Tecnología y Sociedad - CTS, 13(37), 67-84. http://ojs.revistacts.net/index.php/CTS/article/view/50. concluye que, para no perder el foco de la misión esencial, deberían tener en el centro la educación y la experiencia de los alumnos. Las universidades pueden tener un enfoque extenso en la enseñanza y el aprendizaje que contribuya de forma excelente a la construcción de la sociedad, aunque puedan carecer de criterios de ponderación de clasificación (Fauzi y otros, 2020Fauzi, M. A.; Tan, C. N. L.; Daud, M.; Awalludin, M. M. N. (2020). University Rankings: A Review of Methodological Flaws. Issues in Educational Research, 30(1), 79-96. https://www.iier.org.au/iier30/fauzi.pdf.). La docencia es la razón de ser de la universidad desde sus orígenes, es difícil encontrar un sistema de indicadores que reflejen o promuevan su calidad, pero los rankings deberían intentarlo.

Las instituciones de educación superior realizan en la actualidad una amplia variedad de actividades que dan respuesta a sus diferentes misiones: son grandes, complejas, heterogéneas; destacan en algunas funciones y muestran debilidad en otras. La contribución de cada universidad a cada una de las misiones no debe ser necesariamente similar, pueden desarrollar distintas actividades con niveles de calidad adecuados orientadas al cumplimiento de sus planes estratégicos. La evaluación universitaria orientada a la mejora de la calidad debe abordarse, por tanto, desde una perspectiva multidimensional, considerando las diferentes actividades realizadas en función de la misión que cada institución se marque como objetivo. La variedad de servicios y externalidades positivas que la universidad ofrece a la sociedad exige medidas multidimensionales de efectividad (Montané y otros, 2017Montané López, A.; Beltrán Llavador, J.; Teodoro, A. (2017). La medida de la calidad educativa: acerca de los rankings universitarios. RASE: Revista de la Asociación de Sociología de la Educación, 10(2), 283-300. https://doi.org/10.7203/rase.10.2.10145.; Saisana y otros, 2011Saisana, M.; D’Hombres, B.; Saltelli, A. (2011). Rickety Numbers: Volatility of University Rankings and Policy Implications. Research Policy, 40(1), 165-177. https://doi.org/10.1016/j.respol.2010.09.003.). Las clasificaciones deberían reflejar aspectos tan importantes como la enseñanza, la transferencia de conocimiento, la perspectiva internacional o la empleabilidad (Sanz-Casado, 2015Sanz-Casado, E. (2015). Guía de buenas prácticas para la participación de las universidades españolas en los rankings internacionales; Secretaría General Técnica. Subdirección General de Documentación y Publicaciones; Madrid, España.; Pérez-López y Pérez-Martínez, 2018Pérez López, A.; Pérez Martínez, A. (2018). Rankings universitarios. Evitando perseguir fuegos fatuos. Estrategia y Gestión Universitaria, 6(2), 112-125. http://revistas.unica.cu/index.php/regu/article/view/1220/1432.; Uslu, 2020Uslu, B. (2020). A Path for Ranking Success: what does the Expanded Indicator-Set of International University Rankings Suggest? Higher Education, 80(5), 949-972. https://doi.org/10.1007/s10734-020-00527-0.).

Intentar medir la calidad universitaria es ya un desafío en sí mismo debido a la variedad de disciplinas, tamaños de organizaciones, dimensiones e indicadores. Esta medición no tendría que basarse únicamente en unos rankings que carecen de capacidad para evaluar a la institución en toda su complejidad. Los organismos responsables de la educación superior deberían aplicar instrumentos que abarquen múltiples perspectivas antes de condicionar aspectos tan importantes como la financiación universitaria.