La llegada del Espacio Europeo de Educación Superior ha supuesto una serie de cambios significativos que sitúan a la calidad en primer plano. El fin social que se le atribuye a la universidad requiere una mayor transparencia que asegure el cumplimiento de unos criterios o estándares y, a su vez, impulse su orientación hacia la mejora. La calidad del sistema universitario no resulta, sin embargo, fácil de evaluar. Construir un mecanismo de evaluación que dé respuesta a todas sus misiones y funciones, requiere identificar las principales áreas de acción e implementar una gama de indicadores que cubra todo el campo de actividad de las instituciones. Los referidos al desempeño académico del alumnado, sin embargo, no siempre ocupan un papel principal en las decisiones universitarias, teniendo una mayor repercusión instrumentos orientados a otros aspectos como la investigación.

La misión actual de la docencia se fundamenta en una enseñanza centrada en el alumno, orientada a la mejora de su aprendizaje y rendimiento académico (Mella y otros, 2015). Esta docencia se encuentra en relación directa con la calidad del servicio que se presta, siendo los estudiantes, por tanto, uno de los grupos de interés relevantes para precisarla (Rodríguez-Ponce y Pedraja, 2015). Reflexionar sobre todos los elementos que la evaluación del desempeño del alumnado proporciona se convierte, así, en un mecanismo valioso para la mejora de todo el proceso educativo. Para medir este desempeño pueden emplearse dos tipos de indicadores: indicadores de resultados e indicadores de proceso. Los primeros hacen referencia a la adquisición de competencias orientadas a la graduación, empleabilidad e inserción laboral, mientras los segundos se orientan al logro estudiantil definido a través del rendimiento o abandono (Gutiérrez-Gómez, 2018).

El desempeño académico del alumnado, medido a través de diferentes tasas, se considera un aspecto importante de la calidad en los procesos formativos de las universidades, pues muestra grados de eficiencia y eficacia institucional (Mella y otros, 2015). Los indicadores vinculados con el rendimiento, la graduación o el abandono en los grados universitarios pueden constituir instrumentos valiosos para realizar un seguimiento del nivel de desempeño. García de Fanelli (2004) señala dos condiciones que deben cumplirse para poder afirmar que una organización universitaria es más o menos eficiente. Por un lado, se deben diseñar instrumentos que permitan controlar los efectos de las acciones que se realizan; por otro, es necesario poder determinar la calidad de los servicios que se están considerando. Estos resultados deben, interpretarse siempre en contexto, analizando las posibles causas de los desajustes que se detecten, para poder extraer la máxima información posible de ellos.

Un grave problema al que se enfrentan las instituciones educativas a nivel mundial es el abandono de los estudios (Álvarez-Pérez y López-Aguilar, 2017). Se trata de una problemática objeto de atención debido a las repercusiones económicas que tiene en el seno de las organizaciones universitarias (Colás, 2015) agravada, además, ante el descenso del número de alumnos y el incremento en el número de instituciones. Cuando se considera de un modo agregado, por titulaciones y tipologías de estudiantes, se convierte en un indicador valioso que orienta sobre determinados funcionamientos sistémicos de las universidades (Rué, 2014). Brindar mejor información sobre las titulaciones ofertadas, mejorar la relación profesor-alumno o permitir la libre migración entre programas académicos pueden ser estrategias eficaces para elevar la retención de estudiantes, si se diseñan teniendo en cuenta tanto las particularidades de cada programa como las características propias de cada institución.

La mejora en los índices de graduación también es un aspecto importante que las instituciones deben cumplir en aras de la calidad educativa. El acceso de un alumnado cada vez más heterogéneo en su perfil socioeconómico, educativo y en aspiraciones laborales requiere explorar nuevos caminos para alcanzar este objetivo. Formar profesionales sin rebajar los niveles de calidad, e incluso buscando elevarlos, es actualmente un desafío de alta complejidad en universidades de gran tamaño y reducido presupuesto (García de Fanelli, 2004). El aumento en la tasa de Graduación se convierte de esta forma en un aspecto importante para alcanzar mejores niveles de excelencia y dar fe del cumplimiento de los objetivos docentes.

El desempeño académico es, por tanto, producto de múltiples factores; individuales, familiares, institucionales y sociales, está mediado por el proceso de enseñanza-aprendizaje, orientado por el profesorado y se refleja de forma objetiva a través de calificaciones (Gutiérrez-Gómez, 2018). Su medición a través de diferentes tasas permite definir estrategias de intervención, centradas en aquellas variables que pueden ser manipuladas y que son determinantes en las decisiones que toma el estudiante.

Para el desarrollo de la investigación se consideraron como variables de desempeño académico las tasas de Graduación, Rendimiento y Abandono de las titulaciones de Grado. La tasa de Graduación fue seleccionada como indicador de resultado orientado hacia la adquisición de competencias por parte del alumnado. La empleabilidad e inserción laboral no cuentan en la actualidad con mecanismos de medición estandarizados por lo que no pudieron emplearse para realizar una comparación a nivel de sistema universitario completo. Los indicadores de proceso orientados al logro estudiantil se reflejaron a través de las tasas de Rendimiento y Abandono, consideradas muy valiosas para evitar la deserción y detectar comportamientos universitarios sistémicos.

La fuente empleada para el diseño de la base de datos fue el Sistema Integrado de Información Universitaria (SIIU), plataforma que recoge información a nivel micro de todos los estudiantes. A través de ella se obtuvieron las tasas de Rendimiento, Graduación y Abandono de todas las universidades españolas, tanto públicas como privadas. El SIIU aporta en su metodología la siguiente definición de cada uno de los indicadores seleccionados:

Los datos seleccionados para el análisis hicieron referencia al curso 2017/2018 y la fecha de publicación en la plataforma fue el 24/10/2019. Aparecieron desglosados para cada tasa en ámbitos de estudio International Standard Classification of Education (ISCED); se realizó una agrupación de estos ámbitos en las cinco Ramas de Enseñanza siguiendo la equivalencia Rama-ISCED 2013, publicada por la Secretaría General de Universidades del Ministerio de Educación, Cultura y Deporte. La agrupación fue la siguiente:

Las tasas se analizaron de forma multivariante y se compararon con los resultados obtenidos por cada institución española en la edición 2019 del Ranking de Shanghai (ver Anexo 2). Se identificaron las universidades clasificadas en este ranking para determinar si presentaban buenas características en las tasas. Esta comparación permitió evaluar la capacidad de ARWU para capturar el desempeño académico.

En la Tabla I se detalla el número de universidades que mostraron valores de las tres tasas para cada una de las Ramas de Enseñanza. En el caso de Ciencias Sociales y Jurídicas e Ingeniería y Arquitectura aparece el desglose para cada uno de los ámbitos que las componen. También se detalla el número de universidades clasificadas en ARWU dentro de cada grupo analizado. En el momento de realizar la investigación, aparecieron registradas en el SIIU 82 universidades con estudios de Grado. Se observa en la Tabla I que existe un número variable para cada una de las Ramas de Enseñanza, pues no todas las universidades imparten titulaciones de Grado en todas las áreas.

El análisis se realizó a través de la técnica multivariante HJ-Biplot (Galindo, 1986), que permite representar simultáneamente variables (tasas) e individuos (universidades) con máxima calidad de representación. Se trata de una potente herramienta de visualización que posibilita, mediante una simple inspección, interpretar de manera intuitiva la relación entre variables, entre individuos o entre variables e individuos sin la exigencia de tener conocimientos estadísticos especializados; es suficiente con saber interpretar la distancia entre dos puntos, la longitud de un vector, el ángulo entre dos vectores y la forma de ordenar los puntos sobre un vector. Los métodos Biplot presentan una serie de ventajas frente a otras técnicas multivariantes más empleadas en Bibliometría como el Análisis de Clusters, el Análisis Factorial o el Análisis de Correspondencias. Entre ellas señalar que permiten identificar la combinación de variables que motiva las agrupaciones entre ellas, proporcionan información sobre la similitud entre las unidades objeto de estudio y se pueden aplicar a cualquier matriz de datos.

El potencial de los métodos Biplot en el campo de la Bibliometría está suficientemente demostrado. Los factores que inciden en la actividad científica son tan elevados que el patrón, la estructura de los datos y la relación entre ellos son complejos y deben ser estudiados a través de métodos multivariantes que capten la multidimensionalidad. Su utilidad en este campo se ha orientado, principalmente, a analizar la actividad científica de las universidades en el área biosanitaria (Díaz-Faes y otros, 2015), estudiar la producción de los centros del CSIC en relación a indicadores de impacto y colaboración científica (Díaz-Faes y otros, 2013) o explorar las diferencias en la actividad científica de los investigadores españoles del CSIC. Sin embargo, no se ha realizado, hasta el momento, ninguna aplicación orientada a comparar la clasificación de las universidades en un ranking internacional con el desempeño académico de sus estudiantes.

En esta investigación los datos se organizaron en varias matrices (una para cada Rama de Enseñanza) que contuvieron como filas a las universidades (o ámbito de estudio de cada universidad en el caso de Ramas con más de un ámbito) y como columnas las tres tasas de desempeño definidas: Rendimiento, Graduación y Abandono. El HJ-Biplot (Galindo, 1986) consiguió representar simultáneamente las universidades y las tasas en un plano en el cual la similitud entre universidades fue inversamente proporcional a la distancia euclídea entre ellas. Los ángulos entre las tasas hicieron posible valorar el grado de covariación entre ellos: ángulos agudos indicaron correlación directa, ángulos obtusos correlación inversa y ángulos rectos independencia. La longitud de los vectores aproximó la desviación típica de las tasas. El orden de las proyecciones ortogonales de los marcadores fila sobre un marcador columna aproximó el orden de los elementos fila (universidades) en esa columna (tasa). Cuanto mayor fue la proyección de un punto sobre un vector, más se desvió la universidad de la media de esa tasa.

El plano Biplot sobre el que se representaron universidades y tasas tuvo como ejes de referencia las componentes principales obtenidas como vectores propios de la matriz de covarianzas entre tasas. Los valores propios asociados, permitieron valorar la cantidad de información que explicó cada plano biplot (varianza explicada). El ángulo que formó cada tasa con el eje factorial 1, se conoce como contribución del factor 1 a la variabilidad de esa tasa; análoga explicación para el ángulo con el eje factorial 2. La suma de ambas contribuciones determinó la calidad de representación en el plano factorial.

El análisis se realizó con el programa MultBiplot, desarrollado por Vicente-Villardón (2015). En los gráficos HJ-Biplot, las tasas se representaron mediante vectores, mientras que las universidades se identificaron mediante puntos, cuya etiqueta incluyó un código numérico (ver Anexos 1 y 3), seguido de las iniciales del ámbito (en caso de que la Rama contuviera más de un ámbito) y precedido del símbolo “S” en el caso de su pertenencia al Ranking de Shanghai. Para una mejor interpretación, las universidades pertenecientes a la clasificación se representaron en color burdeos y el resto de centros en color verde. Se emplearon técnicas de clúster a partir de las coordenadas Biplot para recoger no solo información de las variables, sino también las posibles interacciones entre ellas. Las clasificaciones jerárquicas se llevaron a cabo con el método de Ward (que une los casos buscando minimizar la varianza dentro de cada grupo) y se seleccionaron tres clúster.

En cada Rama de Enseñanza se analizaron todas las universidades recogidas en la Tabla I que mostraron datos para las tres tasas. Los datos se estandarizaron por columnas. La varianza explicada por los dos primeros ejes factoriales para cada una de las Ramas de Enseñanza aparece en la Tabla II.

Para todas las Ramas, el plano HJ-Biplot capturó más del 80% de la información contenida en los datos, superándose el 90% en el área de Ciencias Sociales y Jurídicas y en la de Ingeniería y Arquitectura. En todos los casos el primer eje factorial absorbió la mayor cantidad de información, por tanto, el gradiente horizontal fue el más interesante a la hora de explicar la ordenación de las universidades según ese gradiente latente multivariante, que capturó de manera conjunta la información de las tres tasas y sus interrelaciones.

La Tabla III recoge la contribución de cada eje factorial a la variabilidad de las diferentes tasas. De nuevo se puso de manifiesto que fue el primer eje Biplot el que contuvo más información en todas las áreas; sin embargo, la tasa con mayor relevancia no fue la misma. En las áreas de Artes y Humanidades y Ciencias Sociales y Jurídicas las tres tasas recibieron alta contribución del eje 1 (horizontal). En las áreas de Ciencias, Ciencias de la Salud e Ingeniería y Arquitectura, el eje 2 (vertical) también aportó información de interés, como se pondrá de manifiesto a continuación en los gráficos factoriales. La interpretación de la tasa de Abandono fue fundamental a la hora de explicar los gráficos factoriales en las áreas antes citadas.

La investigación demostró la utilidad práctica de los métodos Biplot para la clasificación de universidades en función de sus tasas de Rendimiento, Graduación y Abandono. La técnica HJ-Biplot (Galindo, 1986) permitió realizar una representación gráfica, en la que pudieron superponerse ámbitos de universidades y tasas académicas en un mismo sistema de referencia con máxima calidad de representación.

En el estudio se analizaron las variables de desempeño académico del alumnado de Grado, para observar si las universidades españolas pertenecientes a Shanghai mostraron comportamientos similares respecto a las tasas. En las cinco Ramas de Enseñanza se consiguió una inercia acumulada suficiente en el plano 1-2, que permitió una interpretación más intuitiva de los distintos gráficos.

Los indicadores de rendimiento académico de los alumnos, representados mediante vectores, mostraron una correlación directa entre las tasas de Graduación y Rendimiento de todas las disciplinas. Asimismo, apareció una covariación negativa entre las tasas de Rendimiento y Abandono y una correlación ligeramente negativa entre las tasas de Graduación y Abandono. Por tanto, Rendimiento y Graduación fueron variables con una tendencia similar y opuesta al Abandono, lo cual resulta lógico pues son tasas relacionadas con la no deserción del alumnado. También se observó que esta relación entre las variables presentó distinta intensidad en las diferentes Ramas de Enseñanza.

Las características analizadas no fueron dependientes de ARWU, pues las universidades pertenecientes a esta clasificación se posicionaron en zonas distintas de los gráficos resultantes en todas las Ramas. Las cinco mejor clasificadas en Shanghai (Barcelona, Autónoma de Barcelona, Complutense, Granada y Valencia) presentaron comportamientos diferentes en cada uno de los ámbitos y Ramas.

La Universidad de Barcelona, primera en la clasificación internacional, mostró las mejores características en Ciencias y Ciencias de la Salud. Este comportamiento se muestra en la línea de autores como Albatach (2006) o Teodoro y otros (2018), que destacan la ventaja en Shanghai de las universidades con este tipo de estudios. También se observó un desempeño elevado en dos ámbitos de Ciencias Sociales y Jurídicas (educación y servicios). Desde una perspectiva opuesta, la institución mostró su peor posición en Artes y Humanidades. El comportamiento de las siguientes cuatro universidades en la clasificación fue también heterogéneo: Autónoma de Barcelona destacó en Ciencias; Ingeniería y Arquitectura; y Ciencias Sociales y Jurídicas; y mostró características más alejadas en Artes y Humanidades. La Universidad de Complutense apareció mejor situada en Ciencias de la Salud y Ciencias Sociales y Jurídicas y, por el contrario, se posicionó en el clúster de menor rendimiento en Artes y Humanidades e Ingeniería y Arquitectura. Valencia se situó más alejada en Artes y Humanidades y mostró un desempeño elevado en Ciencias, Ingeniería y Arquitectura y Ciencias Sociales y Jurídicas. La Universidad de Granada fue de las cinco primeras clasificadas en Shanghai la que presentó valores inferiores de desempeño en un mayor número de Ramas de Enseñanza: Artes y Humanidades, Ciencias, Ingeniería y Arquitectura y Ciencias Sociales y Jurídicas (negocios).

Las universidades que mostraron las mejores características de rendimiento académico de los alumnos en un mayor número de Ramas fueron Autónoma de Madrid, Politécnica de Catalunya, Navarra, Carlos III y León. De ellas, las tres primeras pertenecían a la clasificación internacional. Desde una perspectiva opuesta, las universidades con peor desempeño en un mayor número de Ramas fueron A Coruña, Almería, Huelva, Illes Balears, La Laguna, Málaga y Santiago; cuatro instituciones clasificadas en ARWU.

Podemos concluir, por tanto, que todas las universidades pertenecientes a Shanghai no mostraron los mejores comportamientos en cuanto a Rendimiento, Graduación y Abandono. Los resultados obtenidos son consistentes con investigaciones realizadas por autores como Docampo (2008), Marginson (2006) o Tomàs-Folch y otros (2015), que definen a la metodología del ranking con una orientación hacia la investigación. La clasificación revela, además, una serie de inconsistencias en cuanto a la fiabilidad de los datos empleados que deberían tenerse en consideración. La selección y normalización de sus indicadores (Moed, 2017; Paruolo y otros, 2013), la dependencia del tamaño de la institución (Docampo y Cram, 2015), la capacidad para representar áreas como las Ciencias Sociales y Humanidades (Fauzi y otros, 2020) o la selección de los premios para medir características que medirían mejor otras variables (Pandiella-Dominique y otros, 2018; Dobrota y Dobrota, 2016) son algunas de las preocupaciones acerca de la capacidad de ARWU para medir el rendimiento universitario.

La investigación es, sin duda, una actividad fundamental pero su evaluación no puede extrapolarse al desempeño completo de la universidad en todas sus misiones. La docencia, medida a través de indicadores académicos del alumnado, muestra también grados de eficiencia y eficacia institucional (Mella y otros, 2015). Como afirman Dill y Soo (2005), la mejor acción para mejorar las clasificaciones sería incorporar medidas asociadas con los resultados de aprendizaje de los estudiantes. También Dávila (2018) concluye que, para no perder el foco de la misión esencial, deberían tener en el centro la educación y la experiencia de los alumnos. Las universidades pueden tener un enfoque extenso en la enseñanza y el aprendizaje que contribuya de forma excelente a la construcción de la sociedad, aunque puedan carecer de criterios de ponderación de clasificación (Fauzi y otros, 2020). La docencia es la razón de ser de la universidad desde sus orígenes, es difícil encontrar un sistema de indicadores que reflejen o promuevan su calidad, pero los rankings deberían intentarlo.

Las instituciones de educación superior realizan en la actualidad una amplia variedad de actividades que dan respuesta a sus diferentes misiones: son grandes, complejas, heterogéneas; destacan en algunas funciones y muestran debilidad en otras. La contribución de cada universidad a cada una de las misiones no debe ser necesariamente similar, pueden desarrollar distintas actividades con niveles de calidad adecuados orientadas al cumplimiento de sus planes estratégicos. La evaluación universitaria orientada a la mejora de la calidad debe abordarse, por tanto, desde una perspectiva multidimensional, considerando las diferentes actividades realizadas en función de la misión que cada institución se marque como objetivo. La variedad de servicios y externalidades positivas que la universidad ofrece a la sociedad exige medidas multidimensionales de efectividad (Montané y otros, 2017; Saisana y otros, 2011). Las clasificaciones deberían reflejar aspectos tan importantes como la enseñanza, la transferencia de conocimiento, la perspectiva internacional o la empleabilidad (Sanz-Casado, 2015; Pérez-López y Pérez-Martínez, 2018; Uslu, 2020).

Intentar medir la calidad universitaria es ya un desafío en sí mismo debido a la variedad de disciplinas, tamaños de organizaciones, dimensiones e indicadores. Esta medición no tendría que basarse únicamente en unos rankings que carecen de capacidad para evaluar a la institución en toda su complejidad. Los organismos responsables de la educación superior deberían aplicar instrumentos que abarquen múltiples perspectivas antes de condicionar aspectos tan importantes como la financiación universitaria.