NOTAS Y EXPERIENCIAS / NOTES AND EXPERIENCES

CONTRIBUCIÓN DE LAS UNIVERSIDADES ESPAÑOLAS AL PANEL DE EXPERTOS DEL PROGRAMA ACADEMIA DE ANECA

Juan Miguel Campanario*

* Departamento de Física y Matemáticas. Universidad de Alcalá. Madrid

Correo-e: juan.campanario@uah.es

CONTRIBUTION OF SPANISH UNIVERSITIES TO THE EXPERTS PANEL OF ANECA’S ACADEMIA PROGRAM

CONTENIDOS

INTRODUCCIÓN Y OBJETIVOS
 Top

La acreditación nacional para el acceso a los cuerpos docentes universitarios en España está regulada por el Real Decreto 1312/2007, de 5 de octubre (BOE número 240 de 6 de octubre). Este Real Decreto determina la existencia de cinco comisiones, correspondientes a las ramas de Artes y Humanidades, Ciencias, Ciencias de la Salud, Ciencias Sociales y Jurídicas e Ingeniería y Arquitectura. El artículo 15.2 del decreto establece que las comisiones remitirán la documentación aportada por los solicitantes al menos a dos expertos del ámbito científico y académico correspondiente para su evaluación. La Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) se encarga de desarrollar el programa ACADEMIA para la acreditación nacional.


El panel de expertos se elaboró durante los primeros meses de 2008, tras una convocatoria publica realizada en octubre de 2007. Posteriormente, el panel fue ampliado hasta unos 1300 expertos para reforzar algunas áreas de conocimiento en las que se presentaron más solicitudes [ANECA, 2009ANECA (2009). Informe al Patronato sobre la acreditación nacional para el acceso a los cuerpos de profesorado universitario, (ANECA, www.aneca.es, consulta realizada el 10-mar-13).]. Uno de los requisitos fundamentales para formar parte del panel de expertos de ANECA consiste en estar en posesión de dos tramos de investigación (sexenios) en el caso de los profesores titulares de universidad o tres en el caso de los catedráticos de universidad.


La institución de los tramos de investigación parece haber tenido un efecto muy positivo en la productividad científica de los investigadores españoles [Jiménez-Contreras y otros, 2003Jiménez-Contreras, E.; Moya-Anegón, F.; Delgado López-Cózar, E. (2003). The evolution of research activity in Spain. The impact of the National Commission for the Evaluation of Research Activity (CNEAI). Research Policy, 32 (1), pp. 123-142.]. Este complemento económico se utiliza como base en algunos estudios de productividad [por ejemplo, Buela-Casal y otros 2012Buela-Casal, G.; Bermúdez, M.P.; Sierra, J.C.; Quevedo-Blasco, R.; Castro, A.; Guillén-Riquelme, A. (2012). Ranking de 2010 en producción y productividad en investigación de las universidades públicas españolas. Psicothema, 23 (4), pp. 527-536.; De Filippo y otros, 2012De Filippo, D.; Casani, F.; García-Zorita, C.; Efraín-García, P.; Sanz-Casado, E. (2012). Visibility in international rankings. Strategies for enhancing the competitiveness of Spanish universities. Scientometrics, 93 (3), pp. 949-966.]. El tramo de investigación es un complemento que, aunque ha sufrido algunos cambios desde su implantación, ha perdurado y sobrevivido a diferentes gobiernos y tiene, en general, un reconocimiento positivo. 


A pesar de los debates que provoca la mera existencia de ANECA y las opiniones de todo tipo a que da lugar su actuación, no parece que se haya realizado mucha investigación sobre el proceso de acreditación nacional. Sierra y otros (2009Sierra, J.C.; Buela-Casal, G.; Bermúdez-Sánchez, M.P.; Santos-Iglesias, P. (2009). Opinión de Profesores Titulares y Catedráticos de Universidad acerca de criterios y estándares para la acreditación del profesorado universitario. Revista Española de Documentación Científica, 32 (3), pp. 89-100.) realizaron una encuesta por correo electrónico a 1294 profesores titulares y catedráticos sobre la importancia que ambos colectivos otorgaban a los indicadores de evaluación. Los resultados sugieren que tanto unos como otros tenían opiniones similares ya que los indicadores más valorados eran los que se referían a la investigación. La misma población de profesores contestó a preguntas relativas a los criterios para acreditación de profesores titulares y PTU en las distintas ramas. A diferencia de la opinión sobre los pesos de cada criterio, los encuestados mostraron una gran variabilidad a la hora de enjuiciar los estándares (número mínimo) que se deberían reunir en los distintos indicadores para conseguir la acreditación. Sin embargo, existían grandes diferencias entre los distintos campos de conocimiento [Buela-Casal y Sierra, 2007Buela-Casal, G.; Sierra, J.C. (2007). Criterios, indicadores y estándares para la acreditación de profesores titulares y catedráticos de Universidad. Psicothema, 19 (4), pp. 537-551.]. Por último, un trabajo reciente revisa la evolución en el sistema de acreditación nacional desde la versión inicial hasta la versión de los principios y orientaciones 2.0 [Ortiz-de-Urbina-Criado y Mora-Valentín, 2013Ortiz-de-Urbina-Criado, M.; Mora-Valentín, E.M. (2013). El sistema de acreditación del profesorado a través del Programa ACADEMIA: Evolución y cambios. Revista Española de Documentación Científica, 36 (1): en004. doi:http://dx.doi.org/10.3989/redc.2013.1.971.].


Parece deseable estudiar otros aspectos sobre un tema que tiene tanta influencia en las vidas personales y académicas del profesorado universitario. De acuerdo con lo anterior, los objetivos de este trabajo son analizar la contribución de las distintas universidades españolas al panel de expertos del programa ACADEMIA de ANECA; indagar la posible existencia de una ley tipo Bradford que relacione el total de expertos con las instituciones que los aportan y, por último, analizar la asociación entre el número de expertos por universidades, el número de profesores funcionarios de las mismas y el número de sexenios conseguidos por los profesores.


MÉTODO
 Top

La relación de expertos de ANECA se obtuvo de la página web corporativa (www.aneca.es) en octubre de 2012. Se unificaron las denominaciones de algunos centros y se corrigieron varios problemas menores (por ejemplo, algunas asignaciones ambiguas). Se obtuvo así una relación en la que cada experto estaba asociado a un centro. El tratamiento estadístico se llevó a cabo sobre esta relación.


La relación de sexenios obtenidos en cada universidad española se obtuvo de los datos complementarios de un informe de la Comisión Nacional Evaluadora de la Actividad Investigadora [Agrait y Poves, 2009Agrait, N.; Poves, A. (2009). Informe sobre los resultados de las evaluaciones de la CNEAI. La situación en 2009, (http://www.mecd.gob.es/ministerio-mecd/organizacion/organismos/cneai/memorias-informes.html, consulta realizada el 10-mar-13).]. Estos datos en formato Excel constituyen, hasta la fecha, la fuente de información pública más completa sobre los sexenios concedidos en España desde la implantación de este sistema de incentivos. Los datos relativos a profesores funcionarios se obtuvieron del Ministerio de Educación Cultura y Deportes (http://www.mecd.gob.es/educacion-mecd/areas-educacion/universidades/estadisticas-informes/estadisticas/personal-universitario.html). Estos datos se refieren al curso 2009-10. Aunque el informe citado anteriormente [Agrait y Poves, 2009Agrait, N.; Poves, A. (2009). Informe sobre los resultados de las evaluaciones de la CNEAI. La situación en 2009, (http://www.mecd.gob.es/ministerio-mecd/organizacion/organismos/cneai/memorias-informes.html, consulta realizada el 10-mar-13).] permite estimar el número de profesores funcionarios, creemos que es más interesante utilizar datos del propio Ministerio.


En el trabajo se aplican técnicas estadísticas relativamente sencillas (estadística descriptiva) y se han calculado algunos coeficientes de regresión. Algunos expertos están afiliados a instituciones que nos son universidades. Excepto el Consejo Superior de Investigaciones Científicas (CSIC), su presencia es marginal.


RESULTADOS Y DISCUSIÓN
 Top

a) Estadística descriptiva


La tabla I muestra la contribución al programa ACADEMIA de expertos de las distintas instituciones por ramas. Se sigue una distribución decreciente en la cual las primeras instituciones tienen mucho más peso que las últimas. En todos los casos, las diez primeras instituciones aportan un porcentaje del total de expertos entre casi el 57% y casi el 64%, dependiendo de la rama. 


La tabla II muestra el número de ramas en las que aparecen las universidades que ocupan las 10 primeras posiciones. Hay siete universidades que acaparan 30 de los 50 puestos posibles en esta tabla (Complutense Madrid, Granada, Autónoma Barcelona, Autónoma Madrid, Barcelona, Sevilla y Valencia). Si añadimos tres universidades más, (Murcia, Santiago Compostela y País Vasco), este conjunto coparía 39 de los 50 primeros puestos disponibles. Estamos, pues, ante universidades que, por su tamaño, tienen una influencia determinante en el resultado de las acreditaciones para los cuerpos de profesorado universitario.


b) Ley de Bradford


Los datos anteriores sugieren la existencia de una ley tipo Bradford [Garfield, 1980Garfield, E. (1980). Bradford's Law and related statistical pattern. Essays of an Information Scientist, vol. 4, pp. 476-483, (disponible en http://garfield.library.upenn.edu, consulta realizada el 10-mar-13).; Behrens y Luksch, 2011Behrens, H.; Luksch, P. (2011). Mathematics 1868-2008: a bibliometric analysis. Scientometrics, 86 (1), pp. 179-194.; Rousseau, 1994Rousseau, R. (1994). Bradford curves. Information Processing and Management, 30 (2), pp. 267-277.]. Esta ley se suele utilizar para estudiar la productividad de distintas unidades (por ejemplo, revistas que producen artículos). Igualmente, en nuestro caso podemos suponer que las distintas instituciones “producen” expertos para el programa ACADEMIA de ANECA. En nuestro caso, sólo se detecta una distribución clásica en la relación entre el número de expertos y el número de instituciones en el área de Salud (figura 1). En las restantes se observa un ajuste imperfecto, aunque se sigue una tendencia parecida a la citada ley.


Figura 1. Número acumulado de expertos en función del número acumulado de instituciones en la rama de Salud del programa ACADEMIA. Téngase en cuenta que la escala del eje horizontal es logarítmica [Descargar tamaño completo]

c) Relación entre el número de expertos y el número de profesores funcionarios y número de sexenios


Para este apartado sólo se tienen en cuenta los datos relativos a universidades públicas. La figura 2 muestra la correlación entre el número de expertos y el número de profesores funcionarios (R²=0.78). Puede considerarse que existe una elevada correlación entre ambas variables. La correlación entre el número de expertos de cada universidad y el número de sexenios de la universidad es incluso más elevada (figura 3), con R²=0.93. 


Figura 2. Relación entre el número de expertos del programa ACADEMIA de ANECA y el número de profesores funcionarios que prestan sus servicios en las distintas universidades públicas [Descargar tamaño completo]

Figura 3. Relación entre el número de expertos del programa ACADEMIA de ANECA y el número de sexenios obtenidos por el profesorado de las distintas universidades públicas [Descargar tamaño completo]

Los cocientes expertos/sexenios, expertos/profesores funcionarios para cada universidad representan el “rendimiento” que obtienen las universidades de sus sexenios y de sus profesores funcionarios a la hora de aportar expertos al programa ACADEMIA. En la tabla III se presenta el resultado de estos cocientes.


Las cinco universidades que obtienen más rendimiento de sus sexenios son Carlos III Madrid, Pompeu Fabra, Murcia, Cantabria y Jaume I Castellón. Las cinco universidades que obtienen más rendimiento de sus profesores funcionarios son Pompeu Fabra, Carlos III Madrid, Cantabria, Complutense de Madrid, Autónoma de Barcelona y Murcia. Se observa que existe una gran diferencia entre los rendimientos que obtienen las universidades mejor posicionadas y los que obtienen las peor posicionadas y esto se cumple para los dos cocientes estudiados. 


CONCLUSIONES
 Top

La primera conclusión relevante de nuestro trabajo es que unas cuantas universidades de gran tamaño proporcionan una parte importante de los expertos del programa ACADEMIA. Como consecuencia, un candidato a profesor universitario tiene una elevada probabilidad de ser evaluado por expertos que provienen del núcleo de universidades que dominan el universo de evaluadores del programa ACADEMIA de ANECA. 


En una de las ramas del programa ACADEMIA de ANECA (Salud) se observa con bastante claridad una ley aproximada tipo Bradford, aunque en otras no se aprecia de manera tan perfecta este patrón. Sin embargo, esto no oculta el hecho fundamental: unas cuantas universidades aportan una gran cantidad de expertos al programa ACADEMIA.


Se detecta una correlación significativa entre el número de expertos que aportan las universidades al programa ACADEMIA y el número de profesores funcionarios que prestan sus servicios en ellas. Asimismo, se detecta una relación entre el número de expertos y el de sexenios obtenidos por el profesorado de las distintas universidades. Estas asociaciones, en términos generales, permiten descartar la existencia de un sesgo intencionado que haga que el sistema de provisión de expertos para el programa ACADEMIA sea arbitrario. Lo realmente sorprendente, y algo que plantearía grandes dudas sobre la selección de expertos, sería que no existiesen estas asociaciones. En resumen, el universo de expertos es representativo de la realidad que existe en las universidades españolas. La conclusión anterior dota de cierta credibilidad al sistema de selección de expertos.


Sin embargo, el rendimiento que obtienen las universidades es variado. Hay algunas universidades de tamaño medio que aprovechan mejor sus profesores funcionarios o sus sexenios a la hora de suministrar expertos para el programa ACADEMIA. Es posible que ello se deba a que en estas universidades de menor tamaño una parte mayor de sus profesores con sexenios haya decidido participar en el programa ACADEMIA por diversas razones.


La evaluación del profesorado es una de las tareas que debe abordar la comunidad investigadora. En este caso estamos estudiando procesos de evaluación realmente relevantes, ya que son la antesala de la promoción a plazas de carácter permanente. Creemos que nuestro trabajo ofrece un nuevo enfoque al estudio de la evaluación del profesorado universitario. Este enfoque podría traducirse en un nuevo indicador del prestigio de las universidades que se basaría en la aportación de las distintas universidades al programa ACADEMIA o a otros programas de evaluación del profesorado o de la investigación. Este nuevo indicador tendría que ser comparado con otros existentes para estudiar su fiabilidad y validez, pero un estudio detallado queda más allá del ámbito de este trabajo.


AGRADECIMIENTOS Y POSIBLE INTERÉS EN COMPETENCIA
Top

El autor agradece las sugerencias de dos revisores anónimos. El autor del trabajo es docente de la Universidad de Alcalá desde 1990 y experto del programa ACADEMIA de ANECA desde su inicio.


BIBLIOGRAFÍATop