La relevancia del análisis y evaluación de la actividad investigadora se ha puesto de manifiesto a través de los diferentes procesos llevados a cabo por diversas instituciones. El Reino Unido fue uno de los primeros países en reconocer la complejidad de la actividad investigadora del sistema universitario, así como de la necesidad de evaluarla, y ha venido desarrollando desde 1986 procesos específicos de evaluación adaptados a este ámbito como el Research Assessment Exercise (RAE). Si bien este proceso de evaluación se ha basado fundamentalmente en paneles de expertos, entre las recomendaciones de la convocatoria del año 2001, se propone de manera explícita la utilización en el proceso evaluador de indicadores bibliométricos, con el fin de complementar la información relevante que están utilizando los expertos.


Otra iniciativa similar fue la iniciada en 1999 por la Universidad de Helsinki –que se repite cada 6 años- con el objetivo de conocer y consolidar su posición científica entre las universidades líderes europeas. El proceso de evaluación se realiza, al igual que el RAE, a partir de paneles de expertos y tiene como objetivo consolidar la posición científica de esta Universidad entre las universidades líderes europeas.


También hay que señalar el proceso de evaluación de las universidades australianas, dentro del Research Evaluation Policy Project (REPP). Este proyecto comenzó en 2004, y tuvo por objeto analizar la calidad de la investigación realizada por las instituciones de educación superior de ese país, con el fin de realizar un reparto de los fondos disponibles en función de la calidad. En este caso, además de la evaluación por pares, se utilizaron indicadores métricos (bibliométricos y cienciométricos), que han demostrado ser eficientes en la aportación de gran cantidad de datos al proceso evaluador. 


En España, uno de los procesos de evaluación de la actividad investigadora del profesorado de las universidades que se realiza de manera periódica y sistemática, es el llevado a cabo por la Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI), que evalúa 6 años de actividad de los investigadores que deciden someterse a este proceso de manera voluntaria. Otro proceso de evaluación, aunque en este caso a nivel departamental, ha sido realizado por el Ministerio de Educación dentro del Plan de Calidad de la Universidades. Estas dos evaluaciones se realizan fundamentalmente a partir de expertos, aunque en ellas se tienen en cuenta las publicaciones y las citas.


La evaluación de la actividad científica del sistema universitario español también ha sido abordada, aunque no de manera periódica y sistemática, a partir de otras técnicas como son los análisis bibliométricos y cienciométricos, o la utilización de encuestas dirigidas al profesorado. Trabajos de este tipo han sido realizadas por grupos de investigación del Instituto de Estudios Documentales sobre Ciencia y Tecnología (IEDCYT) (Gómez y otros, 2009), así como por grupos de investigación de otras instituciones como la Universidad de Granada, concretamente los grupos de Evaluación de la Ciencia y de la Comunicación Científica de la Facultad de Comunicación y Documentación (EC3) (Torres-Salinas y Cabezas-Clavijo, 2012; Torres Salinas y otros, 2011a), y el liderado por Buela Casal de la Facultad de Psicología de la citada Universidad (Buela-Casal y otros, 2010, Buela-Casal y otros, 2011). También hay que señalar los trabajos realizados por el grupo de investigación Scimago sobre la actividad investigadora del sistema universitario español (Corera y otros, 2010). Finalmente, otros estudios sobre este sector científico serían los realizados por el Laboratorio de Estudios Métricos de Información (LEMI) de la Universidad Carlos III de Madrid (Sanz-Casado y otros, 2008).


En la última década, el rápido desarrollo de los rankings de universidades ha demostrado que pueden ser una herramienta útil, y por tanto cada vez más utilizada a la hora de evaluar la actividad investigadora de este tipo de instituciones.


Si bien el debate sobre la validez, utilidad e importancia de los rankings de universidades es un tema de suma actualidad, el desarrollo de estos rankings o listados de instituciones no es un fenómeno nuevo. Hacia 1910 James McKeen Cattel inició la tradición de los listados de universidades analizando las instituciones de Estados Unidos y utilizando como indicador de la calidad la afiliación institucional de científicos destacados. En 1925 Hughes publicó un listado de universidades basado en opiniones de expertos y, una década más tarde, repitió este ejercicio mejorando la metodología (Webster, 1983; Webster, 1986).


Entre las décadas de los 60 y los 80 los listados de universidades norteamericanas tuvieron un desarrollo continuo y desde los 90 se volvieron parte del bagaje de quienes aspiran a hacer estudios superiores o a elaborar rankings anuales de instituciones o programas en muchos países del mundo (Martínez Rizo, 2012).


Como explica Webster, uno de los antecedentes de los rankings internacionales de universidades puede encontrarse en los listados publicados por Jack Gourman entre 1967 y 1983, en los que pretendía listar en función de la calidad a un centenar de programas de unas 1500 universidades de Estados Unidos y 700 del resto del mundo (Webster,1985). Sin embargo, es a comienzos del siglo XXI cuando los rankings internacionales adquieren gran relevancia y visibilidad, en parte gracias a su enorme difusión vía Internet. Una de las iniciativas de mayor impacto ha sido la llevada a cabo por la Jiao Tong University en Shanghái que en 2003 lanzó el Academic Ranking of World Universities (ARWU) – más conocido como ranking de Shanghái- con el fin de evaluar la actividad científica de las universidades y construir un ranking en función de su calidad. Desde entonces, muchas han sido las propuestas surgidas en todo el mundo. Entre ellas el Leiden Ranking, QS World University Ranking, Times Higher Education Ranking, CHE Ranking, Scimago Institutions Rankings, y el Ranking Web of World Universities (Torres-Salinas y otros, 2011a). A estos rankings hay que añadir dos más en el ámbito español el Ranking I-UGR de Universidades Españolas del que es responsable el grupo EC3 de la Universidad de Granada (http://www.rankinguniversidades.es), y el Observatorio de la Actividad Investigadora de la Universidad Española (IUNE) elaborado por la Alianza de las 4 Universidades (http://www.iune.es).


Según los datos ofrecidos en el International Handbook of Universities (2012), actualmente existen en el mundo alrededor de 15.000 universidades. Si bien el gran número de instituciones de educación superior ha sido un factor importante para el desarrollo y la creciente popularidad de los rankings (Egron-Polak, 2007), algunos aspectos como la diversidad de sus funciones y programas, su naturaleza pública o privada y las propias diferencias culturales o sociales entre regiones, hacen que la definición misma de “universidad” y la confección de un catálogo mundial exhaustivo y riguroso resulte una tarea compleja (Orduña, 2011).


Asimismo, aunque muchos de estos rankings han logrado reconocimiento internacional y son tenidos en cuenta para la toma de decisiones, su creación y uso no están exentos de controversias. Por una parte su metodología ha sido ampliamente debatida ya que la selección de indicadores, su ponderación, tratamiento de los datos y la transparencia en la obtención de resultados evidencian grandes limitaciones (Liu y Cheng, 2005; van-Raan, 2005; Buesa y otros 2009). 


Además de las dificultades metodológicas, otra limitación importante es que en los rankings internacionales solo aparece un número reducido de instituciones de países no centrales. Esto sucede porque muchos rankings toman como modelo de universidad las de Estados Unidos (o de los países anglosajones) en los que predomina un tipo de universidad más elitista y orientada fundamentalmente a la investigación. Este modelo impide detectar la diversidad de tipologías que existen en otros contextos y que resultan igualmente valiosas para el desarrollo integral de su entorno. En ese sentido, como comenta Muñoz García (2012), resulta muy relevante tener en cuenta la diversidad de las situaciones nacionales, ya que las universidades y los sistemas de educación superior se desarrollan de cara a las necesidades y prioridades de los países, según las legislaciones que ordenan su organización y funcionamiento y de acuerdo con políticas de Estado propias de quienes controlan el gobierno y el poder público. “Así a las instituciones universitarias hay que entenderlas como parte de sistemas nacionales de educación superior. El análisis comparativo de la educación superior demanda reconocer que hay diferencias entre países en los sistemas educativos y en las universidades” (Clark, 1997; Marginson y Mollis, 2001). 


Otra dificultad añadida es la obtención de determinados indicadores que en algunos rankings juegan un papel importante en la posición final de las instituciones y que solo afectan a unas pocas universidades del mundo, como son los premios Nobel o medallas Fields concedidos a los estudiantes o al profesorado.También el escaso peso que se da al tamaño de las instituciones perjudica aquellas pequeñas o medianas que aunque sean muy eficientes en su actividad investigadora, les resulta muy difícil competir con aquellas otras de gran tamaño que con menor esfuerzo tienen mucha mayor facilidad de colocarse en las posiciones más avanzadas. Todo ello contribuye a que de forma prácticamente constante año tras años se repita una concentración importante de universidades norteamericanas y de unos pocos países europeos y asiáticos en las primeras posiciones de algunos de los rankings internacionales de mayor prestigio.


Es por ello que complementar los datos obtenidos en los rankings internacionales con iniciativas nacionales puede ser una buena estrategia a la hora de analizar la posición de una institución tanto en el contexto internacional como dentro de su propio entorno.


Con la intención de realizar comparaciones entre instituciones similares en ámbitos nacionales han surgido distintas iniciativas; por ejemplo, en España se han elaborado diversos rankings como el Índice multidimensional de la calidad de las universidades (Buesa y otros, 2009), el Ranking de investigación de las universidades públicas españolas (Buela-Casal y otros, 2011), el Ranking General y por áreas de las instituciones universitarias españolas (Corera y otros, 2010), el Ranking I-UGR de Universidades Españolas (Torres-Salinas y otros, 2011a), o el Observatorio de la Actividad Investigadora de la Universidad Española (IUNE).


A pesar de los importantes avances que supone para el contexto local contar con esta información, algunas limitaciones continúan presentes. Entre ellas, el hecho de que en algunos rankings sólo se analicen determinados campos científicos, se incluya un período temporal reducido, se consideren sólo unos pocos indicadores, o se estudie solo un grupo de instituciones del sistema universitario. La selección arbitraria de fuentes o la elaboración de índices sintéticos hacen que los resultados no resulten completamente óptimos. A su vez, al estudiar la actividad investigadora de las universidades, en muchos casos, se utilizan únicamente indicadores bibliométricos o asociados a la producción de publicaciones científicas (número de publicaciones, citaciones, artículos en revistas top, etc). Esto ofrece una visión muy fragmentaria al mostrar sólo una única dimensión de la actividad investigadora de las universidades.


Cada vez con mayor frecuencia los gestores y evaluadores recurren a los rankings de universidades, ya que permiten conocer de manera rápida y sencilla cuestiones vinculadas con la actividad y el rendimiento de las diferentes instituciones, permitiéndoles determinar algunos puntos fuertes y débiles de esta actividad científica, así como realizar estudios de comparabilidad de resultados entre las instituciones. En este sentido, la creación de rankings en los que se representa un conjunto de variables a partir de indicadores unidimensionales ha resultado muy útil. Sin embargo, no hay que perder de vista que esto también conlleva ciertas limitaciones. 


Tal como comenta Marginson (2012) todas las ponderaciones que se realicen para otorgar pesos a las diferentes variables y obtener un índice único, son elaboraciones subjetivas y arbitrarias producidas a partir de la importancia que diversos actores dan a priori a estas diferentes dimensiones y, por lo tanto, al reducir variables, ocultan la diversidad propia de las distintas instituciones. 


En el caso de las actividades de I+D desarrolladas en el sistema universitario, por ejemplo, existe un conjunto muy variado de actividades a evaluar y que se encuentran íntimamente relacionadas con las características estructurales de cada universidad, como el tamaño o el tipo de institución (pública/privada). A su vez, la especialización temática de cada institución puede favorecer la orientación hacia la realización de determinadas actividades muy relacionadas con su campo científico, por lo que en los análisis globales y teniendo en cuenta índices sintéticos las posiciones de estas universidades se ven perjudicadas por este hecho. En este sentido y en un contexto en el que la utilización de la información aportada por los rankings de universidades es cada vez más utilizada como herramienta de evaluación institucional, resulta fundamental recordar sus limitaciones para no caer en prácticas reduccionistas. 


A nivel europeo han surgido en los últimos años propuestas como el proyecto U-Map que ha realizado una clasificación de instituciones de educación superior según diferentes dimensiones como: perfil educativo; perfil de los estudiantes; actividades de investigación; transferencia de conocimientos; internacionalización y relación con el entorno local. A través de estas dimensiones no se intenta obtener un ranking institucional, sino ofrecer una batería de indicadores para posicionar a cada institución en función de su propio perfil (van Vught y otros, 2010).


En esta misma línea se ha desarrollado el proyecto U-Multirank que ya ha completado el estudio piloto en 3 disciplinas en 150 instituciones de 50 países para realizar comparaciones en las dimensiones de actividad identificadas previamente en U-Map. Con esta iniciativa se supera también la noción de rankings y se ofrece una selección de múltiples indicadores haciendo mucho más flexible y variado el estudio de las diversas instituciones (van Vught y Ziegele, 2011).


Asimismo, en el ámbito Latinoamericano se han venido desarrollando diferentes iniciativas para generar información que permita analizar y evaluar a las universidades de la región desde una perspectiva mucho más adecuada a su realidad. Una de ellas es la puesta en marcha del Mapa de la Educación Superior en América Latina y el Caribe (MESALC) en el marco de las actividades desarrolladas por el Instituto Internacional para la Educación Superior en América Latina y el Caribe (IESALC) de la UNESCO. Esta iniciativa ha surgido a partir de la detección de la escasa visibilidad de las universidades de la región en los rankings internacionales debido a la utilización de criterios para su elaboración muy alejados de la realidad de estas instituciones, pero que, sin embargo, tienen un impacto muy marcado en la toma de decisiones.


Teniendo en cuenta el impacto y la utilidad que tienen los rankings de universidades en el nuevo contexto en el que se tienen que desenvolver este tipo de instituciones, pero considerando también sus debilidades, en España se ha desarrollado el Observatorio de la Actividad Investigadora en la Universidad Española (IUNE), con la intención de superar muchas de las limitaciones planteadas. El Observatorio IUNE se ha creado con el fin de realizar el análisis y seguimiento de la actividad investigadora de las universidades españolas desde distintas perspectivas, presentando algunos aspectos metodológicos que lo diferencia de otros rankings. En la tabla I se muestran algunas de estas limitaciones y las soluciones aportadas por el Observatorio IUNE. 


A partir de los comentarios realizados hasta el momento y teniendo en cuenta la relevancia de la discusión sobre la validez de los rankings de universidades, los objetivos que se pretenden alcanzar con este trabajo son los siguientes:


1- Analizar la actividad investigadora de las universidades públicas españolas, a partir de un conjunto de indicadores relativos a las dimensiones más significativas vinculadas con dicha actividad. 


2- Mostrar el interés del Observatorio IUNE como fuente de obtención de datos para caracterizar la actividad científica del sistema universitario español, a partir de la utilidad y exhaustividad de los indicadores que incluye.


La inclusión de esta dimensión es novedosa con respecto a otros rankings, ya que se presentan datos sobre patentes, ingresos obtenidos por contratos y consultorías, número de extensiones PCT y creación de spin off. Exceptuando la información sobre patentes, todos los datos son recogidos por una encuesta anual que realiza la Red OTRI. En la tabla IX se muestran las universidades públicas según el número de patentes concedidas por cada 100 profesores durante el período analizado. Como se puede apreciar en la tabla, en las 2 primeras posiciones se sitúan instituciones con un perfil tecnológico, como son la Universidad Politécnica de Cataluña (UPC) y la Politécnica de Valencia (UPV), seguidas de universidades con perfil más generalista, como las universidades de Navarra, Burgos y Cantabria. Sin embargo, si se consideran valores absolutos, a las 2 universidades politécnicas mencionadas se une en tercer lugar la Universidad Politécnica de Madrid (UPM). 


Otra dimensión importante es la capacidad de las universidades para la captación de fondos dedicados a la investigación. Esta dimensión se puede determinar a través de varios indicadores, como el número de proyectos nacionales y europeos obtenidos en convocatorias competitivas. En este sentido, en la tabla X se puede observar que en las primeras posiciones del ranking, en cuanto a número de proyectos obtenidos en convocatorias del Plan Nacional por cada 100 profesores, se ubican instituciones jóvenes y de pequeño tamaño, como son la Universidad Pompeu Fabra (UPF), la Universidad Pablo de Olavide (UPO), la Universidad Carlos III de Madrid (UC3M) y la Universidad de Girona (UDG). 


Cuando se considera la participación en proyectos europeos, concretamente en las convocatorias de los Programas Marco, entre las 4 primeras universidades, 2 de ellas ocupan las mismas posiciones que en las convocatorias del Plan Nacional, la Universidad Pompeu Fabra (UPF) y la Universidad Carlos III (UC3M) (tabla XI). En proyectos europeos aparecen en segundo y cuarto lugar las universidades Politécnica de Catalunya (UPC) y la Rovira y Virgili (URV), que no se encontraba entre las 10 primeras por su actividad en proyectos del Plan Nacional. En sentido inverso, la Universidad Pablo de Olavide (UPO) y la Universidad de Girona (UDG) pasan de la segunda y cuarta posición en proyectos nacionales a la decimocuarta y decimosegunda respectivamente en los del Programa Marco. 


Otras actividades científicas importantes dentro del ámbito universitario están relacionadas con la formación de investigadores y con la atracción de talento. En este sentido, el número de becas, contratos postdoctorales, y la defensa de tesis doctorales constituyen indicadores de gran interés para conocer la capacidad de las universidades en esta dimensión. En este trabajo solo se muestran los datos de las tesis defendidas relativas al número de profesores. Como se aprecia en la tabla XII, considerando los valores de este indicador destaca en primer lugar la Universidad Autónoma de Madrid (UAM), seguida de la Autónoma de Barcelona (UAB) y la Pompeu Fabra (UPF). 


Con los datos presentados se ha podido observar la posición que adquiere cada universidad en las distintas dimensiones analizadas. Estos datos permiten comparar, por ejemplo, la proporción de documentos que cada universidad representa sobre el total del sistema universitario, frente a la proporción que representan sus citas. De esta forma se aprecia que algunas instituciones cuentan con un impacto mayor del esperado, como es el caso de la Universidad de Barcelona (UB), la de Valencia (UV), la Autónoma de Madrid (UAM) o la Pompeu Fabra (UPF), donde el porcentaje de citas supera al de documentos publicados. En otras, por el contrario, la proporción de citas es mucho menor a lo esperado como ocurre en las universidades politécnicas (figura 1).


A partir de los datos obtenidos, se ha observado también la existencia de correlación entre la competitividad -medida a través del número de proyectos obtenidos en las convocatorias de los Programa Marco- y la productividad de las universidades (R2=0,63). En este sentido, se puede decir que en el 63% de los casos la productividad de las universidades ha estado relacionada con su competitividad a la hora de obtener proyectos en las convocatorias del Programa Marco. Tal como se puede observar en la figura 2, existe un grupo de universidades con valores elevados en ambas variables. Entre ellas destaca específicamente la Universidad Pompeu Fabra (UPF) y completan el grupo la Autónoma de Barcelona (UAB), la Miguel Hernández (UMH), la Rovira i Virgili (URV), y la Carlos III (UC3M). Evidentemente, el hecho de que algunas universidades hayan seguido una política de profesorado más restrictiva a la hora de consolidar sus plantillas con profesorado permanente afecta a los cálculos de su actividad investigadora , y de ahí que en muchos casos su posición destaque del resto de universidades. 


En la figura 2 se muestra también una tercera variable, que es el número de citas por profesor, representada mediante el tamaño de las burbujas. A partir de esta variable se observa una clara relación entre el impacto relativo y la productividad de las universidades (R2=0,90). Este resultado mostraría claramente la dependencia existente entre estos dos indicadores, que de algún modo son resultados que se han ido viendo en los distintos indicadores unidimensionales de la actividad científica mostrados.


El hecho de mostrar de manera separada la posición de las universidades en las diferentes dimensiones permite observar los distintos perfiles de cada una de ellas. En la figura 3 se puede observar claramente la ausencia de relación entre la actividad publicadora en revistas internacionales y la actividad patentadora (R2=0,0084). Las universidades de perfil tecnológico que aparecen con una intensa actividad patentadora tanto en valores absolutos como relativos al profesorado, como son la Universidad Politécnica de Cataluña (UPC) y la Universidad Politécnica de Valencia (UPV), muestran una menor actividad publicadora que otras universidades de perfil más generalista como son la Universidad Pompeu Fabra (UPF) y la Universidad Autónoma de Barcelona (UAB). Como se ha comentado a lo largo del trabajo, la orientación de la actividad científica de las universidades estaría afectando los datos obtenidos de determinados indicadores, como es el caso de la actividad publicadora.