National Rankings based on multiple indicators versus synthetic indices

Authors

  • Elías Sanz-Casado Laboratorio de Estudios Métricos de la Información (LEMI), Departamento de Biblioteconomía y Documentación. Universidad Carlos III de Madrid - Unidad Asociada IEDCYT-LEMI. CSIC-Universidad Carlos III de Madrid
  • Carlos García-Zorita Laboratorio de Estudios Métricos de la Información (LEMI), Departamento de Biblioteconomía y Documentación. Universidad Carlos III de Madrid - Unidad Asociada IEDCYT-LEMI. CSIC-Universidad Carlos III de Madrid
  • Antonio Eleazar Serrano-López Laboratorio de Estudios Métricos de la Información (LEMI), Departamento de Biblioteconomía y Documentación. Universidad Carlos III de Madrid
  • Preiddy Efraín-García Laboratorio de Estudios Métricos de la Información (LEMI), Departamento de Biblioteconomía y Documentación. Universidad Carlos III de Madrid
  • Daniela De Filippo Laboratorio de Estudios Métricos de la Información (LEMI), Departamento de Biblioteconomía y Documentación. Universidad Carlos III de Madrid

DOI:

https://doi.org/10.3989/redc.2013.3.1.023

Keywords:

Universities rankings, scientific activity, IUNE observatory, indicators

Abstract


This paper analyzes the interest of national rankings of universities in making visible the research activities of these institutions in non-core countries. To do this, the first part of methodology presents the characteristics of the national rankings that are more appropriate for identifying and comparing the activities of institutions of the same environment. It also describes the advantages and limitations of using multiple indicators as opposed to synthetic indicators. The second part presents the IUNE Observatory as a tool that provides comprehensive and diverse information for monitoring the research activity of Spanish universities. The data obtained allow us to identify the characteristics of the Spanish university system as well as to position the institutions according to their activities, into 6 different dimensions based on 42 different indicators.

Downloads

Download data is not yet available.

References

Aguillo, I.; Bar-Illan, J.; Levene, M.; Ortega, J. L. (2010). Comparing university rankings. Scientometrics, 85 (1), pp. 243-256. http://dx.doi.org/10.1007/s11192-010-0190-z

Bordons, M.; Sancho, R.; Morillo, F.; Gómez, I. (2010). Perfil de actividad científica de las universidades españolas en cuatro áreas temáticas: un enfoque multifactorial. Revista Española de Documentación Científica, 33 (1), pp. 9-33. http://dx.doi.org/10.3989/redc.2010.1.718

Buela-Casal, G.; Bermúdez, M. P.; Sierra, J. C.; Quevedo-Blasco, R.; Castro, A. (2010). Ranking de 2009 en investigación de las universidades públicas españolas. Psicothema, 22, pp. 171-179. PMid:20423618

Buela-Casal, G.; Bermúdez, M. P.; Sierra, J. C.; Quevedo-Blasco, R.; Castro, A.; Guillén-Riquelme, A. (2011). Ranking de 2010 en producción y productividad en investigación de las universidades públicas españolas. Psicothema, 23, pp. 527-536. PMid:22047835

Buesa, M.; Hieijs, J.; Kahwash, O. (2009). La calidad de las universidades en España. Elaboración de un índice multidimensional. Madrid: Consejo Económico y Social.

Clark, B. (1997). Las universidades modernas: espacios de investigación y docencia. México: Grupo Editorial de Miguel Ángel Porrúa/Coordinación de Humanidades/UNAM.

Corera, E.; Chinchilla, Z.; De-Moya, F.; Sanz Menéndez, L. (2010). Producción científica e impacto: ranking general y por áreas de las instituciones universitarias españolas. En: Informe CyD 2009. Barcelona: Fundación CyD, pp. 254-262.

Delgado-López-Cózar, E.; Jiménez-Contreras, E.; Ruíz-Pérez, R. (2009). La ciencia española a través de la Web of Science (1996-2007): las disciplinas. El profesional de la Información, 18 (4), pp. 437-443. http://dx.doi.org/10.3145/epi.2009.jul.13

Egron-Polak, E. (2007). Editorial. IAU Horizons, 13 (2-3), pp. 1-2.

Gómez, I.; Sancho, R.; Bordons, M.; Fernández, M. T. (2006). La I+D en España a través de publicaciones y patentes. En: Sebastián, J.; Muñoz, E. (eds.), Radiografía de la Investigación pública en España. Madrid: Biblioteca Nueva, pp. 273-301.

Gómez, I.; Bordons, M.; Fernández, M. T.; Morillo, F. (2009). Structure and research performance of Spanish universities. Scientometrics, 79 (1), pp. 131-146. http://dx.doi.org/10.1007/s11192-009-0408-0

International Ranking Expert Group. IREG (2006). Berlin principles on Ranking of Higher Education Institutions. Disponible en: http://www.che.de/downloads/Berlin_Principles_IREG_534.pdf. (Consulta: 10/02/2013).

Liu, N. C.; Cheng, Y. (2005). Academic ranking of World Universities. Methodologies and Problems. Higher Education in Europe, 30 (2), pp. 127-136. http://dx.doi.org/10.1080/03797720500260116

Marginson, S.; Mollis, M. (2001). The door opens and the tiger leaps. Theories and reflexivities of comparative education for a global millennium. Comparative Education Review, 45 (4), pp. 581-615. http://dx.doi.org/10.1086/447693

Marginson, S. (2012). Global university rankings: the strategic issues. Encuentro internacional Las universidades latinoamericanas ante los rankings internacionales. Impactos, alcances y límites. Ciudad de México, 17-18 de mayo. Disponible en: http://www.encuentro-rankings.unam.mx/Documentos/ConferenciaMagistralMarginsontexto.pdf. (Consulta: 10/02/2013).

Martínez Rizo, F. (2012). Impactos deseables e indeseables en las Universidades de América Latina. Encuentro internacional Las universidades latinoamericanas ante los rankings internacionales. Impactos, alcances y límites. Ciudad de México, 17-18 de mayo. Disponible en: http://www.encuentro-rankings.unam.mx/Documentos/ImpactoRankingsRizo.pdf. (Consulta: 10/02/2013).

Muñoz García, H. (2012). Comentarios a la ponencia de Simon Marginson. Encuentro internacional Las universidades latinoamericanas ante los rankings internacionales. Impactos, alcances y límites. Ciudad de México, 17-18 de mayo. Disponible en: http://www.encuentro-rankings.unam.mx/Documentos/acto_munoz.pdf. (Consulta: 10/02/2013).

Orduña Malea, E. (2011). Propuesta de un modelo de análisis redinformétrico multinivel para el estudio sistémico de las universidades españolas (2010). [Tesis Doctoral]. Universidad Politécnica de Valencia. Disponible en: http://hdl.handle.net/10251/14420. (Consulta: 10/02/2013).

Sanz-Casado, E.; García-Zorita, C.; Iribarren-Maestro, I.; García, P. E.; Sánchez-Gil, S. (2008). Propuesta de evaluación de la investigación en la universidad española a partir de indicadores complementarios. En: Bermúdez, M. P.; Ramiro, M. T. (comp.), Evaluación de la calidad de la educación superior y de la investigación. V Foro de evaluación de la calidad universitaria. San Sebastián.

Torres-Salinas, D.; Delgado-López-Cózar, E.; García-Moreno-Torres, J.; Herrera, F. (2011a). Ranking ISI de las universidades españolas según campos científicos: descripción y resultados. El profesional de la Información, 20 (1), pp. 111-118. http://dx.doi.org/10.3145/epi.2011.ene.14

Torres-Salinas, D.; Moreno-Torres, J. G.; Robinson, N.; Delgado López-Cózar, E.; Herrera, F. (2011b). Rankings ISI de las Universidades Españolas según Campos y Disciplinas Científicas [en línea]. 2.ª ed. 2011. Disponible en: http://rankinguniversidades.es. (Consulta: 10/02/2013).

Torres-Salinas, D.; Cabezas-Clavijo, A. (2012). Herramientas para la evaluación de la ciencia en universidades y centros I+D: descripción y usos. Anuario ThinkEPI, 6, pp. 142-146.

van-Raan, A. (2005). Fatal attraction: conceptual and methodological problems in the ranking of universities by bibliometric methods. Scientometrics, 62 (1), pp. 133-143. http://dx.doi.org/10.1007/s11192-005-0008-6

van Vught, F.; Kaiser, F.; File, J.; Gaethgens, C.; Peter, R.; Westerheijden, D. (2010). U-Map. The European classification of higher education institutions. [on line]. Center for Higher Education Policy Studies, University of Twente. Disponible en: http://www.u-map.eu/. (Consulta: 10/02/2013).

van Vught, F.; Ziegele, F. (2011). U-Multirank. The design and testing the feasibility of a multidimensional global university ranking. Final report. Consortium for Higher Education and Research Performance Assesment, CHERPA-Network. Disponible en: https://www.ireg-observatory.org/pdf/u_multirank_final_report.pdf. (Consulta: 10/02/2013).

Webster, D. (1983). America’s Higher-ranked graduate Schools, 1925-1982. Change, May-June, pp. 13-24.

Webster, D. (1985). How not to rank universities. Higher Education, 4 (1), pp. 71-79.

Webster, D. (1986). Academic Quality Rankings of American Colleges and Universities. Springfield, IL.: Charles C. Thomas Publisher.

Published

2013-09-30

How to Cite

Sanz-Casado, E., García-Zorita, C., Serrano-López, A. E., Efraín-García, P., & De Filippo, D. (2013). National Rankings based on multiple indicators versus synthetic indices. Revista Española De Documentación Científica, 36(3), e012. https://doi.org/10.3989/redc.2013.3.1.023

Issue

Section

Studies

Most read articles by the same author(s)

1 2 > >>