Assessment of Higher Education Institutions: A Bibliographic Review of Indicators’ Systems
DOI:
https://doi.org/10.3989/redc.2008.v31.i2.425Keywords:
higher education institutions, efficiency, indicators’ systemsAbstract
In the last decades, universities are undergoing new roles and tendencies which have important implications in their structure and procedures. Governments and institutions involved in higher education are implementing strategies to improve universities’ efficiency and to ensure the proper universities’ performance. In this sense, there are some studies that address the assessment of universities through the development and use of indicators’ systems. In this paper, we present a bibliographic review of those indicators’ systems used for the assessment of universities in the OECD countries, paying special attention to those applied in Spain. The study shows the complexity that means the analysis and the structure of the indicators proposed by the literature, mainly due to the use of indicators is not only a technical or neutral activity, but it implies to make valued judgments and answer predetermined objectives. Therefore, until now, there is not a consensus among all the organizations involved in the approach.
Downloads
References
ABET (2006). Accreditation policy and procedure manual. Effective for evaluations during the 2007-2008 accreditation cycle. Retrieved from http://www.abet.org/ [3.5.07]
AGENCIA PARA LA CALIDAD DEL SISTEMA UNIVERSITARIO CATALÁN (2007) El Sistema Universitari Públic Català 2000-2005: Una Perspectiva des de l’avaluació d’AQU Catalunya. Barcelona; Agencia para la Calidad del Sistema Universitario Catalán.
ANECA (2007). Manual de procedimiento para la evaluación de las solicitudes de implantación de títulos oficiales de grado y master. Retrieved from http://www.aneca.es/ [6.2.07]
Bonaccorsi, A.; Daraio, C. (2007). Universities as strategic knowledge creators: some preliminary evidence. En: BONACCORSI, A.; DARAIO. C. (eds.) Universities and Strategic Knowledge Creation. USA; Edward Elgar.
Bricall, J. M. (2000). Universidad 2mil. Madrid; CRUE.
Bueno Campos, E. (2007). La tercera misión de la universidad. El reto de la transferencia del conocimiento. Revista madri+d, 41, marzo-abril.
Castro-Martínez, E.; Cortes-Herreros, A.M.; Nicolás-Gelonch, M.; Costa-Leja, C. (2005). Una aproximacion al análisis de impacto de las universidades en su entorno a través de un estudio de las actividades de las OTRI universitarias españolas. Ponencia presentada en el XI Seminario Latino Iberoamericano de Gestión Tecnológica. ALTEC 2005; Salvador de Bahía (Brasil).
Cave, M.; Hanney, S.; Henkel, M.; Kogan, M. (1988, 1997). The use of performance indicators in higher education (1sted. & 3rded.). London and Bristol; Jessica Kingsley Publishers.
CESC (2005). Education Indicators in Canada, 2005. Retrieved from http://www.cmec.ca/stats/pceip/2005/PCEIP2005-Tables.en.pdf [10.4.07]
Chacón Moscoso, S.; Pérez Gil, J.A.; Holgado Tello, F.P. (1999). Indicadores de calidad en la universidad de Sevilla. Análisis de contenido. En: CONSEJO DE UNIVERSIDADES (editor) Indicadores en la Universidad: Información y decisiones. MEC, Madrid.
CIHE (2007). Standards for Accreditation. Commission on Institutions of Higher Education. New England Association of Schools and Colleges. Retrieve from http://www.neasc.org/cihe/standards_for_accreditation_2005.pdf [24.4.07]
CNE (2003). Livre des références. Paris; Comité National d’Évaluation.
Clark, D.; Lotto, L.S.; Astuto, T.A. (1984). Effective schools and school improvement: A comparative analysis two lines inquiry. Educational Administration Quarterly, 20 (3), 41-68. doi:10.1177/0013161X84020003004
Clark, B.R. (1997). Creando universidades emprendedoras en Europa. Revista Valenciana d’Estudis Autonomics, 21, 373-392.
Clark, B.R. (1998). The entrepreneurial university demand and response. Tertiary Education Management, 4(1), 5-15. doi:10.1007/BF02679392
COMMISSION OF THE EUROPEAN COMMUNITIES (2006). Communication from the Commission – Delivering on the modernisation agenda for universities: education, research and innovation. Brussels; Commission of the European Communities.
COMMISSION ON COLLEGES SOUTHERN ASSOCIATION OF COLLEGES AND SCHOOLS (2006) Principles of accreditation Foundations for Quality enhancement. Retrieve from http://www.sacscoc.org/pdf/2007%20Interim%20Principles%20complete.pdf [4.4.07]
CONSEJO DE COORDINACIÓN UNIVERSITARIA (2002). Catálogo de Indicadores del Sistema Universitario Público Español. Madrid; MEC.
CONSEJO DE UNIVERSIDADES (1999). Indicadores en la Universidad: Información y decisiones. Madrid; MEC.
Cuenin, S. (1986). International Study of the Development of Performance Indicator in Higher Education. Paper given to OECD, IMHE Project, Special Topic Workshop.
Davies, J.L (2001). The emergence of entrepreneurial cultures in European universities. Higher Education management, 13(2), 25-43.
De Miguel, M. (1989). Modelos de investigación sobre organizaciones educativas. Revista de Investigación Educativa, 7 (13), 21-56.
De Miguel, M. y otros (1994). Evaluación para la calidad de los institutos de educación secundaria. Madrid; Escuela Española.
De Miguel, J.M. (2007). Acreditación de educación superior. Madrid; CIS.
De Pablos Escobar, L.; Gil Izquierdo, M. (2004). Algunos indicadores de eficiencia, eficacia y calida del sistema de financiación de la universidad. En: GRAO Rodríguez, J. (Coord.) Economía de la educación. Actas de las XIII jornadas de la AEDE. AEDE, San Sebastián.
Dochy, D.; Segers, M.; Wijen, W. (1990). Selecting Performance Indicators. A proposal as a result of research. En: GOEDEGEBURE, L.; MAASSEN, P.; WESTERHEIJDEN, D. (Eds.) Peer Review and Performance Indicators. Utrecht, Lemma.
Eaton, J. S. (2006). An Overview of U.S. Accreditation. Santa Barbara; CHEA. EL-KHAWAS, E.; DEPIETO-JURAND, R.; HOLA-NIELSEN, L. (1998). Quality Assurance in Higher Education: Recents progress; Challenges ahead. Paris; World Bank.
ENQA (2005). Standards and guidelines for quality assurance in the European Higher Education Area. ENQA. Retrieve from http://www.enqa.eu/files/ESG_v03.pdf [17.4.07]
EUROPEAN COMMISSION (2003). Third European Report on Science & Technology Indicators, 2003. Brussels; European Commission.
EUROPEAN COMMISSION (2005). European Universities: Enhancing Europe’s Research Base. Brussels; European Commission.
Etzkowitz, H.; Leydesdorff, L. (1997). University and the Global Knowledge Economy. A Triple Helix of University- Industry- Government Relations. London; Pinter Publishers.
EUROSTAT (2007). Total intramural R&D expenditure (GERD) by source of funds. Luxembourg; Eurostat.
Fernández, J. M. (1999). Manual de Políticas y Legislación Educativa. Madrid; Síntesis Educación.
García-Aracil, A.; Gutiérrez-Gracia, A.; Pérez-Marín, M. (2006). Analysis of the evaluation process of the research performance: an empirical case. Scientometrics, 67 (2): 213-230.
García-Aracil, A. (2007). Expansion and reorganization in the Spanish higher education system. En: BONACCORSI, A.; DARAIO. C. (eds.) Universities and Strategic Knowledge Creation. USA; Edward Elgar.
García-Aracil, A.; Villarreal, E. (2008). Some indicators to measure regional impact of entrepreneurial universities, Research Policy (forthcoming).
García Ramos, J. M. (1989). Extensión de la evaluación. En R. Pérez Juste y J. M. García Ramos, Diagnóstico, evaluación y toma de decisiones.Madrid: Rialp, pp. 315-385.
Geuna, A. (1999). An Evolutionary Account of European Universities. En: Geuna, A The Economics of Knowledge Production. Funding and the Structure of University Research. Edward Elgar, UK.
Giménez García, V.; Martínez Parra, J.L. (2006). Cost efficiency in the university. A departmental evaluation model. Economics of Education Review, 25(5), 543-553. doi:10.1016/j.econedurev.2005.05.006
González Fernández, N.; Osorio Sierra, J.M.; SALVADOR BLANCO, L. (1999). Necesidad de indicadores para la evaluación del practicum en las titulaciones de ciencias de la educación. En: CONSEJO DE UNIVERSIDADES (editor) Indicadores en la Universidad: Información y decisiones. MEC, Madrid.
Guerra, C.; Lecue, M.; Rueda, E.M.; Vázquez, P. (1999). Un sistema de indicadores para analizar el perfil de los departamentos de una universidad generalista. En: CONSEJO DE UNIVERSIDADES (editor) Indicadores en la Universidad: Información y decisiones. MEC, Madrid.
Gulbrandsen, M; Slipersaeter, S. (2007). The third mission and the entrepreneurial university model. En: BONACCORSI, A.; DARAIO. C. (eds.) Universities and Strategic Knowledge Creation. USA; Edward Elgar.
HEFCE (2007). Strategic Plan 2006-2011. Retrieved from www.hefce.ac.uk [10.4.07]
Hernández Armenteros, J. (2003). Universidades e Indicadores de Gestión: El documento de la Conferencia de Rectores de las Universidades Españolas. Año 2000. Ponencia presentada en las Jornadas «Indicadores sobre la calidad universitaria». Universidad Carlos III; Madrid (España).
HIGHER LEARNING COMMISSION (2003). Institutional Accreditation: An Overview. Chicago; A Commission of the North Central Association of Colleges and Schools.
Instituto Nacional De Estadística (2007). Estadística sobre desarrollo de I+D. 2007. Madrid; INE.
Joumady, O.; Ris, C. (2005). Determining the relative efficiency of European Higher Education institutions using DEA. Maastricht; ROA Maastricht University.
Keller, G. (1999). The New Importance of Strategic Management at Universities. Universitat: Estratègies per avançar. UPC, Barcelona.
Lázaro, A. (1992). La formalización de los indicadores de evaluación. Bordón, 43 (4), 477-494.
Lepori, B.; Benninghoff, M.; Jongbloed, B.; Salerno, C.; Slipersaeter, S. (2007). Changing models and patterns of higher education funding: some empirical evidence. En: BONACCORSI, A.; DARAIO. C. (eds.) Universities and Strategic Knowledge Creation. USA; Edward Elgar.
LOU (2001). BOE n. 307 de 24/12/2001.
LOU (2007). BOE n. 89 de 13/04/2007.
Martín, C.J. (2000). La misión de la universidad en el S.XXI: ¿Torre de marfil, parque de diversión, oficina comercial o pensar lo impensable?. Estudios del Hombre, 12, 43-59.
Martínez, M. (2003). La medición de la eficiencia en las instituciones de educación superior. Bilbao; Fundación BBVA.
MEC (2007). Borrador del catálogo de indicadores del sistema universitario público español. Madrid; MEC.
Miguel Díaz, M. (1999). La evaluación de la enseñanza. Propuesta de indicadores para las titulaciones. En: CONSEJO DE UNIVERSIDADES (editor) Indicadores en la Universidad: Información y decisiones. MEC, Madrid.
Molas-Gallart, J. (2002). Measuring Third Stream Activities. (Available from the SPRU, University of Sussex, Freeman Centre, Falmer, Brighton, East Sussex, BN1 9QE, United Kingdom)
Molas-Gallart, J.; Castro-Martínez, E. (2006). Ambiguity and conflict in the development of «Third Mission» indicators. Paper presented at The 9th International Conference on Science and Technology Indicators; Lovaina (Bélgica).
Molas-Gallart, J.; Ordóñez, S. (2006). Las escuelas de arquitectura frente a la Tercera Misión. Ponencia presentada en las Segundas Jornadas sobre Investigación en Arquitectura y Urbanismo. Universidad Politécnica de Catalunya; Barcelona (España).
Mora, J.G. (1991). Evaluación y rendimiento institucional. Quaderns de Treball, 199.
Mora, J.G. (1999). Indicadores y decisiones en las universidades. En: CONSEJO DE UNIVERSIDADES (editor) Indicadores en la Universidad: Información y decisiones. MEC, Madrid.
OCDE (1990). Proponed Standard method of compiling and interpreting technology balance of payments data. TBP Manual, 1990. Paris; OCDE.
OCDE (1994). The measurement of scientific and technological activities. Using patent data as science and technology indicators. Patent Manual, 1994. Paris; OCDE.
OCDE (1999). University research in transition. Paris; OCDE.
OCDE (2002). Frascati Manual. Paris; OCDE.
OCDE (2004). Education at a Glance. OCDE Indicators. Paris; OCDE.
OCDE (2005). Manual de Oslo. Guía para la recogida e interpretación de datos sobre innovación. Paris; OCDE.
OEI (1998). Declaración Mundial sobre la Educación Superior en el Siglo XXI: Visión y Acción. París; UNESCO.
Pla, A.; Villarreal, E. (2001). Measuring the Internal Efficiency of Universities: Social Demand, Diversity and Rising Costs. Paper presented at the XXIII Annual EAIR Forum. Univesity of Porto; Porto (Portugal).
ProTon (2007) The ProTon Europe 2005. Annual Survey report. (Available from the INGENIO, CSIC-UPV, Ciudad Politécnica de la Innovación, Avenida de los Naranjos, s/n, 46022, Valencia, España)
Rodríguez, M.A. (1998). Utopía y comercialización en la educación superior del siglo XXI. En: RODRÍGUEZ, M.A. (Coord.) Perspectivas de la Educación Superior en el Siglo XXI. CRUE, Madrid.
Rodríguez Espinar, S. (1999). Información cualitativa y cuantitativa en el Plan Nacional de Evaluación. En: CONSEJO DE UNIVERSIDADES (editor) Indicadores en la Universidad: Información y decisiones. MEC, Madrid.
Rodríguez Vargas, J.J. (2005). La Nueva Fase de Desarrollo Económico y Social del Capitalismo Mundial. Tesis doctoral accesible a texto completo en http://www.eumed.net/tesis/jjrv/ [19.2.07]
Sabato, J. (1975). El pensamiento latinoamericano en la problemática Ciencia-tecnología- desarrollo-dependencia. Buenos Aires; Paidós.
Scott, P. (1998). Fisuras en la Torre de marfil. El correo de la Unesco. Septiembre, 18-20.
Tricio, A.; Bol, A.; Vitoria, R.; Quindos, M.P.; Serna, M. (1999). Una experiencia departamental en evaluación de la calidad y adaptación de los indicadores para investigación, enseñanza y gestión. En: CONSEJO DE UNIVERSIDADES (editor) Indicadores en la Universidad: Información y decisiones. MEC, Madrid.
UNESCO (2003) System-Level and Strategic Indicators for Monitoring Higher Education in the Twenty-First Century. Bucharest; UNESCO.
UNESCO (2004). Studies on higher education. Indicators for institutional and programme accreditation in higher tertiary education. Bucarest; UNESCO.
Vidal, J. (1999). Indicadores de rendimiento para las universidades españolas: necesidad y disponibilidad. En: CONSEJO DE UNIVERSIDADES (editor) Indicadores en la Universidad: Información y decisiones. MEC, Madrid.
Villarreal, E. (1999). La utilización de indicadores de rendimiento en la financiación de la educación superior. En: CONSEJO DE UNIVERSIDADES (editor) Indicadores en la Universidad: Información y decisiones. MEC, Madrid.
Wimpelberg, R.; Teddlie, C.; Stringfield, S. (1989). Sensitivity to context: the past and the future of effective school research. Educational Administration Quarterly, 25 (1), 82-127. doi:10.1177/0013161X89025001005
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2008 Consejo Superior de Investigaciones Científicas (CSIC)
This work is licensed under a Creative Commons Attribution 4.0 International License.
© CSIC. Manuscripts published in both the print and online versions of this journal are the property of the Consejo Superior de Investigaciones Científicas, and quoting this source is a requirement for any partial or full reproduction.
All contents of this electronic edition, except where otherwise noted, are distributed under a Creative Commons Attribution 4.0 International (CC BY 4.0) licence. You may read the basic information and the legal text of the licence. The indication of the CC BY 4.0 licence must be expressly stated in this way when necessary.
Self-archiving in repositories, personal webpages or similar, of any version other than the final version of the work produced by the publisher, is not allowed.
