Revista española de Documentación Científica, Vol 35, No 1 (2012)

Indicadores para la evaluación de las instituciones universitarias: validación a través del método Delphi

Adela García-Aracil, Davinia Palomares-Montero

DOI: http://dx.doi.org/10.3989/redc.2012.1.863

Resumen


Evaluar el desempeño de las universidades es complicado ya que se trata de una institución multidimensional que desarrolla numerosas actividades en base a sus tres principales misiones: docencia, investigación y transferencia de conocimiento. En este contexto, diversas metodologías de evaluación de las universidades han sido propuestas en base al uso de indicadores, existiendo intensos debates acerca de qué indicadores son los más apropiados. Esta situación hace que resulte indispensable sistematizar la diversidad de indicadores para obtener una evaluación más rigurosa de las instituciones universitarias. El presente trabajo profundiza en esta cuestión, identificando un listado de indicadores relacionados con la evaluación de las universidades. El sistema de indicadores propuesto ha sido validado a través del método Delphi que ha permitido alcanzar cierto consenso entre los expertos participantes. La identificación realizada sirve de ayuda para tomar decisiones en torno a qué indicadores deben ser incluidos en los modelos de evaluación universitaria. Sin embargo, los resultados del estudio ponen de manifiesto que entre los gestores universitarios continúa habiendo discrepancias en cuanto a la identificación de los indicadores tanto a qué misión representan como en su tipología y grado de importancia.

Palabras clave


instituciones de educación superior; evaluación; sistemas de indicadores; método Delphi

Texto completo:


PDF

Referencias


Ahn, T.; Charnes, A., y Cooper, W. W. (1988). Using DEA to measure the efficiency of non-for-profit organizations: A critical evaluation-comment. Managerial and Decision Economics, vol. 9 (3), 251-253. http://dx.doi.org/10.1002/mde.4090090310

Ahn, T., y Seiford, L. W. (1993). Sensitivity of DEA to models and variable sets in a hypothesis test setting: The efficiency of university operations. En: Ijiri, I. (ed.) Creative and Innovative Approaches to the Science of Management. Quorum Book, Westport CT.

AQU (2007). El Sistema Universitari Públic Català 2000-2005: Una Perspectiva des de l’avaluació d’AQU Cataluña. Barcelona; Agencia para la Calidad del Sistema Universitario Catalán.

Beasley, J. E. (1995). Determining teaching and research efficiencies. Journal of the Operational Research Society, vol. 46 (4), 441-452.

Blank, R. K. (1993). Developing a System of Education Indicators: Selecting, Implementing and Reporting Indicators. Educational, Evaluation and Policy Analysis, vol. 15 (1), 65-80.

Bonaccorsi, A., y Daraio, C. (2007). Universities as strategic knowledge creators. Some preliminary evidence. En: Bonaccorsi, A., y Daraio, C. (eds.) Universities and Strategic Knowledge Creation. Edward Elgar Publishing Ltd, UK.

Bonaccorsi, A.; Daraio, C.; Lepori, B., y Slipersaeter, S. (2007). Indicators on individual higher education institutions: addressing data problems and comparability issues. Research Evaluation, vol. 16 (2), 66-78. http://dx.doi.org/10.3152/095820207X218141

Buela-Casal, G.; Gutiérrez-Martínez, O.; Bermúdez-Sánchez, M. P., y Vadillo-Muñoz, Ó. (2007). Comparative study of international academic rankings of universities. Scientometrics, vol. 71 (3), 349-365. http://dx.doi.org/10.1007/s11192-007-1653-8

Buela-Casal, G.; Bermúdez, M. P.; Sierra, J. C.; Quevedo-Blasco, R., y Castro, A. (2009). Ranking de 2008 en productividad en investigación de las universidades públicas españolas. Psicothema, vol. 21 (2), 304-312. PMid:19403087

Buesa, M.; Heijs, J., y Kahwash, O. (2009). La calidad de las universidades en España. Elaboración de un índice multidimensional. Madrid; CES. Castro, A.

Buela-Casal, G. (2008). La movilidad de profesores y estudiantes en programas de postgrado: ranking de las universidades españolas. Revista de Investigación en Educación, vol. 5, 61-74.

CIHE (2007). Standards for Accreditation. Commission on Institutions of Higher Education. New England Association of Schools and Colleges. http://www.neasc.org/cihe/standards_for_accreditation_2005.pdf [24-04-07].

Cohn, E. R. S., y Santos, M. C. (1989). Institutions of higher education as multiproduct firms: Economies of scale and scope. Review of Economics and Statistics, vol. 71 (2), 284-290. http://dx.doi.org/10.2307/1926974

Dalkey, N., y Helmer, O. (1963). An experimental application of the Delphi method to the use of experts. Management Science, vol. 9 (3), 458-467. http://dx.doi.org/10.1287/mnsc.9.3.458

D’Este, P.; Castro-Martínez, E., y Molas-Gallart, J. (2009). Documento de base para un «Manual de Indicadores de Vinculación de la universidad con el entorno socioeconómico»: un marco para la discusión. (1.ª ed.) Buenos Aires; OEI y AECID, p. 42.

ENQA (2009). Standards and guidelines for quality assurance in the European Higher Education Area. ENQA. Helsinki; European Association for Quality Assurance in Higher Education, p. 48.

Escrigas, C. (2006). Perspectivas de los líderes sobre la financiación de la educación superior. Encuesta Delphi. En: GUNI (ed.) La educación superior en el mundo 2006: La financiación de las universidades. Mundiprensa, Barcelona.

European Commission (2005). European Universities: Enhancing Europe’s Research Base. Brussels; European Commission, p. 48.

European Commission (2009). EUMIDA Project. h ttp://www.eumida.org [29.09.2010].

Fundación CyD (2011). La contribución de las universidades españolas al desarrollo. Informe CyD 2010. Madrid; Fundación CyD, p. 384.

García-Aracil, A. (2007). Expansion and reorganization in the Spanish higher education system. En: Bonaccorsi, A.; Daraio, C. (editores) Universities and Strategic Knowledge Creation. Edward Elgar Publishing Ltd, UK.

García-Aracil, A., y Palomares-Montero, D. (2010). Examining benchmark indicator systems for the evaluation of higher education instittutions. Higher Education, vol. 60 (2), 217-234. http://dx.doi.org/10.1007/s10734-009-9296-8

Geist, M. R. (2010). Using the Delphi method to engage stakeholders: A comparison of two studies. Evaluation and Program Planning, vol. 33 (2), 147-154. http://dx.doi.org/10.1016/j.evalprogplan.2009.06.006 PMid:19581002

Gibbons, M. (1999). Science’s new social contract with society. Nature, vol. 402 (6761), 11-18.

GUNI (editores) (2007). La educación superior en el mundo 2007: Acreditación para la garantía de la calidad ¿qué está en juego? Barcelona; Mundiprensa, p. 464.

Gustafso, D. H.; Shukla, R. K., Delbecq, A., y Walster, G.W. (1973). Comparative study of differences in subjective likelihood estimates made by individuals, interacting groups, Delphi groups and nominal groups. Organizational Behavior and Human Performance, vol. 9 (2), 280-291. http://dx.doi.org/10.1016/0030-5073(73)90052-4

Hanke, M.; Leopoldseder, T. (1998). Comparing the efficiency of Austrian universities. A data envelopment analysis application. Tertiary Education and Management, vol. 4 (3), 191-197. http://dx.doi.org/10.1080/13583883.1998.9966962

Hernández Armenteros, J. (2003). Universidades e Indicadores de Gestión: El documento de la Conferencia de Rectores de las Universidades Españolas. Año 2000. Jornadas «Indicadores sobre la calidad universitaria». Madrid, España: Universidad Carlos III.

Johnes, J., y Johnes, G. (1995). Research funding and performance in UK university departments of economics: A frontier analysis. Economics of Education Review, vol. 14 (3), 301-314. http://dx.doi.org/10.1016/0272-7757(95)00008-8

Kells, H. R. (1991). The inadequacy of performance indicator for higher education: the need for a more comprehensive and development construct. Higher Education Management, vol. 2 (3), 258-270.

Kim, Y. H., y Kim, H. H. (2008). Development and validation of evaluation indicators for a consortium of institutional repositories: A case study of dCollection. Journal of the American Society for Information Science and Technology, vol. 59 (8), 1282-1294. http://dx.doi.org/10.1002/asi.20818

Landeta, J. (2006). Current validity of the Delphi method in social sciences. Technological Forecasting and Social Change, vol. 73 (5), 467-482. http://dx.doi.org/10.1016/j.techfore.2005.09.002

Landeta, J. (1999). El método Delphi. Una técnica de previsión para la incertidumbre. Barcelona; Ariel, p. 224.

Laredo, P. (2007). Revisiting the third mission of universities: toward a renewed categorization of university activities? Higher Education Policy, vol. 20 (4), 441-456. http://dx.doi.org/10.1057/palgrave.hep.8300169

Lepori, B.; Barré, R., y Filliatreau, G. (2008). New perspectives and challenges for the design and production of S&T indicators. Research Evaluation, vol. 17 (1), 33-44. http://dx.doi.org/10.3152/095820208X291176

Lobera, J. (2008). Encuesta Delphi: la educación superior para el desarrollo humano y social. En: GUNI (ed.) La educación superior en el mundo: nuevos retos y roles emergentes para el desarrollo humano y social. Mundiprensa, Madrid.

Martin, B.; Etzkowitz, H. (2000). The origin and evolution of the university species. VEST, vol. 13 (3-4), 9-34.

Molas-Gallart, J. (2002). Measuring Third Stream Activities. Brighton; University of Sussex, 97.

Molas-Gallart, J., y Castro-Martínez, E. (2007). Ambiguity and confl ict in the development of «Third Mission» indicators. Research Evaluation, vol. 16 (4), 321-330. http://dx.doi.org/10.3152/095820207X263592

Oakes, J. (1989). What Educational Indicators? The case for assessing the school context. Educational, Evaluation and Policy Analysis, vol. 11 (2), 181-199.

Okoli, C., y Pawlowski, S. D. (2004). The Delphi method as a research tool: an example, design considerations and applications. Information & Management, vol. 42 (1), 15-29. http://dx.doi.org/10.1016/j.im.2003.11.002

Palomares-Montero, D.; García-Aracil, A., y Castro-Martínez, E. (2008). Evaluación de las instituciones de educación superior: revisión bibliográfica de sistema de indicadores. Revista Española de Documentación Científica, vol. 31 (2), 205-229.

Rowe, G., y Wright, G. (1999). The Delphi technique as a forecasting tool: issues and analysis. International Journal of Forecasting, vol. 15 (2), 353-375. http://dx.doi.org/10.1016/S0169-2070(99)00018-7

Santana Armas, F. (2007). Las políticas de evaluación de las universidades vistas por un grupo de expertos. En: Giró Miranda, J. (coord.) La escuela en el siglo XXI: la educación en un tiempo de cambio social acelerado. Universidad de La Rioja, Lo groño.

Sinuany-Stern, Z.; Mehrez, A., y Barboy, A. (1994). Academic departments efficiency via DEA. Computers Operations Research, vol. 21 (5), 543-556. http://dx.doi.org/10.1016/0305-0548(94)90103-1

Sizer, J. (1982). Institutional performance assessment under conditions of changing needs. International Journal of Institutional Management in Higher Education, vol. 6 (1), 17-28.

Von der Gracht, H. A. (2008). The Delphi Technique for Future Research. En: von der Gracht, H. A. (ed.) The future of logistics. Scenarios for 2025. GWV Fachverlage Gmbh, Wiesbaden.

Worthington, A. C. (2001). An empirical survey of frontier efficiency measurement techniques in education. Education Economics, vol. 9 (3), 245-268. http://dx.doi.org/10.1080/09645290110086126




Copyright (c) 2012 Consejo Superior de Investigaciones Científicas (CSIC)

Licencia de Creative Commons
Este obra está bajo una licencia Creative Commons Reconocimiento 3.0 España (CC-by).


Contacte con la revista redc.cchs@cchs.csic.es

Soporte técnico soporte.tecnico.revistas@csic.es