ESTUDIOS / RESEARCH STUDIES

PRODUCCIÓN CIENTÍFICA EN CHILE: LAS LIMITACIONES DEL USO DE INDICADORES DE DESEMPEÑO PARA EVALUAR LAS UNIVERSIDADES PÚBLICAS

Álvaro Quezada-Hofflinger*, Arturo Vallejos-Romero**

* Núcleo de Investigación en Ciencias Sociales y Humanidades, Universidad de La Frontera, Chile

Correo-e: alvaro.quezada@ufrontera.cl | ORCID iD: https://orcid.org/0000-0002-1231-9911

** Departamento de Ciencias Sociales, Núcleo de Investigación en Ciencias Sociales y Humanidades, Universidad de La Frontera, Chile

Correo-e: arturo.vallejos@ufrontera.cl | ORCID iD: https://orcid.org/0000-0002-0393-7275

SCIENTIFIC OUTPUT IN CHILE: LIMITATIONS IN THE USE OF PERFORMANCE INDICATORS TO EVALUATE PUBLIC UNIVERSITIES

CONTENIDOS

1. INTRODUCCIÓN Top

En la sociedad del conocimiento uno de los pilares fundamentales para el desarrollo social y económico de los países es la investigación, siendo clave para cumplir dicha función instituciones como las universidades (Mohrman y otros, 2008Mohrman, K.; Ma, W.; Baker, D. (2008). The research university in transition: The emerging global model. Higher Education Policy, 21 (1), 5-27. https://doi.org/10.1057/palgrave.hep.8300175.), las cuales han debido adaptarse a los nuevos requerimientos que plantea la sociedad del siglo XXI, así como mejorar su eficiencia, competitividad, desempeño y el uso racional de sus recursos para dar cuenta de su misión (Kai, 2009Kai, J. (2009). A Critical Analysis of Accountability in Higher Education. Chinese Education & Society, 42 (2), 39-51. http://doi.org/10.2753/CED1061-1932420204.; Marginson, 1998Marginson, S. (1998). Harvards of the antipodes?: nation-building universities in a global environment. Leading and Managing, 4 (3), 156.; Olssen y Peters, 2005Olssen, M.; Peters, M. A. (2005). Neoliberalism, higher education and the knowledge economy: from the free market to knowledge capitalism. Journal of Education Policy, 20 (3), 313-345. http://doi.org/10.1080/02680930500108718.; Palomares-Montero y otros, 2008Palomares-Montero, D.; García-Aracil, A.; Castro-Martínez, E. (2008). Evaluación de las instituciones de educación superior: revisión bibliográfica de sistema de indicadores. Revista Española de Documentación Científica, 31 (2), 205-229. https://doi.org/10.3989/redc.2008.v31.i2.425.).

En este contexto, diversos países han desarrollado sistemas de aseguramiento de la calidad o sistemas de rendición de cuentas que permitan a los gobiernos evaluar el quehacer de las instituciones de educación superior (Davies y Thomas, 2002Davies, A.; Thomas, R. (2002). Managerialism and accountability in higher education: The gendered nature of restructuring and the costs to academic service. Critical Perspectives on Accounting, 13 (2), 179-193. http://doi.org/10.1006/cpac.2001.0497.; Neave, 2001Neave, G. (2001). The changing frontiers of autonomy and accountability. Higher Education Policy, 14 (1), 1-5. https://doi.org/10.1016/S0952-8733(01)00002-2.; Power, 1997Power, M. (1997). The audit society: Rituals of verification. Oxford University Press; Oxford, 183 p.; Rabovsky, 2012Rabovsky, T. M. (2012). Accountability in higher education: Exploring impacts on state budgets and institutional spending patterns. Journal of Public Administration Research and Theory, 22 (4), 675-700. http://doi.org/10.1093/jopart/mur069.; Saravanamuthu y Tinker, 2002Saravanamuthu, K.; Tinker, T. (2002). The university in the new corporate world. Critical Perspectives on Accounting, 13 (5-6), 545-554. http://doi.org/10.1006/cpac.2002.0551.; Saunders, 2010Saunders, D. (2010). Neoliberal ideology and public higher education in the United States. Journal for Critical Education Policy Studies, 8 (1), 41-77.; Seshan y Jain, 2011Seshan, R.; Jain, K. (2011). Accountability in Higher Education. Entire Research, 3 (1), 1-6. http://www.ghrws.in/Entire%20Research/E.%20R.%202011/Volume-3,%20Issue-I,%20January%202011.pdf.; Shore, 2010Shore, C. (2010). Beyond the multiversity: neoliberalism and the rise of the schizophrenic university. Social Anthropology, 18 (1), 15-29. https://doi.org/10.1111/j.1469-8676.2009.00094.x.; Suspitsyna, 2010Suspitsyna, T. (2010). Accountability in American education as a rhetoric and a technology of governmentality. Journal of Education Policy, 25 (5), 567-586. http://doi.org/10.1080/02680930903548411.; Torres y Schugurensky, 2002Torres, C. A.; Schugurensky, D. (2002). The political economy of higher education in the era of neoliberal globalization: Latin America in comparative perspective. Higher Education, 43 (4), 429-455. http://doi.org/10.1023/A:1015292413037.). Así por ejemplo, en Europa se han desarrollado sistemas de indicadores de desempeño vinculados a tasas de retención de estudiantes, graduación, productividad científica de sus académicos, inserción laboral de los titulados, entre otros, (McLendon y otros, 2006McLendon, M. K.; Hearn, J. C.; Deaton, R. (2006). Called to Account: Analyzing the Origins and Spread of State Performance-Accountability Policies for Higher Education. Educational Evaluation and Policy Analysi, 28 (1), 1-24. http://doi.org/10.3102/01623737028001001.; Molas-Gallart y otros, 2002Molas-Gallart, J.; Salter, A.; Patel, P.; Scott, A.; Duran, X. (2002). Measuring third stream activities. Final report to the Russell Group of Universities. Brighton: Sciencie and Technology Policy Research (SPRU), University of Sussex, 85 p.; Saunders, 2010Saunders, D. (2010). Neoliberal ideology and public higher education in the United States. Journal for Critical Education Policy Studies, 8 (1), 41-77.; Suspitsyna, 2010Suspitsyna, T. (2010). Accountability in American education as a rhetoric and a technology of governmentality. Journal of Education Policy, 25 (5), 567-586. http://doi.org/10.1080/02680930903548411.). En este sentido, la tendencia de los gobiernos a evaluar a las universidades a través de una serie de criterios de desempeño es un fenómeno global, sumándose a esta tendencia países como Inglaterra (Hoecht, 2006Hoecht, A. (2006). Quality assurance in UK higher education: Issues of trust, control, professional autonomy and accountability. Higher Education, 51 (4), 541-563. http://doi.org/10.1007/s10734-004-2533-2.), España (Palomares-Montero y otros, 2008Palomares-Montero, D.; García-Aracil, A.; Castro-Martínez, E. (2008). Evaluación de las instituciones de educación superior: revisión bibliográfica de sistema de indicadores. Revista Española de Documentación Científica, 31 (2), 205-229. https://doi.org/10.3989/redc.2008.v31.i2.425.), India (Seshan y Jain, 2011Seshan, R.; Jain, K. (2011). Accountability in Higher Education. Entire Research, 3 (1), 1-6. http://www.ghrws.in/Entire%20Research/E.%20R.%202011/Volume-3,%20Issue-I,%20January%202011.pdf.), Nueva Zelandia (Shore, 2010Shore, C. (2010). Beyond the multiversity: neoliberalism and the rise of the schizophrenic university. Social Anthropology, 18 (1), 15-29. https://doi.org/10.1111/j.1469-8676.2009.00094.x.) y países latinoamericanos (Ordorika y Lloyd, 2013Ordorika, I.; Lloyd, M. (2013). Rankings and accountability in higher education: uses and misuses. En: Marope, P. T. M.; Wells, P. J.; Hazelkorn, E. (eds.), Rankings and accountability in higher education: uses and misuses, pp. 209-231. Unesco.; Torres y Schugurensky, 2002Torres, C. A.; Schugurensky, D. (2002). The political economy of higher education in the era of neoliberal globalization: Latin America in comparative perspective. Higher Education, 43 (4), 429-455. http://doi.org/10.1023/A:1015292413037.).

Uno de los argumentos a favor de la implementación de los sistemas de desempeño, es que las instituciones regidas por un sistema de estándares objetivos y medibles mejorarían la calidad del servicio que prestan y facilitarían a los líderes políticos, y el público en general, evaluar su quehacer (Rabovsky, 2012Rabovsky, T. M. (2012). Accountability in higher education: Exploring impacts on state budgets and institutional spending patterns. Journal of Public Administration Research and Theory, 22 (4), 675-700. http://doi.org/10.1093/jopart/mur069.). En cambio, sus críticos plantean que el cumplimiento de ciertos objetivos, asociados a sanciones o premios, puede generar distorsiones en la misión de las agencias públicas, impactando negativamente en la función y el trabajo de estas instituciones (Burgess y Ratto, 2003Burgess, S.; Ratto, M. (2003). The Role of Incentives in the Public Sector: Issues and Evidence. Oxford Review Economic Policy, 19 (2), 285-300.; Campbell, 1979Campbell, D. (1979). Assessing the impact of planned social change. Evaluation and Program Planning, 2 (1), 67-90. https://doi.org/10.1016/0149-7189(79)90048-X.; Dixit, 2002Dixit, A. (2002). Incentives and Organizations in the Public Sector An Interpretative. Journal of Human Resources, 37 (4), 696-727. https://doi.org/10.2307/3069614.).

Ante el problema descrito, la presente investigación se focaliza en Chile, el primer país latinoamericano en implementar un sistema de desempeño para evaluar las instituciones de educación superior (1981), y analiza las externalidades negativas del uso del índice de productividad para clasificar a las universidades, el cual representa la proporción entre el “número de publicaciones en revistas indexadas” y el “número de académicos con jornada completa equivalente (en adelante JCE)” de las universidades públicas o con vocación pública agrupadas en el Consejo de Rectores (en adelante CRUCH).

El sistema chileno utiliza el valor absoluto de las publicaciones que producen las universidades y no diferencia la producción científica por el número de autores de las publicaciones, sus autores principales, los factores de impacto y las revistas donde se publican. Por lo tanto, el uso del índice de productividad no cualificado o diferenciado estaría generando efectos no deseados en la asignación de recursos a las universidades y la focalización de esfuerzos en ciertas áreas del conocimiento, en desmedro de otras.

En tal sentido, este estudio plantea las siguientes preguntas de investigación: (a) ¿cuál es el nivel de productividad científica de las universidades del CRUCH?, (b) ¿el actual índice de productividad genera incentivos para el mejoramiento de la calidad de la producción científica? y (c) ¿cuáles son las externalidades negativas del uso no diferenciado de la producción científica en la clasificación de las universidades chilenas?

Esta discusión es relevante en el contexto del debate internacional sobre el uso de indicadores de desempeño para evaluar la calidad y eficiencia de las instituciones de educación superior. En particular, en el caso chileno, esta investigación muestra las limitaciones del actual índice de productividad utilizado para clasificar las universidades públicas y con vocación pública.

2. IMPLEMENTACIÓN DEL MODELO: NEOLIBERALISMO Y EDUCACIÓN SUPERIOR EN CHILE Top

Durante las dos últimas décadas del Siglo XX, el paradigma neoliberal y la implementación del Consenso de Washington transformaron el rol del Estado en la educación superior en América Latina (Edwards, 1995Edwards, S. (1995). Crisis and reform in Latin America: From despair to hope. Oxford University Press; New York, 380 p.). En este contexto, por ejemplo, los países latinoamericanos comenzaron a implementar políticas que propendieron a generar estabilidad macroeconómica y la reducción del rol del Estado, transformaciones que modificaron la tarea tradicional de planificación estatal en áreas como educación, salud, previsión social, etc. (Edwards, 1995Edwards, S. (1995). Crisis and reform in Latin America: From despair to hope. Oxford University Press; New York, 380 p.; Gauri, 1998Gauri, V. (1998). School Choice in Chile: Two Decades of Educational Reform. University of Pittsburgh Press; Pittsburgh, 147 p.; World Bank, 1992World Bank (1992). Governance and development. Banco Mundial; Washington, D.C, 69 p.).

Esta nueva manera de entender el rol del Estado se implementó a través de modelos de administración descentralizados, cuyo objetivo fue entregar más poder a las instituciones intermedias y reducir la intervención directa del gobierno central (Kai, 2009Kai, J. (2009). A Critical Analysis of Accountability in Higher Education. Chinese Education & Society, 42 (2), 39-51. http://doi.org/10.2753/CED1061-1932420204.; Ranson, 2003Ranson, S. (2003). Public accountability in the age of neolliberal governance. Journal Education Policy, 18 (5), 459-480. https://doi.org/10.1080/0268093032000124848.). Sin embargo, esta mayor autonomía estuvo vinculada a una mayor presión por el cumplimiento de indicadores, ante lo cual los gobiernos implementaron estándares de desempeño que permitieran evaluar la calidad de los servicios prestados por los organismos públicos (Hoecht, 2006Hoecht, A. (2006). Quality assurance in UK higher education: Issues of trust, control, professional autonomy and accountability. Higher Education, 51 (4), 541-563. http://doi.org/10.1007/s10734-004-2533-2.; Hood, 1995Hood, C. (1995). The “New Public Management” in the 1980s: variations on a theme. Accounting, Organizations and Society, 20 (2-3), 93-109. https://doi.org/10.1016/0361-3682(93)E0001-W.; Olssen y Peters, 2005Olssen, M.; Peters, M. A. (2005). Neoliberalism, higher education and the knowledge economy: from the free market to knowledge capitalism. Journal of Education Policy, 20 (3), 313-345. http://doi.org/10.1080/02680930500108718.; Sztompka, 1993Sztompka, P. (1993). Civilizational incompetence: The trap of post-communist societies. Zeitschrift Für Soziologie, 22 (2), 85-95. https://doi.org/10.1515/zfsoz-1993-0201.).

En las décadas de 1960 y 1970 el Estado cumplió un rol central en la asignación de recursos y la administración de las universidades estatales[1], papel que cambió durante la década de 1980 y principios de los 90 con la implementación de la reforma neoliberal en la región, donde las universidades ganaron autonomía sobre el gobierno central, pero su financiamiento se vio cada vez más supeditado al cumplimiento de indicadores de desempeño (Buela-Casal y otros, 2007Buela-Casal, G.; Gutiérrez-Martínez, O.; Bermúdez-Sánchez, M. P.; Vadillo-Muñoz, O. (2007). Comparative study of international academic rankings of universities. Scientometrics, 71 (3), 349-365. http://doi.org/10.1007/s11192-007-1653-8.; Harvey y Newton, 2004Harvey, L.; Newton, J. (2004). Transforming quality evaluation. Quality in Higher Education, 10 (2), 149-165. https://doi.org/10.1080/1353832042000230635.). Estos indicadores permitieron a los gobiernos clasificar a las universidades y evaluar su productividad, asumiendo que al ser medidas por indicadores claros y objetivos, y recibir premios o castigos asociados al cumplimiento de estos, las universidades tendrían incentivos para mejorar su calidad y eficiencia (Arocena y Sutz, 2001Arocena, R.; Sutz, J. (2001). Changing knowledge production and Latin American universities. Research Policy, 30 (8), 1221-1234. http://doi.org/10.1016/S0048-7333(00)00143-8.; Haertel y Herman, 2005Haertel, E.; Herman, J. (2005). A Historical Perspective on Validity Arguments for Accountability Testing. National Center for Research on Evaluation; Los Angeles, CA, 38 p.; Jacob, 2005Jacob, B. (2005). Accountability, incentives and behavior: the impact of high-stakes testing in the Chicago Public Schools. Journal of Public Economics, 89 (5–6), 761-796. https://doi.org/10.1016/j.jpubeco.2004.08.004.).

Chile fue el primer país en la región en implementar este tipo de reformas, modelo que ha servido como referente a otros países latinoamericanos (Torres y Schugurensky, 2002Torres, C. A.; Schugurensky, D. (2002). The political economy of higher education in the era of neoliberal globalization: Latin America in comparative perspective. Higher Education, 43 (4), 429-455. http://doi.org/10.1023/A:1015292413037.; Weyland, 1999Weyland, K. (1999). Economic Policy in Chile’s New Democracy. Journal of Interamerican Studies and World Affairs, 41 (3), 67-93. https://doi.org/10.2307/166159.). Bajo el régimen militar, en 1981 Chile implementó una profunda reforma de la educación superior que modificó radicalmente el rol de Estado y el papel de las universidades (Arocena y Sutz, 2001Arocena, R.; Sutz, J. (2001). Changing knowledge production and Latin American universities. Research Policy, 30 (8), 1221-1234. http://doi.org/10.1016/S0048-7333(00)00143-8.; Schiefelbein, 1990Schiefelbein, E. (1990). Chile: Economic incentives in higher education. Higher Education Policy, 3 (3), 21-26. https://doi.org/10.1057/hep.1990.41.; Torche, 2005Torche, F. (2005). Privatization Reform and Inequality of Educational Opportunity. Sociology of Education, 78 (4), 316-343. https://doi.org/10.1177/003804070507800403.). El sistema fue diseñado, entre otros aspectos, para generar mayor competencia entre las universidades por financiamiento estatal, para lo cual el gobierno militar definió indicadores de desempeño cuya finalidad fue evaluar el quehacer de las universidades públicas o con vocación pública (Manríquez y otros, 2015Manríquez, P.; Mendoza, D.; Ramírez, K. (2015). Relación entre el aporte fiscal directo, la calidad del cuerpo docente y la producción cientíca de las instituciones pertenecientes al Consejo de Rectores de las universidades chilenas. Ran, 1 (1), 39-52.). El paquete de reformas neoliberales fue implementado durante los 17 años del régimen militar (1973-1990), produciendo una transformación radical del sistema educativo chileno, lo que trajo consigo la desestructuración de un concepto de universidad estatal (Silva, 1991Silva, P. (1991). Technocrats and Politics in Chile: from the Chicago Boys to the CIEPLAN Monks. Journal of Latin American Studies, 23 (2), 385-410. https://doi.org/10.1017/S0022216X00014048.; Torche, 2005Torche, F. (2005). Privatization Reform and Inequality of Educational Opportunity. Sociology of Education, 78 (4), 316-343. https://doi.org/10.1177/003804070507800403.).

El rediseño del sistema de educación superior estableció como objetivos prioritarios para este nuevo modelo: (a) aumentar el acceso, (b) diversificar el sistema y (c) incentivar la competencia entre las universidades (Manríquez y otros, 2015Manríquez, P.; Mendoza, D.; Ramírez, K. (2015). Relación entre el aporte fiscal directo, la calidad del cuerpo docente y la producción cientíca de las instituciones pertenecientes al Consejo de Rectores de las universidades chilenas. Ran, 1 (1), 39-52.). Así, en 1981 se promulgó el Decreto Fuerza de Ley (DFL) Nº 4, y en 1988, el artículo 50 de la ley 18.768 que modificó el DFL Nº4, el cual definió el actual mecanismo de financiamiento de las universidades del CRUCH compuesta por 16 universidades estatales y 9 universidades privadas con vocación pública (Bernasconi y Rojas, 2004Bernasconi, A.; Rojas, R. C. (2004). Informe sobre la educación superior en Chile, 1980-2003. Editorial Universitaria; Santiago de Chile, 205 p.).

El sistema modeló, a través de la competencia y el autofinanciamiento, una nueva relación entre el Estado y las instituciones de educación superior. Para ello se estableció el Aporte Fiscal Directo (en adelante AFD), el cual se distribuye entre las universidades del CRUCH de acuerdo al patrón histórico de repartición de recursos entre las universidades, y el Aporte Fiscal Indirecto (en adelante AFI), introducido a modo de incentivo y premio a la calidad, y que se reparte entre las instituciones de educación superior en proporción al número de alumnos de primer año matriculados con los más altos puntajes en el test nacional estandarizado de ingreso a la universidad (Contraloría General de la República, 2015Contraloría General de la República (2015). Financiamiento Fiscal a la Educación Superior. Gobierno de Chile; Santiago de Chile, 93 p.).

En relación al aporte total (100%) del AFD, éste se desglosa en un 95% que es otorgado de acuerdo a criterios históricos, y un 5% de acuerdo con indicadores de desempeño anuales (Mecesup, 2016Mecesup (2016). Aporte Fiscal Directo. http://www.mecesup.cl/index2.php?id_seccion=4963&id_portal=59&id_contenido=28082 [Fecha de Consulta 11 de Agosto de 2016].).

Tabla I. Fórmula específica para asignar el 5% de los recursos del Aporte Fiscal Directo (AFD) [Descargar tamaño completo]

Por lo tanto, el reparto del 5% del AFD, que es complemento del 95% que se otorga según criterios históricos, está supeditado a la posición que cada institución ocupa en el ranking de indicadores de desempeño y éste se ha transformado en el único camino que siguen las universidad para validarse y asegurar su financiamiento (Bernasconi y Rojas, 2004Bernasconi, A.; Rojas, R. C. (2004). Informe sobre la educación superior en Chile, 1980-2003. Editorial Universitaria; Santiago de Chile, 205 p.). De hecho, el financiamiento entregado a través del AFD ha tenido un crecimiento sostenido desde 1995 (OCDE, 2009OCDE (2009). La Educación Superior en Chile. Santiago. http://www7.uc.cl/webpuc/piloto/pdf/informe_OECD.pdf [Fecha de Consulta 7 de noviembre de 2016].). Así por ejemplo, el año 2015 las universidades del CRUCH repartieron 15,3 millones de dólares asociados al ranking de los indicadores de desempeño (Mineduc, 2015Mineduc (2015). Decreto 121. División Jurídica. http://www.mecesup.cl/usuarios/MECESUP/File/2015/AFD/DEC121_5AFD_cruch.pdf [Fecha de Consulta 29 de Agosto de 2016].).

El objetivo de los indicadores de desempeño ha sido mejorar la calidad de las universidades a través de la introducción de la competencia (González y Espinoza, 2008González, L.; Espinoza, Ó. (2008). Calidad en la educación superior: concepto y modelos. Calidad en la Educación, 28, 244-276.). Entre los indicadores más relevantes, dada la ponderación que posee (35%), se encuentra el índice de productividad que se expresa en el “número de publicaciones indexadas / número de profesores JCE” (ver Tabla I). Este índice tiene como finalidad evaluar y comparar la calidad de las universidades (Testa, 2001Testa, J. (2001). La base de datos del ISI y su proceso de selección de revistas. Acimed, 9, 138-140.).

La producción científica de las instituciones de educación superior, representada por el número de publicaciones en revistas indexadas, no sólo es relevante para el incentivo económico asociado al AFD, sino también para sus académicos. Las universidades consideran el número de publicaciones indexadas para jerarquizar su plantilla académica, siendo el nivel de productividad de los académicos un elemento central para la selección de proyectos de investigación con financiamiento estatal. Los incentivos financieros asociados al AFD, así como la mayor presión que tienen los investigadores, han aumentado el número de publicaciones en revistas indexadas. Por ejemplo, si sólo tomamos en consideración aquellos artículos en revistas de la Web of Science (en adelante WOS) de las universidades del CRUCH, entre el periodo 2000-2015, el número aumenta de 1.745 a 8.886 publicaciones (CONICYT, 2016Conicyt (2016). Publicaciones consideradas en AFD (Universidades CRUCH) WOS y SCIELO 200-2015. http://www.conicyt.cl/blog/2015/01/articulos-acusados-para-afd-2000-2015/ [Fecha de Consulta 23 de octubre de 2016].).

El modelo que se ha operacionalizado a través de los indicadores de desempeño del AFD, es esencialmente el mismo que implementó el régimen militar en 1981. Aunque han existido modificaciones, éstas no han transformado esencialmente el mecanismo de financiamiento de las universidades públicas o con vocación pública en Chile. Para este caso, el índice de productividad toma el número total (valor absoluto) de publicaciones y las divide por el número total de académicos JCE, no asignando criterios de calidad que pudieran diferenciar y cualificar la producción académica por áreas del conocimiento, el número de autores de las publicaciones, el autor intelectual del proyecto o diferenciando los artículos de las notas, discusiones, correcciones, revisiones (reviews), proceeding paper y cartas. Visibilizar este problema reviste importancia a la hora de la medición, asignación de recursos y comparación de la productividad científica nacional como internacional. Por ejemplo, una universidad podría mejorar su índice de productividad aunque sus académicos fueran sólo autores secundarios de proyectos de otras universidades.

Es por ello que es necesario revisar el actual sistema de estimación del índice de productividad, pues actualmente las universidades y académicos pueden tener incentivos para aumentar la producción científica, pero no necesariamente para mejorar la calidad de la investigación que realizan. Lo anterior reviste importancia, dado que este fue uno de los objetivos centrales de la implementación del AFD y la creación de los indicadores de desempeños en 1981.

3. METODOLOGÍA Y DATOS Top

El diseño metodológico que adopta esta investigación es de tipo cuantitativo, de corte transversal y utiliza estadística descriptiva e inferencial para responder las preguntas de investigación. Se utilizó estadística descriptiva para detallar la relación entre producción científica y el número de autores por publicación, autores principales, factores de impacto y áreas del conocimiento. Además, se utilizaron modelos de regresión múltiple para estimar si existen diferencias estadísticamente significativas entre la calidad de las publicaciones, medidas por el factor de impacto, desarrolladas por las universidades del CRUCH.

En relación a los datos, utilizamos The International Standard Serial Number (ISSN), número único de identificación de ocho dígitos que identifica cada revista para unir InCites^TM Journal Citation Reports^© con Web of Science^TM Core Collection. En cambio, para unir las bases de datos sobre financiamiento y académicos, utilizamos el nombre de cada universidad, lo que permitió construir una base única que incluyo información sobre publicaciones, revistas, financiamiento, áreas del conocimiento y número de académicos para cada una de las universidades pertenecientes al CRUCH.

Para definir al autor principal de cada uno de las publicaciones, asignamos primero a los autores de correspondencia y en aquellos casos en que no existía información, se asignó al primer autor.

En relación al área del conocimiento a la que pertenece cada publicación, WOS posee 252 áreas en las que clasifica las publicaciones de sus revistas. Este estudio agrupó las categorías WOS en las categorías definidas por la OCDE, de modo que fuera posible comparar la productividad entre las universidades y entre las distintas áreas del conocimiento, las que fueron clasificadas en: “Ciencias Naturales”, “Ingeniería y Tecnología”, “Medicina y Ciencias de la Salud”, “Ciencias de la Agricultura”, “Ciencias Sociales” y “Humanidades”. Para definir el área principal de conocimiento a la cual pertenecía la publicación, se asignó aquella categoría que más se repitió entre las clasificaciones OCDE y en caso de existir empate entre las categorías que clasifican la publicación, se asignó la categoría que apareciera primera en el orden de clasificación.

Para determinar si existían diferencias significativas en la calidad de las publicaciones de las universidades del CRUCH el año 2015, se utilizaron tablas de frecuencias para describir la relación entre las variables de interés y modelos de regresión múltiple, donde la variable dependiente fue el factor de impacto promedio en los últimos 5 años de la revista en que se publicó la investigación. Los factores de impacto se estandarizaron por área del conocimiento a puntajes z.

donde x_i representa el factor de impacto de la publicación, µ es el valor promedio de los factores de impacto del área de conocimiento de la publicación, y σ representa la desviación estándar de los factores de impacto del área de conocimiento a la que pertenece la publicación. En cuanto a los modelos de regresión múltiple, se desarrolló uno para cada área del conocimiento; seis en total.

En cuanto a las variables independientes del modelo, éstas fueron el número de autores, el autor principal, la universidad de procedencia y el idioma en que fue escrita la publicación. De este modo testeamos la existencia de diferencias significativas en relación a la calidad de las publicaciones que realizaron las universidades del CRUCH por áreas del conocimiento.

En el amplio rango de los trabajos que se publican, estimar el promedio de autores por áreas del conocimiento puede resultar engañosa, dada la existencia de algunos valores atípicos. Por lo tanto, se definieron como valores atípicos aquellas publicaciones cuyo número de autores se encuentra por sobre tres desviaciones estándar de la media, pues en una distribución normal el 99.7% de los datos se encuentran por debajo de este umbral. Utilizando esta técnica, se identificaron 223 casos como datos atípicos, donde 221 provenían de las “Ciencias Naturales” y 2 de “Ingeniería y Tecnología”.

Los datos que se utilizaron en esta investigación provienen de las siguientes fuentes:

1. Publicaciones: La fuente primaria de datos de esta investigación proviene de la Web of Science^TM Core Collection. Se levantó información sobre las publicaciones de las universidades del CRUCH durante el año 2015 y se incluyeron en la base de datos aquellas publicaciones aceptadas por el Ministerio de Educación de Chile (en adelante MINEDUC). Para estimar el índice de productividad, MINEDUC considera como producción científica 7 tipos de publicaciones, las cuales son artículos, notas, discusiones, correcciones, revisiones (reviews), proceeding paper y cartas, que se encuentren indexadas en la base de datos WOS[2]. MINEDUC no considera, por lo tanto se excluyen, aquellas publicaciones presentes en Emerging Sources Citation Index (ESCI).

   Así, la base de datos incluyó 10.377 publicaciones de las 25 universidades del CRUCH, e información sobre los autores de la publicación, título de la publicación, revista, autor de correspondencia, idioma, afiliación institucional de los autores, ISSN y categorías de clasificación WOS. Para realizar la búsqueda de cada universidad, las cuales tienen más de un nombre de identificación, utilizamos los nombres de identificación definidos previamente por la Comisión Nacional de Investigación Científica y Tecnológica (CONICYT).

2. Revistas: La segunda fuente de información proviene de InCites^TM Journal Citation Reports de Web of Science. Esta base de datos posee 8.977 revistas y reporta información sobre el factor de impacto, el factor de impacto promedio en los últimos 5 años, el quartile, el puntaje de influencia del artículo, ISSN y el año de la publicación.

3. Financiamiento: La información sobre fuentes de financiamiento para la investigación es reportada por el Departamento de Estudios y Gestión Estratégica (DEGE) de CONICYT[3]. Se seleccionaron aquellos proyectos que incluyeron el año 2015 y se dividió el monto total por el número de años del proyecto, donde el monto promedio por año fue asignado al año 2015. Ver Tabla II.

4. Académicos: El número total de académicos JCE por universidad es reportado por el Consejo Nacional de Educación (CNE). Se seleccionó el número de académicos informados por las 25 universidades del CRUCH para el año 2015, los cuales ascienden a 28.244, y cuya distribución por universidad es reportada en la Tabla III.

Tabla II. Distribución de fondos concursables del Ministerio de Educación. Año 2015 [Descargar tamaño completo]

Tabla III. Número de publicaciones WOS y académicos con Jornada Completa Equivalente (JCE) por universidad. Año 2015 [Descargar tamaño completo]

4. ANÁLISIS Y RESULTADOS Top

El año 2015 las 25 universidades del CRUCH publicaron 10.377 documentos en la Web of Science (WOS). La mitad de esta producción fue generada por la Universidad de Chile (UChile) con 2.500 publicaciones y la Pontificia Universidad Católica de Chile (PUC) con 2.614 publicaciones. A su vez, ambas universidades recibieron el 52,4% del financiamiento que entregó el MINEDUC a través de fondos concursales, como son el Fondo Nacional de Financiamiento de Centros de Investigación en Áreas Prioritarias (en adelante FONDAP), el Fondo Nacional de Desarrollo Científico y Tecnológico (en adelante FONDECYT), el Fondo Nacional de Investigación y Desarrollo en Salud (en adelante FONIS), y el Fondo de Equipamiento Científico y Tecnológico (en adelante FONDEQUIP) (ver Figura 1).

La Figura 1 muestra la relación de la productividad científica, los autores principales de las publicaciones y el financiamiento que recibieron las universidades del CRUCH para investigación a través de fondos concursables. Si seleccionamos las universidades con mayor producción científica en Chile[4], podemos observar que los académicos de la Universidad de Chile (UChile) y Pontificia Universidad Católica (PUC) producen, como autores principales, el 42% y el 30% de los artículos. En cambio, los académicos de universidades regionales, fuera de la región metropolitana (ciudad de Santiago), como la Universidad de la Frontera (UFRO), la Universidad de Talca (UTALCA) y la Universidad Austral de Chile (UACH), producen el 56%, 55% y el 51% de sus publicaciones como autores principales.

Figura 1. Porcentaje de publicaciones por autoría (primer eje) y porcentaje de financiamiento obtenido a través de fondos concursables del MINEDUC (segundo eje). Año 2015 [Descargar tamaño completo]

Las publicaciones donde el autor principal es académico del CRUCH, tienen en promedio 4,25 autores. En cambio, cuando comparamos aquellos trabajos donde el autor principal no pertenece a universidades del CRUCH, es decir, cuando los académicos del CRUCH participan sólo como investigadores secundarios, el promedio se eleva a 8,56 autores. Así también, el año 2015 existieron 208 publicaciones con más de 500 autores. Este dato es relevante, pues un académico del CRUCH puede ser el autor secundario número 500 en un artículo y este trabajo tendrá el mismo peso que una publicación de autoría única en el cálculo del índice de productividad.

La Figura 2 muestra el número de publicaciones por áreas del conocimiento, donde las “Ciencias Naturales” producen un total de 5.119 trabajos (50%), “Medicina y Ciencias de la Salud” 2.129 (20%), “Ingeniería y Tecnología” 997 (10%), “Ciencias Sociales” 934 (9%), “Ciencias de la Agricultura” 630 (6%) y “Humanidades” 501 publicaciones (5%). Como en el caso anterior, la productividad es coherente con el financiamiento entregado a través de fondos concursales del MINEDUC (FONDAP, FONDECYT, FONIS y FONDEQUIP), en el cual “Ciencias Naturales” obtiene el 42,6% del financiamiento, “Medicina y Ciencias de la Salud” 15%, “Ingeniería y Tecnología” 14,3%, “Ciencias Sociales” 13,5%, “Ciencias Agrícolas” 9,3%, y “Humanidades” 5,5%[5].

Figura 2. Número de publicaciones por área del conocimiento (primer eje) y porcentaje de financiamiento obtenido a través de fondos concursables del MINEDUC (segundo eje). Año 2015 [Descargar tamaño completo]

Dada la actual forma de estimación del índice de productividad, las universidades tienen mayores incentivos para focalizar su producción en “Ciencias Naturales” e “Ingeniería y Tecnología”, pues estas áreas del conocimiento no sólo reciben un mayor financiamiento por parte del MINEDUC, sino que también sus académicos trabajan en mayor proporción como investigadores secundarios en proyectos de otras universidades, cooperación que no se da en tal magnitud en áreas como “Ciencias Sociales” o “Humanidades”. De hecho, el número promedio de autores por artículos, sin considerar los datos atípicos, en “Ciencias Naturales” es de 8,02 autores, 7,83 autores en “Medicina, y Ciencias de la Salud”, 5,08 en “Ingeniería y Tecnología”, 5,04 autores en “Ciencias de la Agricultura”, 3,32 en “Ciencias Sociales” y 1,75 en “Humanidades”.

En el modelo presentado, el actual índice de productividad pondera a todas las publicaciones exactamente igual y no las diferencia por el factor de impacto de las revistas donde se publican. Esto podría tener repercusiones en la calidad de la investigación que se realiza, pues aquellos investigadores que generan investigaciones de alto impacto, y cuyos reportes son publicados en revistas prestigiosas, no tienen un incentivo directo definido por el actual sistema. Sin embargo, las comparaciones de los factores de impacto entre distintas áreas del conocimiento pueden llevar a confusión, pues las escalas son diferentes y no necesariamente comparables entre sí.

Dado lo anterior, se transformaron los factores de impacto a puntajes z por áreas del conocimiento, a fin de hacer comparables las escalas entre las distintas áreas. La Figura 3 muestra los puntajes no estandarizados y estandarizados (valores z) de los factores de impacto del total de publicaciones en “Ciencias Naturales” y “Ciencias Sociales”. Los resultados muestran que las diferencias entre los factores no estandarizados entre “Ciencias Naturales” y “Ciencias Sociales” son en promedio de 1,6 puntos (3,12 vs 1,54). Sin embargo, al utilizar valores estandarizados, las diferencias iniciales se reducen a 0,05 desviaciones estándar en promedio. Como muestra la Figura 3, en el caso de 8 universidades, la diferencia se revierte, es decir, para estas instituciones los factores de impacto estandarizados de sus publicaciones son más altos para “Ciencias Sociales” que para “Ciencias Naturales”.

Figura 3. Factores de impacto de Ciencias Naturales y Ciencias Sociales utilizando valores estandarizados (valores z) y no estandarizados. Año 2015 [Descargar tamaño completo]

Lo expuesto en los párrafos anteriores es relevante, pues si el MINEDUC tiene como objetivo no sólo mejorar la cantidad, sino también la calidad de las investigaciones realizadas por las universidades públicas y con vocación pública en Chile, las publicaciones debieran ser ponderadas diferenciadamente por el factor de impacto de las revistas donde se publican. Sin embargo, estos factores debieran ser estandarizados por áreas del conocimiento, pues tal como se expuso previamente, el uso de factores de impacto no estandarizados puede llevar a errores.

En esta misma línea de argumentación, al evaluar la existencia de diferencias entre las universidades de CRUCH en relación a la calidad de la investigación que desarrollan por áreas del conocimiento, la Tabla IV muestra los coeficientes de 6 modelos de regresión, uno por cada área del conocimiento, y cuya variable dependiente son los puntajes z de los factores de impacto, siendo las variables independientes la universidad de origen del artículo, el autor principal, número de autores y el idioma en que fue publicado el artículo. Los resultados muestran, que más allá de algunos casos puntuales, no existen diferencias estadísticamente significativas (p<0,05) entre las universidades del CRUCH en los factores de impacto en “Ciencias Sociales”, “Humanidades”, “Medicina y Ciencias de la Salud” y “Ciencias de la Agricultura”. Sin embargo, los resultados muestran que existen diferencias entre la calidad de las publicaciones, expresadas en los factores de impacto, que producen las universidades en dos áreas del conocimiento: “Ciencias Naturales” e “Ingeniería y Tecnología”.

En el caso de “Ciencias Naturales”, universidades como la Pontifica Universidad Católica de Chile (PUC), Universidad de Chile (UChile), Universidad de Concepción (UDEC) y Universidad de Valparaíso (UVALP), presentan coeficientes positivos y estadísticamente significativos (p<0,05). Es decir, estas cuatro universidades presentan factores de impacto asociados a sus publicaciones en “Ciencias Naturales” que son superiores al resto de las universidades que pertenecen al CRUCH, y estas diferencias son estadísticamente significativas.

En relación a “Ingeniería y Tecnología”, la Universidad de Antofagasta (UAntof), Universidad de Chile (UChile), Universidad de Concepción (UDEC), Universidad Federico Santa María (UFSM), Universidad de Talca (UTalca), Universidad Austral de Chile (UACH) y la Universidad de Santiago (USACH) presentan coeficientes positivos y estadísticamente significativos (p<0,05). Es decir, estas siete universidades presentan factores de impacto asociados a sus publicaciones en “Ingeniería y Tecnología” que son superiores al resto de las universidades que pertenecen al CRUCH, y estas diferencias son estadísticamente significativas. Ver Tabla IV.

Tabla IV. El efecto de la universidad en los factores de impacto (valores z) de las publicaciones WOS por áreas del conocimiento. Año 2015 [Descargar tamaño completo]

5. CONCLUSIONES Top

Las reformas neoliberales han llevado a la transformación de la relación entre el Estado y la educación superior y han introducido los principios de competencia, eficiencia y autofinanciamiento. Para ello, los gobiernos han diseñado una serie de indicadores de desempeño que han tenido como propósito clasificar y evaluar a las universidades de acuerdo al nivel de logro en estos indicadores, donde se espera que los incentivos económicos asociados a la posición de cada universidad en el ranking de indicadores de desempeño hicieran que estas mejoraran su calidad y eficiencia.

Uno de los argumentos a favor de la implementación de los sistemas de desempeño es que las instituciones regidas por un sistema de estándares objetivos y medibles tenderían a mejorar la calidad del servicio que prestan y facilitarían a líderes políticos y público en general a evaluar su quehacer (Rabovsky, 2012Rabovsky, T. M. (2012). Accountability in higher education: Exploring impacts on state budgets and institutional spending patterns. Journal of Public Administration Research and Theory, 22 (4), 675-700. http://doi.org/10.1093/jopart/mur069.). En cambio, sus críticos han planteado que el cumplimiento de ciertos objetivos, asociados a sanciones o premios por parte del gobierno, puede generar distorsiones en la misión de las agencias públicas, impactando negativamente su función (Burgess y Ratto, 2003Burgess, S.; Ratto, M. (2003). The Role of Incentives in the Public Sector: Issues and Evidence. Oxford Review Economic Policy, 19 (2), 285-300.; Campbell, 1979Campbell, D. (1979). Assessing the impact of planned social change. Evaluation and Program Planning, 2 (1), 67-90. https://doi.org/10.1016/0149-7189(79)90048-X.; Dixit, 2002Dixit, A. (2002). Incentives and Organizations in the Public Sector An Interpretative. Journal of Human Resources, 37 (4), 696-727. https://doi.org/10.2307/3069614.).

El objetivo de esta investigación fue analizar las consecuencias no deseadas del uso no cualificado de las publicaciones indexadas como indicador de productividad y su efecto sobre la equidad financiera de las universidades y áreas del conocimiento. En consecuencia, en una sociedad del conocimiento que pone en tensión y presiona a las instituciones de educación superior a dar cuenta de cuan eficientes y eficaces son en su labor, se obtuvieron las siguientes conclusiones que se ejemplifican en el caso chileno.

Primero, la no diferenciación y cualificación de las publicaciones, es decir, asumir una publicación como valor absoluto, pone en evidencia las diferencias que existen entre universidades sobre la autoría de su producción científica. Por ejemplo, entre las 10 universidades de mayor producción científica en Chile, las universidades tradicionales, más complejas, con mayores recursos y dotación de personal, generan conocimiento principalmente a través de proyectos donde sus académicos son autores secundarios en las publicaciones. En cambio, las universidades con menores redes de cooperación, menos personal académico y menos recursos, sus académicos publican como autores principales la mayoría de sus trabajos.

Segundo, podemos observar que el trabajo colaborativo, el cual es altamente relevante en una sociedad del conocimiento global, lleva a no valorar y relevar de la misma forma las ideas, proyectos y publicaciones propias. Para el caso de Chile, esto se ve graficado cuando en términos absolutos tiene el mismo peso un artículo de autoría única o un artículo de 500 autores. Además, la no distinción del número de autores de las publicaciones favorece a académicos vinculados a áreas de Ciencia y Tecnología, pues estos pueden aumentar con mayor facilidad su productividad asociándose a proyectos de otras universidades, situación que es más difícil de igualar en áreas como Ciencias Sociales o Humanidades. Por ejemplo, el año 2015 el número de autores promedio por publicación en WOS de las universidades del CRUCH fue de 8,02 autores en “Ciencias Naturales” versus 3,32 autores en “Ciencias Sociales”.

Tercero, la calidad de las publicaciones tienden a variar de acuerdo a áreas del conocimiento y entre universidades. La mayoría de las instituciones de educación superior en el mundo entregan incentivos económicos y no económicos asociados a los factores de impacto de las publicaciones, sin embargo, se hace necesario estandarizar estos factores para hacerlos comparables entre áreas del conocimiento. Para el caso estudiado, por ejemplo, las diferencias en los factores de impacto entre “Ciencias Naturales” y “Ciencias Sociales” es de 1,6 puntos (3,12 vs 1,54), pero al utilizar los factores de impacto estandarizados (valores z) esta diferencia se reduce a sólo 0,05 desviaciones estándar. Así, el uso de factores de impacto no estandarizados dificultaría incentivar adecuadamente la calidad de las publicaciones entre áreas del conocimiento. Por otra parte, al comparar la calidad de la producción científica entre universidades, encontramos diferencias significativas (p<0,05) en relación a la calidad de las publicaciones en sólo dos áreas del conocimiento: “Ciencias Naturales” e “Ingeniería y Tecnología”.

Por último, para dar cuenta de la función de la ciencia, el papel de las universidades, la calidad de su producción científica y su legitimación, se hacen necesarias fórmulas que permitan diferenciar y cualificar el trabajo académico y lograr reconocer e incentivar la producción en distintas áreas del conocimiento. Para ello, se requiere de una ponderación diferenciada de acuerdo al número de autores de las publicaciones, autores principales y factores de impacto estandarizados para comparar la calidad de la producción científica por áreas del conocimiento. Todo esto permitiría que se cumpliese un principio de igualdad en la asignación del financiamiento y el resguardo de la calidad en el quehacer científico de las instituciones de educación superior.

6. NOTAS Top

7. REFERENCIASTop