<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD Journal Publishing DTD v3.0 20080202//EN" "http://dtd.nlm.nih.gov/publishing/3.0/journalpublishing3.dtd">
<article article-type="research-article" dtd-version="3.0" xml:lang="es" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink">
	
	<front>
		
		<journal-meta>
			<journal-id journal-id-type="publisher-id">REDC</journal-id>
			<journal-title-group>
				<journal-title>Revista Espa&#x00F1;ola de Documentaci&#x00F3;n Cient&#x00ED;fica</journal-title>
				<abbrev-journal-title>Rev. Esp. Doc. Cient.</abbrev-journal-title>
			</journal-title-group>
			<issn pub-type="ppub">0210-0614</issn>
			<issn pub-type="epub">1988-4621</issn>
			<publisher>
				<publisher-name>Consejo Superior de Investigaciones Cient&#x00ED;ficas</publisher-name>
			</publisher>
		</journal-meta>
		
		<article-meta>
			<article-id pub-id-type="publisher-id">redc.2018.1.1447</article-id>
			<article-id pub-id-type="doi">10.3989/redc.2018.1.1447</article-id>
			
			<article-categories>
				<subj-group subj-group-type="heading">
				<subject>ESTUDIOS / RESEARCH STUDIES</subject>
				</subj-group>
			</article-categories>
			
			<title-group>
				<article-title>Producci&#x00F3;n cient&#x00ED;fica en Chile: las limitaciones del uso de indicadores de desempe&#x00F1;o para evaluar las universidades p&#x00FA;blicas</article-title>
				<trans-title-group xml:lang="en">
				<trans-title>Scientific output in Chile: limitations in the use of performance indicators to evaluate public universities</trans-title>
				</trans-title-group>
				<alt-title alt-title-type="running-head">Producci&#x00F3;n cient&#x00ED;fica en Chile: las limitaciones del uso de indicadores de desempe&#x00F1;o para evaluar las universidades p&#x00FA;blicas</alt-title>
			</title-group>
			
			<contrib-group>
		
				<contrib contrib-type="author" corresp="yes">
					<name>
					 <surname>Quezada-Hofflinger</surname>
					 <given-names>&#x00C1;lvaro</given-names>
					</name>
					<xref ref-type="aff" rid="U1"/>
					<xref ref-type="corresp" rid="cor1"/>
				</contrib>
				
				<contrib contrib-type="author" corresp="yes">
					<name>
					 <surname>Vallejos-Romero</surname>
					 <given-names>Arturo</given-names>
					</name>
					<xref ref-type="aff" rid="U2"/>
					<xref ref-type="corresp" rid="cor2"/>
				</contrib>
			</contrib-group>
				
			<aff id="U1">N&#x00FA;cleo de Investigaci&#x00F3;n en Ciencias Sociales y Humanidades, Universidad de La Frontera, Chile</aff>
			<aff id="U2">Departamento de Ciencias Sociales, N&#x00FA;cleo de Investigaci&#x00F3;n en Ciencias Sociales y Humanidades, Universidad de La Frontera, Chile</aff>
		
			<author-notes>
				<corresp id="cor1">e-mail: <email xlink:href="alvaro.quezada@ufrontera.cl">alvaro.quezada@ufrontera.cl</email>
					ORCID iD: <ext-link ext-link-type="uri" xlink:href="https://orcid.org/0000-0002-1231-9911">https://orcid.org/0000-0002-1231-9911</ext-link>
				</corresp>
				
				<corresp id="cor2">e-mail: <email xlink:href="arturo.vallejos@ufrontera.cl">arturo.vallejos@ufrontera.cl</email>
					ORCID iD: <ext-link ext-link-type="uri" xlink:href="https://orcid.org/0000-0002-0393-7275">https://orcid.org/0000-0002-0393-7275</ext-link>
				</corresp>

			</author-notes>

			<pub-date pub-type="epub">
				<day>31</day>
				<month>03</month>
				<year>2018</year>
			</pub-date>

			<pub-date pub-type="collection">
			<year>2018</year>
			</pub-date>

			<volume>41</volume>
			<issue>1</issue>

			<elocation-id>e195</elocation-id>

			<history>

				<date date-type="received">
					<day>13</day>
					<month>12</month>
					<year>2016</year>
				</date>
				<date date-type="rev-recd1">
					<day>06</day>
					<month>05</month>
					<year>2017</year>
				</date>
				<date date-type="rev-recd2">
					<day>05</day>
					<month>06</month>
					<year>2017</year>
				</date>
				<date date-type="accepted">
					<day>07</day>
					<month>06</month>
					<year>2017</year>
				</date>
			</history>

			<permissions>
				<copyright-statement>&#x00A9; 2018 CSIC</copyright-statement>
				<copyright-year>2018</copyright-year>
				<license license-type="open-access" xlink:href="http://creativecommons.org/licenses/by/3.0/es/deed.en">
					<license-p>Este es un art&#x00ED;culo de acceso abierto distribuido bajo los t&#x00E9;rminos de la licencia Creative Commons Reconocimiento 4.0 Internacional (CC BY 4.0).</license-p>
				</license>
			</permissions>


			<abstract xml:lang="es">
			<title>RESUMEN</title>
			<p>El a&#x00F1;o 2015 las 25 universidades del Consejo de Rectores (CRUCH) recibieron $15.3 millones de d&#x00F3;lares como incentivo, dinero que estuvo supeditado a la posici&#x00F3;n que ocuparon en el ranking de indicadores de desempe&#x00F1;o. El indicador con mayor peso es el &#x00ED;ndice de productividad (35%), que representa la proporci&#x00F3;n entre el n&#x00FA;mero de publicaciones indexadas dividido por el n&#x00FA;mero de acad&#x00E9;micos que posee la universidad. Expresado el indicador como valor absoluto, &#x00E9;ste no diferencia las publicaciones por &#x00E1;reas, calidad o generaci&#x00F3;n propia de conocimiento. Ante la falta de cualificaci&#x00F3;n y diferenciaci&#x00F3;n de la producci&#x00F3;n cient&#x00ED;fica en Chile, esta investigaci&#x00F3;n analiza 10.377 documentos publicados en la <italic>Web of Science</italic> (WOS) por las universidades del CRUCH el a&#x00F1;o 2015 y su objetivo fue explorar las consecuencias no deseadas del uso no diferenciado de las publicaciones indexadas como indicador de productividad y su efecto sobre la equidad financiera de las universidades y &#x00E1;reas del conocimiento.</p>
			</abstract>
		
			<trans-abstract xml:lang="en">
			<title>ABSTRACT</title>
			<p>In 2015, the 25 universities that are members of the association of public universities (CRUCH) received $15.3 million as a reward for performance. The money that each university received depended on its position in the ranking of performance indicators. The performance indicator with the highest weight is the index of productivity (35%), which represents the ratio between the number of indexed publications divided by the number of academics at each university. This index does not distinguish publications by areas of knowledge, by quality or by intellectual author. Because of this, the index has been criticized as an unfair way to rank universities. To study this, we analyze10.377 papers indexed in the Web of Science by CRUCH universities in 2015. Our objective is to study the unintended consequences of the use of indexed publications as an indicator of productivity and estimate its impact on finance equity among universities and topics.</p>
			</trans-abstract>

			<kwd-group xml:lang="es">
				<title>PALABRAS CLAVE</title> 
				<kwd>Universidades p&#x00FA;blicas</kwd>
				<kwd>financiamiento universitario</kwd>
				<kwd>indicadores de productividad</kwd>
			</kwd-group>

			<kwd-group xml:lang="en"> 
				<title>KEYWORDS</title> 
				<kwd>Public universities</kwd>
				<kwd>higher education finance</kwd>
				<kwd>productivity indicators</kwd>
			</kwd-group>

		</article-meta>
	</front>

	<body>

		<sec id="S1">
			<title>1. INTRODUCCI&#x00D3;N</title>

			<p>En la sociedad del conocimiento uno de los pilares fundamentales para el desarrollo social y econ&#x00F3;mico de los pa&#x00ED;ses es la investigaci&#x00F3;n, siendo clave para cumplir dicha funci&#x00F3;n instituciones como las universidades (Mohrman y otros, <xref ref-type="bibr" rid="CIT26">2008</xref>), las cuales han debido adaptarse a los nuevos requerimientos que plantea la sociedad del siglo XXI, as&#x00ED; como mejorar su eficiencia, competitividad, desempe&#x00F1;o y el uso racional de sus recursos para dar cuenta de su misi&#x00F3;n (Kai, <xref ref-type="bibr" rid="CIT19">2009</xref>; Marginson, <xref ref-type="bibr" rid="CIT21">1998</xref>; Olssen y Peters, <xref ref-type="bibr" rid="CIT30">2005</xref>; Palomares-Montero y otros, <xref ref-type="bibr" rid="CIT32">2008</xref>).</p>

			<p>En este contexto, diversos pa&#x00ED;ses han desarrollado sistemas de aseguramiento de la calidad o sistemas de rendici&#x00F3;n de cuentas que permitan a los gobiernos evaluar el quehacer de las instituciones de educaci&#x00F3;n superior (Davies y Thomas, <xref ref-type="bibr" rid="CIT08">2002</xref>; Neave, <xref ref-type="bibr" rid="CIT28">2001</xref>; Power, <xref ref-type="bibr" rid="CIT33">1997</xref>; Rabovsky, <xref ref-type="bibr" rid="CIT34">2012</xref>; Saravanamuthu y Tinker, <xref ref-type="bibr" rid="CIT36">2002</xref>; Saunders, <xref ref-type="bibr" rid="CIT37">2010</xref>; Seshan y Jain, <xref ref-type="bibr" rid="CIT39">2011</xref>; Shore, <xref ref-type="bibr" rid="CIT40">2010</xref>; Suspitsyna, <xref ref-type="bibr" rid="CIT42">2010</xref>; Torres y Schugurensky, <xref ref-type="bibr" rid="CIT47">2002</xref>). As&#x00ED; por ejemplo, en Europa se han desarrollado sistemas de indicadores de desempe&#x00F1;o vinculados a tasas de retenci&#x00F3;n de estudiantes, graduaci&#x00F3;n, productividad cient&#x00ED;fica de sus acad&#x00E9;micos, inserci&#x00F3;n laboral de los titulados, entre otros, (McLendon y otros, <xref ref-type="bibr" rid="CIT22">2006</xref>; Molas-Gallart y otros, <xref ref-type="bibr" rid="CIT27">2002</xref>; Saunders, <xref ref-type="bibr" rid="CIT37">2010</xref>; Suspitsyna, <xref ref-type="bibr" rid="CIT42">2010</xref>). En este sentido, la tendencia de los gobiernos a evaluar a las universidades a trav&#x00E9;s de una serie de criterios de desempe&#x00F1;o es un fen&#x00F3;meno global, sum&#x00E1;ndose a esta tendencia pa&#x00ED;ses como Inglaterra (Hoecht, <xref ref-type="bibr" rid="CIT16">2006</xref>), Espa&#x00F1;a (Palomares-Montero y otros, <xref ref-type="bibr" rid="CIT32">2008</xref>), India (Seshan y Jain, <xref ref-type="bibr" rid="CIT39">2011</xref>), Nueva Zelandia (Shore, <xref ref-type="bibr" rid="CIT40">2010</xref>) y pa&#x00ED;ses latinoamericanos (Ordorika y Lloyd, <xref ref-type="bibr" rid="CIT31">2013</xref>; Torres y Schugurensky, <xref ref-type="bibr" rid="CIT47">2002</xref>).</p>

			<p>Uno de los argumentos a favor de la implementaci&#x00F3;n de los sistemas de desempe&#x00F1;o, es que las instituciones regidas por un sistema de est&#x00E1;ndares objetivos y medibles mejorar&#x00ED;an la calidad del servicio que prestan y facilitar&#x00ED;an a los l&#x00ED;deres pol&#x00ED;ticos, y el p&#x00FA;blico en general, evaluar su quehacer (Rabovsky, <xref ref-type="bibr" rid="CIT34">2012</xref>). En cambio, sus cr&#x00ED;ticos plantean que el cumplimiento de ciertos objetivos, asociados a sanciones o premios, puede generar distorsiones en la misi&#x00F3;n de las agencias p&#x00FA;blicas, impactando negativamente en la funci&#x00F3;n y el trabajo de estas instituciones (Burgess y Ratto, <xref ref-type="bibr" rid="CIT04">2003</xref>; Campbell, <xref ref-type="bibr" rid="CIT05">1979</xref>; Dixit, <xref ref-type="bibr" rid="CIT10">2002</xref>).</p>

			<p>Ante el problema descrito, la presente investigaci&#x00F3;n se focaliza en Chile, el primer pa&#x00ED;s latinoamericano en implementar un sistema de desempe&#x00F1;o para evaluar las instituciones de educaci&#x00F3;n superior (1981), y analiza las externalidades negativas del uso del &#x00ED;ndice de productividad para clasificar a las universidades, el cual representa la proporci&#x00F3;n entre el “n&#x00FA;mero de publicaciones en revistas indexadas” y el “n&#x00FA;mero de acad&#x00E9;micos con jornada completa equivalente (en adelante JCE)” de las universidades p&#x00FA;blicas o con vocaci&#x00F3;n p&#x00FA;blica agrupadas en el Consejo de Rectores (en adelante CRUCH).</p>

			<p>El sistema chileno utiliza el valor absoluto de las publicaciones que producen las universidades y no diferencia la producci&#x00F3;n cient&#x00ED;fica por el n&#x00FA;mero de autores de las publicaciones, sus autores principales, los factores de impacto y las revistas donde se publican. Por lo tanto, el uso del &#x00ED;ndice de productividad no cualificado o diferenciado estar&#x00ED;a generando efectos no deseados en la asignaci&#x00F3;n de recursos a las universidades y la focalizaci&#x00F3;n de esfuerzos en ciertas &#x00E1;reas del conocimiento, en desmedro de otras.</p>

			<p>En tal sentido, este estudio plantea las siguientes preguntas de investigaci&#x00F3;n: (a) ¿cu&#x00E1;l es el nivel de productividad cient&#x00ED;fica de las universidades del CRUCH?, (b) ¿el actual &#x00ED;ndice de productividad genera incentivos para el mejoramiento de la calidad de la producci&#x00F3;n cient&#x00ED;fica? y (c) ¿cu&#x00E1;les son las externalidades negativas del uso no diferenciado de la producci&#x00F3;n cient&#x00ED;fica en la clasificaci&#x00F3;n de las universidades chilenas?</p>

			<p>Esta discusi&#x00F3;n es relevante en el contexto del debate internacional sobre el uso de indicadores de desempe&#x00F1;o para evaluar la calidad y eficiencia de las instituciones de educaci&#x00F3;n superior. En particular, en el caso chileno, esta investigaci&#x00F3;n muestra las limitaciones del actual &#x00ED;ndice de productividad utilizado para clasificar las universidades p&#x00FA;blicas y con vocaci&#x00F3;n p&#x00FA;blica.</p>

		</sec>
		
		<sec id="S2">
			<title>2. IMPLEMENTACI&#x00D3;N DEL MODELO: NEOLIBERALISMO Y EDUCACI&#x00D3;N SUPERIOR EN CHILE</title>

			<p>Durante las dos &#x00FA;ltimas d&#x00E9;cadas del Siglo XX, el paradigma neoliberal y la implementaci&#x00F3;n del Consenso de Washington transformaron el rol del Estado en la educaci&#x00F3;n superior en Am&#x00E9;rica Latina (Edwards, <xref ref-type="bibr" rid="CIT11">1995</xref>). En este contexto, por ejemplo, los pa&#x00ED;ses latinoamericanos comenzaron a implementar pol&#x00ED;ticas que propendieron a generar estabilidad macroecon&#x00F3;mica y la reducci&#x00F3;n del rol del Estado, transformaciones que modificaron la tarea tradicional de planificaci&#x00F3;n estatal en &#x00E1;reas como educaci&#x00F3;n, salud, previsi&#x00F3;n social, etc. (Edwards, <xref ref-type="bibr" rid="CIT11">1995</xref>; Gauri, <xref ref-type="bibr" rid="CIT12">1998</xref>; World Bank, <xref ref-type="bibr" rid="CIT50">1992</xref>).</p>

			<p>Esta nueva manera de entender el rol del Estado se implement&#x00F3; a trav&#x00E9;s de modelos de administraci&#x00F3;n descentralizados, cuyo objetivo fue entregar m&#x00E1;s poder a las instituciones intermedias y reducir la intervenci&#x00F3;n directa del gobierno central (Kai, <xref ref-type="bibr" rid="CIT19">2009</xref>; Ranson, <xref ref-type="bibr" rid="CIT35">2003</xref>). Sin embargo, esta mayor autonom&#x00ED;a estuvo vinculada a una mayor presi&#x00F3;n por el cumplimiento de indicadores, ante lo cual los gobiernos implementaron est&#x00E1;ndares de desempe&#x00F1;o que permitieran evaluar la calidad de los servicios prestados por los organismos p&#x00FA;blicos (Hoecht, <xref ref-type="bibr" rid="CIT16">2006</xref>; Hood, <xref ref-type="bibr" rid="CIT17">1995</xref>; Olssen y Peters, <xref ref-type="bibr" rid="CIT30">2005</xref>; Sztompka, <xref ref-type="bibr" rid="CIT43">1993</xref>).</p>

			<p>En las d&#x00E9;cadas de 1960 y 1970 el Estado cumpli&#x00F3; un rol central en la asignaci&#x00F3;n de recursos y la administraci&#x00F3;n de las universidades estatales<xref ref-type="fn" rid="NOTE1">1</xref>, papel que cambi&#x00F3; durante la d&#x00E9;cada de 1980 y principios de los 90 con la implementaci&#x00F3;n de la reforma neoliberal en la regi&#x00F3;n, donde las universidades ganaron autonom&#x00ED;a sobre el gobierno central, pero su financiamiento se vio cada vez m&#x00E1;s supeditado al cumplimiento de indicadores de desempe&#x00F1;o (Buela-Casal y otros, <xref ref-type="bibr" rid="CIT03">2007</xref>; Harvey y Newton, <xref ref-type="bibr" rid="CIT15">2004</xref>). Estos indicadores permitieron a los gobiernos clasificar a las universidades y evaluar su productividad, asumiendo que al ser medidas por indicadores claros y objetivos, y recibir premios o castigos asociados al cumplimiento de estos, las universidades tendr&#x00ED;an incentivos para mejorar su calidad y eficiencia (Arocena y Sutz, <xref ref-type="bibr" rid="CIT01">2001</xref>; Haertel y Herman, <xref ref-type="bibr" rid="CIT14">2005</xref>; Jacob, <xref ref-type="bibr" rid="CIT18">2005</xref>).</p>

			<p>Chile fue el primer pa&#x00ED;s en la regi&#x00F3;n en implementar este tipo de reformas, modelo que ha servido como referente a otros pa&#x00ED;ses latinoamericanos (Torres y Schugurensky, <xref ref-type="bibr" rid="CIT47">2002</xref>; Weyland, <xref ref-type="bibr" rid="CIT49">1999</xref>). Bajo el r&#x00E9;gimen militar, en 1981 Chile implement&#x00F3; una profunda reforma de la educaci&#x00F3;n superior que modific&#x00F3; radicalmente el rol de Estado y el papel de las universidades (Arocena y Sutz, <xref ref-type="bibr" rid="CIT01">2001</xref>; Schiefelbein, <xref ref-type="bibr" rid="CIT38">1990</xref>; Torche, <xref ref-type="bibr" rid="CIT46">2005</xref>). El sistema fue dise&#x00F1;ado, entre otros aspectos, para generar mayor competencia entre las universidades por financiamiento estatal, para lo cual el gobierno militar defini&#x00F3; indicadores de desempe&#x00F1;o cuya finalidad fue evaluar el quehacer de las universidades p&#x00FA;blicas o con vocaci&#x00F3;n p&#x00FA;blica (Manr&#x00ED;quez y otros, <xref ref-type="bibr" rid="CIT20">2015</xref>). El paquete de reformas neoliberales fue implementado durante los 17 a&#x00F1;os del r&#x00E9;gimen militar (1973-1990), produciendo una transformaci&#x00F3;n radical del sistema educativo chileno, lo que trajo consigo la desestructuraci&#x00F3;n de un concepto de universidad estatal (Silva, <xref ref-type="bibr" rid="CIT41">1991</xref>; Torche, <xref ref-type="bibr" rid="CIT46">2005</xref>).</p>

			<p>El redise&#x00F1;o del sistema de educaci&#x00F3;n superior estableci&#x00F3; como objetivos prioritarios para este nuevo modelo: (a) aumentar el acceso, (b) diversificar el sistema y (c) incentivar la competencia entre las universidades (Manr&#x00ED;quez y otros, <xref ref-type="bibr" rid="CIT20">2015</xref>). As&#x00ED;, en 1981 se promulg&#x00F3; el Decreto Fuerza de Ley (DFL) Nº 4, y en 1988, el art&#x00ED;culo 50 de la ley 18.768 que modific&#x00F3; el DFL Nº4, el cual defini&#x00F3; el actual mecanismo de financiamiento de las universidades del CRUCH compuesta por 16 universidades estatales y 9 universidades privadas con vocaci&#x00F3;n p&#x00FA;blica (Bernasconi y Rojas, <xref ref-type="bibr" rid="CIT02">2004</xref>).</p>

			<p>El sistema model&#x00F3;, a trav&#x00E9;s de la competencia y el autofinanciamiento, una nueva relaci&#x00F3;n entre el Estado y las instituciones de educaci&#x00F3;n superior. Para ello se estableci&#x00F3; el Aporte Fiscal Directo (en adelante AFD), el cual se distribuye entre las universidades del CRUCH de acuerdo al patr&#x00F3;n hist&#x00F3;rico de repartici&#x00F3;n de recursos entre las universidades, y el Aporte Fiscal Indirecto (en adelante AFI), introducido a modo de incentivo y premio a la calidad, y que se reparte entre las instituciones de educaci&#x00F3;n superior en proporci&#x00F3;n al n&#x00FA;mero de alumnos de primer a&#x00F1;o matriculados con los m&#x00E1;s altos puntajes en el test nacional estandarizado de ingreso a la universidad (Contralor&#x00ED;a General de la Rep&#x00FA;blica, <xref ref-type="bibr" rid="CIT07">2015</xref>).</p>

			<p>En relaci&#x00F3;n al aporte total (100%) del AFD, &#x00E9;ste se desglosa en un 95% que es otorgado de acuerdo a criterios hist&#x00F3;ricos, y un 5% de acuerdo con indicadores de desempe&#x00F1;o anuales (Mecesup, <xref ref-type="bibr" rid="CIT23">2016</xref>).</p>
			
						<fig id="T1">
							<label>Tabla I</label>
							<caption>
								<title>F&#x00F3;rmula espec&#x00ED;fica para asignar el 5% de los recursos del Aporte Fiscal Directo (AFD)</title>
							</caption>
							<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/T1.jpg"/>
						</fig>

			<p>Por lo tanto, el reparto del 5% del AFD, que es complemento del 95% que se otorga seg&#x00FA;n criterios hist&#x00F3;ricos, est&#x00E1; supeditado a la posici&#x00F3;n que cada instituci&#x00F3;n ocupa en el ranking de indicadores de desempe&#x00F1;o y &#x00E9;ste se ha transformado en el &#x00FA;nico camino que siguen las universidad para validarse y asegurar su financiamiento (Bernasconi y Rojas, <xref ref-type="bibr" rid="CIT02">2004</xref>). De hecho, el financiamiento entregado a trav&#x00E9;s del AFD ha tenido un crecimiento sostenido desde 1995 (OCDE, <xref ref-type="bibr" rid="CIT29">2009</xref>). As&#x00ED; por ejemplo, el a&#x00F1;o 2015 las universidades del CRUCH repartieron 15,3 millones de d&#x00F3;lares asociados al ranking de los indicadores de desempe&#x00F1;o (Mineduc, <xref ref-type="bibr" rid="CIT24">2015</xref>).</p>

			<p>El objetivo de los indicadores de desempe&#x00F1;o ha sido mejorar la calidad de las universidades a trav&#x00E9;s de la introducci&#x00F3;n de la competencia (Gonz&#x00E1;lez y Espinoza, <xref ref-type="bibr" rid="CIT13">2008</xref>). Entre los indicadores m&#x00E1;s relevantes, dada la ponderaci&#x00F3;n que posee (35%), se encuentra el &#x00ED;ndice de productividad que se expresa en el “n&#x00FA;mero de publicaciones indexadas / n&#x00FA;mero de profesores JCE” (ver <xref ref-type="table" rid="T1">Tabla I</xref>). Este &#x00ED;ndice tiene como finalidad evaluar y comparar la calidad de las universidades (Testa, <xref ref-type="bibr" rid="CIT44">2001</xref>).</p>

			<p>La producci&#x00F3;n cient&#x00ED;fica de las instituciones de educaci&#x00F3;n superior, representada por el n&#x00FA;mero de publicaciones en revistas indexadas, no s&#x00F3;lo es relevante para el incentivo econ&#x00F3;mico asociado al AFD, sino tambi&#x00E9;n para sus acad&#x00E9;micos. Las universidades consideran el n&#x00FA;mero de publicaciones indexadas para jerarquizar su plantilla acad&#x00E9;mica, siendo el nivel de productividad de los acad&#x00E9;micos un elemento central para la selecci&#x00F3;n de proyectos de investigaci&#x00F3;n con financiamiento estatal. Los incentivos financieros asociados al AFD, as&#x00ED; como la mayor presi&#x00F3;n que tienen los investigadores, han aumentado el n&#x00FA;mero de publicaciones en revistas indexadas. Por ejemplo, si s&#x00F3;lo tomamos en consideraci&#x00F3;n aquellos art&#x00ED;culos en revistas de la <italic>Web of Science</italic> (en adelante WOS) de las universidades del CRUCH, entre el periodo 2000-2015, el n&#x00FA;mero aumenta de 1.745 a 8.886 publicaciones (CONICYT, <xref ref-type="bibr" rid="CIT06">2016</xref>).</p>

			<p>El modelo que se ha operacionalizado a trav&#x00E9;s de los indicadores de desempe&#x00F1;o del AFD, es esencialmente el mismo que implement&#x00F3; el r&#x00E9;gimen militar en 1981. Aunque han existido modificaciones, &#x00E9;stas no han transformado esencialmente el mecanismo de financiamiento de las universidades p&#x00FA;blicas o con vocaci&#x00F3;n p&#x00FA;blica en Chile. Para este caso, el &#x00ED;ndice de productividad toma el n&#x00FA;mero total (valor absoluto) de publicaciones y las divide por el n&#x00FA;mero total de acad&#x00E9;micos JCE, no asignando criterios de calidad que pudieran diferenciar y cualificar la producci&#x00F3;n acad&#x00E9;mica por &#x00E1;reas del conocimiento, el n&#x00FA;mero de autores de las publicaciones, el autor intelectual del proyecto o diferenciando los art&#x00ED;culos de las notas, discusiones, correcciones, revisiones (reviews), proceeding paper y cartas. Visibilizar este problema reviste importancia a la hora de la medici&#x00F3;n, asignaci&#x00F3;n de recursos y comparaci&#x00F3;n de la productividad cient&#x00ED;fica nacional como internacional. Por ejemplo, una universidad podr&#x00ED;a mejorar su &#x00ED;ndice de productividad aunque sus acad&#x00E9;micos fueran s&#x00F3;lo autores secundarios de proyectos de otras universidades.</p>

			<p>Es por ello que es necesario revisar el actual sistema de estimaci&#x00F3;n del &#x00ED;ndice de productividad, pues actualmente las universidades y acad&#x00E9;micos pueden tener incentivos para aumentar la producci&#x00F3;n cient&#x00ED;fica, pero no necesariamente para mejorar la calidad de la investigaci&#x00F3;n que realizan. Lo anterior reviste importancia, dado que este fue uno de los objetivos centrales de la implementaci&#x00F3;n del AFD y la creaci&#x00F3;n de los indicadores de desempe&#x00F1;os en 1981.</p>

		</sec>
		
		<sec id="S3">
			<title>3. METODOLOG&#x00CD;A Y DATOS</title>

			<p>El dise&#x00F1;o metodol&#x00F3;gico que adopta esta investigaci&#x00F3;n es de tipo cuantitativo, de corte transversal y utiliza estad&#x00ED;stica descriptiva e inferencial para responder las preguntas de investigaci&#x00F3;n. Se utiliz&#x00F3; estad&#x00ED;stica descriptiva para detallar la relaci&#x00F3;n entre producci&#x00F3;n cient&#x00ED;fica y el n&#x00FA;mero de autores por publicaci&#x00F3;n, autores principales, factores de impacto y &#x00E1;reas del conocimiento. Adem&#x00E1;s, se utilizaron modelos de regresi&#x00F3;n m&#x00FA;ltiple para estimar si existen diferencias estad&#x00ED;sticamente significativas entre la calidad de las publicaciones, medidas por el factor de impacto, desarrolladas por las universidades del CRUCH.</p>

			<p>En relaci&#x00F3;n a los datos, utilizamos The International Standard Serial Number (ISSN), n&#x00FA;mero &#x00FA;nico de identificaci&#x00F3;n de ocho d&#x00ED;gitos que identifica cada revista para unir InCites<sup>TM</sup> Journal Citation Reports<sup>©</sup> con Web of Science<sup>TM</sup> Core Collection. En cambio, para unir las bases de datos sobre financiamiento y acad&#x00E9;micos, utilizamos el nombre de cada universidad, lo que permiti&#x00F3; construir una base &#x00FA;nica que incluyo informaci&#x00F3;n sobre publicaciones, revistas, financiamiento, &#x00E1;reas del conocimiento y n&#x00FA;mero de acad&#x00E9;micos para cada una de las universidades pertenecientes al CRUCH.</p>

			<p>Para definir al autor principal de cada uno de las publicaciones, asignamos primero a los autores de correspondencia y en aquellos casos en que no exist&#x00ED;a informaci&#x00F3;n, se asign&#x00F3; al primer autor.</p>

			<p>En relaci&#x00F3;n al &#x00E1;rea del conocimiento a la que pertenece cada publicaci&#x00F3;n, WOS posee 252 &#x00E1;reas en las que clasifica las publicaciones de sus revistas. Este estudio agrup&#x00F3; las categor&#x00ED;as WOS en las categor&#x00ED;as definidas por la OCDE, de modo que fuera posible comparar la productividad entre las universidades y entre las distintas &#x00E1;reas del conocimiento, las que fueron clasificadas en: “Ciencias Naturales”, “Ingenier&#x00ED;a y Tecnolog&#x00ED;a”, “Medicina y Ciencias de la Salud”, “Ciencias de la Agricultura”, “Ciencias Sociales” y “Humanidades”. Para definir el &#x00E1;rea principal de conocimiento a la cual pertenec&#x00ED;a la publicaci&#x00F3;n, se asign&#x00F3; aquella categor&#x00ED;a que m&#x00E1;s se repiti&#x00F3; entre las clasificaciones OCDE y en caso de existir empate entre las categor&#x00ED;as que clasifican la publicaci&#x00F3;n, se asign&#x00F3; la categor&#x00ED;a que apareciera primera en el orden de clasificaci&#x00F3;n.</p>

			<p>Para determinar si exist&#x00ED;an diferencias significativas en la calidad de las publicaciones de las universidades del CRUCH el a&#x00F1;o 2015, se utilizaron tablas de frecuencias para describir la relaci&#x00F3;n entre las variables de inter&#x00E9;s y modelos de regresi&#x00F3;n m&#x00FA;ltiple, donde la variable dependiente fue el factor de impacto promedio en los &#x00FA;ltimos 5 a&#x00F1;os de la revista en que se public&#x00F3; la investigaci&#x00F3;n. Los factores de impacto se estandarizaron por &#x00E1;rea del conocimiento a puntajes z.</p>
			
							<fig id="E1">
								<label>Ecuacion 1</label>
								<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/E1.jpg"/>
							</fig>

			<p>donde <italic>x<sub>i</sub></italic> representa el factor de impacto de la publicaci&#x00F3;n, <italic>µ</italic> es el valor promedio de los factores de impacto del &#x00E1;rea de conocimiento de la publicaci&#x00F3;n, y <italic>σ</italic> representa la desviaci&#x00F3;n est&#x00E1;ndar de los factores de impacto del &#x00E1;rea de conocimiento a la que pertenece la publicaci&#x00F3;n. En cuanto a los modelos de regresi&#x00F3;n m&#x00FA;ltiple, se desarroll&#x00F3; uno para cada &#x00E1;rea del conocimiento; seis en total.</p>

			<p>En cuanto a las variables independientes del modelo, &#x00E9;stas fueron el n&#x00FA;mero de autores, el autor principal, la universidad de procedencia y el idioma en que fue escrita la publicaci&#x00F3;n. De este modo testeamos la existencia de diferencias significativas en relaci&#x00F3;n a la calidad de las publicaciones que realizaron las universidades del CRUCH por &#x00E1;reas del conocimiento.</p>

			<p>En el amplio rango de los trabajos que se publican, estimar el promedio de autores por &#x00E1;reas del conocimiento puede resultar enga&#x00F1;osa, dada la existencia de algunos valores at&#x00ED;picos. Por lo tanto, se definieron como valores at&#x00ED;picos aquellas publicaciones cuyo n&#x00FA;mero de autores se encuentra por sobre tres desviaciones est&#x00E1;ndar de la media, pues en una distribuci&#x00F3;n normal el 99.7% de los datos se encuentran por debajo de este umbral. Utilizando esta t&#x00E9;cnica, se identificaron 223 casos como datos at&#x00ED;picos, donde 221 proven&#x00ED;an de las “Ciencias Naturales” y 2 de “Ingenier&#x00ED;a y Tecnolog&#x00ED;a”.</p>

			<p>Los datos que se utilizaron en esta investigaci&#x00F3;n provienen de las siguientes fuentes:</p>
			
						<list list-type="alpha-lower">
							<list-item>
								<p><italic>Publicaciones</italic>: La fuente primaria de datos de esta investigaci&#x00F3;n proviene de la Web of Science<sup>TM</sup> Core Collection. Se levant&#x00F3; informaci&#x00F3;n sobre las publicaciones de las universidades del CRUCH durante el a&#x00F1;o 2015 y se incluyeron en la base de datos aquellas publicaciones aceptadas por el Ministerio de Educaci&#x00F3;n de Chile (en adelante MINEDUC). Para estimar el &#x00ED;ndice de productividad, MINEDUC considera como producci&#x00F3;n cient&#x00ED;fica 7 tipos de publicaciones, las cuales son art&#x00ED;culos, notas, discusiones, correcciones, revisiones (reviews), proceeding paper y cartas, que se encuentren indexadas en la base de datos WOS<xref ref-type="fn" rid="NOTE2">2</xref>. MINEDUC no considera, por lo tanto se excluyen, aquellas publicaciones presentes en Emerging Sources Citation Index (ESCI).</p>
								
								<p>As&#x00ED;, la base de datos incluy&#x00F3; 10.377 publicaciones de las 25 universidades del CRUCH, e informaci&#x00F3;n sobre los autores de la publicaci&#x00F3;n, t&#x00ED;tulo de la publicaci&#x00F3;n, revista, autor de correspondencia, idioma, afiliaci&#x00F3;n institucional de los autores, ISSN y categor&#x00ED;as de clasificaci&#x00F3;n WOS. Para realizar la b&#x00FA;squeda de cada universidad, las cuales tienen m&#x00E1;s de un nombre de identificaci&#x00F3;n, utilizamos los nombres de identificaci&#x00F3;n definidos previamente por la Comisi&#x00F3;n Nacional de Investigaci&#x00F3;n Cient&#x00ED;fica y Tecnol&#x00F3;gica (CONICYT).</p>
								
							</list-item>
							
							<list-item>
								<p><italic>Revistas</italic>: La segunda fuente de informaci&#x00F3;n proviene de InCites<sup>TM</sup> Journal Citation Reports de Web of Science. Esta base de datos posee 8.977 revistas y reporta informaci&#x00F3;n sobre el factor de impacto, el factor de impacto promedio en los &#x00FA;ltimos 5 a&#x00F1;os, el <italic>quartile</italic>, el puntaje de influencia del art&#x00ED;culo, ISSN y el a&#x00F1;o de la publicaci&#x00F3;n.</p>
							</list-item>
							
							<list-item>
								<p><italic>Financiamiento</italic>: La informaci&#x00F3;n sobre fuentes de financiamiento para la investigaci&#x00F3;n es reportada por el Departamento de Estudios y Gesti&#x00F3;n Estrat&#x00E9;gica (DEGE) de CONICYT<xref ref-type="fn" rid="NOTE3">3</xref>. Se seleccionaron aquellos proyectos que incluyeron el a&#x00F1;o 2015 y se dividi&#x00F3; el monto total por el n&#x00FA;mero de a&#x00F1;os del proyecto, donde el monto promedio por a&#x00F1;o fue asignado al a&#x00F1;o 2015. Ver <xref ref-type="table" rid="T2">Tabla II</xref>.</p>
							</list-item>
							
							<list-item>
								<p><italic>Acad&#x00E9;micos</italic>: El n&#x00FA;mero total de acad&#x00E9;micos JCE por universidad es reportado por el Consejo Nacional de Educaci&#x00F3;n (CNE). Se seleccion&#x00F3; el n&#x00FA;mero de acad&#x00E9;micos informados por las 25 universidades del CRUCH para el a&#x00F1;o 2015, los cuales ascienden a 28.244, y cuya distribuci&#x00F3;n por universidad es reportada en la <xref ref-type="table" rid="T3">Tabla III</xref>.</p>
							</list-item>
						</list>
						
						<fig id="T2">
							<label>Tabla II</label>
							<caption>
								<title>Distribuci&#x00F3;n de fondos concursables del Ministerio de Educaci&#x00F3;n. A&#x00F1;o 2015</title>
							</caption>
							<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/T2.jpg"/>
						</fig>
						
						<fig id="T3">
							<label>Tabla III</label>
							<caption>
								<title>N&#x00FA;mero de publicaciones WOS y acad&#x00E9;micos con Jornada Completa Equivalente (JCE) por universidad. A&#x00F1;o 2015</title>
							</caption>
							<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/T3.jpg"/>
						</fig>
		</sec>
			
		<sec id="S4">
			<title>4. AN&#x00C1;LISIS Y RESULTADOS</title>

			<p>El a&#x00F1;o 2015 las 25 universidades del CRUCH publicaron 10.377 documentos en la <italic>Web of Science</italic> (WOS). La mitad de esta producci&#x00F3;n fue generada por la Universidad de Chile (UChile) con 2.500 publicaciones y la Pontificia Universidad Cat&#x00F3;lica de Chile (PUC) con 2.614 publicaciones. A su vez, ambas universidades recibieron el 52,4% del financiamiento que entreg&#x00F3; el MINEDUC a trav&#x00E9;s de fondos concursales, como son el Fondo Nacional de Financiamiento de Centros de Investigaci&#x00F3;n en &#x00C1;reas Prioritarias (en adelante FONDAP), el Fondo Nacional de Desarrollo Cient&#x00ED;fico y Tecnol&#x00F3;gico (en adelante FONDECYT), el Fondo Nacional de Investigaci&#x00F3;n y Desarrollo en Salud (en adelante FONIS), y el Fondo de Equipamiento Cient&#x00ED;fico y Tecnol&#x00F3;gico (en adelante FONDEQUIP) (ver <xref ref-type="fig" rid="F1">Figura 1</xref>).</p>

			<p>La <xref ref-type="fig" rid="F1">Figura 1</xref> muestra la relaci&#x00F3;n de la productividad cient&#x00ED;fica, los autores principales de las publicaciones y el financiamiento que recibieron las universidades del CRUCH para investigaci&#x00F3;n a trav&#x00E9;s de fondos concursables. Si seleccionamos las universidades con mayor producci&#x00F3;n cient&#x00ED;fica en Chile<xref ref-type="fn" rid="NOTE4">4</xref>, podemos observar que los acad&#x00E9;micos de la Universidad de Chile (UChile) y Pontificia Universidad Cat&#x00F3;lica (PUC) producen, como autores principales, el 42% y el 30% de los art&#x00ED;culos. En cambio, los acad&#x00E9;micos de universidades regionales, fuera de la regi&#x00F3;n metropolitana (ciudad de Santiago), como la Universidad de la Frontera (UFRO), la Universidad de Talca (UTALCA) y la Universidad Austral de Chile (UACH), producen el 56%, 55% y el 51% de sus publicaciones como autores principales.</p>
			
							<fig id="F1">
								<label>Figura 1</label>
								<caption>
									<title>Porcentaje de publicaciones por autor&#x00ED;a (primer eje) y porcentaje de financiamiento obtenido a trav&#x00E9;s de fondos concursables del MINEDUC (segundo eje). A&#x00F1;o 2015</title>
								</caption>
								<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/F1.jpg"/>
							</fig>

			<p>Las publicaciones donde el autor principal es acad&#x00E9;mico del CRUCH, tienen en promedio 4,25 autores. En cambio, cuando comparamos aquellos trabajos donde el autor principal no pertenece a universidades del CRUCH, es decir, cuando los acad&#x00E9;micos del CRUCH participan s&#x00F3;lo como investigadores secundarios, el promedio se eleva a 8,56 autores. As&#x00ED; tambi&#x00E9;n, el a&#x00F1;o 2015 existieron 208 publicaciones con m&#x00E1;s de 500 autores. Este dato es relevante, pues un acad&#x00E9;mico del CRUCH puede ser el autor secundario n&#x00FA;mero 500 en un art&#x00ED;culo y este trabajo tendr&#x00E1; el mismo peso que una publicaci&#x00F3;n de autor&#x00ED;a &#x00FA;nica en el c&#x00E1;lculo del &#x00ED;ndice de productividad.</p>

			<p>La <xref ref-type="fig" rid="F2">Figura 2</xref> muestra el n&#x00FA;mero de publicaciones por &#x00E1;reas del conocimiento, donde las “Ciencias Naturales” producen un total de 5.119 trabajos (50%), “Medicina y Ciencias de la Salud” 2.129 (20%), “Ingenier&#x00ED;a y Tecnolog&#x00ED;a” 997 (10%), “Ciencias Sociales” 934 (9%), “Ciencias de la Agricultura” 630 (6%) y “Humanidades” 501 publicaciones (5%). Como en el caso anterior, la productividad es coherente con el financiamiento entregado a trav&#x00E9;s de fondos concursales del MINEDUC (FONDAP, FONDECYT, FONIS y FONDEQUIP), en el cual “Ciencias Naturales” obtiene el 42,6% del financiamiento, “Medicina y Ciencias de la Salud” 15%, “Ingenier&#x00ED;a y Tecnolog&#x00ED;a” 14,3%, “Ciencias Sociales” 13,5%, “Ciencias Agr&#x00ED;colas” 9,3%, y “Humanidades” 5,5%<xref ref-type="fn" rid="NOTE5">5</xref>.</p>
			
						<fig id="F2">
							<label>Figura 2</label>
							<caption>
								<title>N&#x00FA;mero de publicaciones por &#x00E1;rea del conocimiento (primer eje) y porcentaje de financiamiento obtenido a trav&#x00E9;s de fondos concursables del MINEDUC (segundo eje). A&#x00F1;o 2015</title>
							</caption>
							<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/F2.jpg"/>
						</fig>

			<p>Dada la actual forma de estimaci&#x00F3;n del &#x00ED;ndice de productividad, las universidades tienen mayores incentivos para focalizar su producci&#x00F3;n en “Ciencias Naturales” e “Ingenier&#x00ED;a y Tecnolog&#x00ED;a”, pues estas &#x00E1;reas del conocimiento no s&#x00F3;lo reciben un mayor financiamiento por parte del MINEDUC, sino que tambi&#x00E9;n sus acad&#x00E9;micos trabajan en mayor proporci&#x00F3;n como investigadores secundarios en proyectos de otras universidades, cooperaci&#x00F3;n que no se da en tal magnitud en &#x00E1;reas como “Ciencias Sociales” o “Humanidades”. De hecho, el n&#x00FA;mero promedio de autores por art&#x00ED;culos, sin considerar los datos at&#x00ED;picos, en “Ciencias Naturales” es de 8,02 autores, 7,83 autores en “Medicina, y Ciencias de la Salud”, 5,08 en “Ingenier&#x00ED;a y Tecnolog&#x00ED;a”, 5,04 autores en “Ciencias de la Agricultura”, 3,32 en “Ciencias Sociales” y 1,75 en “Humanidades”.</p>

			<p>En el modelo presentado, el actual &#x00ED;ndice de productividad pondera a todas las publicaciones exactamente igual y no las diferencia por el factor de impacto de las revistas donde se publican. Esto podr&#x00ED;a tener repercusiones en la calidad de la investigaci&#x00F3;n que se realiza, pues aquellos investigadores que generan investigaciones de alto impacto, y cuyos reportes son publicados en revistas prestigiosas, no tienen un incentivo directo definido por el actual sistema. Sin embargo, las comparaciones de los factores de impacto entre distintas &#x00E1;reas del conocimiento pueden llevar a confusi&#x00F3;n, pues las escalas son diferentes y no necesariamente comparables entre s&#x00ED;.</p>

			<p>Dado lo anterior, se transformaron los factores de impacto a puntajes z por &#x00E1;reas del conocimiento, a fin de hacer comparables las escalas entre las distintas &#x00E1;reas. La <xref ref-type="fig" rid="F3">Figura 3</xref> muestra los puntajes no estandarizados y estandarizados (valores z) de los factores de impacto del total de publicaciones en “Ciencias Naturales” y “Ciencias Sociales”. Los resultados muestran que las diferencias entre los factores no estandarizados entre “Ciencias Naturales” y “Ciencias Sociales” son en promedio de 1,6 puntos (3,12 vs 1,54). Sin embargo, al utilizar valores estandarizados, las diferencias iniciales se reducen a 0,05 desviaciones est&#x00E1;ndar en promedio. Como muestra la <xref ref-type="fig" rid="F3">Figura 3</xref>, en el caso de 8 universidades, la diferencia se revierte, es decir, para estas instituciones los factores de impacto estandarizados de sus publicaciones son m&#x00E1;s altos para “Ciencias Sociales” que para “Ciencias Naturales”.</p>
			
						<fig id="F3">
							<label>Figura 3</label>
							<caption>
								<title>Factores de impacto de Ciencias Naturales y Ciencias Sociales utilizando valores estandarizados (valores z) y no estandarizados. A&#x00F1;o 2015</title>
							</caption>
							<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/F3.jpg"/>
						</fig>

			<p>Lo expuesto en los p&#x00E1;rrafos anteriores es relevante, pues si el MINEDUC tiene como objetivo no s&#x00F3;lo mejorar la cantidad, sino tambi&#x00E9;n la calidad de las investigaciones realizadas por las universidades p&#x00FA;blicas y con vocaci&#x00F3;n p&#x00FA;blica en Chile, las publicaciones debieran ser ponderadas diferenciadamente por el factor de impacto de las revistas donde se publican. Sin embargo, estos factores debieran ser estandarizados por &#x00E1;reas del conocimiento, pues tal como se expuso previamente, el uso de factores de impacto no estandarizados puede llevar a errores.</p>

			<p>En esta misma l&#x00ED;nea de argumentaci&#x00F3;n, al evaluar la existencia de diferencias entre las universidades de CRUCH en relaci&#x00F3;n a la calidad de la investigaci&#x00F3;n que desarrollan por &#x00E1;reas del conocimiento, la <xref ref-type="table" rid="T4">Tabla IV</xref> muestra los coeficientes de 6 modelos de regresi&#x00F3;n, uno por cada &#x00E1;rea del conocimiento, y cuya variable dependiente son los puntajes z de los factores de impacto, siendo las variables independientes la universidad de origen del art&#x00ED;culo, el autor principal, n&#x00FA;mero de autores y el idioma en que fue publicado el art&#x00ED;culo. Los resultados muestran, que m&#x00E1;s all&#x00E1; de algunos casos puntuales, no existen diferencias estad&#x00ED;sticamente significativas (p&lt;0,05) entre las universidades del CRUCH en los factores de impacto en “Ciencias Sociales”, “Humanidades”, “Medicina y Ciencias de la Salud” y “Ciencias de la Agricultura”. Sin embargo, los resultados muestran que existen diferencias entre la calidad de las publicaciones, expresadas en los factores de impacto, que producen las universidades en dos &#x00E1;reas del conocimiento: “Ciencias Naturales” e “Ingenier&#x00ED;a y Tecnolog&#x00ED;a”.</p>

			<p>En el caso de “Ciencias Naturales”, universidades como la Pontifica Universidad Cat&#x00F3;lica de Chile (PUC), Universidad de Chile (UChile), Universidad de Concepci&#x00F3;n (UDEC) y Universidad de Valpara&#x00ED;so (UVALP), presentan coeficientes positivos y estad&#x00ED;sticamente significativos (p&lt;0,05). Es decir, estas cuatro universidades presentan factores de impacto asociados a sus publicaciones en “Ciencias Naturales” que son superiores al resto de las universidades que pertenecen al CRUCH, y estas diferencias son estad&#x00ED;sticamente significativas.</p>

			<p>En relaci&#x00F3;n a “Ingenier&#x00ED;a y Tecnolog&#x00ED;a”, la Universidad de Antofagasta (UAntof), Universidad de Chile (UChile), Universidad de Concepci&#x00F3;n (UDEC), Universidad Federico Santa Mar&#x00ED;a (UFSM), Universidad de Talca (UTalca), Universidad Austral de Chile (UACH) y la Universidad de Santiago (USACH) presentan coeficientes positivos y estad&#x00ED;sticamente significativos (p&lt;0,05). Es decir, estas siete universidades presentan factores de impacto asociados a sus publicaciones en “Ingenier&#x00ED;a y Tecnolog&#x00ED;a” que son superiores al resto de las universidades que pertenecen al CRUCH, y estas diferencias son estad&#x00ED;sticamente significativas. Ver <xref ref-type="table" rid="T4">Tabla IV</xref>.</p>
			
						<fig id="T4">
							<label>Tabla IV</label>
							<caption>
								<title>El efecto de la universidad en los factores de impacto (valores z) de las publicaciones WOS por &#x00E1;reas del conocimiento. A&#x00F1;o 2015</title>
							</caption>
							<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/T4.jpg"/>
						</fig>

		</sec>
		
		<sec id="S5">
			<title>5. CONCLUSIONES</title>

			<p>Las reformas neoliberales han llevado a la transformaci&#x00F3;n de la relaci&#x00F3;n entre el Estado y la educaci&#x00F3;n superior y han introducido los principios de competencia, eficiencia y autofinanciamiento. Para ello, los gobiernos han dise&#x00F1;ado una serie de indicadores de desempe&#x00F1;o que han tenido como prop&#x00F3;sito clasificar y evaluar a las universidades de acuerdo al nivel de logro en estos indicadores, donde se espera que los incentivos econ&#x00F3;micos asociados a la posici&#x00F3;n de cada universidad en el ranking de indicadores de desempe&#x00F1;o hicieran que estas mejoraran su calidad y eficiencia.</p>

			<p>Uno de los argumentos a favor de la implementaci&#x00F3;n de los sistemas de desempe&#x00F1;o es que las instituciones regidas por un sistema de est&#x00E1;ndares objetivos y medibles tender&#x00ED;an a mejorar la calidad del servicio que prestan y facilitar&#x00ED;an a l&#x00ED;deres pol&#x00ED;ticos y p&#x00FA;blico en general a evaluar su quehacer (Rabovsky, <xref ref-type="bibr" rid="CIT34">2012</xref>). En cambio, sus cr&#x00ED;ticos han planteado que el cumplimiento de ciertos objetivos, asociados a sanciones o premios por parte del gobierno, puede generar distorsiones en la misi&#x00F3;n de las agencias p&#x00FA;blicas, impactando negativamente su funci&#x00F3;n (Burgess y Ratto, <xref ref-type="bibr" rid="CIT04">2003</xref>; Campbell, <xref ref-type="bibr" rid="CIT05">1979</xref>; Dixit, <xref ref-type="bibr" rid="CIT10">2002</xref>).</p>

			<p>El objetivo de esta investigaci&#x00F3;n fue analizar las consecuencias no deseadas del uso no cualificado de las publicaciones indexadas como indicador de productividad y su efecto sobre la equidad financiera de las universidades y &#x00E1;reas del conocimiento. En consecuencia, en una sociedad del conocimiento que pone en tensi&#x00F3;n y presiona a las instituciones de educaci&#x00F3;n superior a dar cuenta de cuan eficientes y eficaces son en su labor, se obtuvieron las siguientes conclusiones que se ejemplifican en el caso chileno.</p>

			<p>Primero, la no diferenciaci&#x00F3;n y cualificaci&#x00F3;n de las publicaciones, es decir, asumir una publicaci&#x00F3;n como valor absoluto, pone en evidencia las diferencias que existen entre universidades sobre la autor&#x00ED;a de su producci&#x00F3;n cient&#x00ED;fica. Por ejemplo, entre las 10 universidades de mayor producci&#x00F3;n cient&#x00ED;fica en Chile, las universidades tradicionales, m&#x00E1;s complejas, con mayores recursos y dotaci&#x00F3;n de personal, generan conocimiento principalmente a trav&#x00E9;s de proyectos donde sus acad&#x00E9;micos son autores secundarios en las publicaciones. En cambio, las universidades con menores redes de cooperaci&#x00F3;n, menos personal acad&#x00E9;mico y menos recursos, sus acad&#x00E9;micos publican como autores principales la mayor&#x00ED;a de sus trabajos.</p>

			<p>Segundo, podemos observar que el trabajo colaborativo, el cual es altamente relevante en una sociedad del conocimiento global, lleva a no valorar y relevar de la misma forma las ideas, proyectos y publicaciones propias. Para el caso de Chile, esto se ve graficado cuando en t&#x00E9;rminos absolutos tiene el mismo peso un art&#x00ED;culo de autor&#x00ED;a &#x00FA;nica o un art&#x00ED;culo de 500 autores. Adem&#x00E1;s, la no distinci&#x00F3;n del n&#x00FA;mero de autores de las publicaciones favorece a acad&#x00E9;micos vinculados a &#x00E1;reas de Ciencia y Tecnolog&#x00ED;a, pues estos pueden aumentar con mayor facilidad su productividad asoci&#x00E1;ndose a proyectos de otras universidades, situaci&#x00F3;n que es m&#x00E1;s dif&#x00ED;cil de igualar en &#x00E1;reas como Ciencias Sociales o Humanidades. Por ejemplo, el a&#x00F1;o 2015 el n&#x00FA;mero de autores promedio por publicaci&#x00F3;n en WOS de las universidades del CRUCH fue de 8,02 autores en “Ciencias Naturales” versus 3,32 autores en “Ciencias Sociales”.</p>

			<p>Tercero, la calidad de las publicaciones tienden a variar de acuerdo a &#x00E1;reas del conocimiento y entre universidades. La mayor&#x00ED;a de las instituciones de educaci&#x00F3;n superior en el mundo entregan incentivos econ&#x00F3;micos y no econ&#x00F3;micos asociados a los factores de impacto de las publicaciones, sin embargo, se hace necesario estandarizar estos factores para hacerlos comparables entre &#x00E1;reas del conocimiento. Para el caso estudiado, por ejemplo, las diferencias en los factores de impacto entre “Ciencias Naturales” y “Ciencias Sociales” es de 1,6 puntos (3,12 vs 1,54), pero al utilizar los factores de impacto estandarizados (valores z) esta diferencia se reduce a s&#x00F3;lo 0,05 desviaciones est&#x00E1;ndar. As&#x00ED;, el uso de factores de impacto no estandarizados dificultar&#x00ED;a incentivar adecuadamente la calidad de las publicaciones entre &#x00E1;reas del conocimiento. Por otra parte, al comparar la calidad de la producci&#x00F3;n cient&#x00ED;fica entre universidades, encontramos diferencias significativas (p&lt;0,05) en relaci&#x00F3;n a la calidad de las publicaciones en s&#x00F3;lo dos &#x00E1;reas del conocimiento: “Ciencias Naturales” e “Ingenier&#x00ED;a y Tecnolog&#x00ED;a”.</p>

			<p>Por &#x00FA;ltimo, para dar cuenta de la funci&#x00F3;n de la ciencia, el papel de las universidades, la calidad de su producci&#x00F3;n cient&#x00ED;fica y su legitimaci&#x00F3;n, se hacen necesarias f&#x00F3;rmulas que permitan diferenciar y cualificar el trabajo acad&#x00E9;mico y lograr reconocer e incentivar la producci&#x00F3;n en distintas &#x00E1;reas del conocimiento. Para ello, se requiere de una ponderaci&#x00F3;n diferenciada de acuerdo al n&#x00FA;mero de autores de las publicaciones, autores principales y factores de impacto estandarizados para comparar la calidad de la producci&#x00F3;n cient&#x00ED;fica por &#x00E1;reas del conocimiento. Todo esto permitir&#x00ED;a que se cumpliese un principio de igualdad en la asignaci&#x00F3;n del financiamiento y el resguardo de la calidad en el quehacer cient&#x00ED;fico de las instituciones de educaci&#x00F3;n superior.</p>					
		</sec>
			

	</body>

	
	<back>

		<sec id="notas">
			<title>6. NOTAS</title>
		
			<fn-group>
		
				<fn id="NOTE1"><label>1</label>
					<p>Las universidades son organizaciones con m&#x00E1;s de una funci&#x00F3;n y deben responder a diferentes actores, donde cada uno de ellos posee diferentes demandas e intereses (Dixit, <xref ref-type="bibr" rid="CIT09">1997</xref>, <xref ref-type="bibr" rid="CIT10">2002</xref>; Wallace y Rafols, <xref ref-type="bibr" rid="CIT48">2015</xref>).</p>
				</fn>
				
								
				<fn id="NOTE2"><label>2</label>
					<p>El Gobierno de Chile, a trav&#x00E9;s del MINEDUC, considera 7 tipos de publicaciones para asignar financiamiento a las universidades, donde el 95% de la producci&#x00F3;n cient&#x00ED;fica de las universidades del CRUCH son art&#x00ED;culos y s&#x00F3;lo el 5% corresponde a notas, discusiones, correcciones, revisiones (reviews), proceeding paper o cartas. Para el caso analizado se utilizan los 7 tipos de publicaciones, pero para comparar la producci&#x00F3;n cient&#x00ED;fica de Chile con otros pa&#x00ED;ses, se deber&#x00ED;a considerar s&#x00F3;lo art&#x00ED;culos cient&#x00ED;ficos, pues esto permitir&#x00ED;a usar datos comparables en relaci&#x00F3;n a n&#x00FA;mero de autores, factores de impactos, n&#x00FA;mero de citas, etc.</p>
				</fn>
				
				<fn id="NOTE3"><label>3</label>
					<p>Base de Datos: Personas y Proyectos adjudicados FONDAP, 1998-2013 / Base de Datos: Personas y Proyectos adjudicados FONDECYT, 2000-2014 / Tablas: Personas y Proyectos adjudicados FONIS, 2004-2013 / Tablas: Personas y Proyectos adjudicados FONDEQUIP, 2012-2013.</p>
				</fn>
				
				<fn id="NOTE4"><label>4</label>
					<p>PUC (Pontificia Universidad Cat&#x00F3;lica de Chile), UChile (Universidad de Chile), UDEC (Universidad de Concepci&#x00F3;n), USACH (Universidad de Santiago), UFSM (Universidad Federico Santa Mar&#x00ED;a), UACH (Universidad de Austral de Chile), PUCV (Pontificia Universidad Cat&#x00F3;lica de Valpara&#x00ED;so), UFRO (Universidad de la Frontera), UVALP (Universidad de Valpara&#x00ED;so) y UTALCA (Universidad de Talca).</p>
				</fn>
				
				<fn id="NOTE5"><label>5</label>
					<p>El porcentaje de revistas por &#x00E1;reas del conocimiento tambi&#x00E9;n favorece a &#x00E1;reas vinculadas a la ciencia y tecnolog&#x00ED;a, pues, a modo de ejemplo, si tomamos la base de datos de Journal Citation Report (WOS), encontramos que las revistas en “Ciencias Naturales” representan el 38,3%, el 34,1 % “Medicina y Ciencias de la Salud”, el 17,9% “Ingenier&#x00ED;a y Tecnolog&#x00ED;a”, “Ciencias Agricultura” 5,5 % y el 4,2 % “Ciencias Sociales”. Adem&#x00E1;s, “Humanidades” est&#x00E1; menos representada en WOS que otras &#x00E1;reas del conocimiento, pues sus acad&#x00E9;micos publican mayoritariamente libros o cap&#x00ED;tulos de libros (Thelwall y Delgado, <xref ref-type="bibr" rid="CIT45">2015</xref>).</p>
				</fn>
				
			</fn-group>
		</sec>
	
	
	
		<ref-list>
			<title>7. REFERENCIAS</title>

			<ref id="CIT01">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Arocena</surname>
					  <given-names>R.</given-names>
				  </name>
				  <name>
					  <surname>Sutz</surname>
					  <given-names>J.</given-names>	  
				  </name>
			  </person-group>
			  <year>2001</year>
			  <article-title>Changing knowledge production and Latin American universities</article-title>
			  <source>Research Policy</source>
			  <volume>30</volume>
			  <issue>8</issue>
			  <fpage>1221</fpage>
			  <lpage>1234</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://doi.org/10.1016/S0048-7333(00)00143-8">http://doi.org/10.1016/S0048-7333(00)00143-8</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT02"> 
			<element-citation publication-type="report">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Bernasconi</surname>
					  <given-names>A.</given-names>	  
				  </name>
				  <name>
					  <surname>Rojas</surname>
					  <given-names>R. C.</given-names>	  
				  </name>
			  </person-group>
			  <year>2004</year>
			  <source>Informe sobre la educaci&#x00F3;n superior en Chile, 1980-2003</source>
			  <publisher-loc>Santiago de Chile</publisher-loc>
			  <publisher-name>Editorial Universitaria</publisher-name>
			  <size units="page">205</size>
			</element-citation>
			</ref>

			<ref id="CIT03">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Buela-Casal</surname>
					  <given-names>G.</given-names>	  
				  </name>
				  <name>
					  <surname>Guti&#x00E9;rrez-Mart&#x00ED;nez</surname>
					  <given-names>O.</given-names>	  
				  </name>
				  <name>
					  <surname>Berm&#x00FA;dez-S&#x00E1;nchez</surname>
					  <given-names>M. P.</given-names>	  
				  </name>
				  <name>
					  <surname>Vadillo-Mu&#x00F1;oz</surname>
					  <given-names>O.</given-names>	  
				  </name>
			  </person-group>
			  <year>2007</year>
			  <article-title>Comparative study of international academic rankings of universities</article-title>
			  <source>Scientometrics</source>
			  <volume>71</volume>
			  <issue>3</issue>
			  <fpage>349</fpage>
			  <lpage>365</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://doi.org/10.1007/s11192-007-1653-8">http://doi.org/10.1007/s11192-007-1653-8</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT04">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Burgess</surname>
					  <given-names>S.</given-names>	  
				  </name>
				  <name>
					  <surname>Ratto</surname>
					  <given-names>M.</given-names>	  
				  </name>
			  </person-group>
			  <year>2003</year>
			  <article-title>The Role of Incentives in the Public Sector: Issues and Evidence</article-title>
			  <source>Oxford Review Economic Policy</source>
			  <volume>19</volume>
			  <issue>2</issue>
			  <fpage>285</fpage>
			  <lpage>300</lpage>
			</element-citation>
			</ref>

			<ref id="CIT05">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Campbell</surname>
					  <given-names>D.</given-names>	  
				  </name>
			  </person-group>
			  <year>1979</year>
			  <article-title>Assessing the impact of planned social change</article-title>
			  <source>Evaluation and Program Planning</source>
			  <volume>2</volume>
			  <issue>1</issue>
			  <fpage>67</fpage>
			  <lpage>90</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1016/0149-7189(79)90048-X">https://doi.org/10.1016/0149-7189(79)90048-X</ext-link></comment>  
			</element-citation>
			</ref>

			<ref id="CIT06">
			<element-citation publication-type="webpage">
			<collab>Conicyt</collab>
			  <year>2016</year>
			  <article-title>Publicaciones consideradas en AFD (Universidades CRUCH) WOS y SCIELO 200-2015</article-title>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://www.conicyt.cl/blog/2015/01/articulos-acusados-para-afd-2000-2015/">http://www.conicyt.cl/blog/2015/01/articulos-acusados-para-afd-2000-2015/</ext-link></comment>
			  <date-in-citation content-type="access-date">[Fecha de Consulta 23 de octubre de 2016]</date-in-citation>
			</element-citation>
			</ref>

			<ref id="CIT07">
			<element-citation publication-type="report">
			  <collab>Contralor&#x00ED;a General de la Rep&#x00FA;blica</collab>
			  <year>2015</year>
			  <source>Financiamiento Fiscal a la Educaci&#x00F3;n Superior</source>
			  <publisher-loc>Santiago de Chile</publisher-loc>
			  <publisher-name>Gobierno de Chile</publisher-name>
			  <size units="page">93</size>
			</element-citation>
			</ref>

			<ref id="CIT08">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Davies</surname>
					  <given-names>A.</given-names>	  
				  </name>
				  <name>
					  <surname>Thomas</surname>
					  <given-names>R.</given-names>	  
				  </name>
			  </person-group>
			  <year>2002</year>
			  <article-title>Managerialism and accountability in higher education: The gendered nature of restructuring and the costs to academic service</article-title>
			  <source>Critical Perspectives on Accounting</source>
			  <volume>13</volume>
			  <issue>2</issue>
			  <fpage>179</fpage>
			  <lpage>193</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://doi.org/10.1006/cpac.2001.0497">http://doi.org/10.1006/cpac.2001.0497</ext-link></comment> 
			</element-citation>
			</ref>

			<ref id="CIT09">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Dixit</surname>
					  <given-names>A.</given-names>	  
				  </name>
			  </person-group>
			  <year>1997</year>
			  <article-title>Power of Incentives in Private versus Public Organizations</article-title>
			  <source>The American Economic Review</source>
			  <volume>87</volume>
			  <issue>2</issue>
			  <fpage>378</fpage>
			  <lpage>382</lpage>
			  </element-citation>
			</ref>

			<ref id="CIT10"> 
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Dixit</surname>
					  <given-names>A.</given-names>	  
				  </name>
			  </person-group>
			  <year>2002</year>
			  <article-title>Incentives and Organizations in the Public Sector An Interpretative</article-title>
			  <source>Journal of Human Resources</source>
			  <volume>37</volume>
			  <issue>4</issue>
			  <fpage>696</fpage>
			  <lpage>727</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.2307/3069614">https://doi.org/10.2307/3069614</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT11">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Edwards</surname>
					  <given-names>S.</given-names>	  
				  </name>
			  </person-group>
			  <year>1995</year>
			  <source>Crisis and reform in Latin America: From despair to hope</source>
			  <publisher-loc>New York</publisher-loc>
			  <publisher-name>Oxford University Press</publisher-name>
			  <size units="page">380</size>
			</element-citation>
			</ref>

			<ref id="CIT12">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Gauri</surname>
					  <given-names>V.</given-names>	  
				  </name>
			  </person-group>
			  <year>1998</year>
			  <source>School Choice in Chile: Two Decades of Educational Reform</source>
			  <publisher-loc>Pittsburgh</publisher-loc>
			  <publisher-name>University of Pittsburgh Press</publisher-name>
			  <size units="page">147</size>
			</element-citation>
			</ref>
			
			<ref id="CIT13">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Gonz&#x00E1;lez</surname>
					  <given-names>L.</given-names>	  
				  </name>
				  <name>
					  <surname>Espinoza</surname>
					  <given-names>&#x00D3;.</given-names>	  
				  </name>
			  </person-group>
			  <year>2008</year>
			  <article-title>Calidad en la educaci&#x00F3;n superior: concepto y modelos</article-title>
			  <source>Calidad en la Educaci&#x00F3;n</source>
			  <issue>28</issue>
			  <fpage>244</fpage>
			  <lpage>276</lpage>
			</element-citation>
			</ref>

			<ref id="CIT14">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Haertel</surname>
					  <given-names>E.</given-names>	  
				  </name>
				  <name>
					  <surname>Herman</surname>
					  <given-names>J.</given-names>	  
				  </name>
			  </person-group>
			  <year>2005</year>
			  <source>A Historical Perspective on Validity Arguments for Accountability Testing</source>
			  <publisher-loc>Los Angeles, CA</publisher-loc>
			  <publisher-name>National Center for Research on Evaluation</publisher-name>
			  <size units="page">38</size>
			</element-citation>
			</ref>

			<ref id="CIT15">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Harvey</surname>
					  <given-names>L.</given-names>	  
				  </name>
				  <name>
					  <surname>Newton</surname>
					  <given-names>J.</given-names>	  
				  </name>
			  </person-group>
			  <year>2004</year>
			  <article-title>Transforming quality evaluation</article-title>
			  <source>Quality in Higher Education</source>
			  <volume>10</volume>
			  <issue>2</issue>
			  <fpage>149</fpage>
			  <lpage>165</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1080/1353832042000230635">https://doi.org/10.1080/1353832042000230635</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT16">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Hoecht</surname>
					  <given-names>A.</given-names>	  
				  </name>
			  </person-group>
			  <year>2006</year>
			  <article-title>Quality assurance in UK higher education: Issues of trust, control, professional autonomy and accountability</article-title>
			  <source>Higher Education</source>
			  <volume>51</volume>
			  <issue>4</issue>
			  <fpage>541</fpage>
			  <lpage>563</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://doi.org/10.1007/s10734-004-2533-2">http://doi.org/10.1007/s10734-004-2533-2</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT17">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Hood</surname>
					  <given-names>C.</given-names>	  
				  </name>
			  </person-group>
			  <year>1995</year>
			  <article-title>The “New Public Management” in the 1980s: variations on a theme</article-title>
			  <source>Accounting, Organizations and Society</source>
			  <volume>20</volume>
			  <issue>2-3</issue>
			  <fpage>93</fpage>
			  <lpage>109</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1016/0361-3682(93)E0001-W">https://doi.org/10.1016/0361-3682(93)E0001-W</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT18">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Jacob</surname>
					  <given-names>B.</given-names>	  
				  </name>
			  </person-group>
			  <year>2005</year>
			  <article-title>Accountability, incentives and behavior: the impact of high-stakes testing in the Chicago Public Schools</article-title>
			  <source>Journal of Public Economics</source>
			  <volume>89</volume>
			  <issue>5–6</issue>
			  <fpage>761</fpage>
			  <lpage>796</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1016/j.jpubeco.2004.08.004">https://doi.org/10.1016/j.jpubeco.2004.08.004</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT19">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Kai</surname>
					  <given-names>J.</given-names>	  
				  </name>
			  </person-group>
			  <year>2009</year>
			  <article-title>A Critical Analysis of Accountability in Higher Education</article-title>
			  <source>Chinese Education &amp; Society</source>
			  <volume>42</volume>
			  <issue>2</issue>
			  <fpage>39</fpage>
			  <lpage>51</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://doi.org/10.2753/CED1061-1932420204">http://doi.org/10.2753/CED1061-1932420204</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT20">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Manr&#x00ED;quez</surname>
					  <given-names>P.</given-names>	  
				  </name>
				  <name>
					  <surname>Mendoza</surname>
					  <given-names>D.</given-names>	  
				  </name>
				  <name>
					  <surname>Ram&#x00ED;rez</surname>
					  <given-names>K.</given-names>	  
				  </name>
			  </person-group>
			  <year>2015</year>
			  <article-title>Relaci&#x00F3;n entre el aporte fiscal directo, la calidad del cuerpo docente y la producci&#x00F3;n cient&#x00ED;ca de las instituciones pertenecientes al Consejo de Rectores de las universidades chilenas</article-title>
			  <source>Ran</source>
			  <volume>1</volume>
			  <issue>1</issue>
			  <fpage>39</fpage>
			  <lpage>52</lpage>
			</element-citation>
			</ref>
			
			<ref id="CIT21">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Marginson</surname>
					  <given-names>S.</given-names>	  
				  </name>
			  </person-group>
			  <year>1998</year>
			  <article-title>Harvards of the antipodes?: nation-building universities in a global environment</article-title>
			  <source>Leading and Managing</source>
			  <volume>4</volume>
			  <issue>3</issue>
			  <fpage>156</fpage>
			</element-citation>
			</ref>

			<ref id="CIT22">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>McLendon</surname>
					  <given-names>M. K.</given-names>	  
				  </name>
				  <name>
					  <surname>Hearn</surname>
					  <given-names>J. C.</given-names>	  
				  </name>
				  <name>
					  <surname>Deaton</surname>
					  <given-names>R.</given-names>	  
				  </name>
			  </person-group>
			  <year>2006</year>
			  <article-title>Called to Account: Analyzing the Origins and Spread of State Performance-Accountability Policies for Higher Education</article-title>
			  <source>Educational Evaluation and Policy Analysi</source>
			  <volume>28</volume>
			  <issue>1</issue>
			  <fpage>1</fpage>
			  <lpage>24</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://doi.org/10.3102/01623737028001001">http://doi.org/10.3102/01623737028001001</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT23">
			<element-citation publication-type="webpage">
			<collab>Mecesup</collab>
			  <year>2016</year>
			  <article-title>Aporte Fiscal Directo</article-title>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://www.mecesup.cl/index2.php?id_seccion=4963&amp;id_portal=59&amp;id_contenido=28082">http://www.mecesup.cl/index2.php?id_seccion=4963&amp;id_portal=59&amp;id_contenido=28082</ext-link></comment>
			  <date-in-citation content-type="access-date">[Fecha de Consulta 11 de Agosto de 2016]</date-in-citation>
			</element-citation>
			</ref>
			
			<ref id="CIT24">
			<element-citation publication-type="gov">
			<collab>Mineduc</collab>
			  <year>2015</year>
			  <article-title>Decreto 121. Divisi&#x00F3;n Jur&#x00ED;dica</article-title>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://www.mecesup.cl/usuarios/MECESUP/File/2015/AFD/DEC121_5AFD_cruch.pdf">http://www.mecesup.cl/usuarios/MECESUP/File/2015/AFD/DEC121_5AFD_cruch.pdf</ext-link> </comment>
			  <date-in-citation content-type="access-date">[Fecha de Consulta 29 de Agosto de 2016]</date-in-citation>
			</element-citation>
			</ref>
			
			<ref id="CIT25">
			<element-citation publication-type="gov">
			<collab>Ministerio de Educaci&#x00F3;n P&#x00FA;blica</collab>
			  <year>1991</year>
			  <article-title>Decreto 128</article-title>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://www.leychile.cl/Navegar?idNorma=9705">https://www.leychile.cl/Navegar?idNorma=9705</ext-link> [Fecha de Consulta 25 de Agosto de 2016]</comment>
			</element-citation>
			</ref>
			
			<ref id="CIT26">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Mohrman</surname>
					  <given-names>K.</given-names>	  
				  </name>
				  <name>
					  <surname>Ma</surname>
					  <given-names>W.</given-names>	  
				  </name>
				  <name>
					  <surname>Baker</surname>
					  <given-names>D.</given-names>	  
				  </name>
			  </person-group>
			  <year>2008</year>
			  <article-title>The research university in transition: The emerging global model</article-title>
			  <source>Higher Education Policy</source>
			  <volume>21</volume>
			  <issue>1</issue>
			  <fpage>5</fpage>
			  <lpage>27</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1057/palgrave.hep.8300175">https://doi.org/10.1057/palgrave.hep.8300175</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT27">
			<element-citation publication-type="report">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Molas-Gallart</surname>
					  <given-names>J.</given-names>	  
				  </name>
				  <name>
					  <surname>Salter</surname>
					  <given-names>A.</given-names>	  
				  </name>
				  <name>
					  <surname>Patel</surname>
					  <given-names>P.</given-names>	  
				  </name>
				  <name>
					  <surname>Scott</surname>
					  <given-names>A.</given-names>	  
				  </name>
				  <name>
					  <surname>Duran</surname>
					  <given-names>X.</given-names>	  
				  </name>
			  </person-group>
			  <year>2002</year>
			  <source>Measuring third stream activities. Final report to the Russell Group of Universities</source>
			  <publisher-loc>Brighton</publisher-loc>
			  <publisher-name>Sciencie and Technology Policy Research (SPRU), University of Sussex</publisher-name>
			  <size units="page">85</size>
			</element-citation>
			</ref>
			
			<ref id="CIT28">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Neave</surname>
					  <given-names>G.</given-names>	  
				  </name>
			  </person-group>
			  <year>2001</year>
			  <article-title>The changing frontiers of autonomy and accountability</article-title>
			  <source>Higher Education Policy</source>
			  <volume>14</volume>
			  <issue>1</issue>
			  <fpage>1</fpage>
			  <lpage>5</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1016/S0952-8733(01)00002-2">https://doi.org/10.1016/S0952-8733(01)00002-2</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT29">
			<element-citation publication-type="report">
			<collab>OCDE</collab>
			  <year>2009</year>
			  <source>La Educaci&#x00F3;n Superior en Chile</source>
			  <publisher-loc>Santiago</publisher-loc>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://www7.uc.cl/webpuc/piloto/pdf/informe_OECD.pdf">http://www7.uc.cl/webpuc/piloto/pdf/informe_OECD.pdf</ext-link></comment>
			  <date-in-citation content-type="access-date">[Fecha de Consulta 7 de noviembre de 2016]</date-in-citation>
			</element-citation>
			</ref>
			
			<ref id="CIT30">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Olssen</surname>
					  <given-names>M.</given-names>	  
				  </name>
				  <name>
					  <surname>Peters</surname>
					  <given-names>M. A.</given-names>	  
				  </name>
			  </person-group>
			  <year>2005</year>
			  <article-title>Neoliberalism, higher education and the knowledge economy: from the free market to knowledge capitalism</article-title>
			  <source>Journal of Education Policy</source>
			  <volume>20</volume>
			  <issue>3</issue>
			  <fpage>313</fpage>
			  <lpage>345</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://doi.org/10.1080/02680930500108718">http://doi.org/10.1080/02680930500108718</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT31">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Ordorika</surname>
					  <given-names>I.</given-names>	  
				  </name>
				  <name>
					  <surname>Lloyd</surname>
					  <given-names>M.</given-names>	  
				  </name>
			  </person-group>
			  <year>2013</year>
			  <chapter-title>Rankings and accountability in higher education: uses and misuses</chapter-title>
			  <person-group person-group-type="editor">
				  <name>
					  <surname>Marope</surname>
					  <given-names>P. T. M.</given-names>	  
				  </name>
				  <name>
					  <surname>Wells</surname>
					  <given-names>P. J.</given-names>	  
				  </name>
				  <name>
					  <surname>Hazelkorn</surname>
					  <given-names>E.</given-names>	  
				  </name>
			  </person-group>
			  <source>Rankings and accountability in higher education: uses and misuses</source>
			  <publisher-name>Unesco</publisher-name>
			  <fpage>209</fpage>
			  <lpage>231</lpage>
			</element-citation>
			</ref>
			
			<ref id="CIT32">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Palomares-Montero</surname>
					  <given-names>D.</given-names>	  
				  </name>
				  <name>
					  <surname>Garc&#x00ED;a-Aracil</surname>
					  <given-names>A.</given-names>	  
				  </name>
				  <name>
					  <surname>Castro-Mart&#x00ED;nez</surname>
					  <given-names>E.</given-names>	  
				  </name>
			  </person-group>
			  <year>2008</year>
			  <article-title>Evaluaci&#x00F3;n de las instituciones de educaci&#x00F3;n superior: revisi&#x00F3;n bibliogr&#x00E1;fica de sistema de indicadores</article-title>
			  <source>Revista Espa&#x00F1;ola de Documentaci&#x00F3;n Cient&#x00ED;fica</source>
			  <volume>31</volume>
			  <issue>2</issue>
			  <fpage>205</fpage>
			  <lpage>229</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.3989/redc.2008.v31.i2.425">https://doi.org/10.3989/redc.2008.v31.i2.425</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT33">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Power</surname>
					  <given-names>M.</given-names>	  
				  </name>
			  </person-group>
			  <year>1997</year>
			  <source>The audit society: Rituals of verification</source>
			  <publisher-loc>Oxford</publisher-loc>
			  <publisher-name>Oxford University Press</publisher-name>
			  <size units="page">183</size>
			</element-citation>
			</ref>
			
			<ref id="CIT34">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Rabovsky</surname>
					  <given-names>T. M.</given-names>	  
				  </name>
			  </person-group>
			  <year>2012</year>
			  <article-title>Accountability in higher education: Exploring impacts on state budgets and institutional spending patterns</article-title>
			  <source>Journal of Public Administration Research and Theory</source>
			  <volume>22</volume>
			  <issue>4</issue>
			  <fpage>675</fpage>
			  <lpage>700</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://doi.org/10.1093/jopart/mur069">http://doi.org/10.1093/jopart/mur069</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT35">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Ranson</surname>
					  <given-names>S.</given-names>	  
				  </name>
			  </person-group>
			  <year>2003</year>
			  <article-title>Public accountability in the age of neolliberal governance</article-title>
			  <source>Journal Education Policy</source>
			  <volume>18</volume>
			  <issue>5</issue>
			  <fpage>459</fpage>
			  <lpage>480</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1080/0268093032000124848">https://doi.org/10.1080/0268093032000124848</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT36">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Saravanamuthu</surname>
					  <given-names>K.</given-names>	  
				  </name>
				  <name>
					  <surname>Tinker</surname>
					  <given-names>T.</given-names>	  
				  </name>
			  </person-group>
			  <year>2002</year>
			  <article-title>The university in the new corporate world</article-title>
			  <source>Critical Perspectives on Accounting</source>
			  <volume>13</volume>
			  <issue>5-6</issue>
			  <fpage>545</fpage>
			  <lpage>554</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://doi.org/10.1006/cpac.2002.0551">http://doi.org/10.1006/cpac.2002.0551</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT37">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Saunders</surname>
					  <given-names>D.</given-names>	  
				  </name>
			  </person-group>
			  <year>2010</year>
			  <article-title>Neoliberal ideology and public higher education in the United States</article-title>
			  <source>Journal for Critical Education Policy Studies</source>
			  <volume>8</volume>
			  <issue>1</issue>
			  <fpage>41</fpage>
			  <lpage>77</lpage>
			</element-citation>
			</ref>
			
			<ref id="CIT38">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Schiefelbein</surname>
					  <given-names>E.</given-names>	  
				  </name>
			  </person-group>
			  <year>1990</year>
			  <article-title>Chile: Economic incentives in higher education</article-title>
			  <source>Higher Education Policy</source>
			  <volume>3</volume>
			  <issue>3</issue>
			  <fpage>21</fpage>
			  <lpage>26</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1057/hep.1990.41">https://doi.org/10.1057/hep.1990.41</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT39">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Seshan</surname>
					  <given-names>R.</given-names>	  
				  </name>
				  <name>
					  <surname>Jain</surname>
					  <given-names>K.</given-names>	  
				  </name>
			  </person-group>
			  <year>2011</year>
			  <article-title>Accountability in Higher Education</article-title>
			  <source>Entire Research</source>
			  <volume>3</volume>
			  <issue>1</issue>
			  <fpage>1</fpage>
			  <lpage>6</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://www.ghrws.in/Entire%20Research/E.%20R.%202011/Volume-3,%20Issue-I,%20January%202011.pdf">http://www.ghrws.in/Entire%20Research/E.%20R.%202011/Volume-3,%20Issue-I,%20January%202011.pdf</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT40">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Shore</surname>
					  <given-names>C.</given-names>	  
				  </name>
			  </person-group>
			  <year>2010</year>
			  <article-title>Beyond the multiversity: neoliberalism and the rise of the schizophrenic university</article-title>
			  <source>Social Anthropology</source>
			  <volume>18</volume>
			  <issue>1</issue>
			  <fpage>15</fpage>
			  <lpage>29</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1111/j.1469-8676.2009.00094.x">https://doi.org/10.1111/j.1469-8676.2009.00094.x</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT41">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Silva</surname>
					  <given-names>P.</given-names>	  
				  </name>
			  </person-group>
			  <year>1991</year>
			  <article-title>Technocrats and Politics in Chile: from the Chicago Boys to the CIEPLAN Monks</article-title>
			  <source>Journal of Latin American Studies</source>
			  <volume>23</volume>
			  <issue>2</issue>
			  <fpage>385</fpage>
			  <lpage>410</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1017/S0022216X00014048">https://doi.org/10.1017/S0022216X00014048</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT42">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Suspitsyna</surname>
					  <given-names>T.</given-names>	  
				  </name>
			  </person-group>
			  <year>2010</year>
			  <article-title>Accountability in American education as a rhetoric and a technology of governmentality</article-title>
			  <source>Journal of Education Policy</source>
			  <volume>25</volume>
			  <issue>5</issue>
			  <fpage>567</fpage>
			  <lpage>586</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://doi.org/10.1080/02680930903548411">http://doi.org/10.1080/02680930903548411</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT43">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Sztompka</surname>
					  <given-names>P.</given-names>	  
				  </name>
			  </person-group>
			  <year>1993</year>
			  <article-title>Civilizational incompetence: The trap of post-communist societies</article-title>
			  <source>Zeitschrift F&#x00FC;r Soziologie</source>
			  <volume>22</volume>
			  <issue>2</issue>
			  <fpage>85</fpage>
			  <lpage>95</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1515/zfsoz-1993-0201">https://doi.org/10.1515/zfsoz-1993-0201</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT44">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Testa</surname>
					  <given-names>J.</given-names>	  
				  </name>
			  </person-group>
			  <year>2001</year>
			  <article-title>La base de datos del ISI y su proceso de selecci&#x00F3;n de revistas</article-title>
			  <source>Acimed</source>
			  <volume>9</volume>
			  <fpage>138</fpage>
			  <lpage>140</lpage>
			</element-citation>
			</ref>

			<ref id="CIT45">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Thelwall</surname>
					  <given-names>M.</given-names>	  
				  </name>
				  <name>
					  <surname>Delgado</surname>
					  <given-names>M.</given-names>	  
				  </name>
			  </person-group>
			  <year>2015</year>
			  <article-title>Arts and humanities research evaluation: no metrics please, just data</article-title>
			  <source>Journal of Documentation</source>
			  <volume>71</volume>
			  <issue>4</issue>
			  <fpage>817</fpage>
			  <lpage>833</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1108/JD-02-2015-0028">https://doi.org/10.1108/JD-02-2015-0028</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT46">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Torche</surname>
					  <given-names>F.</given-names>	  
				  </name>
			  </person-group>
			  <year>2005</year>
			  <article-title>Privatization Reform and Inequality of Educational Opportunity</article-title>
			  <source>Sociology of Education</source>
			  <volume>78</volume>
			  <issue>4</issue>
			  <fpage>316</fpage>
			  <lpage>343</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1177/003804070507800403">https://doi.org/10.1177/003804070507800403</ext-link></comment>
			</element-citation>
			</ref>
				
			<ref id="CIT47">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Torres</surname>
					  <given-names>C. A.</given-names>	  
				  </name>
				  <name>
					  <surname>Schugurensky</surname>
					  <given-names>D.</given-names>	  
				  </name>
			  </person-group>
			  <year>2002</year>
			  <article-title>The political economy of higher education in the era of neoliberal globalization: Latin America in comparative perspective</article-title>
			  <source>Higher Education</source>
			  <volume>43</volume>
			  <issue>4</issue>
			  <fpage>429</fpage>
			  <lpage>455</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://doi.org/10.1023/A:1015292413037">http://doi.org/10.1023/A:1015292413037</ext-link></comment>
			</element-citation>
			</ref>
					
			<ref id="CIT48">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Wallace</surname>
					  <given-names>M.</given-names>	  
				  </name>
				  <name>
					  <surname>Rafols</surname>
					  <given-names>I.</given-names>	  
				  </name>
			  </person-group>
			  <year>2015</year>
			  <article-title>Research portfolio analysis in science policy: moving from financial returns to societal benefits</article-title>
			  <source>Minerva</source>
			  <volume>53</volume>
			  <issue>2</issue>
			  <fpage>89</fpage>
			  <lpage>115</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1007/s11024-015-9271-8">https://doi.org/10.1007/s11024-015-9271-8</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT49">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Weyland</surname>
					  <given-names>K.</given-names>	  
				  </name>
			  </person-group>
			  <year>1999</year>
			  <article-title>Economic Policy in Chile’s New Democracy</article-title>
			  <source>Journal of Interamerican Studies and World Affairs</source>
			  <volume>41</volume>
			  <issue>3</issue>
			  <fpage>67</fpage>
			  <lpage>93</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.2307/166159">https://doi.org/10.2307/166159</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT50">
			<element-citation publication-type="book">
			  <collab>World Bank</collab>
			  <year>1992</year>
			  <source>Governance and development</source>
			  <publisher-loc> Washington, D.C</publisher-loc>
			  <publisher-name>Banco Mundial</publisher-name>
			  <size units="page">69</size>
			</element-citation>
			</ref>

		</ref-list>
	
		
	</back>
</article>
