<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD Journal Publishing DTD v3.0 20080202//EN" "journalpublishing3.dtd">
<article article-type="research-article" dtd-version="3.0" xml:lang="es" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink">
	
	<front>
		
		<journal-meta>
			<journal-id journal-id-type="publisher-id">REDC</journal-id>
			<journal-title-group>
				<journal-title>Revista Espa&#x00F1;ola de Documentaci&#x00F3;n Cient&#x00ED;fica</journal-title>
				<abbrev-journal-title>Rev. Esp. Doc. Cient.</abbrev-journal-title>
			</journal-title-group>
			<issn pub-type="ppub">0210-0614</issn>
			<issn pub-type="epub">1988-4621</issn>
			<publisher>
				<publisher-name>Consejo Superior de Investigaciones Cient&#x00ED;ficas</publisher-name>
			</publisher>
		</journal-meta>
		
		<article-meta>
			<article-id pub-id-type="publisher-id">redc.2016.1.1259</article-id>
			<article-id pub-id-type="doi">10.3989/redc.2016.1.1259</article-id>
			
			<article-categories>
				<subj-group subj-group-type="heading">
				<subject>ESTUDIOS / RESEARCH STUDIES</subject>
				</subj-group>
			</article-categories>
			
			<title-group>
				<article-title>Ranking de las bibliotecas universitarias espa&#x00F1;olas en la gesti&#x00F3;n del personal</article-title>
				<trans-title-group xml:lang="en">
				<trans-title>Ranking of Spanish university libraries according to their personnel management</trans-title>
				</trans-title-group>
				<alt-title alt-title-type="running-head">Ranking de las bibliotecas universitarias espa&#x00F1;olas en la gesti&#x00F3;n del personal</alt-title>
			</title-group>
			
			<contrib-group>
		
				<contrib contrib-type="author" corresp="no">
					<name>
					 <surname>Sim&#x00F3;n-Mart&#x00ED;n</surname>
					 <given-names>Jos&#x00E9;</given-names>
					</name>
					<xref ref-type="aff" rid="U1"/>
				</contrib>
				
				<contrib contrib-type="author" corresp="no">
					<name>
					 <surname>Sim&#x00F3;n-Blas</surname>
					 <given-names>Clara</given-names>
					</name>
					<xref ref-type="aff" rid="U2"/>
				</contrib>
				
				<contrib contrib-type="author" corresp="yes">
					<name>
					 <surname>Arias-Coello</surname>
					 <given-names>Alicia</given-names>
					</name>
					<xref ref-type="aff" rid="U3"/>
					<xref ref-type="corresp" rid="cor1"/>
				</contrib>
		
				<aff id="U1">Instituto Universitario de Evaluaci&#x00F3;n Sanitaria. Universidad Complutense de Madrid.  Facultad de Medicina.</aff>
				<aff id="U2">Departamento de Estad&#x00ED;stica e Investigaci&#x00F3;n Operativa. Universidad Rey Juan Carlos.</aff>
				<aff id="U3">Facultad de Ciencias de la Documentaci&#x00F3;n. Universidad Complutense de Madrid.</aff>
				
			</contrib-group>
			
			<author-notes>
				<corresp id="cor1">e-mail: <email xlink:href="aarias@ucm.es">aarias@ucm.es</email></corresp>
			</author-notes>
			
			<pub-date pub-type="epub">
				<day>31</day>
				<month>03</month>
				<year>2016</year>
			</pub-date>
			
			<pub-date pub-type="collection">
			<year>2016</year>
			</pub-date>
			
			<volume>39</volume>
			<issue>1</issue>
		
			<elocation-id>e119</elocation-id>
		
			<history>
			
				<date date-type="received">
					<day>04</day>
					<month>02</month>
					<year>2015</year>
				</date>
				<date date-type="rev-recd1">
					<day>20</day>
					<month>05</month>
					<year>2015</year>
				</date>
				<date date-type="accepted">
					<day>25</day>
					<month>05</month>
					<year>2015</year>
				</date>
			</history>
		 
			<permissions>
				<copyright-statement>&#x00A9; 2016 CSIC</copyright-statement>
				<copyright-year>2016</copyright-year>
				<license license-type="open-access" xlink:href="http://creativecommons.org/licenses/by-nc/3.0/">
					<license-p>Este es un art&#x00ED;culo de acceso abierto distribuido bajo los t&#x00E9;rminos de la licencia Creative Commons Attribution-Non Commercial (by-nc) Spain 3.0.</license-p>
				</license>
			</permissions>
		
			
			<abstract xml:lang="es">
			<title>RESUMEN</title>
			<p>Los objetivos de este trabajo son dos. En primer lugar, identificar aquellas bibliotecas universitarias p&#x00FA;blicas espa&#x00F1;olas que durante los a&#x00F1;os 2008 y 2012 han sido las mejores en el &#x00E1;mbito de la eficiencia en su gesti&#x00F3;n del personal y que, por tanto, pueden ser consideradas como referentes en la mejora de la eficiencia; en segundo t&#x00E9;rmino comparar las diferencias existentes en la organizaci&#x00F3;n del personal entre las bibliotecas m&#x00E1;s ineficientes y las m&#x00E1;s eficientes en dicha &#x00E1;rea. El c&#x00E1;lculo de la eficiencia se ha realizado mediante la t&#x00E9;cnica de an&#x00E1;lisis envolvente de datos (Data Envelopment Analisis-DEA); as&#x00ED; mismo, para el establecimiento de un ranking entre las bibliotecas eficientes se han utilizado los m&#x00E9;todos de contar el n&#x00FA;mero de unidades de referencia, el c&#x00E1;lculo de la super-eficiencia y la evaluaci&#x00F3;n cruzada. Las bibliotecas analizadas muestran en su conjunto una eficiencia global y t&#x00E9;cnica pura alta. De entre las bibliotecas eficientes, dos de ellas ocupan el primer lugar de la clasificaci&#x00F3;n en los dos a&#x00F1;os estudiados. Estas dos bibliotecas disponen de una organizaci&#x00F3;n del personal diferente a las dos consideradas como m&#x00E1;s ineficientes.</p>
			</abstract>
						
			<trans-abstract xml:lang="en">
			<title>ABSTRACT</title>
			<p>The aim of this work is twofold: first, to identify those Spanish public university libraries that have been the best at efficiently managing their personnel between 2008 and 2012, and can therefore be considered a reference in the area of efficiency improvement. Secondly, to look at the differences in the way personnel is organized between the most and the least efficient libraries. Efficiency was calculated using a Data Envelopment Analysis (DEA). In addition, the method used to rank the most efficient libraries consisted of counting the number of reference units, calculating the super-efficiency scores, and applying a cross-evaluation method. On the whole, the libraries analysed show a high global and pure technical efficiency. Of the most efficient libraries, there are two that are at the top of the ranking in each of the years studied. Personnel organization in these two libraries is different from that of the two least efficient centres in the study.</p>
			</trans-abstract>

			<kwd-group xml:lang="es">
				<title>PALABRAS CLAVE</title> 
				<kwd>An&#x00E1;lisis envolvente de datos (DEA)</kwd>
				<kwd> bibliotecas universitarias</kwd>
				<kwd>eficiencia</kwd>
				<kwd>super-eficiencia</kwd>
				<kwd>eficiencia cruzada</kwd>
				<kwd>personal bibliotecario</kwd>
				<kwd>eficiencia del personal</kwd>
				<kwd>ranking bibliotecario</kwd>
			</kwd-group>

			<kwd-group xml:lang="en"> 
				<title>KEYWORDS</title> 
				<kwd>Data Envelopment Analysis (DEA)</kwd>
				<kwd>university libraries</kwd>
				<kwd>efficiency</kwd>
				<kwd>super-efficiency</kwd>
				<kwd>cross-efficiency</kwd>
				<kwd>library personnel</kwd>
				<kwd>personnel efficiency</kwd>
				<kwd>library ranking</kwd>
			</kwd-group>
		
		</article-meta>
	</front>
	
	<body>

		<sec id="S1">
			<title>1. INTRODUCCI&#x00D3;N </title>

			<p>Desde el a&#x00F1;o 2008 Espa&#x00F1;a vive una profunda crisis econ&#x00F3;mica que produce en las universidades p&#x00FA;blicas una notable reducci&#x00F3;n en su financiaci&#x00F3;n. Ante este hecho, las universidades vienen desarrollando programas para mejorar su eficiencia con el objetivo de conseguir el equilibrio presupuestario.</p>

			<p>Esta situaci&#x00F3;n de crisis financiera tiene tambi&#x00E9;n, naturalmente, repercusiones en las bibliotecas universitarias, las cuales han visto reducidas sus partidas presupuestarias para la adquisici&#x00F3;n de materiales bibliogr&#x00E1;ficos, as&#x00ED; como para la tasa de reposici&#x00F3;n del personal. En este escenario, las bibliotecas tambi&#x00E9;n deben adaptarse para mejorar, entre otras cosas, las pol&#x00ED;ticas de compras, as&#x00ED; como la eficiencia de sus recursos humanos cuyo coste viene a representar entre el 35 y el 40% del presupuesto bibliotecario (Jarrillo Calvarro, <xref ref-type="bibr" rid="CIT14">2012</xref>). Con el fin de que los gestores puedan mejorar la eficiencia del personal, les ser&#x00ED;a muy &#x00FA;til conocer, por un lado, el nivel de eficiencia con el que su personal est&#x00E1; llevando a cabo los procesos bibliotecarios y, por otro, identificar aquellas bibliotecas que sean referentes en esta &#x00E1;rea.  </p>

			<p>El an&#x00E1;lisis envolvente de datos (Data Envelopment Analysis, conocido por sus siglas DEA), ha sido una de las t&#x00E9;cnicas utilizada por numerosos investigadores para el c&#x00E1;lculo de la eficiencia de las organizaciones. El DEA, introducido por Charnes y otros (<xref ref-type="bibr" rid="CIT10">1978</xref>), est&#x00E1; basado en una metodolog&#x00ED;a que mide la eficiencia relativa de un grupo de organizaciones, clasificando a &#x00E9;stas en eficientes e ineficientes. El criterio que utiliza para esta clasificaci&#x00F3;n viene determinado por la localizaci&#x00F3;n de cada una de esas organizaciones con respecto a la frontera de producci&#x00F3;n eficiente. Esta frontera la forman las unidades que tienen mejores pr&#x00E1;cticas, en referencia a la relaci&#x00F3;n entre los productos ya elaborados y los recursos empleados en su producci&#x00F3;n. Las unidades identificadas como ineficientes se pueden comparar con una o m&#x00E1;s unidades localizadas en la frontera, las cuales pueden considerarse como sus unidades de referencia o <italic>benchmarks</italic> para orientar sus esfuerzos de mejora (Bergendahl, <xref ref-type="bibr" rid="CIT07">1998</xref>).  </p>

			<p>Dado que como resultado del empleo del DEA disponemos, generalmente, de m&#x00E1;s de una unidad eficiente, se impone el establecer un ranking entre ellas con el objeto de poder discriminar mejor aquellas bibliotecas que deber&#x00ED;an ser utilizadas como modelos de referencia. En la literatura se han propuesto diversas metodolog&#x00ED;as para el establecimiento de rankings, y para una revisi&#x00F3;n general de los mismos se pueden consultar los trabajos de Adler y otros (<xref ref-type="bibr" rid="CIT01">2002</xref>), Angulo- Meza y Lins (<xref ref-type="bibr" rid="CIT03">2002</xref>), y Lu y Lo (<xref ref-type="bibr" rid="CIT22">2009</xref>).  </p>

			<p>Para la realizaci&#x00F3;n del presente trabajo se han utilizado los tres m&#x00E9;todos m&#x00E1;s empleados en la literatura con el fin de conseguir una discriminaci&#x00F3;n dentro del grupo de bibliotecas eficientes: estudio de la frecuencia con la que aparece un centro eficiente como referencia de los centros ineficientes, el c&#x00E1;lculo de la super-eficiencia introducido por Andersen y Petersen (<xref ref-type="bibr" rid="CIT02">1993</xref>) y la evaluaci&#x00F3;n cruzada (cross-evaluation), propuesto inicialmente por Sexton y otros (<xref ref-type="bibr" rid="CIT31">1986</xref>). Esta &#x00FA;ltima t&#x00E9;cnica, aunque ha sido aplicada a numerosos sectores productivos, hasta el momento no ha sido utilizada en el &#x00E1;mbito bibliotecario.  </p>

			<p>La t&#x00E9;cnica del DEA ha sido empleada por numerosos investigadores para calcular la eficiencia de las bibliotecas universitarias (Chen, <xref ref-type="bibr" rid="CIT11">1997</xref>; Mann, <xref ref-type="bibr" rid="CIT23">1997</xref>; Kao y Lin, <xref ref-type="bibr" rid="CIT16">1999</xref>; Kao y Liu, <xref ref-type="bibr" rid="CIT17">2000</xref>; Shim, <xref ref-type="bibr" rid="CIT33">2000</xref> y <xref ref-type="bibr" rid="CIT34">2003</xref>; Saunders, <xref ref-type="bibr" rid="CIT30">2003</xref>; Kao y Lin, <xref ref-type="bibr" rid="CIT18">2004</xref>; Reichmann, <xref ref-type="bibr" rid="CIT27">2004</xref>; Reichmann y Sommersguter-Reichmann, <xref ref-type="bibr" rid="CIT28">2006</xref> y <xref ref-type="bibr" rid="CIT29">2010</xref>; Simon-Blas y otros, <xref ref-type="bibr" rid="CIT36">2007</xref>; Stancheva y Angelova, <xref ref-type="bibr" rid="CIT38">2008</xref>; Liu y Chuang, <xref ref-type="bibr" rid="CIT21">2009</xref>; Lai y otros, <xref ref-type="bibr" rid="CIT19">2011</xref>; Owadie, <xref ref-type="bibr" rid="CIT25">2011</xref>; Sim&#x00F3;n y otros, 2011; Noh, <xref ref-type="bibr" rid="CIT24">2011</xref>; Hwang y otros, <xref ref-type="bibr" rid="CIT13">2012</xref>; Carvalho y otros, <xref ref-type="bibr" rid="CIT08">2012</xref> y <xref ref-type="bibr" rid="CIT09">2013</xref>; Lee y otros, <xref ref-type="bibr" rid="CIT20">2013</xref>; Shahwan y Kaba, <xref ref-type="bibr" rid="CIT32">2013</xref>). Sin embargo, de los anteriores trabajos solo tres hacen referencia a la aplicaci&#x00F3;n del DEA en <italic>benchmarking</italic>. El primero y m&#x00E1;s completo es el realizado por Reichmann y Sommersguter-Reichmann (<xref ref-type="bibr" rid="CIT28">2006</xref>) en el que se analizan 118 bibliotecas universitarias y se establece una ordenaci&#x00F3;n de las unidades eficientes mediante la medici&#x00F3;n del n&#x00FA;mero de veces que &#x00E9;stas eran referentes de unidades ineficientes, el c&#x00E1;lculo de la super-eficiencia y el c&#x00E1;lculo de un &#x00ED;ndice desarrollado por Torgersen y otros, (<xref ref-type="bibr" rid="CIT40">1996</xref>). Posteriormente aparecieron otros dos art&#x00ED;culos en los que &#x00FA;nicamente se consideraba el n&#x00FA;mero de veces que cada biblioteca eficiente era referente de una biblioteca ineficiente para establecer un ranking entre ellas (Lai y otros, <xref ref-type="bibr" rid="CIT19">2011</xref>; Noh, <xref ref-type="bibr" rid="CIT24">2011</xref>).  </p>

			<p>En este art&#x00ED;culo se pretende calcular, en una muestra de 41 bibliotecas universitarias espa&#x00F1;olas, la eficiencia global, t&#x00E9;cnica y de escala del personal en relaci&#x00F3;n con las actividades que realiza en la biblioteca, estableciendo un ranking entre aquellas bibliotecas identificadas como eficientes y comparando la forma en que est&#x00E1;n organizados los recursos humanos de las mismas teniendo en cuenta las m&#x00E1;s eficientes frente a las m&#x00E1;s ineficientes.  </p>

			<p>En el estudio se ha tomado el a&#x00F1;o 2008 como referencia para el an&#x00E1;lisis de la eficiencia, comparando estos resultados con los obtenidos en 2012, con el objetivo de verificar si la crisis econ&#x00F3;mica ha tenido alg&#x00FA;n impacto en los valores de eficiencia. </p>
		</sec>


		<sec id="S2">
			<title>2. METODOLOG&#x00CD;A </title>

		<sec id="S2.1">
			<title>2.1. C&#x00E1;lculo de la eficiencia </title>

			<p>El nombre de DMU (decision making unit) fue utilizado por primera vez por Charnes y otros (<xref ref-type="bibr" rid="CIT10">1978</xref>), para describir las unidades que van a ser analizadas mediante la t&#x00E9;cnica DEA. En el presente art&#x00ED;culo, cada biblioteca representa una &#x00FA;nica DMU.  </p>

			<p>La eficiencia de una organizaci&#x00F3;n se define como la raz&#x00F3;n de la suma ponderada de los productos producidos (outputs), con respecto a la suma ponderada de los recursos utilizados para su producci&#x00F3;n (inputs), siendo el prop&#x00F3;sito del DEA hacer que el valor de eficiencia para cada unidad en la muestra sea el m&#x00E1;ximo que pueda alcanzar. Para ello, se ajustan los pesos de la combinaci&#x00F3;n de variables de inputs y de outputs, de acuerdo con el resto de las unidades de la muestra. Siguiendo a Charnes y otros (<xref ref-type="bibr" rid="CIT10">1978</xref>), dada la unidad (DMU<sub>j</sub>), el objetivo es conseguir la m&#x00E1;xima eficiencia de dicha unidad (E<sub>j</sub>), tal y como expresa el modelo de la ecuaci&#x00F3;n (1):  </p>



						<fig id="E1">
							<label></label>
							<caption>
							<title></title>
							</caption>
							<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/E1.jpg"/>
						</fig>



			<p>- donde <italic>m</italic> es el n&#x00FA;mero de variables del input y <italic>s</italic> es el n&#x00FA;mero de variables del output </p>

			<p>- <italic>y</italic><sub>rj</sub> es el valor de la variable <italic>r</italic> del output en la DMU j-&#x00E9;sima para <italic>r = 1…s</italic>; </p>

			<p>- <italic>x</italic><sub>ij</sub> es el valor de la variable <italic>i</italic> del input en la DMU <italic>j</italic>-&#x00E9;sima para <italic>i = 1…m</italic>;  </p>

			<p>- <italic>u</italic><sub>r</sub> es el peso de la variable <italic>r</italic>-&#x00E9;sima del output; </p>

			<p>- <italic>v</italic><sub>i</sub> es el peso de la variable <italic>i</italic>-&#x00E9;sima del input; y  </p>

			<p>- <italic>n</italic> es el n&#x00FA;mero de unidades de decisi&#x00F3;n (DMUs).  </p>

			<p>El objetivo, como hemos se&#x00F1;alado anteriormente, es optimizar los pesos <italic>u</italic> y <italic>v</italic> para que el valor de eficiencia resultante para esa unidad de an&#x00E1;lisis sea el mayor posible.  </p>

			<p>Las restricciones a este modelo son las siguientes:  </p>

			<p>- Los valores de eficiencia est&#x00E1;n acotados entre 0 y 1 (ya que son n&#x00FA;meros relativos) y, por tanto:  </p>


				
						<fig id="E2">
							<label></label>
							<caption>
							<title></title>
							</caption>
							<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/E2.jpg"/>
						</fig>



			<p>-	Los pesos que se utilicen deben ser valores no negativos y, por tanto:  </p>


						<fig id="E3">
							<label></label>
							<caption>
							<title></title>
							</caption>
							<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/E3.jpg"/>
						</fig>


			<p>Resolviendo el problema de programaci&#x00F3;n lineal para cada una de las DMU, se puede calcular el conjunto de ponderaciones de las variables del input y de las del output que permiten obtener el mayor &#x00ED;ndice de eficiencia.  </p>

			<p>Las DMUs con el valor m&#x00E1;ximo de eficiencia ser&#x00E1;n aqu&#x00E9;llas cuyo <italic>E</italic><sub>j</sub> alcanza el valor de 1 y se les denomina unidades eficientes, las cuales constituir&#x00E1;n el conjunto de referencia para las unidades ineficientes.  </p>

			<p>Este modelo, al comparar los valores de las variables del input y del output de las unidades ineficientes con los valores de las unidades eficientes que les sirven de referencia, nos permite conocer sobre qu&#x00E9; variables debemos actuar, as&#x00ED; como la intensidad de dicha actuaci&#x00F3;n, con el objetivo de que esas unidades ineficientes alcancen la eficiencia.  </p>

			<p>El modelo definido por las ecuaciones (1, 2 y 3) se denomina de escala con retorno constante CRS (Constant Return Scale), esto significa que un incremento en el volumen de los inputs o variables de entrada va a producir un incremento proporcional del volumen de los outputs o variables de salida. Posteriormente, Banker y otros (<xref ref-type="bibr" rid="CIT04">1984</xref>), ampliaron dicho modelo con la finalidad de tener en cuenta los efectos de la escala de funcionamiento de las DMUs. A dicho modelo se le denomina de escala con retorno variable VRS (Variable Return Scale), esto es, un incremento en los inputs producir&#x00E1; un incremento proporcionalmente mayor o menor de acuerdo con la escala de funcionamiento de dicha DMU. El valor de eficiencia calculado con el modelo VRS, que denotaremos por E<sub>VRS</sub>, se denomina “eficiencia t&#x00E9;cnica pura”, y la ratio entre &#x00E9;sta y el valor de eficiencia calculado con el modelo CCR (conocido como “eficiencia global” y que denotaremos por E<sub>CCR</sub>), se denomina “eficiencia de escala” (ES):  </p>

							<p><italic>ES</italic> = (E<sub>VRS</sub>/E<sub>CCR</sub>)  </p>

			<p>Cuando el valor de la eficiencia de escala <italic>(ES)</italic> es igual a 1, significa que la DMU est&#x00E1; operando en el tama&#x00F1;o de escala m&#x00E1;s productivo. Alternativamente, si el valor de <italic>(ES)</italic> es menor a 1, entonces la DMU puede estar operando en una escala de retorno decreciente, lo que significa que un incremento del volumen del input produce un menor incremento del output al que le corresponder&#x00ED;a si esta relaci&#x00F3;n fuera proporcional. Suceder&#x00ED;a lo contrario si la DMU estuviera funcionando en una escala con retorno creciente.  </p>

			<p>Otro elemento importante en el uso de esta metodolog&#x00ED;a es el tipo de orientaci&#x00F3;n que se va a utilizar en el c&#x00E1;lculo de la eficiencia. En el modelo de orientaci&#x00F3;n al input (recursos), queremos indicar que una unidad ineficiente puede transformarse en eficiente mediante la reducci&#x00F3;n del volumen de sus recursos (input), al tiempo que mantiene el mismo nivel de volumen de sus productos (output). En el caso de una orientaci&#x00F3;n al output, el objetivo ser&#x00ED;a el conseguir un incremento del volumen de productos (output), manteniendo el volumen de los recursos utilizados para su producci&#x00F3;n (input).  </p>

			<p>En este trabajo hemos utilizado una orientaci&#x00F3;n al input al considerarla la m&#x00E1;s apropiada en el sector de la biblioteca, dado que los gestores tienen m&#x00E1;s posibilidades de actuar sobre los recursos de los que disponen, que de modificar el volumen de los servicios que producen. </p>
		</sec>


		<sec id="S2.2">
			<title>2.2. C&#x00E1;lculo de la super-eficiencia </title>

			<p>Andersen y Petersen (<xref ref-type="bibr" rid="CIT02">1993</xref>) desarrollaron un m&#x00E9;todo para clasificar las unidades eficientes. Esta metodolog&#x00ED;a permite que una unidad eficiente pueda alcanzar un valor superior a 1. Para ello se recalcula la distancia radial de cada unidad eficiente a la frontera de producci&#x00F3;n, construida por las restantes unidades una vez eliminada &#x00E9;sta de la muestra. Esto se consigue eliminando la restricci&#x00F3;n (2) del modelo de programaci&#x00F3;n lineal expresado por las ecuaciones (1, 2, y 3).</p>
		</sec>

		<sec id="S2.3">
			<title>2.3. C&#x00E1;lculo de la eficiencia cruzada (Cross-efficiency) </title>

			<p>En este m&#x00E9;todo inicialmente desarrollado por Sexton y otros (<xref ref-type="bibr" rid="CIT31">1986</xref>), cada unidad es evaluada con las ponderaciones m&#x00E1;s &#x00F3;ptimas de las restantes para el c&#x00E1;lculo de la eficiencia, construy&#x00E9;ndose una matriz de eficiencia cruzada. Una vez obtenida esta matriz, cada unidad tiene, por un lado, su propia autoevaluaci&#x00F3;n y, por otro, dispone de la evaluaci&#x00F3;n que ha recibido utilizando las ponderaciones de las otras unidades de la muestra (evaluaci&#x00F3;n por sus pares) y tambi&#x00E9;n los valores de eficiencia obtenidos por las unidades cuando son evaluadas con sus ponderaciones (evaluaci&#x00F3;n de los pares). Para un desarrollo detallado de la metodolog&#x00ED;a empleada v&#x00E9;ase el trabajo de Doyle y Green (<xref ref-type="bibr" rid="CIT12">1994</xref>).  </p>

			<p>En este estudio hemos utilizado como valor de eficiencia cruzada de una unidad, el del promedio obtenido de las valoraciones realizadas por sus pares. Por tanto, una unidad con un alto valor de eficiencia cruzada supone que no solo es buena por s&#x00ED; misma, sino que es considerada tambi&#x00E9;n buena por la mayor&#x00ED;a de las otras unidades.  </p>

			<p>Posteriormente Doyle y Green (<xref ref-type="bibr" rid="CIT12">1994</xref>), desarrollaron un &#x00ED;ndice (&#x00ED;ndice de “maverick”), para medir la desviaci&#x00F3;n entre la eficiencia de la unidad y el promedio del valor obtenido mediante la “evaluaci&#x00F3;n por pares” en la matriz de eficiencia cruzada.  </p>

			<p>Una unidad con un &#x00ED;ndice de “maverick” elevado, es una unidad an&#x00F3;mala dentro de su conjunto de referencia (Doyle y Green, <xref ref-type="bibr" rid="CIT12">1994</xref>) y posiblemente sea un “falso positivo” (Talluri y Sarkis, <xref ref-type="bibr" rid="CIT39">1997</xref>), que ha conseguido ser eficiente debido al uso de unas ponderaciones inapropiadas para las variables.</p>
		</sec>


		<sec id="S2.4">
			<title>2.4. Organizaci&#x00F3;n de los recursos humanos bibliotecarios </title>

			<p>Para conocer la manera en la que cada biblioteca tiene organizados sus recursos humanos, se ha procedido al an&#x00E1;lisis de su organigrama, bien a partir de la informaci&#x00F3;n que aparece en su p&#x00E1;gina web, o bien analizando la organizaci&#x00F3;n del personal adscrito a la biblioteca seg&#x00FA;n se describe en la relaci&#x00F3;n de puestos de trabajo aprobada por cada universidad a la que corresponden cada una de ellas. </p>
		</sec>
		</sec>


		<sec id="S3">
			<title>3. SELECCI&#x00D3;N DE BIBLIOTECAS Y VARIABLES A UTILIZAR EN EL AN&#x00C1;LISIS </title>

		<sec id="S3.1">
			<title>3.1. Selecci&#x00F3;n de la muestra de bibliotecas a analizar </title>

			<p>Para la realizaci&#x00F3;n del presente trabajo se seleccionaron las 47 bibliotecas pertenecientes a las universidades p&#x00FA;blicas espa&#x00F1;olas de tipo presencial, que se redujeron a 41 por las razones que expondremos a continuaci&#x00F3;n. Los datos utilizados en este estudio se recogieron del anuario estad&#x00ED;stico publicado en la p&#x00E1;gina web de REBIUN referidos a los a&#x00F1;os 2008 y 2012. La muestra qued&#x00F3; reducida en primer lugar a 46 bibliotecas dado que hubo que eliminar a la biblioteca de la Universidad Polit&#x00E9;cnica de Cartagena, ya que no presentaba datos en el a&#x00F1;o 2012.  </p>

			<p>Con el fin de mejorar la fiabilidad de los datos que aparecen en las estad&#x00ED;sticas de REBIUN, se han utilizado tres m&#x00E9;todos. El primero consisti&#x00F3; en tener en cuenta todos los casos y seleccionar, para cada uno de los datos, los valores que hab&#x00ED;an tenido durante los &#x00FA;ltimos 5 a&#x00F1;os, con el fin de comprobar la no existencia de cifras err&#x00E1;ticas en la serie. El segundo m&#x00E9;todo se bas&#x00F3; en la verificaci&#x00F3;n de la bondad del dato de REBIUN, compar&#x00E1;ndolo con el que aparec&#x00ED;a en la memoria de la biblioteca, aunque aqu&#x00ED; hemos de aclarar que esta &#x00FA;ltima aproximaci&#x00F3;n s&#x00F3;lo se pudo llevar a cabo en los casos en los que se dispon&#x00ED;a de una memoria anual de actividades. El tercer m&#x00E9;todo utilizado se centr&#x00F3; en la identificaci&#x00F3;n de aquellas bibliotecas que son at&#x00ED;picas; esto es, bibliotecas que presentan datos extremos en comparaci&#x00F3;n con el resto. La presencia de datos at&#x00ED;picos puede ser debida a diversos factores: resultado de errores en la medici&#x00F3;n, presencia de caracter&#x00ED;sticas inusuales con respecto al resto de la muestra, o la no pertenencia al grupo de referencia seg&#x00FA;n el cual la unidad est&#x00E1; siendo evaluada (Johnson y Mc Ginnis, <xref ref-type="bibr" rid="CIT15">2008</xref>). La importancia de detectar unidades extremas reside en que los estimadores del DEA son muy sensibles a la presencia de &#x00E9;stos, ya que el m&#x00E9;todo emplea observaciones extremas para identificar un desempe&#x00F1;o superior (Sexton y otros, <xref ref-type="bibr" rid="CIT31">1986</xref>).  </p>

			<p>Todas las bibliotecas at&#x00ED;picas presentan la caracter&#x00ED;stica de que son de gran tama&#x00F1;o, siendo ineficientes en el modelo de DEA con escala de retorno constante (CRS) para ambos a&#x00F1;os. Sin embargo, cuando se utiliza el modelo de DEA con escala de retorno variable todas ellas son eficientes debido a que una, o varias de sus variables, alcanzan valores extremos.  </p>

			<p>Para la detecci&#x00F3;n de unidades at&#x00ED;picas o extremas, se han propuesto diversos m&#x00E9;todos en la literatura (Simar, <xref ref-type="bibr" rid="CIT35">2003</xref>; Banker y Chang, <xref ref-type="bibr" rid="CIT05">2006</xref>; Johnson y Mc Ginnis, <xref ref-type="bibr" rid="CIT15">2008</xref>; Bellini, <xref ref-type="bibr" rid="CIT06">2012</xref>). En este estudio hemos utilizado el m&#x00E9;todo propuesto por Bellini (<xref ref-type="bibr" rid="CIT06">2012</xref>), que permite la identificaci&#x00F3;n de unidades at&#x00ED;picas que se localizan dentro y fuera de la frontera de eficiencia. Para ello, se construye para cada output una funci&#x00F3;n de distancia que considera los valores de s&#x00FA;per-eficiencia de cada unidad de referencia y el valor del output de dicha unidad. Con el fin de determinar las unidades at&#x00ED;picas, en este art&#x00ED;culo hemos considerado la elipse al 95% del boxplot bivariado, que resulta de considerar las distancias m&#x00ED;nimas y m&#x00E1;ximas de los outputs a los valores de super-eficiencia alcanzados por cada biblioteca (<xref ref-type="fig" rid="F1">figura 1</xref>).  </p>
			
			
					<fig id="F1">
						<label>Figura 1</label>
						<caption>
							<title>Boxplot de los outputs de los valores de s&#x00FA;per-eficiencia alcanzados por cada biblioteca en 2008 y 2012. En rojo bibliotecas at&#x00ED;picas.</title>
						</caption>
						<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/F1.jpg"/>
					</fig>
						
						

			<p>Con el empleo de este procedimiento se ha detectado que existen dos bibliotecas, tanto en 2008 como en 2012, que se localizan fuera de la elipse que representa la curva segmentaria del 99% (las bibliotecas de las universidades Complutense de Madrid y la de Valencia). En el a&#x00F1;o 2008 aparece otra biblioteca, la de la Universidad de Zaragoza, que est&#x00E1; localizada fuera de la elipse que representa la curva segmentaria del 95%. As&#x00ED; mismo, en 2012, y en esa misma elipse, se localizaron las bibliotecas de las universidades de Barcelona y de Salamanca; por tanto, la muestra final de bibliotecas que se ha analizado para la realizaci&#x00F3;n de este trabajo, ha sido de 41, cifra que resulta de la eliminaci&#x00F3;n de las anteriores bibliotecas por los motivos expuestos.</p>
		</sec>

		<sec id="S3.2">
			<title>3.2. Selecci&#x00F3;n de las variables </title>

			<p>En la t&#x00E9;cnica DEA la identificaci&#x00F3;n y selecci&#x00F3;n de los inputs y outputs m&#x00E1;s adecuados es fundamental, y va a depender de su relevancia de acuerdo con los objetivos de la evaluaci&#x00F3;n y de la factibilidad de su obtenci&#x00F3;n. En este trabajo hemos analizado el conjunto de procesos en los que se precisa una participaci&#x00F3;n relevante de los recursos humanos, y en los que las pol&#x00ED;ticas acerca de la organizaci&#x00F3;n de los mismos puedan tener importancia en el c&#x00E1;lculo de su eficiencia.  </p>

			<p>Los recursos humanos de una biblioteca universitaria se utilizan fundamentalmente en los dos siguientes macroprocesos:  </p>

			<p>a) El de gesti&#x00F3;n de la colecci&#x00F3;n, que tiene el objetivo de crear colecciones adecuadas a las necesidades de aprendizaje, docencia e investigaci&#x00F3;n de la universidad, y que incluye tres grandes procesos: adquisiciones, t&#x00E9;cnico y mantenimiento de la colecci&#x00F3;n. Como aproximaci&#x00F3;n a las cargas de trabajo de estas actividades se han considerado:  </p>

						<list list-type="bullet">
							<list-item>
								<p>Actividades relacionadas con el mantenimiento de la colecci&#x00F3;n para su uso inmediato. Como estimador del volumen de dichas actividades podemos considerar el volumen del fondo informatizado del que dispone la biblioteca, y que hemos denominado “ITEMS”.</p>
							</list-item>
							
							<list-item>
								<p>Actividades relacionadas con la identificaci&#x00F3;n de necesidades de los usuarios, selecci&#x00F3;n y adquisici&#x00F3;n de materiales. Como estimador del volumen de dichas actividades se han considerado los vol&#x00FA;menes anuales a&#x00F1;adidos a la colecci&#x00F3;n, tanto de monograf&#x00ED;as como de revistas obtenidas por compra, y que ha sido definida con el nombre de “COMPRAS”.</p>
							</list-item>
							
							<list-item>
								<p>Actividades relacionadas con el mantenimiento de las instalaciones y que tienen como objetivo el de ofrecer a los usuarios unas condiciones adecuadas de las mismas. Como variable hemos seleccionado el n&#x00FA;mero de puntos de servicio que est&#x00E1;n disponibles para los usuarios y que se ha definido como “NBIBLIO”.  </p>
							</list-item>
						</list>
						

			<p>b) El de servicio a los usuarios, cuyo objetivo es el de dar respuesta a las necesidades de informaci&#x00F3;n que presentan los mismos en sus actividades de aprendizaje, docencia e investigaci&#x00F3;n. Este macroproceso incluye los siguientes, procesos: informaci&#x00F3;n bibliogr&#x00E1;fica, consulta y recuperaci&#x00F3;n de informaci&#x00F3;n; pr&#x00E9;stamo tanto en sala como a domicilio, e interbibliotecario; formaci&#x00F3;n de usuarios; apoyo a la docencia; apoyo a la investigaci&#x00F3;n y el de visibilidad de la producci&#x00F3;n cient&#x00ED;fica de la universidad.  </p>

			<p>Como variables representativas de este apartado se han seleccionado:  </p>

						<list list-type="bullet">
							<list-item>
								<p>El n&#x00FA;mero de pr&#x00E9;stamos domiciliarios, que se ha definido como “PRESTDOM”.</p>
							</list-item>
							
							<list-item>
								<p>El n&#x00FA;mero de pr&#x00E9;stamos interbibliotecarios que gestiona la biblioteca, tanto como centro solicitante como proveedor, y que se ha definido como “INTERB”.</p>
							</list-item>
						</list>
						

			<p>La variable “PERSONAL”, que viene reflejada en este art&#x00ED;culo, se ha construido como la suma del personal de plantilla de la biblioteca y los becarios, todos ellos reducidos a tiempo completo. En la <xref ref-type="fig" rid="T1">tabla I</xref> se presentan los estad&#x00ED;sticos descriptivos m&#x00E1;s relevantes pertenecientes a las 41 bibliotecas analizadas, pudi&#x00E9;ndose observar que en el a&#x00F1;o 2012 se produce una reducci&#x00F3;n en el n&#x00FA;mero de efectivos del personal, volumen de compras y pr&#x00E9;stamos interbibliotecarios, todo ello posiblemente debido a los efectos de la crisis econ&#x00F3;mica. </p>
			
			
					<fig id="T1">
						<label>Tabla I</label>
						<caption>
							<title>Resumen estad&#x00ED;stico de las variables utilizadas en el estudio </title>
						</caption>
						<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/T1.jpg"/>
					</fig>
						
						
		</sec>
		</sec>


		<sec id="S4">
			<title>4. RESULTADOS </title>

		<sec id="S4.1">
			<title>4.1. Resumen de los resultados del c&#x00E1;lculo de la eficiencia </title>

			<p>En la <xref ref-type="fig" rid="T2">Tabla II</xref> se muestra el resumen de los principales resultados de eficiencia, tanto bajo el supuesto de rendimientos constantes (CRS), como de rendimientos dependientes de la escala de funcionamiento (VRS) orientados a la minimizaci&#x00F3;n en el uso de inputs. As&#x00ED; mismo, se ha representado la eficiencia de escala de los a&#x00F1;os 2008 y 2012.  </p>
			
			
					<fig id="T2">
						<label>Tabla II</label>
						<caption>
							<title>Valores de eficiencia de las bibliotecas universitarias espa&#x00F1;olas en los a&#x00F1;os 2008 y 2012 </title>
						</caption>
						<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/T2.jpg"/>
					</fig>
						
						

			<p>Como resultado m&#x00E1;s sobresaliente se puede se&#x00F1;alar que el n&#x00FA;mero de bibliotecas eficientes bajo el modelo CRS en 2008 es de 10 (24%), y bajo el modelo VRS es de 19 (46%). En el a&#x00F1;o 2012 estos valores corresponden a 8 bibliotecas eficientes en el modelo CRS (19%) y a 15 (36%) en el modelo VRS. El promedio de eficiencia de las 41 bibliotecas bajo el modelo CRS es de 0,79 para el a&#x00F1;o 2008 y 0,76 para el a&#x00F1;o 2012. Esto significa que, a nivel global, se podr&#x00ED;a reducir el personal en m&#x00E1;s de un 20%. En el caso de utilizar como elemento de evaluaci&#x00F3;n el modelo VRS, la eficiencia media es 0,85 en el a&#x00F1;o 2008 y de 0,83 en el a&#x00F1;o 2012, lo que significa que, como m&#x00ED;nimo, se podr&#x00ED;a reducir en un 15% el volumen del personal para conseguir su eficiencia. Por otro lado, los altos valores obtenidos de la eficiencia de escala indican que alrededor de la mitad de ese 15% de baja eficiencia se explica porque las bibliotecas en su conjunto no est&#x00E1;n trabajando con un tama&#x00F1;o &#x00F3;ptimo. De hecho, de las 32 bibliotecas que presentan en el a&#x00F1;o 2008 un valor de eficiencia de escala inferior a 1, el 62,5%, es decir, 20 de ellas est&#x00E1;n operando con un retorno de escala decreciente; para el a&#x00F1;o 2012 este porcentaje baja al 44%, posiblemente debido a la reducci&#x00F3;n del personal que se produjo en las bibliotecas en ese periodo como resultado de la crisis econ&#x00F3;mica y que se puede observar en la <xref ref-type="fig" rid="T1">tabla I</xref>.  </p>

			<p>Hay que resaltar el comportamiento similar que tienen las bibliotecas en los a&#x00F1;os 2008 y 2012. As&#x00ED;, las 6 bibliotecas m&#x00E1;s ineficientes lo son en ambos a&#x00F1;os, alcanzando valores muy similares. As&#x00ED; mismo, todas las bibliotecas que son eficientes en 2012 tambi&#x00E9;n lo son en 2008, exceptu&#x00E1;ndose la biblioteca UGR que en el a&#x00F1;o 2012 increment&#x00F3; el n&#x00FA;mero de &#x00ED;tems informatizados. Sin embargo, existen 3 bibliotecas que eran eficientes en 2008, pero que en 2012 ya no lo fueron y cuya causa se debe, en parte, a una reducci&#x00F3;n en la compra de materiales bibliogr&#x00E1;ficos. No obstante, aunque existan algunas diferencias de comportamientos individuales, los datos de eficiencia calculados en ambos a&#x00F1;os son en su conjunto muy similares, como se prueba por la existencia de una correlaci&#x00F3;n entre dichos valores del 0,789 para la eficiencia global y de 0,811 para la eficiencia t&#x00E9;cnica pura (significativos para un nivel de probabilidad del 99%). Tambi&#x00E9;n es preciso se&#x00F1;alar que la realizaci&#x00F3;n de la prueba no param&#x00E9;trica de los rangos con signo de Wilkinson para muestras relacionadas, nos indica que no se puede descartar la hip&#x00F3;tesis de igualdad de los valores medios obtenidos de eficiencia para ambos a&#x00F1;os con un nivel de probabilidad del 95%.</p>
		</sec>

		<sec id="S4.2">
			<title>4.2. Ranking de las bibliotecas </title>

			<p>Para establecer un ranking entre las bibliotecas eficientes se han aplicado los tres m&#x00E9;todos se&#x00F1;alados en la secci&#x00F3;n de metodolog&#x00ED;a (<xref ref-type="fig" rid="T3">tabla III</xref> y <xref ref-type="fig" rid="T4">tabla IV</xref>). En el caso de la evaluaci&#x00F3;n de la eficiencia cruzada, hemos utilizado el valor promedio de eficiencia que se obtiene cuando la biblioteca evaluada utiliza los pesos de las dem&#x00E1;s bibliotecas (evaluaci&#x00F3;n por los pares), as&#x00ED; como el &#x00ED;ndice de “maverick” para verificar su fiabilidad.  </p>
			
			
					<fig id="T3">
						<label>Tabla III</label>
						<caption>
							<title>Comparaci&#x00F3;n entre el n&#x00FA;mero de unidades de referencia (U.R.)  de las bibliotecas eficientes  y los coeficientes de super-eficiencia y eficiencia cruzada en el modelo CCR para el 2008</title>
						</caption>
						<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/T3.jpg"/>
					</fig>
	

			<p>Como se puede observar en la <xref ref-type="fig" rid="T3">tabla III</xref>, las bibliotecas UIB, y UDC, son las que mejor se comportan en los tres m&#x00E9;todos empleados durante el a&#x00F1;o 2008. Adem&#x00E1;s, el bajo valor del &#x00ED;ndice de “maverick” para ambas nos indica la fiabilidad de dichos valores de eficiencia global. Por estos motivos, ambas ocupar&#x00ED;an el primer puesto. A continuaci&#x00F3;n se situar&#x00ED;an las bibliotecas UMH, y UPV/EHU, con valores de eficiencia cruzada de alrededor del 80% y con unos &#x00ED;ndices de “maverick” inferiores a 25. A partir de aqu&#x00ED; habr&#x00ED;a que destacar a la UCLM y ya, en menor medida, a la UAH, y UPV. Es necesario comentar que la biblioteca UC3M tiene un elevado &#x00ED;ndice de “maverick” (47,71), lo que nos sugiere que su valor de eficiencia puede ser discutible.  </p>

			<p>Los resultados para el a&#x00F1;o 2012 se presentan en la <xref ref-type="fig" rid="T4">tabla IV</xref>, pudi&#x00E9;ndose observar que las bibliotecas que ocupan los dos primeros lugares en eficiencia siguen siendo la UDC y la UIB. A continuaci&#x00F3;n se mantiene la UR y la UMH. Hay que se&#x00F1;alar que en este a&#x00F1;o desaparece de entre los primeros puestos la biblioteca UPV/EHU, debido a que increment&#x00F3; el personal, al mismo tiempo que se redujeron las compras y el pr&#x00E9;stamo interbibliotecario, as&#x00ED; como el n&#x00FA;mero de puntos de servicio. En este mismo periodo, la biblioteca UGR entra entre las mejores, y esto se explica por el incremento en m&#x00E1;s de un 50% de los ejemplares introducidos en la base de datos bibliogr&#x00E1;fica. Si tenemos en cuenta el valor del &#x00ED;ndice de “maverick”, podemos observar que dicho &#x00ED;ndice para la UPO, alcanza el valor de 53,96, lo que sugiere que posiblemente su valor de eficiencia sea poco fiable.  </p>
			
			
											
					<fig id="T4">
						<label>Tabla IV</label>
						<caption>
							<title>Comparaci&#x00F3;n entre el n&#x00FA;mero de unidades de referencia (U.R.) de las bibliotecas eficientes, y los coeficientes de super-eficiencia y eficiencia cruzada en el modelo CCR para el 2012</title>
						</caption>
						<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/T4.jpg"/>
					</fig>
					

			<p>Teniendo en cuenta los resultados de los a&#x00F1;os 2008 y 2012, podr&#x00ED;amos establecer un ranking en el que las bibliotecas UDC y UIB, alcanzar&#x00ED;an el primer puesto, seguidas a una cierta distancia por las bibliotecas UR y UMH y detr&#x00E1;s de estas se situar&#x00ED;an las bibliotecas UAH, ULE y UPO, aun cuando los valores de eficiencia de este &#x00FA;ltimo grupo ser&#x00ED;a discutible por los altos valores de sus &#x00ED;ndices de “maverick”. </p>
		</sec>


		<sec id="S4.3">
			<title>4.3. Organizaci&#x00F3;n de los recursos humanos  </title>

			<p>Teniendo en cuenta los datos del posible ranking de bibliotecas, lo primero que detallaremos son las caracter&#x00ED;sticas organizativas que poseen las bibliotecas situadas en el primer puesto del mismo. As&#x00ED;, desde la perspectiva de la organizaci&#x00F3;n de los recursos humanos, la UDC se caracteriza por disponer de una estructura central en la que se localiza la direcci&#x00F3;n y 4 unidades administrativas dedicadas a la gesti&#x00F3;n de los procesos comunes bibliotecarios: automatizaci&#x00F3;n, t&#x00E9;cnico, gesti&#x00F3;n de colecciones, referencia y acceso a los documentos. Adem&#x00E1;s, cuenta con 16 bibliotecas de centro con una dotaci&#x00F3;n global de 75 personas (media de 4,7 personas por biblioteca).  </p>

			<p>La biblioteca UIB tambi&#x00E9;n dispone, como la anterior, de una estructura central amplia con 7 unidades t&#x00E9;cnicas gestionadas por 25 personas y 10 puntos de servicio con una dotaci&#x00F3;n de 5,8 personas de media.  </p>

			<p>En contraste con las bibliotecas referidas m&#x00E1;s arriba, nos encontramos con dos categor&#x00ED;as de bibliotecas que presentan una baja eficiencia (entre el 40 y 60%). El primer caso est&#x00E1; constituido por bibliotecas como la UPC, la UPM, o la UMA, que se caracterizan por disponer de una estructura central de coordinaci&#x00F3;n muy peque&#x00F1;a, d&#x00E1;ndole protagonismo a las bibliotecas de centro, lo que supone una estructura de gesti&#x00F3;n muy descentralizada en la que los procesos, como los t&#x00E9;cnicos o el pr&#x00E9;stamo interbibliotecario, suelen estar incluidos. Este hecho determina que las bibliotecas de centro dispongan de una dotaci&#x00F3;n media superior a 9 personas sin contar a los becarios. El segundo tipo est&#x00E1; constituido por bibliotecas como la UA, la cual dispone de una estructura central potente, con m&#x00E1;s de 50 personas, y una dotaci&#x00F3;n media superior a 9 personas por biblioteca de centro.  </p>

			<p>Entre las bibliotecas que disponen de menos de 6 puntos de servicio debemos se&#x00F1;alar, como ejemplo de eficiencia, la UMH que est&#x00E1; organizada de forma descentralizada en tres secciones, las cuales dan servicio a las cinco bibliotecas existentes en los diferentes campus en los que se organiza la universidad. La dotaci&#x00F3;n de personal de cada una de las secciones era, en 2008, entre 7 y 10 personas; al contrario, dentro de este grupo la que resulta m&#x00E1;s ineficiente es la biblioteca UAL, que dispone de una dotaci&#x00F3;n de personal para un solo punto de servicio superior a la biblioteca UR con un solo punto de servicio, o la UMH con 5 puntos de servicio. </p>
		</sec>
		</sec>


		<sec id="S5">
			<title>5. CONCLUSIONES </title>

			<p>En este art&#x00ED;culo hemos analizado las posibilidades de establecimiento de un ranking entre las bibliotecas universitarias espa&#x00F1;olas, que podr&#x00ED;a ser utilizado para identificar a las mejores bibliotecas en relaci&#x00F3;n con la eficiencia de los procesos que lleva a cabo su personal. Como resultado relevante, debemos se&#x00F1;alar que las bibliotecas, en su conjunto, presentan una eficiencia global y t&#x00E9;cnica alta en los dos a&#x00F1;os estudiados. No obstante, existen algunas bibliotecas con valores de eficiencia inferiores al 60% que deber&#x00ED;an mejorar la organizaci&#x00F3;n de sus recursos humanos. Para llevar a cabo esta mejora, hemos considerado que ser&#x00ED;a importante la identificaci&#x00F3;n, por un lado, de aquellas bibliotecas que podr&#x00ED;an ser modelo de referencia y, por otro, conocer qu&#x00E9; caracter&#x00ED;sticas ser&#x00ED;an claves en la organizaci&#x00F3;n de los recuros humanos para elevar su nivel de eficiencia.  </p>

			<p>Como primera conclusi&#x00F3;n, podr&#x00ED;amos indicar que la evaluaci&#x00F3;n de la eficiencia cruzada puede ser un m&#x00E9;todo muy efectivo para la identificaci&#x00F3;n de las bibliotecas m&#x00E1;s eficientes, dando unos resultados que son coherentes con los otros dos m&#x00E9;todos utilizados en este trabajo pero que, adem&#x00E1;s, permite a trav&#x00E9;s del c&#x00E1;lculo del &#x00ED;ndice de “maverick” conocer la fiabilidad del valor de eficiencia.  </p>

			<p>Como segunda conclusi&#x00F3;n destacamos la estabilidad de la eficiencia en el conjunto de las bibliotecas universitarias en los dos a&#x00F1;os analizados. La utilidad del c&#x00E1;lculo de la eficiencia global y de la eficiencia pura y de escala, nos permite conocer si la causa de la ineficiencia reside en un funcionamiento por debajo o por encima de su tama&#x00F1;o &#x00F3;ptimo.  </p>

			<p>En tercer lugar, se resalta el inter&#x00E9;s que tiene el estudiar la relaci&#x00F3;n existente entre los datos de eficiencia con la organizaci&#x00F3;n de las bibliotecas. En este caso, se ha comprobado que las bibliotecas m&#x00E1;s eficientes en el uso de sus recursos humanos se caracterizan, por un lado, en que disponen de una estructura centralizada en la que se realizan todos aquellos procesos que son comunes a todas las bibliotecas de centro, lo que permite aprovechar las ventajas de la automatizaci&#x00F3;n de dichos procesos. Por otro lado, estas bibliotecas disponen de un n&#x00FA;mero de recursos humanos asignados a las bibliotecas de centro inferior a los que existen en las bibliotecas evaluadas como muy ineficientes.  </p>

			<p>Como conclusi&#x00F3;n &#x00FA;ltima, se sugiere que las bibliotecas menos eficientes deber&#x00ED;an, por un lado, centralizar los procesos que son transversales como el pr&#x00E9;stamo interbibliotecario o las compras, y por otro, centrar sus esfuerzos en reducir el personal en aquellos procesos que puedan ser gestionados electr&#x00F3;nicamente, como es el caso del mismo pr&#x00E9;stamo interbibliotecario, o la introducci&#x00F3;n de herramientas electr&#x00F3;nicas en otros procesos como el pr&#x00E9;stamo, la respuesta a consultas de los usuarios, etc.</p>
					
		</sec>
			

	</body>

	<back>
	
		<ref-list>
			<title>REFERENCIAS</title>
				
			<ref id="CIT01">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Adler</surname>
					  <given-names>N.</given-names>	  
				  </name>
				  <name>
					  <surname>Friedman</surname>
					  <given-names>L.</given-names>	  
				  </name>
				  <name>
					  <surname>Sinuany-Stern</surname>
					  <given-names>Z.</given-names>	  
				  </name>
			  </person-group>
			  <year>2002</year>
			  <article-title>Review of ranking methods in the data envelopment analysis context</article-title>
			  <source>European Journal of Operational Research</source>
			  <volume>140</volume>
			  <fpage>249</fpage>
			  <lpage>265</lpage>
			  <comment><uri>http://dx.doi.org/10.1016/S0377-2217(02)00068-1</uri></comment>
			</element-citation>
			</ref>

			<ref id="CIT02"> 
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Andersen</surname>
					  <given-names>P.</given-names>	  
				  </name>
				  <name>
					  <surname>Petersen</surname>
					  <given-names>N. C.</given-names>	  
				  </name>
			  </person-group>
			  <year>1993</year>
			  <article-title>A procedure for ranking efficient units in data envelopment analysis</article-title>
			  <source>Management Science</source>
			  <volume>39</volume>
			  <fpage>1261</fpage>
			  <lpage>1264</lpage>
			  <comment><uri>http://dx.doi.org/10.1287/mnsc.39.10.1261</uri></comment>
			</element-citation>
			</ref>

			<ref id="CIT03">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Angulo-Meza</surname>
					  <given-names>L.</given-names>	  
				  </name>
				  <name>
					  <surname>Lins</surname>
					  <given-names>M.P.E.</given-names>	  
				  </name>
			  </person-group>
			  <year>2002</year>
			  <article-title>Review of methods for increasing discrimination in data envelopment analysis</article-title>
			  <source>Annals of Operations Research</source>
			  <volume>116</volume>
			  <fpage>225</fpage>
			  <lpage>242</lpage>
			  <comment><uri>http://dx.doi.org/10.1023/A:1021340616758</uri></comment>
			</element-citation>
			</ref>

			<ref id="CIT04">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Banker</surname>
					  <given-names>R. D.</given-names>	  
				  </name>
				  <name>
					  <surname>Charnes</surname>
					  <given-names>A.</given-names>	  
				  </name>
				  <name>
					  <surname>Cooper</surname>
					  <given-names>W. W.</given-names>	  
				  </name>
			  </person-group>
			  <year>1984</year>
			  <article-title>Some models for estimating technical and scale inefficiencies in data envelopment analysis</article-title>
			  <source>Management Science</source>
			  <volume>30</volume>
			  <issue>9</issue>
			  <fpage>1078</fpage>
			  <lpage>1092</lpage>
			  <comment><uri>http://dx.doi.org/10.1287/mnsc.30.9.1078</uri></comment> 
			</element-citation>
			</ref>

			<ref id="CIT05">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Banker</surname>
					  <given-names>R. D.</given-names>	  
				  </name>
				  <name>
					  <surname>Chang</surname>
					  <given-names>H.</given-names>	  
				  </name>
			  </person-group>
			  <year>2006</year>
			  <article-title>The super-efficiency procedure for outlier identification, not for ranking efficient units</article-title>
			  <source>European Journal of Operational Research</source>
			  <volume>175</volume>
			  <fpage>1311</fpage>
			  <lpage>1320</lpage>
			  <comment><uri>http://dx.doi.org/10.1016/j.ejor.2005.06.028</uri></comment>  
			</element-citation>
			</ref>

			<ref id="CIT06">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Bellini</surname>
					  <given-names>T.</given-names>	  
				  </name>
			  </person-group>
			  <year>2012</year>
			  <article-title>Forward search outlier detection in data envelopment analysis</article-title>
			  <source>European Journal of Operational Research</source>
			  <volume>216</volume>
			  <fpage>200</fpage>
			  <lpage>207</lpage>
			  <comment><uri>http://dx.doi.org/10.1016/j.ejor.2011.07.023</uri></comment>  			  
			</element-citation>
			</ref>

			<ref id="CIT07">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Bergendahl</surname>
					  <given-names>G.</given-names>	  
				  </name>
			  </person-group>
			  <year>1998</year>
			  <article-title>DEA and benchmarks -an application to Nordic banks</article-title>
			  <source>Annals of Operations Research</source>
			  <volume>82</volume>
			  <fpage>233</fpage>
			  <lpage>249</lpage>
			  <comment><uri>http://dx.doi.org/10.1023/A:1018910719517</uri></comment>  
			</element-citation>
			</ref>

			<ref id="CIT08">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Carvalho</surname>
					  <given-names>F.A.</given-names>	  
				  </name>
				  <name>
					  <surname>Jorge</surname>
					  <given-names>M. J.</given-names>	  
				  </name>
				  <name>
					  <surname>Jorge</surname>
					  <given-names>M. F.</given-names>	  
				  </name>
				  <name>
					  <surname>Russo</surname>
					  <given-names>M.</given-names>	  
				  </name>
				  <name>
					  <surname>S&#x00E1;</surname>
					  <given-names>N. O.</given-names>	  
				  </name>				  
			  </person-group>
			  <year>2012</year>
			  <article-title>Library performance management in Rio De Janeiro, Brazil: applying DEA to a sample of university libraries in 2006-2007</article-title>
			  <source>Library Management</source>
			  <volume>33</volume>
			  <issue>4/5</issue>
			  <fpage>297</fpage>
			  <lpage>306</lpage>
			  <comment><uri>http://dx.doi.org/10.1108/01435121211242335</uri></comment> 
			</element-citation>
			</ref>

			<ref id="CIT09">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Carvalho</surname>
					  <given-names>F.A.</given-names>	  
				  </name>
				  <name>
					  <surname>Jorge</surname>
					  <given-names>M. J.</given-names>	  
				  </name>
				  <name>
					  <surname>Jorge</surname>
					  <given-names>M. F.</given-names>	  
				  </name>
				  <name>
					  <surname>Medeiros</surname>
					  <given-names>R.O.</given-names>	  
				  </name>
			  </person-group>
			  <year>2013</year>
			  <article-title>An&#x00E1;lise de efici&#x00EA;ncia e desempenho no longo prazo: ilustra&#x00E7;&#x00E3;o emp&#x00ED;rica de um modelo para avalia&#x00E7;&#x00E3;o de bibliotecas p&#x00FA;blicas</article-title>
			  <source>Investigaci&#x00F3;n Bibliotecol&#x00F3;gica</source>
			  <volume>27</volume>
			  <issue>60</issue>
			  <fpage>71</fpage>
			  <lpage>95</lpage>
			</element-citation>
			</ref>

			<ref id="CIT10"> 
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Charnes</surname>
					  <given-names>A.</given-names>	  
				  </name>
				  <name>
					  <surname>Cooper</surname>
					  <given-names>W. W.</given-names>	  
				  </name>
				  <name>
					  <surname>Rhodes</surname>
					  <given-names>E.</given-names>	  
				  </name>
			  </person-group>
			  <year>1978</year>
			  <article-title>Measuring the efficiency of decision making units</article-title>
			  <source>European Journal of Operational Research</source>
			  <volume>2</volume>
			  <issue>6</issue>
			  <fpage>429</fpage>
			  <lpage>444</lpage>
			  <comment><uri>http://dx.doi.org/10.1016/0377-2217(78)90138-8</uri></comment>  
			</element-citation>
			</ref>

			<ref id="CIT11">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Chen</surname>
					  <given-names>T.</given-names>	  
				  </name>
			  </person-group>
			  <year>1997</year>
			  <article-title>A measurement of the resource utilization efficiency of university libraries</article-title>
			  <source>International Journal of Production Economics</source>
			  <volume>53</volume>
			  <issue>1</issue>
			  <fpage>71</fpage>
			  <lpage>80</lpage>
			  <comment><uri>http://dx.doi.org/10.1016/S0925-5273(97)00102-3</uri></comment> 
			</element-citation>
			</ref>

			<ref id="CIT12">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Doyle</surname>
					  <given-names>J. R.</given-names>	  
				  </name>
				  <name>
					  <surname>Green</surname>
					  <given-names>R.H.</given-names>	  
				  </name>
			  </person-group>
			  <year>1994</year>
			  <article-title>Efficiency and cross-efficiency in DEA: Derivations, meanings and uses</article-title>
			  <source>Journal of the Operational Research Society</source>
			  <volume>45</volume>
			  <fpage>567</fpage>
			  <lpage>578</lpage>
			  <comment><uri>http://dx.doi.org/10.1057/jors.1994.84</uri> / <uri>http://dx.doi.org/10.2307/2584392</uri></comment> 
			</element-citation>
			</ref>

			<ref id="CIT13">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Hwang</surname>
					  <given-names>M. J.</given-names>	  
				  </name>
				  <name>
					  <surname>Shieh</surname>
					  <given-names>J. C.</given-names>	  
				  </name>
				  <name>
					  <surname>Hsieh</surname>
					  <given-names>C. C.</given-names>	  
				  </name>
			  </person-group>
			  <year>2012</year>
			  <article-title>Using data envelopment analysis to evaluate library electronic databases</article-title>
			  <source>Journal of Educational Media and Library Science</source>
			  <volume>49</volume>
			  <issue>3</issue>
			  <fpage>343</fpage>
			  <lpage>368</lpage>
			</element-citation>
			</ref>

			<ref id="CIT14">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Jarrillo Calvarro</surname>
					  <given-names>S.</given-names>	  
				  </name>
			  </person-group>
			  <year>2012</year>
			  <article-title>Bibliotecas universitarias y costes. ¿Valemos lo que costamos?</article-title>
			  <source>Bolet&#x00ED;n de la Asociaci&#x00F3;n Andaluza de Bibliotecarios</source>
			  <volume>103</volume>
			  <fpage>45</fpage>
			  <lpage>57</lpage>
			</element-citation>
			</ref>

			<ref id="CIT15">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Johnson</surname>
					  <given-names>A. L.</given-names>	  
				  </name>
				  <name>
					  <surname>McGinnis</surname>
					  <given-names>L. F.</given-names>	  
				  </name>
			  </person-group>
			  <year>2008</year>
			  <article-title>Outlier detection in two-stage semiparametric DEA models</article-title>
			  <source>European Journal of Operational Research</source>
			  <volume>187</volume>
			  <fpage>629</fpage>
			  <lpage>635</lpage>
			  <comment><uri>http://dx.doi.org/10.1016/j.ejor.2007.03.041</uri></comment>
			</element-citation>
			</ref>

			<ref id="CIT16">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Kao</surname>
					  <given-names>C.</given-names>	  
				  </name>
				  <name>
					  <surname>Lin</surname>
					  <given-names>Y-C.</given-names>	  
				  </name>
			  </person-group>
			  <year>1999</year>
			  <article-title>Comparing University Libraries of Different University Size</article-title>
			  <source>Libri</source>
			  <volume>49</volume>
			  <fpage>150</fpage>
			  <lpage>158</lpage>
			  <comment><uri>http://dx.doi.org/10.1515/libr.1999.49.3.150</uri></comment>
			</element-citation>
			</ref>

			<ref id="CIT17">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Kao</surname>
					  <given-names>C.</given-names>	  
				  </name>
				  <name>
					  <surname>Liu</surname>
					  <given-names>S-T.</given-names>	  
				  </name>
			  </person-group>
			  <year>2000</year>
			  <article-title>Data envelopment analysis with missing data: an application to University libraries in Taiwan</article-title>
			  <source>Journal of the Operational Research Society</source>
			  <volume>51</volume>
			  <fpage>897</fpage>
			  <lpage>905</lpage>
			  <comment><uri>http://dx.doi.org/10.2307/254045</uri> / <uri>http://dx.doi.org/10.1057/palgrave.jors.2600056</uri></comment>
			</element-citation>
			</ref>

			<ref id="CIT18">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Kao</surname>
					  <given-names>C.</given-names>	  
				  </name>
				  <name>
					  <surname>Lin</surname>
					  <given-names>Y-C.</given-names>	  
				  </name>
			  </person-group>
			  <year>2004</year>
			  <article-title>Evaluation of the university libraries in Taiwan: total measure versus ratio measure</article-title>
			  <source>Journal Operational Research Society</source>
			  <volume>55</volume>
			  <issue>12</issue>
			  <fpage>1256</fpage>
			  <lpage>1265</lpage>
			  <comment><uri>http://dx.doi.org/10.1057/palgrave.jors.2601786</uri></comment>
			</element-citation>
			</ref>

			<ref id="CIT19">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Lai</surname>
					  <given-names>M. C.</given-names>	  
				  </name>
				  <name>
					  <surname>Wang</surname>
					  <given-names>W. K.</given-names>	  
				  </name>
				  <name>
					  <surname>Huang</surname>
					  <given-names>H. C.</given-names>	  
				  </name>
				  <name>
					  <surname>Meng-Kao</surname>
					  <given-names>M. C.</given-names>	  
				  </name>
			  </person-group>
			  <year>2011</year>
			  <article-title>Linking the benchmarking tool to a knowledge-based system for performance improvement</article-title>
			  <source>Expert Systems with Applications</source>
			  <volume>38</volume>
			  <fpage>10579</fpage>
			  <lpage>10586</lpage>
			  <comment><uri>http://dx.doi.org/10.1016/j.eswa.2011.02.101</uri></comment>
			</element-citation>
			</ref>

			<ref id="CIT20">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Lee</surname>
					  <given-names>C. W.</given-names>	  
				  </name>
				  <name>
					  <surname>Kwak</surname>
					  <given-names>N.K.</given-names>	  
				  </name>
				  <name>
					  <surname>Garrett</surname>
					  <given-names>W. A.</given-names>	  
				  </name>
			  </person-group>
			  <year>2013</year>
			  <chapter-title>A Comparative Appraisal of Operational Efficiency in U.S. Research-University Libraries: A DEA Approach</chapter-title>
			  <person-group person-group-type="editor">
				  <name>
					  <surname>Lawrence</surname>
					  <given-names>K. D.</given-names>	  
				  </name>
				  <name>
					  <surname>Kleinman</surname>
					  <given-names>G.</given-names>	  
				  </name>				  
			  </person-group>
			  <source>Applications of Management Science (vol. 16)</source>
			  <fpage>117</fpage>
			  <lpage>130</lpage>
			  <publisher-name>Emerald Group Publishing Limited</publisher-name>
			</element-citation>
			</ref>
			
			<ref id="CIT21">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Liu</surname>
					  <given-names>S. T.</given-names>	  
				  </name>
				  <name>
					  <surname>Chuang</surname>
					  <given-names>M.</given-names>	  
				  </name>
			  </person-group>
			  <year>2009</year>
			  <article-title>Fuzzy efficiency measures in fuzzy DEA/AR with application to university libraries</article-title>
			  <source>Expert Systems with Applications</source>
			  <volume>36</volume>
			  <fpage>1105</fpage>
			  <lpage>1113</lpage>
			  <comment><uri>http://dx.doi.org/10.1016/j.eswa.2007.10.013</uri></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT22">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Lu</surname>
					  <given-names>W. M.</given-names>	  
				  </name>
				  <name>
					  <surname>Lo</surname>
					  <given-names>S. F.</given-names>	  
				  </name>
			  </person-group>
			  <year>2009</year>
			  <article-title>An interactive benchmark model ranking performers- Application to financial holding companies</article-title>
			  <source>Mathematical and Computer Modelling</source>
			  <volume>49</volume>
			  <fpage>172</fpage>
			  <lpage>179</lpage>
			  <comment><uri>http://dx.doi.org/10.1016/j.mcm.2008.06.008</uri></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT23">
			<element-citation publication-type="thesis">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Mann</surname>
					  <given-names>G. M.</given-names>	  
				  </name>
			  </person-group>
			  <year>1997</year>
			  <source>Efficiency evaluations of North American university libraries: Data envelopment analysis</source>
			  <comment>Doctoral Thesis</comment>
			  <publisher-loc>Montreal, Canada</publisher-loc>
			  <publisher-name>McGill University</publisher-name>
			  <comment><uri>http://www.collectionscanada.gc.ca/obj/s4/f2/dsk2/ftp01/MQ29750.pdf</uri> [consulta 4 de junio de 2014]</comment>
			</element-citation>
			</ref>
			
			<ref id="CIT24">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Noh</surname>
					  <given-names>Y.</given-names>	  
				  </name>
			  </person-group>
			  <year>2011</year>
			  <article-title>Evaluation of the resource utilization efficiency of university libraries using DEA techniques and a proposal of alternative evaluation variables</article-title>
			  <source>Library Hi Technology</source>
			  <volume>29</volume>
			  <issue>4</issue>
			  <fpage>697</fpage>
			  <lpage>724</lpage>
			  <comment><uri>http://dx.doi.org/10.1108/07378831111189787</uri></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT25">
			<element-citation publication-type="thesis">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Owadie</surname>
					  <given-names>S.</given-names>	  
				  </name>
			  </person-group>
			  <year>2011</year>
			  <source>Measuring the efficiency of university libraries, Ghana-Using data envelopment analysis</source>
			  <comment>Tesis Doctoral. University of Science and Technology-Ghana</comment>
			</element-citation>
			</ref>
			
			<ref id="CIT26">
			<element-citation publication-type="web">
			  <person-group person-group-type="author">
				  <collab>REBIUN. Red de Bibliotecas Universitarias</collab>
			  </person-group>
			  <source>estad&#x00ED;stica REBIUN</source>
			  <comment><uri>https://rebiun.um.es/rebiun/admin/ManageIndicatorsPage;jsessionid=0BF061E983FD83761AF6AB7856849971</uri> [consultada desde el 10 de julio hasta el 20 diciembre de 2014]</comment>
			</element-citation>
			</ref>
			
			<ref id="CIT27">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Reichmann</surname>
					  <given-names>G.</given-names>	  
				  </name>
			  </person-group>
			  <year>2004</year>
			  <article-title>Measuring university library efficiency using data envelopment analysis</article-title>
			  <source>Libri</source>
			  <volume>54</volume>
			  <issue>2</issue>
			  <fpage>136</fpage>
			  <lpage>46</lpage>
			  <comment><uri>http://dx.doi.org/10.1515/libr.2004.136</uri></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT28">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Reichmann</surname>
					  <given-names>G.</given-names>	  
				  </name>
				  <name>
					  <surname>Sommersguter-Reichmann</surname>
					  <given-names>M.</given-names>	  
				  </name>
			  </person-group>
			  <year>2006</year>
			  <article-title>University library benchmarking: An international comparison using DEA</article-title>
			  <source>International Journal of Production Economics</source>
			  <volume>100</volume>
			  <issue>1</issue>
			  <fpage>131</fpage>
			  <lpage>147</lpage>
			  <comment><uri>http://dx.doi.org/10.1016/j.ijpe.2004.10.007</uri></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT29">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Reichmann</surname>
					  <given-names>G.</given-names>	  
				  </name>
				  <name>
					  <surname>Sommersguter-Reichmann</surname>
					  <given-names>M.</given-names>	  
				  </name>
			  </person-group>
			  <year>2010</year>
			  <article-title>Efficiency measures and productivity indexes in the context of university library benchmarking</article-title>
			  <source>Applied Economics</source>
			  <volume>42</volume>
			  <issue>3</issue>
			  <fpage>311</fpage>
			  <lpage>23</lpage>
			  <comment><uri>http://dx.doi.org/10.1080/00036840701604511</uri></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT30">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Saunders</surname>
					  <given-names>E. S.</given-names>	  
				  </name>
			  </person-group>
			  <year>2003</year>
			  <article-title>Cost efficiency in ARL academic libraries</article-title>
			  <source>The Bottom Line</source>
			  <volume>16</volume>
			  <issue>1</issue>
			  <fpage>5</fpage>
			  <lpage>14</lpage>
			  <comment><uri>http://dx.doi.org/10.1108/08880450310464009</uri></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT31">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Sexton</surname>
					  <given-names>T.R.</given-names>	  
				  </name>
				  <name>
					  <surname>Silkman</surname>
					  <given-names>R. H.</given-names>	  
				  </name>
				  <name>
					  <surname>Hogan</surname>
					  <given-names>A. J.</given-names>	  
				  </name>
			  </person-group>
			  <year>1986</year>
			  <chapter-title>Data envelopment analysis: critique and extensions</chapter-title>
			  <person-group person-group-type="editor">
				  <name>
					  <surname>Silkman</surname>
					  <given-names>R.H.</given-names>	  
				  </name>
			  </person-group>
			  <source>Measuring efficiency: an assessment of data envelopment analysis. New Directions for Program Evaluation</source>
			  <volume>1986</volume>
			  <issue>32</issue>
			  <fpage>73</fpage>
			  <lpage>105</lpage>
			  <comment><uri>http://dx.doi.org/10.1002/ev.1441</uri></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT32">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Shahwan</surname>
					  <given-names>T. M.</given-names>	  
				  </name>
				  <name>
					  <surname>Kaba</surname>
					  <given-names>A.</given-names>	  
				  </name>
			  </person-group>
			  <year>2013</year>
			  <article-title>Efficiency analysis of GCC academic libraries: an application of data envelopment analysis</article-title>
			  <source>Performance Measurement and Metrics</source>
			  <volume>14</volume>
			  <issue>3</issue>
			  <fpage>197</fpage>
			  <lpage>210</lpage>
			  <comment><uri>http://dx.doi.org/10.1108/PMM-07-2013-0023</uri></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT33">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Shim</surname>
					  <given-names>W.</given-names>	  
				  </name>
			  </person-group>
			  <year>2000</year>
			  <article-title>Assessing technical efficiency of research libraries</article-title>
			  <source>Advances in Library Administration and Organization</source>
			  <volume>17</volume>
			  <fpage>243</fpage>
			  <lpage>339</lpage>
			  <comment><uri>http://dx.doi.org/10.1016/s0732-0671(00)80011-5</uri></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT34">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Shim</surname>
					  <given-names>W.</given-names>	  
				  </name>
			  </person-group>
			  <year>2003</year>
			  <article-title>Applying DEA technique to library evaluation in academic research libraries</article-title>
			  <source>Library Trends</source>
			  <volume>51</volume>
			  <issue>3</issue>
			  <fpage>312</fpage>
			  <lpage>32</lpage>
			</element-citation>
			</ref>
			
			<ref id="CIT35">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Simar</surname>
					  <given-names>L.</given-names>	  
				  </name>
			  </person-group>
			  <year>2003</year>
			  <article-title>Detecting Outliers in Frontiers Models: A Simple Approach</article-title>
			  <source>Journal of Productivity Analysis</source>
			  <volume>20</volume>
			  <fpage>391</fpage>
			  <lpage>424</lpage>
			  <comment><uri>http://dx.doi.org/10.1023/A:1027308001925</uri></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT36">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Simon Blas</surname>
					  <given-names>C.</given-names>	  
				  </name>
				  <name>
					  <surname>Arias Coello</surname>
					  <given-names>A.</given-names>	  
				  </name>
				  <name>
					  <surname>Simon Martin</surname>
					  <given-names>J.</given-names>	  
				  </name>
			  </person-group>
			  <year>2007</year>
			  <article-title>Aplicaci&#x00F3;n de la t&#x00E9;cnica DEA en la medici&#x00F3;n de la eficiencia de las bibliotecas de la Universidad Complutense de Madrid</article-title>
			  <source>Revista Espa&#x00F1;ola de Documentaci&#x00F3;n Cient&#x00ED;fica</source>
			  <volume>30</volume>
			  <issue>1</issue>
			  <fpage>9</fpage>
			  <lpage>23</lpage>
			</element-citation>
			</ref>
			
			<ref id="CIT37">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Simon</surname>
					  <given-names>J.</given-names>	  
				  </name>
				  <name>
					  <surname>Simon</surname>
					  <given-names>C.</given-names>	  
				  </name>
				  <name>
					  <surname>Arias</surname>
					  <given-names>A.</given-names>	  
				  </name>
			  </person-group>
			  <year>2011</year>
			  <article-title>Changes in productivity of Spanish university libraries</article-title>
			  <source>Omega</source>
			  <volume>39</volume>
			  <issue>5</issue>
			  <fpage>578</fpage>
			  <lpage>588</lpage>
			  <comment><uri>http://dx.doi.org/10.1016/j.omega.2010.12.003</uri></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT38">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Stancheva</surname>
					  <given-names>N.</given-names>	  
				  </name>
				  <name>
					  <surname>Angelova</surname>
					  <given-names>W.</given-names>	  
				  </name>
			  </person-group>
			  <year>2008</year>
			  <chapter-title>Measuring the efficiency of university libraries using data envelopment analysis</chapter-title>
			  <person-group person-group-type="editor">
				  <name>
					  <surname>Kumar Mantri</surname>
					  <given-names>J.</given-names>	  
				  </name>
			  </person-group>
			  <source>Research methodology in data envelopment analysis</source>
			  <publisher-loc>USA</publisher-loc>
			  <publisher-name>Universal Publisher</publisher-name>
			  <fpage>13</fpage>
			  <lpage>21</lpage>
			</element-citation>
			</ref>
			
			<ref id="CIT39">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Talluri</surname>
					  <given-names>F.</given-names>	  
				  </name>
				  <name>
					  <surname>Sarkis</surname>
					  <given-names>J.</given-names>	  
				  </name>
			  </person-group>
			  <year>1997</year>
			  <article-title>Extensions in efficiency measurement of alternate machine component grouping solutions via Data Envelopment Analysis</article-title>
			  <source>IEE Transactions on Engineering Management</source>
			  <volume>44</volume>
			  <issue>3</issue>
			  <fpage>299</fpage>
			  <lpage>304</lpage>
			  <comment><uri>http://dx.doi.org/10.1109/17.618171</uri></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT40">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Torgersen</surname>
					  <given-names>A. M</given-names>	  
				  </name>
				  <name>
					  <surname>F&#x00F8;rsund</surname>
					  <given-names>F. R</given-names>	  
				  </name>
				  <name>
					  <surname>Kittelsen</surname>
					  <given-names>S.A.C.</given-names>	  
				  </name>
			  </person-group>
			  <year>1996</year>
			  <article-title>Slack-adjusted efficiency measures and ranking of efficient units</article-title>
			  <source>Journal of Productivity Analysis</source>
			  <volume>7</volume>
			  <fpage>379</fpage>
			  <lpage>398</lpage>
			  <comment><uri>http://dx.doi.org/10.1007/BF00162048</uri></comment>
			</element-citation>
			</ref>
			
		</ref-list>
		
		<app-group>
			<app>
				<title>ANEXO</title>
				
					<fig id="A1">
						<label>ANEXO</label>
						<caption>
							<title></title>
						</caption>
						<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/A1.jpg"/>
					</fig>
			</app>
		</app-group>
			
			
		
	</back>
</article>
