¿El dinero importa? Relación entre el presupuesto de la biblioteca y la productividad investigadora de la Universitat Politècnica de València

 

ESTUDIOS / RESEARCH STUDIES

¿EL DINERO IMPORTA? RELACIÓN ENTRE EL PRESUPUESTO DE LA BIBLIOTECA Y LA PRODUCTIVIDAD INVESTIGADORA DE LA UNIVERSITAT POLITÈCNICA DE VALÈNCIA

Sergio Fernández*, Francisco Rubio*

* Universitat Politècnica de València: Biblioteca Central. Dpto. de adquisiciones. Valencia

Correos-e:sfernand@bib.upv.es, fcorumon@bib.upv.es

 

RESUMEN

El objetivo del artículo es determinar si existe una correlación significativa entre el presupuesto de la biblioteca asignado a recursos de información y la productividad investigadora en la Universitat Politècnica de València (UPV). Se ha estudiado esta situación desde el año 2001 al 2012 teniendo en cuenta diferentes variables: presupuesto, tamaño de la colección, número de Personal Docente Investigador (PDI), producción de la investigación y uso de la colección. Además se ha analizado la disponibilidad de información en el proceso de investigación de los investigadores de la UPV desde el 2008 al 2012 para intentar estudiar su correlación con el presupuesto y el uso de la colección. No se ha observado una correlación entre el presupuesto asignado a recursos de información y la productividad investigadora, pero sí existe una fuerte correlación entre el presupuesto para recursos en formato electrónico y la productividad investigadora. Finalmente no se ha podido determinar una relación de causa-efecto entre el presupuesto y la productividad científica.

DOES MONEY MATTER? THE RELATION BETWEEN LIBRARY BUDGET AND RESEARCH OUTPUT AT UNIVERSITAT POLITÈCNICA DE VALÈNCIA

ABSTRACT

The aim of this paper is to determine whether there is a significant correlation between the library budget allocated to information resources and the scientific output at Universitat Politècnica de València (UPV). This situation was studied from 2001 to 2012, taking into account different variables: budget, collection size, number of research staff, research output, and use of the collection. In addition, full-text citations in the scientific output of the UPV from 2008 to 2011 were analysed to attempt to study the correlation with the budget and the use of the collection. A correlation was not observed between the budget allocated to information resources and scientific output, with the correlation being strong between the budget for electronic resources and scientific output. Finally, it was not possible to determine a cause-effect relationship between the budget and scientific output.

Recibido: 20-11-2012; 2ª versión: 11-03-2013; Aceptado: 01-08-2013.

Cómo citar este artículo/Citation: Fernández, S.; Rubio, F. (2013). ¿El dinero importa? Relación entre el presupuesto de la biblioteca y la productividad investigadora de la Universitat Politècnica de València. Revista Española de Documentación Científica, 36 (4): e023, doi: http://dx.doi.org/10.3989/redc.2013.4.1043.

PALABRAS CLAVE: Presupuestos; retorno de la inversión; productividad investigadora; evaluación de la colección; estudio de citas.

KEYWORDS: Budget; return on investment; research output; collection assessment; citations survey.

Copyright: © 2013 CSIC. Este es un artículo de acceso abierto distribuido bajo los términos de la licencia Creative Commons Attribution-Non Commercial (by-nc) Spain 3.0.

CONTENIDOS

RESUMEN
ABSTRACT
1. INTRODUCCIÓN

2. METODOLOGÍA

3. RESULTADOS

4. CONCLUSIONES

5. BIBLIOGRAFÍA

 

1. INTRODUCCIÓN
 Top

La gestión del presupuesto es una de las tareas más importantes que debe llevar a cabo una biblioteca. Con la irrupción de los recursos electrónicos y sus diferentes modelos de negocio, la gestión presupuestaria exige una previsión a un plazo que excede el ejercicio contable anual. 


Debido a la actual situación económica, los indicadores de rendimiento de la biblioteca tienen una mayor importancia a la hora de tomar decisiones, ya que, además de ser un respaldo a las decisiones de gestión en las bibliotecas, evolucionan para convertirse en la mejor forma de explicar ante la sociedad, la seguridad y rentabilidad de sus inversiones en este ámbito. Cada vez más frecuentemente nos encontramos con conceptos económicos que comienzan a aplicarse a las bibliotecas, como por ejemplo el ROI (Return On Investment), sobre el que se están realizando numerosos trabajos a nivel internacional (LibValue, 2013Lib-Value. The Lib-Value Project. http://libvalue.cci.utk.edu/ [Consultado el 26/07/2013].; Tenopir, 2012Tenopir, C. (2012). Beyond usage: Measuring library outcomes and value. Library Management, 33 (1-2), pp. 5-13. http://dx.doi.org/10.1108/01435121211203275.; Luther 2008Luther, J. (2008). University investment in the library: What’s the return? A case study at the University of Illinois at Urbana-Champaign. White Paper 1. San Diego: Elsevier.) y en menor medida a nivel nacional (Luria y Pintor, 2013Luria Roig, M.; Pintor González, J. (2013). El retorno de la inversión de la Red de Bibliotecas Públicas de Barcelona (2007-2011). FESABID 2013. http://www.fesabid.org/toledo2013/actas-de-las-jornadas.). En su variante más clásica el ROI relaciona desde un punto de vista económico el coste y las ganancias obtenidas en una inversión.


No obstante, la preocupación y dificultad para establecer indicadores de rendimiento que permitan valorar el retorno de la inversión se puede rastrear en la literatura vinculada a estas cuestiones. Las formas de evaluar una biblioteca (Lancaster, 1996Lancaster, F.W. (1996). Evaluación de la biblioteca. Madrid: ANABAD.) y los métodos para medir sus resultados (Poll, 2003Poll, R. (2003). Measuring impact and outcome of libraries. Performance measurement and metrics, 4 (1), pp. 5-12. http://dx.doi.org/10.1108/14678040310471202., 2012Poll, R. (2012). Can we quantify the library’s influence? Creating an ISO standard for impact assessment. Performance measurement and metrics, 13 (2), pp. 121-130. http://dx.doi.org/10.1108/14678041211241332.) nos los encontramos en aportaciones de autores reputados (Borrego y Urbano, 2005Borrego, A.; Urbano, C. (2005). Estadísticas e indicadores de rendimiento de colecciones y servicios bibliotecarios de carácter electrónico: estudio de los casos de las revistas electrónicas. El profesional de la información, 14 (1), pp. 30-38. http://goo.gl/jBh56S.) y en los estándares internacionales surgidos de esta preocupación: ISO 11620, ANSI/NISO Z39.7. La presencia y consideración como indicadores básicos de inputs y outputs en el ámbito bibliotecario, y un contexto de comportamientos no lineales de algunas de las variables incluidas en los inputs, fundamentalmente los ingresos y la disponibilidad de recursos, son las que nos llevan a plantearnos cuáles son sus relaciones con los outputs, fundamentalmente los resultados de la investigación, medidos en capacidad productiva de nuestros autores, a través de su presencia en las bases de datos bibliográficas, tanto nacionales como internacionales.


En este trabajo se va a estudiar si existe una correlación entre el presupuesto de la biblioteca destinado a la adquisición de recursos de información y la productividad investigadora en la Universitat Politècnica de València (UPV) estudiando un periodo comprendido entre los años 2001 y 2012. Como aspecto añadido a este trabajo se ha analizado la disponibilidad de información en el proceso de investigación llevado a cabo por investigadores de la UPV desde el 2008 al 2012 para intentar estudiar su correlación con el presupuesto y el uso de la colección.


 

2. METODOLOGÍA
 Top

En los estudios que tratan temas similares a este trabajo no sólo se utilizan las variables referentes al presupuesto y a la producción investigadora de cada institución sino que se tienen en cuenta otros aspectos. Por ejemplo, en el informe del Research Information Network (RIN, 2011RIN (2011). Ejournals: their use, value and impact. Final report. London: Research Information Network. http://goo.gl/lQGV1 [Consultado el 26/07/2013].) se usan, los préstamos de libros y las descargas de los artículos; mientras que otros autores (Noh, 2012Noh, Y. (2012). The impact of university library resources on university research achievement outputs. Aslib Proceedings: New Information Perspectives, 64 (2), pp. 109-133. http://dx.doi.org/10.1108/00012531211215150.) estudian, entre otras variables, el tamaño de la colección en papel y el número de revistas electrónicas suscritas.


Por otra parte, a nivel nacional, contamos con los indicadores estadísticos que REBIUN publica de manera anual en su página web. Los valores de estos indicadores se recogen utilizando los mismos criterios en las bibliotecas que forman parte de REBIUN. En el caso de los datos de uso, la existencia de estándares internacionales de facto (COUNTER, 2013Counter. The Counter Project. http://www.projectcounter.org/ [Consultado el 26/07/2013].) permite asegurar una homogeneidad en la información referida a descargas y consultas. Esto implica que si se toman estos indicadores como base del estudio conseguiríamos que esta metodología fuera fácilmente replicable por cualquier biblioteca que dispusiera de estos datos.


Teniendo en cuenta tanto los estudios reflejados anteriormente como los indicadores de REBIUN se han seleccionado las siguientes variables: presupuesto, tamaño de la colección, número de Personal Docente Investigador (PDI), producción de la investigación y uso de la colección, tanto en formato impreso (préstamos) como en formato electrónico (descargas).


Tomando como referencia de la producción investigadora de la UPV los trabajos científicos indexados en SCOPUS, así como el número de PDI, se ha obtenido para cada año la productividad investigadora, es decir, el número medio de trabajos por PDI. Este indicador ofrece una información más útil que si se tomara únicamente la producción científica, ya que tiene en cuenta el número de PDI.


Para obtener los datos se han utilizado los indicadores que REBIUN publica anualmente. Se han seleccionado los datos correspondientes a Universidades Públicas, eliminando por tanto los datos de universidades privadas y de otras instituciones vinculadas a REBIUN no universitarias. En los cálculos de promedios de las variables correspondientes a las universidades seleccionadas siguiendo el criterio explicitado, se han incluido los valores de la Universitat Politècnica de València.


Estos datos se extrajeron en noviembre de 2012, febrero de 2013 y junio de 2013.


Para obtener los datos de la UPV se ha usado la información interna que tiene la biblioteca de la UPV sobre los indicadores que anualmente se envían a REBIUN. 


Conociendo las limitaciones de un trabajo de este tipo sobre una institución en concreto, se ha intentado que el periodo estudiado sea bastante amplio por lo que mientras que en la mayoría de trabajos sobre varias instituciones reflejan periodos más cortos que oscilan entre un único año (Noh, 2012Noh, Y. (2012). The impact of university library resources on university research achievement outputs. Aslib Proceedings: New Information Perspectives, 64 (2), pp. 109-133. http://dx.doi.org/10.1108/00012531211215150.), 3 años (Budd, 2006Budd, J. M. (2006). Faculty publishing productivity: comparisons over time. College & Research Libraries, 67 (3), pp. 230-239. http://crl.acrl.org/content/67/3/230.full.pdf+html://goo.gl/jBh56S.) o hasta 5 años (RIN, 2011RIN (2011). Ejournals: their use, value and impact. Final report. London: Research Information Network. http://goo.gl/lQGV1 [Consultado el 26/07/2013].), en el presente trabajo el periodo estudiado es de 12 años.


Una vez obtenidos los datos, se van tomando determinados pares de variables para estudiar si existe correlación entre ellas. Para establecer dichos pares se han tenido en cuenta otros trabajos en los que por ejemplo se toman variables como presupuesto-logros de la investigación (Noh, 2012Noh, Y. (2012). The impact of university library resources on university research achievement outputs. Aslib Proceedings: New Information Perspectives, 64 (2), pp. 109-133. http://dx.doi.org/10.1108/00012531211215150.), uso de las revistas electrónicas-producción investigadora (RIN, 2011RIN (2011). Ejournals: their use, value and impact. Final report. London: Research Information Network. http://goo.gl/lQGV1 [Consultado el 26/07/2013].), presupuesto para la adquisición de materiales de información-número total de publicaciones (Budd, 2006Budd, J. M. (2006). Faculty publishing productivity: comparisons over time. College & Research Libraries, 67 (3), pp. 230-239. http://crl.acrl.org/content/67/3/230.full.pdf+html://goo.gl/jBh56S.), presupuesto-resultados de la investigación o uso de las colecciones-producción investigadora (Borrego, 2011Borrego, A. (2011). Impacte de la inversió en biblioteques sobre l’activitat de recerca de les universitats. Barcelona: Universidad de Barcelona. http://hdl.handle.net/2072/151828 [Consultado el 26/07/2013].). 


Sin embargo, a diferencia de estos trabajos, se ha decidido evaluar tanto el presupuesto total para la adquisición de material bibliográfico como el presupuesto desglosado para cada tipo de soporte, es decir, el presupuesto para material impreso y el presupuesto para material electrónico. 


Existen diferentes métodos estadísticos para estudiar la correlación entre pares de variables durante un periodo de tiempo. Al igual que en otros estudios (Budd, 2006Budd, J. M. (2006). Faculty publishing productivity: comparisons over time. College & Research Libraries, 67 (3), pp. 230-239. http://crl.acrl.org/content/67/3/230.full.pdf+html://goo.gl/jBh56S.; RIN, 2011RIN (2011). Ejournals: their use, value and impact. Final report. London: Research Information Network. http://goo.gl/lQGV1 [Consultado el 26/07/2013]., Franklin, 2002Franklin, B. (2002). Academic Research Library Support of Sponsored Research in the United States. Proceedings of the 4th Northumbria International Conference on Performance Measurement in Libraries and Information Services. Washington, D.C. http://www.libqual.org/documents/admin/franklin.pdf.) y dado que las variables que se estudian son de tipo cuantitativo, se optó por comprobar la existencia de una correlación lineal estadísticamente significativa. Para ello se ha optado por utilizar 2 métodos diferentes para comprobar la correlación: el coeficiente de Pearson y el de Spearman. Para usar el coeficiente de Pearson se debe comprobar que las variables siguen una distribución normal, usando los tests de Kolmogorov-Smirnov y Shapiro-Wilks. Este último está especialmente indicado para muestras pequeñas (menos de 30), como es nuestro caso. Tanto el coeficiente de Pearson como el de Spearman no sólo indican si existe correlación entre las variables sino que determina la magnitud de la correlación (fuerte o débil) que hay entre las variables.


Teniendo en cuenta que según varios de los estudios citados (Franklin, 2002Franklin, B. (2002). Academic Research Library Support of Sponsored Research in the United States. Proceedings of the 4th Northumbria International Conference on Performance Measurement in Libraries and Information Services. Washington, D.C. http://www.libqual.org/documents/admin/franklin.pdf.; Budd, 2006Budd, J. M. (2006). Faculty publishing productivity: comparisons over time. College & Research Libraries, 67 (3), pp. 230-239. http://crl.acrl.org/content/67/3/230.full.pdf+html://goo.gl/jBh56S.; Borrego, 2011Borrego, A. (2011). Impacte de la inversió en biblioteques sobre l’activitat de recerca de les universitats. Barcelona: Universidad de Barcelona. http://hdl.handle.net/2072/151828 [Consultado el 26/07/2013].; RIN, 2011RIN (2011). Ejournals: their use, value and impact. Final report. London: Research Information Network. http://goo.gl/lQGV1 [Consultado el 26/07/2013].; Noh, 2012Noh, Y. (2012). The impact of university library resources on university research achievement outputs. Aslib Proceedings: New Information Perspectives, 64 (2), pp. 109-133. http://dx.doi.org/10.1108/00012531211215150.) se han encontrado correlaciones que son estadísticamente significativas, se parte de la suposición de que el coeficiente de correlación de Pearson en la población es al menos de 0,75 para los diferentes pares de variables estudiados. Asumiendo esta cifra se puede calcular el tamaño de la muestra que se necesitará para hacer un estudio de la correlación entre variables. Con un nivel de confianza del 95% y un 20% de no detectar una correlación significativa entre 2 variables cuando realmente la hay, se puede determinar (Pértegas y pita, 2002Pértegas Díaz, S.; Pita Fernández, S. (2002). Determinación del tamaño muestral para calcular la significación del coeficiente de correlación lineal. Cadernos Atencion Primaria, vol. 9, pp. 209-211. http://www.fisterra.com/mbe/investiga/pearson/pearson.asp.) que el tamaño de la muestra debe ser 11. Dado que nuestra muestra es de tamaño 12, se puede realizar un estudio de la significación estadística del coeficiente de correlación de Pearson obtenido en nuestra muestra.


2.1. Presupuesto, tamaño de la colección y número de PDI


Para el presupuesto se han tomado los datos de los apartados 9.1 (gasto en recursos de información) y 9.2 (gasto en fondo bibliográfico en soporte electrónico) de los indicadores estadísticos que REBIUN recoge anualmente. Para el gasto en fondo bibliográfico en soporte impreso se ha considerado la diferencia entre los valores anteriores.


Se ha estudiado la evolución del número de recursos bibliográficos según su tipología y formato: 


  • Impreso: monografías y publicaciones seriadas. Se han obtenido los datos de los apartados 5.1.2 (ítems de monografías en papel informatizados) y 5.3.1 (títulos de publicaciones periódicas en papel)


  • Electrónico: monografías, publicaciones seriadas y bases de datos. Los datos se han extraído de los apartados 5.5.1, 5.5.2 y 5.5.3 (monografías, publicaciones periódicas y bases de datos accesibles electrónicamente por pago, respectivamente)


Aunque gran parte del personal de una universidad es susceptible de producir trabajos académicos (técnicos de laboratorio, Personal de Administración y Servicios, etc.), es el Personal Docente e Investigador (PDI) responsable de la mayor parte de la producción científica. Por este motivo, es necesario estudiar si el aumento/disminución del número de PDI afecta a dicha producción. La suma de los apartados 1.2.1 y 1.2.2, número de profesores con dedicación completa y parcial, respectivamente, es el dato utilizado.


2.2. Producción de la investigación


Como medida de la cantidad y visibilidad de la producción científica de la UPV, se han tenido en cuenta el número de trabajos indizados en las principales bases de datos bibliográficas, tanto multidisciplinares como temáticas. Esto unido al carácter científico-técnico de la UPV, ha hecho que se seleccionen las siguientes bases de datos: SCOPUS, Web of Science, CAB, SCIFINDER, FSTA e ICYT.


En cada base de datos se hizo una búsqueda por afiliación de los autores, para localizar los trabajos académicos. Fue necesario realizar varias búsquedas en las bases de datos para contemplar las diferentes variantes en la afiliación debido a la falta de normalización. Para ello se realizaron búsquedas introduciendo el nombre de la institución en las variantes idiomáticas de inglés, castellano y valenciano, así como utilizando diferentes truncamientos del nombre de la institución, y finalmente por sus siglas (UPV). En el caso de las siglas se tuvo en cuenta que algunos investigadores de la Universidad del País Vasco utilizan estas siglas, por lo que se utilizaron diferentes filtros para localizar la producción objeto de este estudio.


Otro aspecto que hay que considerar es que se han contabilizado todos los trabajos con al menos un autor con afiliación a la UPV.


2.3. Uso de la colección


De entre los numerosos indicadores de rendimiento de la colección, se ha optado por estudiar el número de préstamos y de documentos descargados de material suscrito por la biblioteca. Estos datos se han obtenido de las estadísticas que recoge anualmente REBIUN en los apartados 6.2 y 6.6.2, respectivamente. Aunque habría sido recomendable que estos datos hubieran sido filtrados para considerar únicamente el uso por parte del PDI, hemos creído que sería interesante que se tuvieran en cuenta. Especialmente el referido al número de documentos descargados ya que, basándonos en estudios anteriores (Tenopir, 2003Tenopir, C. (2003). Use and Users of Electronic Library Resources: An Overview and Analysis of Recent Research Studies. Washington: Council on Library and Information Resources. http://goo.gl/B5GdE.), el PDI es el principal consumidor de recursos electrónicos.


2.4. Disponibilidad de información en el proceso de investigación


Urbano indica que “el análisis de citas en publicaciones de usuarios aparece como un método muy interesante a considerar en estudios de uso de información por parte de investigadores en su calidad de usuarios de bibliotecas” (Urbano, 2001Urbano, C. (2001). El análisis de citas en trabajos de investigadores como método para el estudio del uso de información en bibliotecas. Anales de Documentación, vol. 4, pp. 243-266. http://eprints.rclis.org/11969.). Con esta variable se puede determinar si la cobertura de la colección es adecuada para nuestros investigadores. Se pretende obtener el número de referencias a texto completo de recursos pagados con el presupuesto de la biblioteca que consta en la bibliografía de los trabajos científicos de nuestros investigadores. En nuestro caso, se entiende texto completo como su disponibilidad en formato papel y/o electrónico.


La población que se ha estudiado está basada en la producción investigadora de la UPV en el periodo 2008-2012 recogida en la base de datos SCOPUS. Se seleccionó esta base de datos frente a otras por su carácter multidisciplinar y su amplia cobertura en el periodo estudiado. Únicamente se ha podido estudiar este periodo al no disponer de información completa sobre las revistas electrónicas, tanto de los títulos como de la cobertura, que estaban suscritas en la UPV antes de 2008.


A partir de esta población se tomó una muestra por cada año del periodo estudiado, con las siguientes características:


  • Tamaño de la muestra: formada por 30 trabajos científicos.


  • Tipología documental: aunque la producción investigadora se materializa en diferentes tipologías documentales (patentes, monografías, revisiones, etc.), la mayor parte de los trabajos científicos se reflejan en forma de artículos de revistas y trabajos presentados en congresos. Por esto la muestra está compuesta por estas 2 tipologías documentales.


  • Carácter multidisciplinar: para evitar que la cobertura de ciertas disciplinas tuviera un excesivo sesgo en el resultado se han incluido trabajos de varias disciplinas.


Mediante una búsqueda por afiliación, tal y como se describe en el apartado 2.2, se extrajo la producción investigadora presente en SCOPUS en los años 2008-2012. 


Para que la muestra fuera aleatoria se optó por ordenar los resultados que ofrecía SCOPUS a la búsqueda, usando el criterio de relevancia, que según SCOPUS devuelve los resultados que mejor se ajustan a los términos de la búsqueda, en nuestro caso la afiliación. Frente a otros criterios de ordenación disponibles en SCOPUS (autor, fecha de publicación, título de la fuente, número de citas, etc.) es el que mejor garantiza una mayor aleatoriedad en la composición de la muestra. Además, usando este criterio de ordenación se observó que los resultados que se mostraban presentaban una amplia cobertura temática, evitando así que la muestra estuviera sesgada por unas pocas materias. Por último se tomaron los primeros trabajos que cumplían las características enumeradas anteriormente.


Una vez obtenida la muestra se han cotejado las referencias bibliográficas para comprobar su existencia en los fondos disponibles cada año en la biblioteca. Una referencia bibliográfica se consideraba disponible si se tenía acceso a la información a través de la biblioteca, ya sea de manera impresa o electrónica, durante el año en el que se publicó el trabajo que contiene la referencia bibliográfica. Para las obras impresas se tuvo que comprobar tanto si formaban parte de los fondos como el año en el que se incorporaron a los mismos. Por otra parte, para las versiones electrónicas se elaboró un listado con los títulos de las revistas suscritas con información sobre el año en el que se dio acceso a nuestros usuarios y la cobertura de la misma.


Con estas consideraciones, dada la muestra anteriormente expuesta, se ha obtenido en cada año la media de las referencias en las que la biblioteca ofrece el acceso a la información. A partir de esta media, se ha calculado un intervalo de confianza que indica, con un 95% de probabilidades, que el valor de la media para la totalidad de las referencias bibliográficas de toda la producción de la UPV, está contenida en este intervalo.


 

3. RESULTADOS
 Top

3.1. Presupuesto


Al revisar el presupuesto de la UPV asignado a la compra o suscripción de recursos de información durante el tramo 2001-2012 (figura 1), se observa la tendencia decreciente en el caso del papel. Por el contrario, el soporte electrónico experimenta un crecimiento, partiendo de 395.518 € destinados al mismo en el 2001, correspondientes a un 23,6% del total del presupuesto, hasta llegar a 1.370.054 €, el 82% del presupuesto global de compras del año 2012.


Figura 1. Presupuesto anual UPV para la adquisición de material bibliográfico

Presupuesto anual UPV para la adquisición de material bibliográfico

[Descargar tamaño completo]

 

El cruce entre ambas líneas, se sitúa en el año 2006, este momento marca el punto de inflexión a partir del cual la colección electrónica consume más recursos que la de soporte físico.


Al comparar la evolución de estos datos presupuestarios, con la evolución que han experimentado en promedio los presupuestos de las bibliotecas universitarias públicas de las que ofrece datos REBIUN (figura 2), es destacable que en la UPV se adelanta 3 años el momento en que el presupuesto de recursos electrónicos supera al del papel. Mientras que en el año 2006 la UPV invertía una cantidad similar en recursos electrónicos e impresos, en el promedio de REBIUN hay que esperar hasta el año 2009 para que se dé este comportamiento.


Figura 2. Presupuesto anual promedio REBIUN para la adquisición de material bibliográfico

Presupuesto anual promedio REBIUN para la adquisición de material bibliográfico

[Descargar tamaño completo]

 

 

3.2. Tamaño de la colección


La evolución del tamaño de las colecciones de recursos bibliográficos que se enumeran en el apartado 2.1 experimenta el siguiente comportamiento en la UPV y en el promedio REBIUN de universidades públicas españolas:


  • Monografías: tendencia creciente. En el 2012 se alcanzan en la UPV las 550.000 monografías y en el promedio REBIUN 700.000.


  • Revistas en papel: Tamaño de la colección estable en el periodo estudiado, unos 3.000 títulos en la UPV, frente a 12.000 en el promedio REBIUN
.

  • Bases de datos: tendencia ligeramente decreciente en cuanto al número de bases de datos disponibles. En el año 2012 las cifras son 112 en el promedio REBIUN y 33 en el caso de la UPV. 


  • e-Monografías: tendencias crecientes similares. Con un diente de sierra en el caso de la UPV en el 2007 debido a la cancelación de una suscripción. En 2012 más de 125.000 títulos en el promedio REBIUN frente a poco más de 35.000 en la UPV.


  • e-Revistas: en el caso del promedio REBIUN hay un crecimiento sostenido que alcanza en el 2012 la cifra de 23.381 títulos disponibles. La UPV sigue muy de cerca la tendencia y valores del promedio REBIUN hasta el año 2008, año en que a diferencia de la tendencia del resto de las universidades hace decrecer sus colecciones. Durante los años 2008-2011 se mantienen más de 8.000 títulos pero en 2012 se ofrecen más de 18.500, esto se debe a que una de las bases de datos suscritas ha incrementado el número de revistas sobre las que ofrece acceso a texto completo.


No se aprecian grandes diferencias en las tendencias de comportamiento entre la UPV y las universidades públicas españolas en relación al tamaño de las colecciones, con la excepción de la colección de e-revistas ya mencionada. Aunque sí llama la atención el bajo volumen en todas las tipologías de recursos bibliográficos en relación al tamaño promedio de REBIUN.


3.3. Número de PDI


La evolución del volumen de profesores (figura 3) en la UPV desde el año 2001 hasta el 2009, es similar a la del promedio de las universidades públicas españolas. A partir de este momento se observa un comportamiento ligeramente diferente en la UPV que va haciendo decrecer su plantilla poco a poco. Se acumula una reducción de 85 puestos de PDI entre el 2009 y el 2011, frente al promedio REBIUN en que la tendencia creciente se mantiene. En el 2012 el comportamiento vuelve a ser similar.


Figura 3. Número de PDI en la UPV y el promedio en REBIUN

Número de PDI en la UPV y el promedio en REBIUN

[Descargar tamaño completo]

 

3.4. Uso de la colección


Basándonos en los datos sobre la UPV extraídos de REBIUN (tabla I) el aumento del número de préstamos ha sufrido una desaceleración a partir del año 2008 llegando a disminuir en el 2011 respecto al año anterior. En 2012 el descenso es más acusado aunque hay que apuntar que la política de préstamos cambió, duplicándose el periodo de tiempo por préstamo, se pasó de 1 semana a 2 semanas.


Tabla I. Préstamos y documentos descargados en la UPV

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

Préstamos

275.033

345.312

451.213

530.134

544.229

552.103

611.865

637.061

654.140

660.160

642.433

495.479

Documentos descargados

3.397

-

127.212

188.340

234.697

682.226

407.364

512.300

696.935

729.650

884.545

785.732

Por otra parte, el número de descargas de documentos suscritos por la biblioteca no ha dejado de aumentar salvo en el año 2012. Una de las posibles causas del descenso en el 2012 podría ser la puesta en marcha de la herramienta de descubrimiento que utiliza la biblioteca de la UPV y que pone a disposición de los usuarios una gran cantidad de información.


3.5. Producción científica


En general, se ha detectado un aumento del número de trabajos científicos en las bases de datos seleccionadas en el apartado 2.2, apreciándose una desaceleración e incluso descenso en algunas bases de datos en el año 2012 (tabla II).


Tabla II. Producción investigadora de la UPV en las principales bases de datos

BBDD/Año

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

SCOPUS

487

592

751

989

1.170

1.310

1.602

1.671

1.948

2.013

2.315

2.314

CAB

74

98

127

93

132

115

142

164

155

202

235

241

SCIFINDER

149

179

203

235

225

245

254

285

380

461

511

542

WOS

550

610

752

891

1.018

1.079

1.299

1.373

1.589

1.481

1.760

1.680

FSTA

9

13

13

12

11

21

26

18

32

55

72

68

ICYT

97

101

125

170

110

90

115

107

107

110

115

120

Esta tendencia creciente puede deberse a diferentes motivos como: aumento de la cobertura de las bases de datos, exigencia de los procesos de acreditación del profesorado en los que se evalúa su producción investigadora, prioridad a la publicación de trabajos científicos en títulos indizados en las principales bases de datos, aumento del número y visibilidad internacional de los trabajos científicos, etc. Estos 2 últimos factores pueden ser debidos al incremento de estímulos por la UPV para mejorar los índices de investigación.


Por último, la situación que se presenta en el 2012 puede deberse al descenso en el número de PDI de la UPV que lleva produciéndose en los últimos años.


3.6. Disponibilidad de la información en el proceso de investigación


Siguiendo lo expuesto en el apartado 2.4, a partir de las referencias bibliográficas extraídas de la muestra de la producción investigadora se ha obtenido la media de referencias bibliográficas en las que la biblioteca ofrece el acceso a la información. A partir de este valor se va a intentar hacer inferencia para todas las referencias de toda la producción investigadora de la UPV con el fin de comprobar el grado de adecuación de nuestra colección con respecto a las necesidades de nuestros investigadores. Para ello, se va a calcular el intervalo de confianza en el que está comprendida la media de referencias bibliográficas en las que la biblioteca ofrece el acceso a la información para la totalidad de las referencias bibliográficas de toda la producción de la UPV (tabla III).


Tabla III. Referencias bibliográficas estudiadas en la bibliografía de la muestra de los trabajos científicos

2008

2009

2010

2011

2012

Referencias bibliográficas

721

793

698

678

858

Media muestral (referencias disponibles)

54,2%

55,2%

65,2%

64,3%

56,1%

Nivel de confianza (95%)

1,96

1,96

1,96

1,96

1,96

Error estándar de la proporción

0,019

0,018

0,018

0,018

0,017

Intervalo de confianza

50,6%

57,9%

51,8%

58,7%

61,7%

68,7%

60,6%

67,8%

52,7%

59,4%

Para calcular este intervalo es necesario obtener un par de valores:


  • Nivel de confianza: es un valor constante que se obtiene mediante las tablas de distribución de probabilidad de la Ley Normal. En nuestro caso se ha estimado usar un nivel de confianza del 95%.


  • El error estándar de la proporción: se refiere a la variabilidad que existe entre las medias que se obtendrían si se calculara dicha media sobre diferentes muestras. El valor se obtiene teniendo en cuenta el número de referencias bibliográficas de la muestra y en cuántas de ellas la biblioteca ofrece acceso a la información.


Aunque es cierto que si se aumentara el número de referencias bibliográficas estudiadas se acotaría más el intervalo de confianza, se puede observar que tanto el valor mínimo como el máximo del intervalo permanece relativamente estable desde 2008 al 2012, por lo que se puede presuponer que la cobertura de la colección se adecúa a las necesidades informativas de los investigadores.


Sin embargo hay que mejorar la colección si se quiere llegar a los parámetros de idoneidad sugeridos por varios autores. Piñeiro concluye que “las bibliotecas tienen que autoabastecerse en un 80% con el fondo propio para que una colección sea considerada óptima para el usuario” (Piñeiro, 2005Piñeiro, M. (2005). Evaluación de uso de la colección de revistas determinación de la colección básica de publicaciones periódicas en la biblioteca de la Universidad del País Vasco. Guipúzcoa: Biblioteca Universitaria.). San José obtiene que sus “bibliotecas proporcionan como mínimo un 77% de los títulos de las citas bibliográficas utilizadas por nuestros neurólogos en su producción científica del año 2006” (San José y otros, 2007San José, B.; Espantaleón, M.; Santiago, A.; Diaz, V. (2007). ¿Qué utilizan nuestros usuarios investigadores hospitalarios? Evaluación de la colección en cuatro bibliotecas hospitalarias basado en el análisis de citas bibliográficas de la producción científica de una especialidad médica. XII Jornadas Nacionales de Información y Documentación en Ciencias de la Salud. http://eprints.rclis.org/10567/.).


3.7. Relaciones entre variables 2001-2012


El primer cálculo que se ha utilizado para relacionar las variables ha sido el uso de las ratios que se muestran en la tabla IV. El coste por descarga es la división del presupuesto electrónico entre las descargas de documentos de cada año. Es uno de los indicadores más utilizados y da una idea del comportamiento del presupuesto frente al uso de los recursos electrónicos.


Tabla IV. Ratios de productividad y coste por descarga

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

Productividad investigadora

0,21

0,25

0,31

0,39

0,44

0,49

0,58

0,58

0,67

0,70

0,83

0,85

Coste por descarga

116,43

-

3,65

3,23

2,07

1,22

2,79

2,44

1,95

1,82

1,48

1,74

El cálculo de la productividad investigadora se ha detallado en el apartado 2, sin embargo es necesario puntualizar algunos aspectos. Por un lado se han usado únicamente los valores de SCOPUS del apartado 3.5, por 2 motivos: la amplia cobertura en número de revistas para el periodo estudiado y para evitar solapamientos de trabajos en las diferentes bases de datos utilizadas. Por otro lado, aunque suponemos que la producción investigadora del PDI a jornada parcial es menor al PDI a jornada completa, se ha considerado conveniente no realizar esta distinción por no poder separar la producción científica de cada grupo.


Para el año 2002 no se ha podido calcular la productividad ya que no se dispone del número de descargas realizadas durante ese año.


Observando las ratios se puede afirmar que el coste por descarga presenta una tendencia negativa, situándose por debajo de los 2 € desde 2009 a 2012. Estos resultados no coinciden con el estudio de la Universidad de León (Rodríguez y otros, 2011Rodríguez, B.; Alvite, M. L.; Barrionuevo, L.; Olea, I. (2011). La rentabilidad de la información electrónica. Análisis del uso de suministradores multidisciplinares en la Universidad de León. Actas de las XII Jornadas Españolas de Documentación. FESABID’11.) en los que el número de descargas se mantiene relativamente estable durante el periodo 2005-2009 mientras que el presupuesto aumentó significativamente, especialmente en los años 2008 y 2009, provocando un aumento del coste por descarga.


El aumento del presupuesto para formato electrónico se ha visto compensado por un mayor número de descargas, lo que implica la aceptación y uso de este tipo de material.


Por otra parte la productividad ha aumentado anualmente, llegando a multiplicarse por 4 en cuestión de 12 años. Esto puede deberse a los factores comentados en el apartado 3.5.


Para estudiar estadísticamente las correlaciones entre las variables expuestas en el apartado 2, se han tomado tanto pares en los que a priori parece lógico que exista algún tipo de correlación, como pares que relacionan el presupuesto con la productividad y el uso de la colección. Recordamos que para estudiar la producción se ha considerado conveniente utilizar la productividad, descrita anteriormente, en lugar de tomar directamente la producción científica por los motivos expuestos en el apartado 2. 


Para cada par de variables se han obviado de la serie estudiada los años en los que faltaban los datos en alguna de ellas, en concreto, el número de documentos descargados del año 2002.


En la tabla V se muestran los coeficientes de correlación obtenidos para los diferentes pares de variables estudiados, la existencia de significación estadística y el intervalo de confianza del coeficiente de correlación lineal de Pearson de la población. Este intervalo de confianza da una mayor información sobre la magnitud de la correlación ya que se habla sobre la población y no sobre la muestra estudiada (Sánchez-Bruno y Borges, 2005Sánchez-Bruno, A.; Borges del Rosal, A. (2005). Transformación Z de Fisher para la determinación de intervalos de confianza del coeficiente de correlación de Pearson. Psicothema, 17 (1), pp. 148-153. http://www.psicothema.com/pdf/3079.pdf.). Se ha decido calcular este intervalo sólo cuando los coeficientes de Pearson y Spearman indican una correlación estadística significativa.


Tabla V. Coeficientes de correlación de Pearson y Spearman

Pares de variables

Coef. Pearson 2001-2012

Coef. Spearman 2001-2012

Significación estadística

Intervalo confianza

Libros impresos-Préstamos

0,822

0,769

Existe correlación

0,711 | 0,893

e-revistas-Descargas

0,622

0,473

Existe correlación en Pearson
pero NO en Spearman

-

Productividad-Descargas

0,931

0,964

Existe correlación

0,871 | 0,964

Presupuesto-Productividad

0,544

0,455

NO existe correlación

-

Presupuesto impreso-Productividad

-0,902

-0,951

Existe correlación

-0,829 | -0,945

Presupuesto impreso-Préstamos

-0,670

-0,664

Existe correlación

-0,528 | -0,776

Presupuesto electrónico-Productividad

-

0,958

Existe correlación

-

Presupuesto electrónico-Descargas

-

0,900

Existe correlación

-

Tal y como se explicó en el apartado 2, es necesario estudiar la normalidad de los datos antes de calcular el coeficiente de correlación de Pearson. Para ello se han usado los test de Kolmogorov-Smirnov y Shapiro-Wilks, este último es muy apropiado para muestras pequeñas como la del presente trabajo. Según estos tests todas las variables estudiadas presentan una distribución normal salvo el presupuesto electrónico que no ha superado el test de Shapiro-Wilks. Por este motivo, las correlaciones entre esta variable y el resto han sido únicamente calculadas con el coeficiente de correlación de Spearman. En estos casos tampoco se muestra el intervalo de confianza del coeficiente de correlación lineal de Pearson de la población.


Observando simplemente los valores de los coeficientes de correlación parece ser que existe una fuerte correlación entre la mayoría de los pares de las variables, dado que sus valores se aproximan a 1 y -1. Por lo que se refiere a las correlaciones entre el uso y la colección según el formato, sí que se han detectado diferencias en la significación de la correlación. Es importante recordar que en caso de no haber significación estadística entre dos pares de variables, no necesariamente implica que no exista correlación, indica que con la muestra estudiada no se puede asegurar que la correlación en la población sea diferente de 0, es decir, no exista. En el formato impreso la correlación es fuerte entre el número de monografías y los préstamos. Sin embargo, la significación estadística de la correlación entre el número de revistas electrónicas y las descargas difiere entre Pearson y Spearman. 


La correlación entre la productividad investigadora y las descargas de recursos electrónicos es muy alta. De hecho, la cota inferior del intervalo de confianza del coeficiente de correlación se sitúa en 0,871. Esto coincide con los valores obtenidos en otros trabajos (RIN, 2011RIN (2011). Ejournals: their use, value and impact. Final report. London: Research Information Network. http://goo.gl/lQGV1 [Consultado el 26/07/2013].; Noh, 2012Noh, Y. (2012). The impact of university library resources on university research achievement outputs. Aslib Proceedings: New Information Perspectives, 64 (2), pp. 109-133. http://dx.doi.org/10.1108/00012531211215150.). Noh aún va más lejos indicando que un aumento en el uso de los recursos de la biblioteca tiene un impacto directo en la producción investigadora.


No se ha encontrado una correlación estadísticamente significativa entre el presupuesto para recursos de información y la productividad investigadora. Este resultado es bastante inesperado ya que en otros trabajos (Budd, 2006Budd, J. M. (2006). Faculty publishing productivity: comparisons over time. College & Research Libraries, 67 (3), pp. 230-239. http://crl.acrl.org/content/67/3/230.full.pdf+html://goo.gl/jBh56S.; Noh, 2012Noh, Y. (2012). The impact of university library resources on university research achievement outputs. Aslib Proceedings: New Information Perspectives, 64 (2), pp. 109-133. http://dx.doi.org/10.1108/00012531211215150.) se obtuvo una correlación entre ambas variables. De hecho, Noh asegura que si se aumenta el presupuesto en la biblioteca también se aumenta la producción investigadora. 


Sin embargo, analizando únicamente el presupuesto de recursos de información en formato electrónico detectamos que el grado de correlación es muy alto, tanto con la productividad investigadora como con el número de descargas. Hay que mencionar que en el informe del RIN sí que se estableció cierta correlación entre el presupuesto de revistas electrónicas y su uso mientras que la correlación entre este presupuesto y la producción investigadora era muy débil.


Por último llama la atención las correlaciones obtenidas entre el presupuesto para material impreso con los préstamos y la productividad investigadora, ya que existe una correlación negativa estadísticamente significativa. 


3.8. Relaciones entre variables 2008-2012


Tal y como se ha comentado en el apartado 3.1 el presupuesto de la biblioteca para recursos de información ha disminuido desde 2008 hasta la actualidad, excepto un ligerísimo aumento en 2012. Por este motivo sería interesante establecer las correlaciones entre las variables del presupuesto (materiales impresos, materiales electrónicos y suma de presupuestos en ambos formatos) y el resto de variables estudiadas y posteriormente comparar los coeficientes obtenidos con los coeficientes de periodos en los que el presupuesto crecía cada año. Sin embargo, debido al corto periodo de tiempo, tan sólo 5 años, no sería fiable interpretar los coeficientes de correlación de los pares de variables.


En cualquier caso, hay varios aspectos que destacan simplemente observando los valores de cada variable durante el periodo 2008-2012:


  • El presupuesto, tanto el general como el desglosado por formato (impreso y electrónico) ha disminuido anualmente, salvo el presupuesto electrónico en 2009 y 2012


  • La producción investigadora indexada en las principales bases de datos ha aumentado anualmente, con una ligera desaceleración a partir de 2011


  • Existe una tendencia creciente del número de documentos descargados frente al descenso anual de revistas electrónicas, excepto en el 2012 por las razones expuestas en el apartado 3.2 


  • Desaceleración en el número de préstamos de 2008 a 2010 de forma anual, llegando a decrecer a partir 2011


 

4. CONCLUSIONES
 Top

Al igual que en otros estudios (RIN, 2011RIN (2011). Ejournals: their use, value and impact. Final report. London: Research Information Network. http://goo.gl/lQGV1 [Consultado el 26/07/2013].) tampoco se puede establecer una relación causa-efecto entre las variables estudiadas. Centrándonos en el aspecto principal de este trabajo, que sigue una línea que se adentra en los métodos cuantitativos planteados en otros trabajos (Tenopir, 2012Tenopir, C. (2012). Beyond usage: Measuring library outcomes and value. Library Management, 33 (1-2), pp. 5-13. http://dx.doi.org/10.1108/01435121211203275.), parece claro que sí que existen correlaciones entre determinadas variables, como entre los libros impresos y los préstamos. No se aprecia una correlación estadísticamente significativa entre el presupuesto total para material bibliográfico y la productividad. Sin embargo, la correlación es fuerte cuando únicamente se estudia el presupuesto para material electrónico y la productividad investigadora. Estos resultados son coincidentes con los obtenidos en otros trabajos, realizados en un ámbito internacional, expuestos durante este estudio.


Por lo que se refiere al uso de la colección, mientras que la correlación entre el presupuesto para material electrónico y las descargas es fuerte, ocurre un comportamiento llamativo entre el presupuesto para material impreso y los préstamos. La fuerte correlación negativa entre estas 2 variables se puede deber a que aunque el presupuesto disminuye anualmente, el volumen de la colección impresa va aumentando, ya que el número de bajas de monografías impresas no supera a las nuevas adquisiciones.


Estos resultados, contrastan si únicamente se toma el periodo 2008-2012. A pesar de no extraer el coeficiente de correlación en este periodo puede observarse a simple vista que mientras que el presupuesto ha descendido desde 2008, no se ha presentado una desaceleración de la producción investigadora recogida en las bases de datos y del número de descargas hasta varios años más tarde.


En resumen, aun no pudiendo contestar de una forma directa a la pregunta planteada en el título de este trabajo, ya que no se puede establecer causalidad entre las variables estudiadas, se puede afirmar que el dinero invertido en recursos informativos de la biblioteca de la UPV no presenta una correlación estadísticamente significativa con la productividad investigadora en el periodo 2001-2012. Mientras que si únicamente tenemos en cuenta el presupuesto para material electrónico la correlación con la productividad es muy fuerte.


 

5. BIBLIOGRAFÍATop

Borrego, A. (2011). Impacte de la inversió en biblioteques sobre l’activitat de recerca de les universitats. Barcelona: Universidad de Barcelona. http://hdl.handle.net/2072/151828 [Consultado el 26/07/2013].
Borrego, A.; Urbano, C. (2005). Estadísticas e indicadores de rendimiento de colecciones y servicios bibliotecarios de carácter electrónico: estudio de los casos de las revistas electrónicas. El profesional de la información, 14 (1), pp. 30-38. http://goo.gl/jBh56S.
Budd, J. M. (2006). Faculty publishing productivity: comparisons over time. College & Research Libraries, 67 (3), pp. 230-239. http://crl.acrl.org/content/67/3/230.full.pdf+html://goo.gl/jBh56S.
Counter. The Counter Project. http://www.projectcounter.org/ [Consultado el 26/07/2013].
Franklin, B. (2002). Academic Research Library Support of Sponsored Research in the United States. Proceedings of the 4th Northumbria International Conference on Performance Measurement in Libraries and Information Services. Washington, D.C. http://www.libqual.org/documents/admin/franklin.pdf.
ISO (2008). ISO 11620:2008. Information and documentation: Library performance indicators. Geneva: International Organization for Standardization.
Lancaster, F.W. (1996). Evaluación de la biblioteca. Madrid: ANABAD.
Lib-Value. The Lib-Value Project. http://libvalue.cci.utk.edu/ [Consultado el 26/07/2013].
Luria Roig, M.; Pintor González, J. (2013). El retorno de la inversión de la Red de Bibliotecas Públicas de Barcelona (2007-2011). FESABID 2013. http://www.fesabid.org/toledo2013/actas-de-las-jornadas.
Luther, J. (2008). University investment in the library: What’s the return? A case study at the University of Illinois at Urbana-Champaign. White Paper 1. San Diego: Elsevier.
NISO (2004). ANSI/NISO Z39.7 - Information Services and Use: metrics & statistics for libraries and information providers Data Dictionary.
Noh, Y. (2012). The impact of university library resources on university research achievement outputs. Aslib Proceedings: New Information Perspectives, 64 (2), pp. 109-133. http://dx.doi.org/10.1108/00012531211215150.
Pértegas Díaz, S.; Pita Fernández, S. (2002). Determinación del tamaño muestral para calcular la significación del coeficiente de correlación lineal. Cadernos Atencion Primaria, vol. 9, pp. 209-211. http://www.fisterra.com/mbe/investiga/pearson/pearson.asp.
Piñeiro, M. (2005). Evaluación de uso de la colección de revistas determinación de la colección básica de publicaciones periódicas en la biblioteca de la Universidad del País Vasco. Guipúzcoa: Biblioteca Universitaria.
Poll, R. (2003). Measuring impact and outcome of libraries. Performance measurement and metrics, 4 (1), pp. 5-12. http://dx.doi.org/10.1108/14678040310471202.
Poll, R. (2012). Can we quantify the library’s influence? Creating an ISO standard for impact assessment. Performance measurement and metrics, 13 (2), pp. 121-130. http://dx.doi.org/10.1108/14678041211241332.
REBIUN. Consultas y cálculos sobre datos e indicadores de las bibliotecas. http://goo.gl/rNYMH [Consultado el 26/07/2013].
RIN (2011). Ejournals: their use, value and impact. Final report. London: Research Information Network. http://goo.gl/lQGV1 [Consultado el 26/07/2013].
Rodríguez, B.; Alvite, M. L.; Barrionuevo, L.; Olea, I. (2011). La rentabilidad de la información electrónica. Análisis del uso de suministradores multidisciplinares en la Universidad de León. Actas de las XII Jornadas Españolas de Documentación. FESABID’11.
San José, B.; Espantaleón, M.; Santiago, A.; Diaz, V. (2007). ¿Qué utilizan nuestros usuarios investigadores hospitalarios? Evaluación de la colección en cuatro bibliotecas hospitalarias basado en el análisis de citas bibliográficas de la producción científica de una especialidad médica. XII Jornadas Nacionales de Información y Documentación en Ciencias de la Salud. http://eprints.rclis.org/10567/.
Sánchez-Bruno, A.; Borges del Rosal, A. (2005). Transformación Z de Fisher para la determinación de intervalos de confianza del coeficiente de correlación de Pearson. Psicothema, 17 (1), pp. 148-153. http://www.psicothema.com/pdf/3079.pdf.
Tenopir, C. (2003). Use and Users of Electronic Library Resources: An Overview and Analysis of Recent Research Studies. Washington: Council on Library and Information Resources. http://goo.gl/B5GdE.
Tenopir, C. (2012). Beyond usage: Measuring library outcomes and value. Library Management, 33 (1-2), pp. 5-13. http://dx.doi.org/10.1108/01435121211203275.
Urbano, C. (2001). El análisis de citas en trabajos de investigadores como método para el estudio del uso de información en bibliotecas. Anales de Documentación, vol. 4, pp. 243-266. http://eprints.rclis.org/11969.


Copyright (c) 2013 Consejo Superior de Investigaciones Científicas (CSIC)

Licencia de Creative Commons
Esta obra está bajo una licencia de Creative Commons Reconocimiento 4.0 Internacional.


Contacte con la revista redc.cchs@cchs.csic.es

Soporte técnico soporte.tecnico.revistas@csic.es