REDC Revista Española de Documentación Científica Rev. Esp. Doc. Cient. 0210-0614 1988-4621 Consejo Superior de Investigaciones Científicas redc.2018.2.1491 10.3989/redc.2018.2.1491 ESTUDIOS / RESEARCH STUDIES Las revisiones sistemáticas en Biblioteconomía y Documentación: análisis y evaluación del proceso de búsqueda Systematic reviews in Library and Information Science: analysis and evaluation of the search process Las revisiones sistemáticas en Biblioteconomía y Documentación: análisis y evaluación del proceso de búsqueda Salvador-Oliván José Antonio Marco-Cuenca Gonzalo Arquero-Avilés Rosario Departamento de Ciencias de la Documentación e Historia de la Ciencia. Universidad de Zaragoza Departamento de Biblioteconomía y Documentación. Facultad de Ciencias de la Documentación. Universidad Complutense de Madrid Departamento de Biblioteconomía y Documentación. Facultad de Ciencias de la Documentación. Universidad Complutense de Madrid e-mail: jaso@unizar.es ORCID iD: https://orcid.org/0000-0001-8568-3098 e-mail: gmarco@ucm.es ORCID iD: https://orcid.org/0000-0002-7149-6192 e-mail: caquero@ucm.es ORCID iD: https://orcid.org/0000-0002-3097-8734 30 06 2018 2018 41 2 e207 06 06 2017 10 09 2017 14 09 2017 © 2018 CSIC 2018 Este es un artículo de acceso abierto distribuido bajo los términos de la licencia de uso y distribución Creative Commons Reconocimiento 4.0 Internacional (CC BY 4.0). RESUMEN

El objetivo principal de este estudio es evaluar si las revisiones sistemáticas en Biblioteconomía y Documentación (ByD) proporcionan información completa sobre todos los elementos que conforman el proceso de búsqueda. Se identificaron revisiones de las bases de datos Web of Science, Scopus, LISTA, Library Science Database, Medline y de una wiki, publicadas desde el 2000 hasta febrero de 2017, que tuvieran en el título los términos “revisiones sistemáticas” y/o “metaanálisis”. Se creó una lista con 12 elementos recomendados de las principales guías de publicación para valorar el grado de información sobre cada uno de ellos. La mayoría de las revisiones en ByD son creadas por profesionales de la información, que informan de manera deficiente del método de búsqueda, ya que de las 94 revisiones finalmente seleccionadas, solo el 4,3% incluían todos los elementos de la búsqueda, siendo el nombre de la base de datos el más frecuente (95,6%) y el menos la plataforma (35,8%). Es necesario mejorar y completar la información del proceso de búsqueda si se desea reproducir o actualizar la revisión y evaluar su calidad.

 ABSTRACT

Objective: An essential component of a systematic review is the development and execution of a literature search to identify all available and relevant published studies. The main objective of this study is to analyse and evaluate whether the systematic reviews in Library and Information Science (LIS) provide complete information on all the elements that make up the search process. Methods: A search was launched in WOS, Scopus, LISTA, Library Science Database, Medline databases and a wiki published from 2000 to February 2017, in order to find and identify systematic reviews. The search was designed to find those records whose titles included the words “systematic review” and/or “meta-analysis”. A list was created with the twelve items recommended from of the main publication guides, to assess the information degree on each of them. Results and conclusions: Most of the reviews in LIS are created by information professionals. From the 94 systematic reviews selected for analysis, it was found that only a 4.3% provided the complete reporting on the search method. The most frequently included item is the name of the database (95.6%) and the least one is the name of the host (35.8%). It is necessary to improve and complete the information about the search processes in the complete reports from LIS systematic reviews for reproducibility, updating and quality assessment improvement.

 PALABRAS CLAVE Revisiones sistemáticas estrategias de búsqueda búsqueda de literatura búsqueda bibliográfica información de búsquedas Biblioteconomía y Documentación guías de publicación KEYWORDS Systematic reviews search strategies literature search bibliographic search search reporting Library and Information Science publication guides 1. INTRODUCCIÓN

Las revisiones sistemáticas se caracterizan por sintetizar la mejor evidencia disponible para responder a una pregunta científica. Utilizan una metodología sistemática y explícita con el fin de identificar, seleccionar y evaluar de manera crítica la investigación relevante, así como para extraer y analizar los datos de los estudios incluidos en la revisión, pudiendo incluir o no metaanálisis, técnicas estadísticas para resumir e integrar los resultados de los estudios (Higgins y Green, 2011).

Las revisiones sistemáticas comenzaron a utilizarse sobre todo en el campo de la medicina, bajo el paradigma conocido como Medicina Basada en la Evidencia (MBE), si bien su aplicación se ha ido extendiendo a otros campos profesionales de los que no es ajeno el de Biblioteconomía y Documentación (ByD) (Xu y otros, 2015; Phelps y Campbell, 2012), siendo los bibliotecarios de ciencias de la salud los primeros en aplicar los principios basados en la evidencia (Koufogiannakis, 2012a) aunque su uso se ha extendido posteriormente a entornos académicos o programas educativos (Catalano, 2013; Urquhart, 2010).

En una revisión sistemática es esencial publicar de manera completa y transparente el método utilizado, debiendo describirse con suficiente detalle para que cualquier lector pueda replicar el estudio y obtener los mismos resultados (Klassen y otros, 1998). Para ayudar a los autores a ser sistemáticos en el desarrollo de las revisiones sistemáticas y explícitos en la información que comunican, se han desarrollado varias herramientas y guías con el fin de mejorar la claridad y transparencia en su publicación. Todas ellas contienen los elementos relevantes y necesarios que deben estar presentes en una revisión sistemática para permitir su reproducibilidad y evaluar su calidad.

La Colaboración Cochrane publicó por primera vez en 1995 su Cochrane Handbook for Systematic Reviews of Interventions, un amplio manual de referencia para el diseño y ejecución de una revisión sistemática que se actualiza y revisa periódicamente (Higgins y Green, 2011). En 1996 un grupo internacional multidisciplinar publicó la declaración QUOROM (Quality Of Reporting Of Meta-Analyses), un conjunto de normas para mejorar la presentación de metaanálisis de ensayos controlados aleatorios (Moher y otros, 2009). En 2009, se revisaron y actualizaron estas normas y fueron sustituidas por la declaración PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analysis), cuyas normas se aplican tanto a los metaanálisis como a las revisiones sistemáticas (Moher y otros, 2009). En 2007 se introdujo AMSTAR (Assessment of Multiple Systematic Reviews), una herramienta para medir la calidad metodológica de las revisiones sistemáticas (Shea y otros, 2007), y en 2011, el Instituto de Medicina de Estados Unidos (IOM) publicó un conjunto de normas para el desarrollo de revisiones de alta calidad (IOM, 2011).

Un apartado de especial interés en las revisiones sistemáticas es el relacionado con el proceso de búsqueda de la evidencia que, junto a la valoración crítica de los estudios identificados, constituye el núcleo de una revisión sistemática (IOM, 2011). Su objetivo es identificar todos los estudios potencialmente relevantes con la pregunta de investigación para minimizar sesgos en las conclusiones (Counsell, 1997), siendo un elemento fundamental que puede afectar a la calidad global de las revisiones sistemáticas (McGowan y otros, 2016); de ahí la importancia de comunicar de manera completa y transparente todo el proceso de búsqueda para que pueda ser reproducido (Lefebvre y otros, 2011) y permitir a los lectores evaluar su calidad (Liberati y otros, 2009).

El Manual de revisiones sistemáticas de la colaboración Cochrane, considerado como el estándar de oro de la metodología de búsqueda en las revisiones sistemáticas (Rethlefsen y otros, 2015), dedica una sección entera al proceso de búsqueda (Lefebvre y otros, 2011), y en la declaración PRISMA se indica que la estrategia de búsqueda es una parte esencial de cualquier revisión sistemática, recomendando a los autores su registro completo en, al menos, una base de datos, así como la descripción de todas las fuentes de información empleadas con las fechas de cobertura y fecha de ejecución (Liberati y otros, 2009).

A pesar de la importancia de la búsqueda y de la existencia de guías que fomentan la descripción completa del proceso de búsqueda, son muchos los estudios que han señalado una deficiente publicación de información sobre los métodos y estrategias de búsqueda en las revisiones sistemáticas; la mayoría de ellos realizados en el campo de la medicina, concretamente en revisiones de eventos adversos (Golder y otros, 2008; Zorzela y otros, 2014), educación médica (Maggio y otros, 2011), revisiones de la base de datos Medline (Sampson y otros, 2008), revisiones Cochrane (Yoshii y otros, 2009), en revisiones de revistas de alto impacto de Pediatría, Cardiología y Cirugía (Koffel y Rethlefsen, 2016), revisiones de VIH (Mullins y otros, 2014), pediatría (Nissen y otros, 2017) y revistas de odontología (Layton, 2017).

Diversos estudios han encontrado que aquellas revisiones sistemáticas en las que participa un profesional de la información y la documentación aportan información más completa y reproducible de las búsquedas (Rethlefsen y otros, 2015; Koffel, 2015; Meert y otros, 2016), consultan un mayor número de bases de datos (Golder y otros, 2008) y, por consiguiente, presentan un menor riesgo de resultados incompletos o inexactos (Rader y otros, 2014).

De ahí que se haya destacado la importancia del profesional de la información y documentación, dada su formación y experiencia en la recuperación de información (McGowan, 2001), como integrante del equipo de revisiones sistemáticas en su papel de experto en el proceso de búsqueda de información (McGowan y Sampson, 2005; Harris, 2005; McKibbon, 2006; Tannery y Maggio, 2012; Dudden y Protzko, 2011; Rethlefsen y otros, 2014; Foster, 2015), llegando a describirse como una de las nuevas funciones del bibliotecario (Cooper y Crum, 2013). Así se pone también de manifiesto en las normas publicadas por el IOM, en las que se destaca su función en la planificación y diseño de la búsqueda (IOM, 2011), y en el Manual Cochrane de Revisiones Sistemáticas (Higgins y Green, 2011), donde se recomienda su participación tanto en la elección de bases de datos y otras fuentes como en la construcción y revisión de las estrategias de búsqueda (Li y otros, 2014).

En este contexto, debería esperarse que las revisiones sistemáticas publicadas en revistas propias de ByD o en las que participan profesionales de la información y documentación, registrasen con precisión y de manera detallada los elementos relacionados con el proceso de búsqueda. A este respecto, son escasos los estudios realizados sobre evaluación de revisiones sistemáticas en ByD, y salvo el llevado a cabo por Ankem (2008) en el que valoraba los métodos utilizados en 7 revisiones y 5 metaanálisis sobre información o bibliotecas médicas publicados desde 1996 al 2006, los demás han estado dirigidos a proponer una lista de comprobación (Xu y otros, 2015), o a determinar los instrumentos o criterios utilizados para evaluar la calidad (Maden y Kotas, 2016).

 2. OBJETIVO

El objetivo principal de este estudio es determinar si las revisiones sistemáticas en el área de ByD contienen toda la información del proceso de búsqueda necesaria para ser reproducible. De manera más específica, se trata de conocer el porcentaje de revisiones sistemáticas en ByD que informan de manera completa de cada uno de los elementos de búsqueda. También se pretende conocer las principales características de las revisiones en cuanto a lugar de trabajo de los autores, fuentes de publicación y temas tratados.

 3. MÉTODO 3.1. Fuentes de datos

La búsqueda se llevó a cabo en las siguientes bases de datos: Web of Science (WOS), Scopus, Library Science Database (plataforma Proquest), LISTA (plataforma EBSCOhost) y Medline (plataforma PubMed). Todas las búsquedas se realizaron el 28 de febrero de 2017 y se actualizaron el 20 de marzo.

Además, se seleccionaron las revisiones sistemáticas incluidas en la wiki creada por Denise Koufogiannakis (2012b). Estas revisiones, según el autor, cumplen los siguientes criterios: están publicadas en revistas de biblioteconomía, los autores pertenecen a ByD o afiliados a algún departamento o unidad de documentación o biblioteca, incluyen estudios realizados en el entorno bibliotecario y, al menos, el 25% de los estudios incluidos en las revisiones proceden de revistas del área.

 3.2. Estrategia de búsqueda

Se diseñó la estrategia de búsqueda en cada base de datos para recuperar artículos que tuvieran la frase “revisión sistemática” o el término "metaanálisis" en el título. De esta manera se identificaron aquellos artículos que cumplían el primer ítem de la lista de comprobación PRISMA. En todas las bases de datos se limitaron los resultados de la búsqueda a los publicados desde el año 2000. No hubo limitación de idiomas. La estrategia de búsqueda fue desarrollada por el primer autor (33 años como especialista en búsquedas de información):

WOS: Para poder limitar los resultados a revisiones sistemáticas o metaanálisis publicados en revistas clasificadas en la categoría ByD (Library and Information Science), se introdujo la siguiente sentencia de búsqueda desde el modo Búsqueda Avanzada y en la Colección Principal de Web of Science (Índices de Citas):

WC=(Information Science & Library Science) AND ti=(systematic near/1 review* OR metaanalysis or meta-analysis)

Se limitaron los resultados a artículos de revista, proceedings papers o revisiones.

Scopus: Para limitar los resultados a los publicados en revistas de ByD, se buscó previamente en www.scimagojr.com aquellas indizadas en Scopus en la categoría Library and Information Sciences. Se recuperaron 193 revistas. Desde el modo Búsqueda Avanzada, se introdujo la siguiente sentencia de búsqueda:

SUBJAREA (soci) AND TITLE (systematic pre/1 review* or metaanalysis or meta-analysis) AND SRCTITLE (todas las revistas recuperadas combinadas con OR) AND PUBYEAR > 1999 AND (LIMIT-TO ( DOCTYPE,”re “) OR LIMIT-TO ( DOCTYPE,”ar” ) OR LIMIT-TO ( DOCTYPE,”cp”)).

Se limitaron a artículos de revista, proceedings papers o revisiones.

Library Science Database:

Ti (systematic pre/1 review OR metaanalysis or meta-analysis).

Library, Information Science & Technology Abstracts (LISTA):

Ti systematic w1 review or ti metanalysis or ti meta-analysis

Los resultados se limitaron a tipo de documentos: artículo y conference paper publicados en revistas académicas.

Medline: Al no poder limitar a revistas propias de ByD, se añadió a la búsqueda la condición de que tuviera el concepto de biblioteca en el campo de descriptores, la frase especialista de información en el título, o que los autores estuvieran afiliados a bibliotecas y los artículos trataran de manera relevante sobre información o bibliotecas (términos en el campo del título o descriptores). La sentencia de búsqueda empleada fue:

(Systematic review* [ti] OR metaanalysis [ti] OR meta-analysis [ti]) AND ((libraries [mesh] OR librarians [mesh] OR information specialist* [ti]) or ((information [ti] or librar* [ti]) and librar* [affiliation]))

Wiki: Se descargaron todas las entradas, 82.

3.3. Criterios de selección

Además del criterio de ser revisiones publicadas en revistas de ByD, utilizado de manera explícita en las estrategias de búsqueda en las bases de datos WOS y Scopus, o de manera implícita en LISTA y Library Science Database (por ser específicas del área de conocimiento), se definieron y aplicaron los siguientes criterios para incluir o excluir en el estudio las publicaciones recuperadas de las búsquedas:

Los artículos son revisiones sistemáticas o aplican técnicas de metaanálisis. Se revisó el título y el resumen de los artículos recuperados (y el texto completo cuando el resumen no estaba claro) y se excluyeron aquellos que no eran propiamente revisiones sistemáticas sino que hacían referencia a aspectos relacionados.

El tema tratado en la revisión sistemática es específico de ByD: documentación /bibliotecas/archivos.

Filiación de los autores: trabajan en bibliotecas, archivos, centros de documentación, unidades de información, o departamentos de escuelas o estudios de Biblioteconomía y Documentación (LIS Schools, LIS studies). Para determinar la filiación, se descargó el texto completo del artículo y se examinó la primera y última página, en las que suelen venir las direcciones. Cuando la información era incompleta o poco clara, se buscó en Google por el nombre y apellidos de los autores y ciudad o lugar de trabajo. Se incluyeron aquellos artículos que cumplían alguno de los siguientes criterios:

Alguno de los autores está afiliado a ByD.

Ningún autor tiene filiación con ByD pero los títulos de las revistas contienen los términos library, libraries, librarianship, documentation o information literacy.

Todos los artículos fueron evaluados de manera independiente por los tres autores. Únicamente en tres artículos hubo discrepancia sobre la pertenencia del tema tratado al área ByD; en estos casos, se tomó una decisión por consenso.

 3.4. Extracción de datos

Para cumplir el objetivo del estudio, se seleccionaron 12 elementos relacionados con la búsqueda utilizados en las siguientes publicaciones:

Estudio de Mullins y otros (2014) en el que se extrajeron los elementos comunes en las 10 guías más comunes publicadas hasta ese momento (QUOROM, MOOSE, CRD Guide, HTA checklist, Cochrane Collaboration handbook, AMSTAR, PRISMA, Campbell Collaboration guide, IOM statement). De esta lista se eliminó el elemento relativo a la calificación del buscador, ya que no afecta a la reproducción de la búsqueda ni a la selección de los estudios y solo aparecía en 2 guías. Se dividió el elemento de búsqueda complementaria en dos de los tipos indicados en el propio estudio: (a) lista de referencias en los estudios, y (b) búsqueda en Internet, sitios web, resúmenes de conferencias, informes especializados, literatura gris, y búsqueda manual de revistas. Se excluyó el subtipo de contactar con individuos, expertos u organizaciones.

Elementos utilizados por Meert y otros (2016) adaptados de las normas del Instituto de Medicina para las revisiones sistemáticas (IOM, 2011) y recomendados y descritos en el capítulo 6 del Cochrane Handbook for Systematic Reviews of Interventions (Lefebvre y otros, 2011) y en la declaración Prisma (Moher y otros, 2009).

Elementos que aparecían con más frecuencia en los 11 instrumentos evaluados por Sampson y otros (2008): AMSTAR, PRISMA, Check in out, Cochrane Handbook, STARITE, Patrick, AGREE, INAHTA, Oxman & Guyatt, MOOSE, QUOROM.

Se consideró que todos los elementos seleccionados e incluidos son necesarios para reproducir o actualizar las búsquedas (1-10) y para hacer transparente la información sobre la selección de los estudios (11-12). Son los siguientes:

Nombre de las bases de datos consultadas.

Nombre de la plataforma utilizada en las bases de datos.

Descriptores, palabras clave y términos empleados en la estrategia de búsqueda.

Estrategia de búsqueda completa (sintaxis, combinación de conjuntos), al menos en una base de datos.

Periodo de tiempo cubierto en la búsqueda (años analizados).

Limitaciones (idioma o tipo de publicación) aplicadas a la búsqueda.

Fecha de ejecución de la búsqueda.

Número de registros recuperados.

Búsqueda en otras fuentes a través de la web (Google, repositorios, actas de congresos, sitios web,….) o de manera manual (revistas, tesis…).

Búsqueda de referencias en los estudios incluidos.

Selección de los estudios: criterios de inclusión/exclusión aplicados.

Diagrama de flujo del proceso de inclusión de los estudios.

La valoración de estos elementos se llevó a cabo mediante la lectura del texto completo de los estudios incluidos. Cada uno de los ítems se codificó en una escala dicotómica: Sí-presente en el estudio (1) / No-ausente (0).

Además, se extrajeron otros datos como nombre de la revista, año de publicación, autores y filiación, tema principal tratado en el artículo y nombre de cada una de las bases de datos consultadas. Los datos se introdujeron en una base de datos de Excel.

3.5. Análisis de datos

El análisis estadístico se realizó con el programa SPSS versión 22. La calidad global de las búsquedas se calculó sumando los valores de cada elemento y dividiendo por el número de elementos evaluados. Se calculó la estadística descriptiva para averiguar cuántos estudios cumplían los ítems del instrumento de evaluación. El número de bases de datos se expresó como media (desviación estándar) y mediana (rango intercuartílico).

4. RESULTADOS

Se recuperaron 1095 registros de todas las bases de datos, de los que quedaron 674 después de eliminar los repetidos (Figura 1). Una vez examinados el título y resumen, se excluyeron 149 que no eran revisiones sistemáticas y 6 que estaban publicados en chino, quedando 525 revisiones. De estas se excluyeron 439 que no cumplían los criterios de inclusión: bien porque el tema tratado pertenecía claramente a otras áreas (principalmente medicina e informática), o porque en aquellos casos en los que podía haber cierta duda al ser multidisciplinar (como gestión del conocimiento, medios sociales o comunicación) ningún autor pertenecía a ByD. Se seleccionaron 86 estudios para revisar el texto completo, a los que se añadieron 6 procedentes de las referencias bibliográficas y que cumplían todos los criterios de inclusión, quedando al final 92 (el Anexo 1 contiene la lista completa de las referencias).

Diagrama de flujo de selección de estudios

Características generales: De los 92 estudios, 86 son revisiones sistemáticas y 6 metaanálisis. Los temas tratados con mayor frecuencia están relacionados con las bibliotecas y servicios bibliotecarios (24) y con la búsqueda de información (23), seguidos de otros como la alfabetización informacional (12), información digital y consumo (10), formación y estudios en ByD (9), evaluación de la información (5), gestión del conocimiento (5) y necesidades de información (4).

Fuentes de publicación: Los estudios se han publicado en 40 revistas diferentes (Tabla I), de las que 17 (42,5%) contienen en el título el término library, libraries, libres o hacen referencia a tareas propias de las bibliotecas, habiendo publicado las dos terceras partes de los artículos (61). Las que más revisiones sistemáticas publican están relacionadas con las bibliotecas médicas o de la salud.

Revistas y filiación de los autores

Autoría: El 91,3% de los artículos estaba firmado, al menos, por un autor perteneciente al área de ByD, y en el 79,3% aparecía como primer firmante. Tan solo en 8 artículos ningún autor estaba afiliado a ByD, aunque en 7 de ellos las revistas eran de bibliotecas y en 1 de alfabetización informacional.

El lugar de trabajo más frecuente entre los autores era la biblioteca (52,4% de los artículos), seguido de las escuelas o departamentos relacionados con ByD, ciencias de la información o estudios de información (29,9%).

Filiación profesional de los autores

Elementos de las búsquedas: La calidad global de los estudios fue de 60,5%. De los 92 estudios analizados, solo 4 contenían todos los elementos (referencias 36, 62, 77 y 89 del Anexo 1) y 5 incluían 11 (referencias 3, 10, 35, 55 y 69). El 68,5% incluían, al menos, la mitad de los 12 elementos. Los elementos que con mayor frecuencia aparecen registrados son el nombre de las bases de datos (95,6%), el número de registros recuperados (90,2%), términos empleados en la búsqueda (86,9%), criterios empleados en la selección de los estudios (82,6%) y los años cubiertos en la búsqueda (77,1%). El resto de los elementos se incluyen en menos de la mitad de los estudios, siendo la plataforma de las bases de datos el menos informado (Figura 2).

Elementos incluidos en las revisiones sistemáticas de ByD 5. DISCUSIÓN 5.1. Fuentes, temas, y crecimiento de revisiones sistemáticas

Este estudio se caracteriza por evaluar el grado con que se registran de manera completa datos sobre el proceso de búsqueda en revisiones sistemáticas publicadas en el campo de la ByD. El número de revisiones analizadas es muy superior al estudio de Ankem con 12 revisiones y metanálisis recuperados de las bases de datos LISA y Library Literature en los años 1996-2006 (Ankem, 2008), y al estudio de Xu y otros (2015), en el que se evaluaba la metodología de investigación de 50 revisiones publicadas en chino y en inglés en las bases de datos WoS (1998-abril 2014), Scopus (1960-2014) LISTA (1960-2014) y Google Scholar.

Los resultados muestran que más de la mitad de las revisiones sistemáticas en ByD se publican en revistas relacionadas con las bibliotecas de salud y medicina (el 53% de los artículos), destacando en los primeros lugares Health Information and Libraries Journal y Journal of the Medical Library Association, coincidiendo con estudios de Koufogiannakis (2012a, 2012b) y Xu y otros (2015). En estas revistas, las revisiones suelen tratar temas relacionados con información clínica y búsqueda o necesidades de información de pacientes; estos resultados son consistentes con los obtenidos por Ankem (2008), en cuyo estudio los temas versaban sobre bibliotecas o información médica.

Nuestro estudio identifica 14 estudios desde el 2000 hasta el 2006 incluido (15%). En los 14, se incluyen las 7 revisiones sistemáticas y 2 metaanálisis del estudio de Ankem (los 3 metaanálisis no incluidos son anteriores al año 2000), identificando solo 5 más debido al mayor número de bases de datos consultadas y a que los criterios de inclusión se amplían al aceptar también revisiones sobre temas propios de ByD y en las que participan autores que pertenecen profesionalmente al campo de conocimiento. El número de revisiones en los 10 últimos años es muy elevado (78, de las que 62 están firmadas por un primer autor de ByD) para explicar que puede ser debido exclusivamente a que utilizamos unos criterios de selección menos restrictivos, e invita a pensar que realmente se ha producido un aumento importante en el número de revisiones sistemáticas en ByD en los últimos años, sobre todo a partir del 2013 (Figura 3).

Evolución temporal de las revisiones sistemáticas en ByD

Otro hecho destacable es que aunque las revisiones se publican preferentemente en unas pocas revistas especializadas en bibliotecas médicas, otras revistas más generales del campo de las bibliotecas y de la documentación han comenzado a publicar este tipo de estudios, si bien la mayoría de ellas solo han publicado 1 o 2 revisiones durante el periodo analizado.

 5.2. Elementos de las búsquedas

Los resultados indican que algunos de los elementos analizados se registran de manera aceptable mientras que otros necesitan mejorar, resultando en una calidad global del proceso de búsqueda del 60,5%, un valor bajo que indica falta de transparencia de la información.

Los elementos que menos aparecen en las revisiones son la plataforma utilizada, la fecha de ejecución de la búsqueda, la estrategia de búsqueda completa, el diagrama de flujo y métodos complementarios. Se comentan a continuación los distintos elementos:

Nombre de las bases de datos: El primer paso en una revisión sistemática consiste en plantear una pregunta bien elaborada, y el segundo en diseñar una estrategia de búsqueda que identifique todos los estudios relevantes sobre un tema, por lo que es necesario buscar en múltiples bases de datos. Las bases de datos seleccionadas para la búsqueda juegan, por tanto, un papel esencial en la calidad de las revisiones ya que constituyen las principales fuentes de los estudios.

Es el elemento que más veces se cumple. Solo en 4 revisiones no se consultó ninguna base de datos y, por consiguiente, no aparecen:

Se busca en la web (no indica el motor empleado) y en dos artículos publicados previamente (ref 1).

Los estudios se seleccionaron de un sitio web (ref 42).

Es un metaanálisis y los estudios se identifican a través de Google Scholar y de 5 actas de congresos y revistas (ref 49).

Los estudios se obtienen de una wiki (ref 61).

Además de los 4 estudios que no utilizaron bases de datos, en 9 artículos se utilizó solo 1 base de datos (9,8%), y en 13 estudios 2 bases de datos (14,1%). Algo menos de la mitad de los estudios (46,7%) utilizó menos de 5 bases de datos, siendo el promedio de 6,8 bases de datos por artículo y la mediana de 5 bases de datos (rango intercuartílico de 7), un número superior a otros estudios en los que la mediana es de 3 (rango intercuartílico de 2) (Li y otros, 2014).

Se han consultado 103 bases de datos diferentes. Las más consultadas se muestran en la tabla III, destacando las que pertenecen al área de Medicina (Medline, CINAHL, EMBASE, Cochrane Library, Psycinfo), algo lógico ya que, como se ha comentado anteriormente, algo más de la mitad de las revisiones se han publicado en revistas relacionadas con las bibliotecas de salud y medicina. Le siguen, a continuación, las bases de datos de ByD (LISA, LISTA, Library Literature) y las multidisciplinares más importantes (WOS y Scopus). La base de datos más consultada ha sido Medline, en más de la mitad de los artículos, seguida de LISA, CINAHL, Web of Science y LISTA.

Bases de datos más consultadas en las revisiones de ByD

La búsqueda en una sola base de datos no es suficiente en las revisiones sistemáticas, y la guía AMSTAR recomienda buscar, al menos, en 2 bases de datos (Shea y otros, 2007), por lo que aunque es un elemento muy registrado, es necesario mejorar en el número de bases de datos a consultar para el desarrollo de revisiones sistemáticas y evitar, de esta manera, unas conclusiones sesgadas derivadas de la omisión de estudios relevantes.

Plataforma de las bases de datos: Es el elemento registrado con menor frecuencia, solo en 33 artículos (35,9%). Una misma base de datos puede ser consultada a través de distintas plataformas; por ejemplo, la base de datos Medline puede ser consultada a través de PubMed, WOS y Ovid, entre otras. Es muy importante indicar este elemento ya que cada plataforma tiene su propio lenguaje de recuperación (operadores de proximidad, campos, truncado, limitaciones…) y, por tanto, la estrategia de búsqueda es diferente para una misma base de datos según la plataforma utilizada, obteniendo también distintos resultados en la misma fecha de búsqueda ya que la actualización también varía.

Una búsqueda no puede reproducirse si se desconoce la plataforma en la que se ha ejecutado, por lo que es un elemento necesario y claramente mejorable.

Términos de búsqueda, descriptores utilizados: Está indicado en 80 artículos (87%), un porcentaje importante que es mayor si no tenemos en cuenta los 4 artículos en los que no se busca en bases de datos bibliográficas. Resulta esencial para valorar la calidad de las búsquedas en lo que respecta a exhaustividad y precisión de los resultados, ya que éstos dependen de que se hayan seleccionado todos los posibles términos que representan los conceptos de la búsqueda y los más específicos. Este elemento está íntimamente unido a la especificación de la estrategia de búsqueda al estar formada por los términos y descriptores empleados.

Estrategia de búsqueda completa: El porcentaje de artículos en los que se indica la estrategia de búsqueda completa en, al menos, una base de datos es bajo, menos de la mitad (45,7%). Es un elemento imprescindible para repetir la búsqueda y para la actualización de la revisión sistemática. Es esencial también para valorar la calidad de la búsqueda y, por tanto, la calidad de la revisión sistemática, ya que errores en la sintaxis o búsquedas inapropiadas pueden afectar a la calidad de la revisión y producir sesgos en las conclusiones (Yoshii y otros, 2009). El Manual Cochrane de revisiones sistemáticas recomienda que «…las estrategias de búsqueda completas para cada base de datos necesitarán incluirse en un Anexo de la revisión. Las estrategias de búsqueda deberán copiarse exactamente como se llevaron a cabo e incluidas en su totalidad,…. » (Lefebvre y otros, 2011) y la norma 3.4 del Manual del IOM indica que debe describirse la estrategia de búsqueda, línea por línea, en cada base de datos (IOM, 2011).

Años analizados: Es importante indicar el intervalo de años buscados ya que permite evaluar la dimensión de la búsqueda y resulta imprescindible en el refinamiento y/o posterior actualización de la revisión. En nuestro estudio se registra en 71 artículos (77,2%), porcentaje claramente mejorable ya que recoger este dato es muy simple y requiere un mínimo esfuerzo.

Limitaciones de la búsqueda: Limitar los resultados de una búsqueda (idiomas, tipos de documentos, etc.) es un elemento más de la estrategia de búsqueda que debería indicarse de manera explícita, tanto si se ha aplicado como si no. La limitación a determinados idiomas puede llevar a no recuperar resultados relevantes y, por tanto, a un descenso en la exhaustividad de la revisión. En nuestro estudio, en poco más de la mitad de las revisiones (56,5%) se indica que se han aplicado limitaciones, un porcentaje bajo que hay que aumentar.

Fecha de ejecución de la búsqueda: El mes y año de ejecución de la búsqueda constituye un dato necesario para la actualización de cualquier revisión. A pesar de ser una información simple y objetiva de obtener, solo se indica en 40 de las revisiones (43,5%), porcentaje claramente mejorable.

Número de registros recuperados: Es el resultado de ejecutar la búsqueda en las bases de datos, por lo que se debería indicar cuántos registros se han recuperado en cada una de ellas. Según el Manual Cochrane, debería registrarse en la sección de resultados de la revisión (Lefebvre y otros, 2011). Depende de la base de datos, plataforma utilizada, estrategia de búsqueda, limitaciones, años cubiertos y fecha de ejecución. Permite determinar, al replicar una búsqueda, si los resultados son consistentes con la información registrada o se han producido resultados dispares. El porcentaje de estudios que lo indican es el 90,2%.

Búsqueda de información en otras fuentes a través de la web o de manera manual: A veces, las bases de datos bibliográficas no son suficientes para identificar todos los estudios relevantes por lo que se recomienda utilizar otras fuentes como sitios web, repositorios temáticos o motores de búsqueda (Stansfield y otros, 2016).

La búsqueda en motores de búsqueda como Google Scholar o en repositorios temáticos e institucionales, blogs, o simplemente sitios web de asociaciones científicas y profesionales, implica el acceso a información publicada pero también no publicada por canales formales (literatura gris, informes, actas de conferencias y cualquier otro tipo de documento). Junto con la búsqueda manual en revistas, libros y otras fuentes, constituyen estrategias complementarias con la finalidad de ampliar el número de estudios y proporcionar una visión más completa de la evidencia disponible (Mahood y otros, 2014) y, de esta manera, minimizar el riesgo de omitir fuentes de información relevantes (Godin y otros, 2015).

Poco más de la mitad de las revisiones en ByD, el 54,3%, han utilizado esta vía para obtener información, un porcentaje bajo. Se ha sugerido en el caso de utilizar motores de búsqueda que debería indicarse la estrategia de búsqueda y ser muy precisa, debido al número tan elevado de registros que se recuperan (Boeker y otros, 2013). En nuestro estudio, en ninguna revisión se ha explicitado la estrategia de búsqueda en los motores de búsqueda.

Búsqueda de referencias en los estudios incluidos: Otro método que se ha demostrado eficaz en la mejora del rendimiento de las estrategias de búsqueda es la revisión de las referencias de los artículos seleccionados. Aunque es una tarea que lleva más tiempo, se ha comprobado que es una manera directa de recuperar artículos que no están en las bases de datos (Jadad y otros, 1998), bien sea debido a errores en la indización o al retraso en la actualización de la base de datos (DeLuca, 2008).

El rastreo de referencias de los artículos (método snowball o bola de nieve) se ha identificado como especialmente potente para identificar fuentes de alta calidad en temas raros o poco conocidos (Greenhalgh y Peacock, 2005). Este elemento se ha registrado en el 52,2% de las revisiones de nuestro estudio, porcentaje claramente mejorable, sobre todo teniendo en cuenta que puede ser la única vía de recuperar artículos relevantes.

Criterios de selección de los estudios: No es un elemento propio del proceso de búsqueda, pero sí tiene que ver ya que no todos los estudios recuperados van a cumplir con los criterios de inclusión para llevar a cabo la revisión sistemática, de ahí que puede considerarse como una limitación de los resultados de la búsqueda. Los criterios de inclusión/exclusión se enmarcan en el proceso de selección de los estudios y especificarlos de manera clara ayuda a minimizar el sesgo de selección y contribuye a mejorar la transparencia de la información.

Diagrama de flujo del proceso de selección: Es un elemento, que a diferencia del resto, se indica en el apartado de resultados. Según la declaración Prisma sirve para facilitar el número de estudios cribados, evaluados para su elegibilidad e incluidos en la revisión, y detallar las razones para su exclusión en cada etapa (Moher y otros, 2009), y el IOM señala que la revisión sistemática debería incluir un diagrama de flujo que muestre el número de estudios que permanecen después de cada etapa en el proceso de selección (IOM, 2011).

Su importancia viene determinada porque resume de manera gráfica el proceso de selección de los estudios, desde el inicio, con el número de resultados obtenidos en cada base de datos consultada, hasta el final en el que se indica el número de estudios que van a formar parte de la revisión sistemática, después de haber eliminado los repetidos entre las distintas bases de datos y haber aplicado los criterios de selección. Es un elemento registrado con poca frecuencia en el presente estudio, solo aparece en 44 revisiones (47,8%).

 5.3. Comparación con otros estudios

En la tabla IV se presentan los resultados de este estudio y los obtenidos por otros autores. En algunos elementos no existen valores debido a que no se han evaluado, no se ha encontrado el dato o no existe un valor único porque se han medido de manera desagregada (esto último ocurre en los elementos de búsqueda en la web y otras fuentes de información, y en la búsqueda de referencias).

El primer hecho sobresaliente es la gran variabilidad que existe en el grado de registro en varios de los elementos de búsqueda, especialmente en uno tan importante como es la estrategia de búsqueda completa, que varía desde un 13% a un 88%.

Hay coincidencia en que los elementos registrados con mayor frecuencia son el nombre de las bases de datos (superior al 94%), los descriptores y términos de búsqueda, y los criterios de selección de los estudios, aunque estos últimos solo se evalúan en dos trabajos. La mayoría de los estudios coinciden también en que existe un registro deficiente en el nombre de la plataforma (inferior al 36% salvo en el estudio de Yaylali) y en la fecha de ejecución de la búsqueda (menos del 45% salvo en el estudio de Sampson). En ninguno de los estudios se ha valorado la presencia del número de registros recuperados en cada base de datos, lo que sugiere que no es un dato esencial en la calidad de la búsqueda.

Comparación del grado de registro de los elementos de la búsqueda entre diferentes estudios Limitaciones

Hay varias limitaciones en este estudio. En primer lugar, no siempre aparecen los términos “systematic review” o metaanalysis en los títulos de los artículos y, por tanto, se ha podido dejar de recuperar revisiones relevantes. No obstante, el número de artículos identificados y analizados es el más alto de los pocos estudios realizados en ByD.

En segundo lugar, en algunos casos es difícil determinar si las revisiones pertenecen a ByD, ya que algunos de los temas tratados son multidisciplinares (gestión del conocimiento, recuperación de la información….), si bien solo hubo discrepancias en tres revisiones y se alcanzó un consenso entre los tres autores.

Por último, se ha buscado en bases de datos disponibles desde las universidades a las que pertenecen los autores, y aunque representan las propias de ByD (LISTA y Library Science Database), las multidisciplinares más importantes (WOS y Scopus), y la más utilizada en las ciencias de la salud (Medline), la consulta de otras bases de datos podría haber ampliado el número de revisiones incluidas.

 6. CONCLUSIONES

En los últimos 5 años se ha producido un crecimiento importante en el número de revisiones sistemáticas en ByD. La mayoría de ellas son creadas por profesionales de la información y documentación, principalmente bibliotecarios y profesores de departamentos de documentación en universidades, considerados expertos en búsquedas, por lo que deberían servir de modelo en la publicación de los elementos que conforman el método de búsqueda; sin embargo, nuestro estudio ha demostrado que hay un deficiente registro de muchos de ellos y que las revisiones necesitan mejorar de manera global pero, sobre todo, en informar de la plataforma de la base de datos, la estrategia de búsqueda completa y la fecha de búsqueda.

De todos los elementos recomendados en las guías existentes, creemos innecesario registrar los términos de búsqueda al estar incluidos ya en la estrategia de la búsqueda y ser, por tanto, información redundante. Tampoco es necesario registrar de manera aislada el número de registros recuperados en las bases de datos, ya que es un elemento que está presente en el diagrama de flujo y es la forma recomendada para registrar este dato.

Para replicar, actualizar o evaluar la búsqueda de una revisión sistemática recomendamos documentar de manera completa y explícita los tres aspectos que definen una estrategia de búsqueda reproducible:

¿Dónde se ha buscado?: Fuentes. Incluye el nombre de las bases de datos y la plataforma, ya que una misma base de datos puede buscarse desde distintas interfaces.

¿Cómo se ha buscado?: Estrategia de búsqueda completa. Incluye sentencias de búsqueda (formadas por términos, operadores lógicos y de proximidad, campos, truncado….), años de publicación, y todo tipo de limitaciones (idiomas, etc.).

¿Cuándo se ha buscado?: Fecha de ejecución de la búsqueda.

La omisión de literatura relevante puede cuestionar la validez de una revisión sistemática y la forma de evitar el sesgo de selección y conclusiones sesgadas es realizando una búsqueda exhaustiva en múltiples fuentes. De ahí que no solo haya que mejorar realizando la búsqueda en más de una base de datos, sino que hay que complementarla con otras fuentes y recursos de información en la web, donde se puede recuperar información que no existe en las bases de datos bibliográficas: motores de búsqueda, repositorios, sitios web, revistas. Igualmente, el rastreo de las referencias bibliográficas citadas en los artículos puede ayudar a recuperar artículos relevantes no recuperados en las estrategias de búsqueda (por fallos en la indización, errores tipográficos, falta de términos, etc.).

Por último, es necesario también registrar la estrategia de búsqueda empleada en todas las bases de datos y no solo en una, ya que puede ser diferente según la base de datos consultada (distintos operadores de proximidad, campos, etc.), así como en los motores de búsqueda utilizados.

 7. REFERENCIAS Ankem K. 2008 Evaluation of method in systematic reviews and meta-analyses published in LIS Library and Information Research 32 101 91 104 Boeker M. Vach W. Motschall E. 2013 Google Scholar as replacement for systematic literature searches: good relative recall and precision are not enough BMC Medical Research Methodolology 13 131 https://doi.org/10.1186/1471-2288-13-131 Catalano A. 2013 Patterns of graduate student’s information seeking behavior: A meta-synthesis of the literature Journal of Documentation 69 2 243 274 https://doi.org/10.1108/00220411311300066 Cooper I.D. Crum J.A. 2013 New activities and changing roles of health science librarians: a systematic review, 1990-2012 Journal of the Medical Library Association 101 4 268 277 https://doi.org/10.3163/1536-5050.101.4.008 Counsell C. 1997 Formulating questions and locating primary studies for inclusion in systematic reviews Annals of Internal Medicine 127 5 380 387 https://doi.org/10.7326/0003-4819-127-5-199709010-00008 DeLuca J.M. 2008 Developing a comprehensive search strategy for evidence based systematic reviews Evidence based Library and Information Practice 3 1 3 32 https://doi.org/10.18438/B8KP66 Dudden R.F. Protzko S.L. 2011 The systematic review team: contributions of the health sciences librarian Medical Reference Services Quarterly 30 3 301 315 https://doi.org/10.1080/02763869.2011.590425 Foster M.J. 2015 An overview of the role of librarians in systematic reviews: from expert search to project manager Journal of EAHIL 11 3 3 7 Godin K. Stapleton J. Kirkpatrick S.I. Hanning R.M. Leatherdale S.T. 2015 Applying systematic review search methods to the grey literature: a case study examining guidelines for school-based breakfast programs in Canada Systematic Reviews 4 138 https://doi.org/10.1186/s13643-015-0125-0 Golder S. Loke Y. McIntosh H.M. 2008 Poor reporting and inadequate searches were apparent in systematic reviews of adverse effects Journal of Clinical Epidemiology 61 5 440 448 https://doi.org/10.1016/j.jclinepi.2007.06.005 Golder S. Loke Y.K. Zorzela L. 2014 Comparison of search strategies in systematic reviews of adverse effects to other systematic reviews Health Information and Libraries Journal 31 2 92 105 https://doi.org/10.1111/hir.12041 Greenhalgh T. Peacock R. 2005 Effectiveness and efficiency of search methods in systematic reviews of complex evidence: audit of primary sources British Medical Journal 331 1064 1065 https://doi.org/10.1136/bmj.38636.593461.68 Harris M.R. 2005 The librarian’s roles in the systematic review process: a case study Journal of the Medical Library Association 93 1 81 87 Higgins J.P.T. Green S. 2011 Manual Cochrane de revisiones sistemáticas de intervenciones Version 5.1.0 The Cochrane Collaboration [actualizado marzo 2011]. Disponible en: http://handbook.cochrane.org [fecha de consulta: 10 de febrero de 2017] IOM (Institute of Medicine) 2011 Finding what works in healthcare: standards for systematic reviews Washington The National Academies Press 340 https://doi.org/10.17226/13059 Jadad A.R. Moher D. Klassen T.P. 1998 Guides for reading and interpreting systematic reviews. II. How did authors find the studies and assess their quality? Archives of Pediatrics and Adolescent Medicine 152 8 812 817 https://doi.org/10.1001/archpedi.152.8.812 Klassen T.P. Jadad A.R. Moher D. 1998 Guides for reading and interpreting systematic reviews. I. Getting started Archives of Pediatrics & Adolescent Medicine 152 7 700 704 https://doi.org/10.1001/archpedi.152.7.700 Koffel J.B. Rethlefsen M.L. 2016 Reproducibility of search strategies is poor in systematic reviews published in high-impact pediatrics, cardiology and surgery journals: A cross-sectional study PLoS ONE 11 9 e0163309 https://doi.org/10.1371/journal.pone.0163309 Koffel J.B. 2015 Use of recommended search strategies in systematic reviews and the impact of librarian involvement: a cross-sectional survey of recent authors PLoS ONE 10 5 e0125931 https://doi.org/10.1371/journal.pone.0125931 Koufogiannakis D. 2012a The state of systematic reviews in Library and Information Studies Evidence Based Library and Information Practice 7 2 91 95 https://doi.org/10.18438/B8Q021 Koufogiannakis D. 2012b LIS Systematic Reviews [Última fecha de actualización, 21 de junio de 2015]. Disponible en: http://lis-systematic-reviews.wikispaces.com/ [Fecha de consulta: 28 de febrero de 2017] Layton D. 2017 A critical review of search strategies used in recent systematic reviews published in selected prosthodontic and implant-related journals: Are systematic reviews actually systematic? International Journal of Prosthodontics 30 1 13 21 https://doi.org/10.11607/ijp.5193 Lefebvre C. Manheimer E. Glanville J. 2011 Capítulo 6: La búsqueda de estudios Higgins J.P.T. Green S. Manual Cochrane de revisiones sistemáticas de intervenciones Version 5.1.0. The Cochrane Collaboration [actualizado marzo 2011]. Disponible en http://handbook.cochrane.org Li L. Tian J. Tian H. Moher D. Liang F. Jiang T. Yao L. Yang K. 2014 Network meta-analyses could be improved by searching more sources and by involving a librarian Journal of Clinical Epidemiology 67 9 1001 1007 https://doi.org/10.1016/j.jclinepi.2014.04.003 Liberati A. Altman D.G. Tetzlaff J. Mulrow C. Gøtzsche P.C. Ioannidis J.P.A. Clarke M. Deveraux P.J. Kleijnen J. Moher D. 2009 The PRISMA statement for reporting systematic reviews and meta-analyses of studies that evaluate health care interventions: explanation and elaboration PLoS Med 6 7 e1000100 https://doi.org/10.1371/journal.pmed.1000100 Maden M. Kotas L. 2016 Evaluating approaches to quality assessment in Library and Information Science LIS systematic reviews: A methodology review Evidence Based Library and Information Practice 11 2 149 176 https://doi.org/10.18438/B8F630 Maggio L. A. Tannery N.H. Kanter S.L. 2011 Reproducibility of literature search reporting in medical education reviews Academic Medicine 86 8 1049 1054 https://doi.org/10.1097/ACM.0b013e31822221e7 Mahood Q. Eerd D.V. Irvin E. 2014 Searching for grey literature for systematic reviews: Challenges and benefits Research Synthesis Methods 5 3 221 234 https://doi.org/10.1002/jrsm.1106 McGowan J. 2001 For expert literature searching, call a librarian Canadian Medical Association Journal 165 10 1301 1302 McGowan J. Sampson M. 2005 Systematic reviews need systematic searchers Journal of the Medical Library Association 93 1 74 80 McGowan J. Sampson M. Salzwedel D.M. Cogo E. Foerster V. Lefebvre C. 2016 PRESS Peer Review of Electronic Search Strategies: 2015 Guideline Statement Journal of Clinical Epidemiology 75 40 46 https://doi.org/10.1016/j.jclinepi.2016.01.021 McKibbon K.A. 2006 Systematic reviews and librarians Library Trends 55 1 202 215 https://doi.org/10.1353/lib.2006.0049 Meert D. Torabi N. Costella J. 2016 Impact of librarians on reporting of the literature searching component of pediatric systematic reviews Journal of the Medical Library Association 104 4 267 277 https://doi.org/10.3163/1536-5050.104.4.004 Moher D. Cook D.J. Eastwood S. Olkin I. Rennie D. Stroup D.E. 1999 Improving the quality of reports of meta-analyses of randomised controlled trials: The QUOROM statement Lancet 354 9193 1896 1900 https://doi.org/10.1016/S0140-6736(99)04149-5 Moher D. Liberati A. Tetzlaff J. Altman D.G. The PRISMA Group 2009 Preferred Reporting Items for Systematic Reviews and Meta-Analyses: The PRISMA Statement PLoS Medicine 6 7 e1000097 https://doi.org/10.1371/journal.pmed.1000097 Mullins M.M. DeLuca J.B. Crepaz N. Lyles C.M. 2014 Reporting quality of search methods in systematic reviews of HIV behavioral interventions (2000-2010): are the searches clearly explained, systematic and reproducible? Research Synthesis Methods 5 2 116 130 https://doi.org/10.1002/jrsm.1098 Nissen T. Wayant C. Wahlstrom A. Sinnett P. Fugate C. Herrington J. Vassar M. 2017 Methodological quality, completeness of reporting and use of systematic reviews as evidence in clinical practice guidelines for paediatric overweight and obesity Clinical Obesity 7 1 34 45 https://doi.org/10.1111/cob.12174 Phelps S.F. Campbell N. 2012 Systematic reviews in theory and practice for library and information studies Library and Information Research 36 112 6 15 Rader T. Mann M. Stansfield C. Cooper C. Sampson M. 2014 Methods for documenting systematic review searches: a discussion of commons issues Research Synthesis Methods 5 2 98 115 https://doi.org/10.1002/jrsm.1097 Rethlefsen M.L. Farrell A.M. Trzasko L.C.O Brigham T.J. 2015 Librarian co-authors correlated with higher quality reported search strategies in general internal medicine systematic reviews Journal of Clinical Epidemiology 68 6 617 626 https://doi.org/10.1016/j.jclinepi.2014.11.025 Rethlefsen M.L. Murad M.H. Livingston E.H. 2014 Engaging medical librarians to improve the quality of review articles Journal of the Medical Library Association 312 10 999 1000 https://doi.org/10.1001/jama.2014.9263 Sampson M. McGowan J. Tetzlaff J. Cogo E. Moher D. 2008 No consensus exists on search reporting methods for systematic reviews Journal of Clinical Epidemiology 61 8 748 754 https://doi.org/10.1016/j.jclinepi.2007.10.009 Shea B.J. Grimshaw J.M. Wells G.A. Boers M. Anderson N. Hamel C. Porter A.C. Tugwell P. Moher D. Bouter L.M. 2007 Development of AMSTAR: a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 7 10 https://doi.org/10.1186/1471-2288-7-10 Stansfield C. Dickson K. Bangpan M. 2016 Exploring issues in the conduct of website searching and other online sources for systematic reviews: how can we be systematic? Systematic Reviews 5 1 191 https://doi.org/10.1186/s13643-016-0371-9 Tannery N.H. Maggio LA. 2012 The role of medical librarians in medical education review articles Journal of the Medical Library Association 100 2 142 144 https://doi.org/10.3163/1536-5050.100.2.015 Urquhart C. 2010 Systematic reviewing, meta-analysis and meta-synthesis for evidence-based library and information science Information Research 15 3 colis708 http://InformationR.net/ir/15-3/colis7/colis708.html [Fecha de consulta: 16 de marzo de 2017] Xu J. Kang Q. Song Z. 2015 The current state of systematic reviews in library and information studies Library & Information Science Research 37 4 296 310 https://doi.org/10.1016/j.lisr.2015.11.003 Yoshii A. Plault D.A. McGraw K.A. Anderson M.J. Wellik K.E. 2009 Analysis of the reporting of search strategies in Cochrane systematic reviews Journal of Medial Library Association 97 1 21 29 https://doi.org/10.3163/1536-5050.97.1.004 Zorzela L. Golder S. Liu Y. 2014 Quality of reporting in systematic reviews of adverse events: systematic review British Medical Journal 348 f7668 https://doi.org/10.1136/bmj.f7668 ANEXO I. LISTADO DE ESTUDIOS INCLUIDOS

1. Aabø, S. (2009). Libraries and return on investment (ROI): a meta-analysis. New Library World, 110 (7/8), 311–324.

2. Abrizah, A.; Inuwa, S.; Afiqah-Izzati, N. (2016). Systematic literature review informing LIS professionals on embedding librarianship roles. Journal of Academic Librarianship, 42 (6), 636–643.

3. Alborz, A.; McNally, R. (2004). Developing methods for systematic reviewing in health services delivery and organization: an example from a review of access to health care for people with learning disabilities. Part 2. Evaluation of the literature--a practical guide. Health Information and Libraries Journal, 21 (4), 227–36.

4. Alipour-Hafezi, M.; Khedmatgozar, H.R. (2016). E-lending in digital libraries: a systematic review. Interlending & Document Supply, 44 (3), 108–114.

5. Ankem, K. (2005). Types of information needs among cancer patients : A systematic review. Libres, 15 (2).

6. Ankem, K. (2006). Factors influencing information needs among cancer patients: A meta-analysis. Library and Information Science Research, 28 (1), 7–23.

7. Ankem, K. (2016). Use of information sources by cancer patients: results of a systematic review of the research literature. Information Research, 11 (3).

8. Ankem, K. (2008). Evaluation of method in systematic reviews and meta-analyses published in LIS. Library and Information Research, 32 (101), 91–104.

9. Bem, R.M. de; Coelho, C.C. de S.R. (2013). Applications of knowledge management in the area of librarianship and information science : a systematic review. Brazilian Journal of Information Science, 7 (1), 67–93.

10. Beverley, C.A.; Bath, P.; Booth, A. (2004). Health information needs of visually impaired people: a systematic review of the literature. Health and Social Care in the Community, 12 (1), 1–24.

11. Beyer, F.R.; Wright, K. (2013). Can we prioritise which databases to search? A case study using a systematic review of frozen shoulder management. Health Information and Libraries Journal, 30 (1), 49–58.

12. Boruff, J.; Harrison, P. (2016). Assessment of knowledge and skills in nursing and allied health student information literacy instruction : results from a scoping review. Journal of the Canadian Health Libraries Association, 15 (36), 75.

13. Bramer, W.M.; Giustini, D.; Kramer, B.; Anderson, P.F. (2013). The comparative recall of Google Scholar versus PubMed in identical searches for biomedical systematic reviews : a review of searches used in systematic reviews. Systematic Reviews, 2 (115).

14. Brennan, N.; Mattick, K.; Ellis, T. (2011). The map of medicine: A review of evidence for its impact on healthcare. Health Information and Libraries Journal, 28 (2), 93–100.

15. Brettle, A. (2003). Information skills training: a systematic review of the literature. Health Information & Libraries Journal, 20 (Suppl 1), 3–9.

16. Brettle, A. (2007). Evaluating information skills training in health libraries: A systematic review. Health Information and Libraries Journal, 24 (Suppl 1), 18–37.

17. Brettle, A.; Maden-Jenkins, M.; Anderson, L.; McNally, R.; Pratchett, T.; Tancock, J.; Webb, A. (2011). Evaluating clinical librarian services: A systematic review. Health Information and Libraries Journal, 28 (1), 3–22.

18. Brown, C. (2008). The information trail of the “Freshman 15” - A systematic review of a health myth within the research and popular literature. Health Information and Libraries Journal, 25 (1), 1–12.

19. Catalano, A. (2013). Patterns of Graduate Students’ Information Seeking Behaviour: A Meta-Synthesis of the Literature. Journal of Documentation, 69 (2), 243-274.

20. Childs, S.; Blenkinsopp, E.; Hall, A.; Walton, G. (2005). Effective e-learning for health professionals and students--barriers and their solutions. A systematic review of the literature--findings from the HeXL project. Health Information and Libraries Journal, 22 (Suppl 2), 20–32.

21. Click, A.B.; Wiley, C.W. (2017). The internationalization of the Academic Library: A Systematic Review of 25 Years of Literature on International Students. College & Research Libraries, 78 (3), 328–358.

22. Cooper, I.D.; Crum, J.A. (2013). New activities and changing roles of health sciences librarians: a systematic review, 1990-2012. Journal of the Medical Library Association, 101 (4), 268–77.

23. Coumou, H.C.; Meijman, F.J. (2006). How do primary care physicians seek answers to clinical questions? A literature review. Journal of the Medical Library Association, 94 (1), 55–60.

24. Diviani, N.; Van Den Putte, B.; Giani, S.; Van Weert, J.C.M. (2015). Low health literacy and evaluation of online health information: A systematic review of the literature. Journal of Medical Internet Research, 17 (5), 1–17.

25. Dixon, B.E.; Whipple, E.C.; Lajiness, J.M.; Murray, M.D. (2016). Utilizing an integrated infrastructure for outcomes research: A systematic review. Health Information and Libraries Journal, 33 (1), 7–32.

26. Dorsch, J.L.; Perry, G.J. (2012). Evidence-based medicine at the intersection of research interests between academic health sciences librarians and medical educators: a review of the literature. Journal of the Medical Library Association, 100 (4), 251–7.

27. Fanner, D.; Urquhart, C. (2008). Bibliotherapy for mental health service users Part 1: A systematic review. Health Information and Libraries Journal, 25 (4), 237–252.

28. Faqueti, M.F. (2016). Organizational learning in academic libraries: A systematic review. Perspectivas em Ciência da Informação, 21 (4), 156–179.

29. Faulkner, A.E. (2015). A systematic review of “financial literacy.” Journal of Business and Finance Libarianship, 20 (1–2), 7–26.

30. Fernández-Ramos, A. (2016). Factores de éxito en tutoriales en línea informacionales. Revisión sistemática. Revista Española de Documentación Científica, 39 (2), 1–20.

31. Fiegen, A.M. (2010). Systematic review of research methods: the case of business instruction. Reference Services Review, 38 (3), 385–397.

32. Frost, R.B.; Choo, C.W. (2017). Revisiting the information audit: A systematic literature review and synthesis. International Journal of Information Management, 37 (1), 1380–1390.

33. Gardois, P.; Colombi, N.; Grillo, G.; Villanacci, M.C. (2012). Implementation of Web 2.0 services in academic, medical and research libraries: A scoping review. Health Information and Libraries Journal, 29 (2), 90–109.

34. Girard, A. (2014). Reader’s block : a systematic review of barriers to adoption, access and use in e -book user studies. Information Research, 19 (2).

35. Golder, S.; Loke, Y. (2009). Search strategies to identify information on adverse effects: a systematic review. Journal of the Medical Library Association, 97 (2), 84–92.

36. Golder, S.; Loke, Y.K. (2010). Sources of information on adverse effects: A systematic review. Health Information and Libraries Journal, 27 (3), 176–190.

37. Golder, S.; Loke, Y.K.; Zorzela, L. (2014). Comparison of search strategies in systematic reviews of adverse effects to other systematic reviews. Health Information and Libraries Journal, 31 (2), 92–105.

38. Grant, M.J. (2007). The role of reflection in the library and information sector: A systematic review. Health Information and Libraries Journal, 24 (3), 155–166.

39. Gray, H.; Sutton, G.; Treadway, V. (2012). Do quality improvement systems improve health library services? A systematic review. Health Information and Libraries Journal, 29 (3), 180–196.

40. Gvozdenovic, E.; Koevoets, R.; Langenhoff, J.; Allaart, C.F.; Landewé, R.B.M. (2014). Comparison of characteristics of international and national databases for rheumatoid arthritis: A systematic literature review. Scandinavian Journal of Rheumatology, 43 (5), 349–355.

41. Hallyburton, A.; Evarts, L.A. (2014). Gender and online health information seeking: A five survey meta-analysis. Journal of Consumer Health on the Internet, 18 (2), 128–142.

42. Harbour, J.; Fraser, C.; Lefebvre, C.; Glanville, J.; Beale, S.; Boachie, C.; Smith, L. (2014). Reporting methodological search filter performance comparisons: A literature review. Health Information and Libraries Journal, 31 (3), 176–194.

43. Hausner, E.; Guddat, C.; Hermanns, T.; Lampert, U.; Waffenschmidt, S. (2015). Development of search strategies for systematic reviews: Validation showed the noninferiority of the objective approach. Journal of Clinical Epidemiology, 68 (2), 191–199.

44. Helmer, D.; Savoie, I.; Green, C.; Kazanjian, A. (2001). Evidence-based practice: extending the search to find material for the systematic review. Bulletin of the Medical Library Association, 89 (4), 346–52.

45. Ilic, D.; Rowe, N. (2013). What is the evidence that poster presentations are effective in promoting knowledge transfer? A state of the art review. Health Information and Libraries Journal, 30 (1), 4–12.

46. Intahchomphoo, C.; Jeske, M.; Landriault, E. (2016). Social Media Objectives and Challenges for Law Libraries: a Systematic Literature Review. Legal Information Management, 16 (4), 257–264.

47. Jenkins, M. (2004). Evaluation of methodological search filters--a review. Health Information and Libraries Journal, 21 (3), 148–163.

48. Joshi, A.; Trout, K. (2014). The role of health information kiosks in diverse settings: A systematic review. Health Information and Libraries Journal, 31 (4), 254–273.

49. Julien, C.A.; Leide, J.E.; Bouthillier, F. (2008). Controlled user evaluations of information visualization interfaces for text retrieval: Literature review and meta-analysis. Journal of the American Society for Information Science and Technology, 59 (6), 1012–1024.

50. Ke, Q.; Cheng, Y. (2015). Applications of meta-analysis to library and information science research: Content analysis. Library and Information Science Research, 37 (4), 370–382.

51. Kelly, D.; Sugimoto, C.R. (2013). A systematic review of interactive information retrieval evaluation studies, 1967-2006. Journal of the American Society for Information Science and Technology, 64 (4), 745–770.

52. Kim, J.; Angnakoon, P. (2016). Research using job advertisements: A methodological assessment. Library & Information Science Research, 38 (4), 327-335.

53. Koffel, J. B.; Rethlefsen, M.L. (2016). Reproducibility of search strategies is poor in systematic reviews published in high-impact pediatrics, cardiology and surgery journals: A cross-sectional study. PLOS One, 11 (9), 1–17.

54. Koufogiannakis, D. (2006). Effective Methods for Teaching Information Literacy Skills to Undergraduate Students: A Systematic Review and Meta-Analysis. Evidence Based Library and Information Practice, 1 (3), 3–43.

55. Koufogiannakis, D. (2012). The state of systematic reviews in Library and Information Studies. Evidence Based Library and Information Practice, 7 (2), 91–95.

56. Lam, M.T.; Mcdiarmid, M. (2016). Increasing number of databases searched in systematic reviews and meta-analyses between 1994 and 2014. Journal of the Medical Library Association, 104 (4), 284–289.

57. Lasda Bergman, E.M.; Holden, I.I. (2010). User satisfaction with electronic reference: a systematic review. Reference Services Review, 38 (3), 493–509.

58. Lasserre, K. (2012). Expert searching in health librarianship: A literature review to identify international issues and Australian concerns. Health Information and Libraries Journal, 29 (1), 3–15.

59. Lavranos, C.; Kostagiolas, P.; Korfiatis, N.; Papadatos, J. (2016). Information seeking for musical creativitiy: A systematic literature review. Journal of the Association for Information Science and Technology, 67 (9), 2105–2117.

60. Madden, A.; Collins, P.; McGowan, S.; Stevenson, P.; Castelli, D.; Hyde, L.; Delgado, D. (2016). Demonstrating the financial impact of clinical libraries: a systematic review. Health Information and Libraries Journal, 33 (3), 172–189.

61. Maden, M.; Kotas, E. (2016). Evaluating approaches to quality assessment in Library and Information Science LIS systematic reviews : A methodology review. Evidence Based Library and Information Practice, 11 (2), 149–176.

62. Mahmood, K. (2016). Do people overestimate their information literacy skills ? A systematic review of empirical evidence on the Dunning-Kruger Effect Do People Overestimate their Information Literacy Skills ? A Systematic Review of Empirical Evidence on the Dunning- Kruger E. Communications in Information Literacy, 20 (2), 199–213.

63. Mairs, K.; Mcneil, H.; Mcleod, J.; Prorok, J.C.; Stolee, P. (2013). Online strategies to facilitate health-related knowledge transfer: A systematic search and review. Health Information and Libraries Journal, 30 (4), 261–277.

64. Matteson, M. L.; Brewster, L. (2011). A Systematic review of research on Live Chat Service. Reference User Services Quarterly, 51 (2), 172–190.

65. McKnight, M. (2014). Information prescriptions, 1930-2013: an international history and comprehensive review. Journal of the Medical Library Association, 102 (4), 271–80.

66. Mi, M.; Wu, W.; Qiu, M.; Zhang, Y.; Wu, L.; Li, J. (2016). Use of mobile devices to access resources among health professions students: a systematic review. Medical Reference Services Quarterly, 35 (1), 64–82.

67. Moniarou-Papaconstantinou, V.; Vassilakaki, E.; Tsatsaroni, A. (2015). Choice of Library and Information Science in a rapidly changing information landscape. Library Management, 36 (8/9), 584–608.

68. Moyer, J.E. (2013). Managing mobile devices in hospitals: A literature review of BYOD policies and usage. Journal of Hospital Librarianship, 13 (3), 197–208.

69. Perrier, L.; Farrell, A.; Ayala, A.P.; Lightfoot, D.; Kenny, T.; Aaronson, E.; Weiss, A. (2014). Effects of librarian-provided services in healthcare settings: a systematic review. Journal of the American Medical Informatics Association, 21 (6), 1118–1124.

70. Phelps, S.F.; Campbell, N. (2011). Commitment and trust in librarian-Faculty relationships: A systematic review of the literature. The Journal of Academic Librarianship, 38 (1), 13–19.

71. Preez, M. (2007). Information needs and information-seeking behaviour of engineers: a systemic review. Mousaion, 25 (2), 72–94.

72. Rankin, J.A.; Grefsheim, S.F.; Canto, C. C. (2008). The emerging informationist specialty: a systematic review of the literature. Journal of the Medical Library Association, 96 (3), 194–206.

73. Rethlefsen, M.L.; Farrell, A.M.; Osterhaus Trzasko, L.C.; Brigham, T.J. (2015). Librarian co-authors correlated with higher quality reported search strategies in general internal medicine systematic reviews. Journal of Clinical Epidemiology, 68 (6), 617–626.

74. Sampson, M.; McGowan, J.; Cogo, E.; Grimshaw, J.; Moher, D.; Lefebvre, C. (2009). An evidence-based practice guideline for the peer review of electronic search strategies. Journal of Clinical Epidemiology, 62 (9), 944–952.

75. Sampson, M.; McGowan, J.; Tetzlaff, J.; Cogo, E.; Moher, D. (2008). No consensus exists on search reporting methods for systematic reviews. Journal of Clinical Epidemiology, 61 (8), 748–754.

76. Schulte, S.J. (2012). Embedded academic librarianship: A Review of the Literature. Evidence Based Library and Information Practice, 7 (4), 122–138.

77. Swanberg, S.M.; Dennison, C.C.; Farrell, A.; Machel, V.; Marton, C.; O’Brien, K.K.; Holyoke, A.N. (2016). Instructional methods used by health sciences librarians to teach evidence-based practice (EBP): a systematic review. Journal of the Medical Library Association, 104 (3), 197–208.

78. Vassilakaki, E.; Garoufallou, E. (2013). Multilingual Digital Libraries: A review of issues in system-centered and user-centered studies, information retrieval and user behavior. International Information and Library Review, 45 (1–2), 3–19.

79. Vassilakaki, E.; Moniarou-Papaconstantinou, V. (2015). A systematic literature review informing library and information professionals’ emerging roles. New Library World, 116 (1/2), 37-66.

80. Waffenschmidt, S.; Hausner, E.; Kaiser, T. (2010). An evaluation of searching the German CCMed database for the production of systematic reviews. Health Information and Libraries Journal, 27 (4), 262–267.

81. Wagner, K.C.; Byrd, G.D. (2004). Evaluating the effectiveness of clinical medical librarian programs: a systematic review of the literature. Journal of the Medical Library Association, 92 (1), 14–33.

82. Ward, R.; Stevens, C.; Brentnall, P.; Briddon, J. (2008). The attitudes of health care staff to information technology: A comprehensive review of the research literature. Health Information and Libraries Journal, 25 (2), 81–97.

83. Watkins, I.; Xie, B. (2014). eHealth literacy interventions for older adults: A systematic review of the literature. Journal of Medical Internet Research, 16 (11).

84. Weightman, A.L.; Williamson, J. (2005). The value and impact of information provided through library services for patient care: a systematic review. Health Information and Libraries Journal, 22 (1), 4–25.

85. Weiner, J.M. (2011). Is there a difference between critical thinking and information literacy? Journal of Information Literacy, 5 (2), 81–92.

86. Williams, P.; Nicholas, D.; Rowlands, I. (2010). The attitudes and behaviours of illegal downloaders. Aslib Proceedings, 62 (3), 283–301.

87. Winning, M.; Beverley, C. (2003). Clinical librarianship: a systematic review of the literature. Health Information & Libraries Journal, 20 (1), 10–21.

88. Winston, M.D. (2007). Ethical leadership and ethical decision making: A meta-analysis of research related to ethics education. Library & Information Science Research, 29, 230–251.

89. Xu, J.; Kang, Q.; Song, Z. (2015). The current state of systematic reviews in library and information studies. Library and Information Science Research, 37(4), 296–310.

90. Yoshii, A.; Plaut, D.A.; McGraw, K.A.; Anderson, M.J.; Wellik, K. E. (2009). Analysis of the reporting of search strategies in Cochrane systematic reviews. Journal of the Medical Library Association, 97 (1), 21–9.

91. Zhang, L.; Watson, E.M.; Banfield, L. (2007). The efficacy of computer-assisted instruction versus face-to-face instruction in academic libraries: A systematic review. Journal of Academic Librarianship, 33 (4), 478–484.

92. Zhang, Y.; Sun, Y.; Xie, B. (2015). Quality of health information to consumers on the Web: A systematic review of indicators, criteria, tools and evaluation results. Journal of the Association for Information Science and Technology, 66 (10), 2071–2084.