ESTUDIOS / RESEARCH STUDIES

LAS REVISIONES SISTEMÁTICAS EN BIBLIOTECONOMÍA Y DOCUMENTACIÓN: ANÁLISIS Y EVALUACIÓN DEL PROCESO DE BÚSQUEDA

José Antonio Salvador-Oliván*, Gonzalo Marco-Cuenca**, Rosario Arquero-Avilés**

* Departamento de Ciencias de la Documentación e Historia de la Ciencia. Universidad de Zaragoza

Correo-e: jaso@unizar.es | ORCID iD: http://orcid.org/0000-0001-8568-3098

** Departamento de Biblioteconomía y Documentación. Facultad de Ciencias de la Documentación. Universidad Complutense de Madrid

Correo-e: gmarco@ucm.es | ORCID iD: http://orcid.org/0000-0002-7149-6192

Correo-e: caquero@ucm.es | ORCID iD: http://orcid.org/0000-0002-3097-8734

SYSTEMATIC REVIEWS IN LIBRARY AND INFORMATION SCIENCE: ANALYSIS AND EVALUATION OF THE SEARCH PROCESS

CONTENIDOS

1. INTRODUCCIÓN Top

Las revisiones sistemáticas se caracterizan por sintetizar la mejor evidencia disponible para responder a una pregunta científica. Utilizan una metodología sistemática y explícita con el fin de identificar, seleccionar y evaluar de manera crítica la investigación relevante, así como para extraer y analizar los datos de los estudios incluidos en la revisión, pudiendo incluir o no metaanálisis, técnicas estadísticas para resumir e integrar los resultados de los estudios (Higgins y Green, 2011Higgins, J.P.T.; Green, S. (eds.) (2011). Manual Cochrane de revisiones sistemáticas de intervenciones Version 5.1.0 [actualizado marzo 2011]. The Cochrane Collaboration. Disponible en: http://handbook.cochrane.org [fecha de consulta: 10 de febrero de 2017].).

Las revisiones sistemáticas comenzaron a utilizarse sobre todo en el campo de la medicina, bajo el paradigma conocido como Medicina Basada en la Evidencia (MBE), si bien su aplicación se ha ido extendiendo a otros campos profesionales de los que no es ajeno el de Biblioteconomía y Documentación (ByD) (Xu y otros, 2015Xu, J.; Kang, Q.; Song, Z. (2015). The current state of systematic reviews in library and information studies. Library & Information Science Research, 37 (4), 296-310. https://doi.org/10.1016/j.lisr.2015.11.003.; Phelps y Campbell, 2012Phelps, S.F.; Campbell, N. (2012). Systematic reviews in theory and practice for library and information studies. Library and Information Research, 36 (112), 6-15.), siendo los bibliotecarios de ciencias de la salud los primeros en aplicar los principios basados en la evidencia (Koufogiannakis, 2012aKoufogiannakis, D. (2012a). The state of systematic reviews in Library and Information Studies. Evidence Based Library and Information Practice, 7 (2), 91-95. https://doi.org/10.18438/B8Q021.) aunque su uso se ha extendido posteriormente a entornos académicos o programas educativos (Catalano, 2013Catalano, A. (2013). Patterns of graduate student’s information seeking behavior: A meta-synthesis of the literature. Journal of Documentation, 69 (2), 243-274. https://doi.org/10.1108/00220411311300066.; Urquhart, 2010Urquhart, C. (2010). Systematic reviewing, meta-analysis and meta-synthesis for evidence-based library and information science. Information Research, 15 (3), colis708. http://InformationR.net/ir/15-3/colis7/colis708.html [Fecha de consulta: 16 de marzo de 2017].).

En una revisión sistemática es esencial publicar de manera completa y transparente el método utilizado, debiendo describirse con suficiente detalle para que cualquier lector pueda replicar el estudio y obtener los mismos resultados (Klassen y otros, 1998Klassen, T.P.; Jadad, A.R.; Moher, D. (1998). Guides for reading and interpreting systematic reviews. I. Getting started. Archives of Pediatrics & Adolescent Medicine, 152 (7), 700-704. https://doi.org/10.1001/archpedi.152.7.700.). Para ayudar a los autores a ser sistemáticos en el desarrollo de las revisiones sistemáticas y explícitos en la información que comunican, se han desarrollado varias herramientas y guías con el fin de mejorar la claridad y transparencia en su publicación. Todas ellas contienen los elementos relevantes y necesarios que deben estar presentes en una revisión sistemática para permitir su reproducibilidad y evaluar su calidad.

La Colaboración Cochrane publicó por primera vez en 1995 su Cochrane Handbook for Systematic Reviews of Interventions, un amplio manual de referencia para el diseño y ejecución de una revisión sistemática que se actualiza y revisa periódicamente (Higgins y Green, 2011Higgins, J.P.T.; Green, S. (eds.) (2011). Manual Cochrane de revisiones sistemáticas de intervenciones Version 5.1.0 [actualizado marzo 2011]. The Cochrane Collaboration. Disponible en: http://handbook.cochrane.org [fecha de consulta: 10 de febrero de 2017].). En 1996 un grupo internacional multidisciplinar publicó la declaración QUOROM (Quality Of Reporting Of Meta-Analyses), un conjunto de normas para mejorar la presentación de metaanálisis de ensayos controlados aleatorios (Moher y otros, 2009Moher, D.; Liberati, A.; Tetzlaff, J.; Altman, D.G.; The PRISMA Group (2009). Preferred Reporting Items for Systematic Reviews and Meta-Analyses: The PRISMA Statement. PLoS Medicine, 6 (7), e1000097. https://doi.org/10.1371/journal.pmed.1000097.). En 2009, se revisaron y actualizaron estas normas y fueron sustituidas por la declaración PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analysis), cuyas normas se aplican tanto a los metaanálisis como a las revisiones sistemáticas (Moher y otros, 2009Moher, D.; Liberati, A.; Tetzlaff, J.; Altman, D.G.; The PRISMA Group (2009). Preferred Reporting Items for Systematic Reviews and Meta-Analyses: The PRISMA Statement. PLoS Medicine, 6 (7), e1000097. https://doi.org/10.1371/journal.pmed.1000097.). En 2007 se introdujo AMSTAR (Assessment of Multiple Systematic Reviews), una herramienta para medir la calidad metodológica de las revisiones sistemáticas (Shea y otros, 2007Shea, B.J.; Grimshaw, J.M.; Wells, G.A.; Boers, M.; Anderson, N.; Hamel, C.; Porter, A.C.; Tugwell, P.; Moher, D.; Bouter, L.M. (2007). Development of AMSTAR: a measurement tool to assess the methodological quality of systematic reviews. BMC Medical Research Methodology, 7, 10. https://doi.org/10.1186/1471-2288-7-10.), y en 2011, el Instituto de Medicina de Estados Unidos (IOM) publicó un conjunto de normas para el desarrollo de revisiones de alta calidad (IOM, 2011IOM (Institute of Medicine) (2011). Finding what works in healthcare: standards for systematic reviews. Whashington: The National Academies Press. https://doi.org/10.17226/13059, 340 pp.).

Un apartado de especial interés en las revisiones sistemáticas es el relacionado con el proceso de búsqueda de la evidencia que, junto a la valoración crítica de los estudios identificados, constituye el núcleo de una revisión sistemática (IOM, 2011IOM (Institute of Medicine) (2011). Finding what works in healthcare: standards for systematic reviews. Whashington: The National Academies Press. https://doi.org/10.17226/13059, 340 pp.). Su objetivo es identificar todos los estudios potencialmente relevantes con la pregunta de investigación para minimizar sesgos en las conclusiones (Counsell, 1997Counsell, C. (1997). Formulating questions and locating primary studies for inclusion in systematic reviews. Annals of Internal Medicine, 127 (5), 380-387. https://doi.org/10.7326/0003-4819-127-5-199709010-00008.), siendo un elemento fundamental que puede afectar a la calidad global de las revisiones sistemáticas (McGowan y otros, 2016McGowan, J.; Sampson, M.; Salzwedel, D.M.; Cogo, E.; Foerster, V.; Lefevre, C. (2016). PRESS Peer Review of Electronic Search Strategies: 2015 Guideline Statement. Journal of Clinical Epidemiology, 75, 40-46. https://doi.org/10.1016/j.jclinepi.2016.01.021.); de ahí la importancia de comunicar de manera completa y transparente todo el proceso de búsqueda para que pueda ser reproducido (Lefebvre y otros, 2011Lefebvre, C.; Manheimer, E.; Glanville, J. (2011). Capítulo 6: La búsqueda de estudios. En: Higgins, J.P.T.; Green, S. (eds.), Manual Cochrane de revisiones sistemáticas de intervenciones Version 5.1.0. [actualizado marzo 2011]. The Cochrane Collaboration. Disponible en http://handbook.cochrane.org.) y permitir a los lectores evaluar su calidad (Liberati y otros, 2009Liberati, A.; Altman, D.G.; Tetzlaff, J.; Mulrow, C.; Gøtzsche, P.C.; Ioannidis, J.P.A.; Clarke, M.; Deveraux, P.J.; Kleijnen, J.; Moher, D. (2009). The PRISMA statement for reporting systematic reviews and meta-analyses of studies that evaluate health care interventions: explanation and elaboration. PLoS Med, 6 (7), e1000100. https://doi.org/10.1371/journal.pmed.1000100.).

El Manual de revisiones sistemáticas de la colaboración Cochrane, considerado como el estándar de oro de la metodología de búsqueda en las revisiones sistemáticas (Rethlefsen y otros, 2015Rethlefsen, M.L.; Farrell, A.M.; Trzasko, L.C.O; Brigham, T.J. (2015). Librarian co-authors correlated with higher quality reported search strategies in general internal medicine systematic reviews. Journal of Clinical Epidemiology, 68 (6), 617-626. https://doi.org/10.1016/j.jclinepi.2014.11.025.), dedica una sección entera al proceso de búsqueda (Lefebvre y otros, 2011Lefebvre, C.; Manheimer, E.; Glanville, J. (2011). Capítulo 6: La búsqueda de estudios. En: Higgins, J.P.T.; Green, S. (eds.), Manual Cochrane de revisiones sistemáticas de intervenciones Version 5.1.0. [actualizado marzo 2011]. The Cochrane Collaboration. Disponible en http://handbook.cochrane.org.), y en la declaración PRISMA se indica que la estrategia de búsqueda es una parte esencial de cualquier revisión sistemática, recomendando a los autores su registro completo en, al menos, una base de datos, así como la descripción de todas las fuentes de información empleadas con las fechas de cobertura y fecha de ejecución (Liberati y otros, 2009Liberati, A.; Altman, D.G.; Tetzlaff, J.; Mulrow, C.; Gøtzsche, P.C.; Ioannidis, J.P.A.; Clarke, M.; Deveraux, P.J.; Kleijnen, J.; Moher, D. (2009). The PRISMA statement for reporting systematic reviews and meta-analyses of studies that evaluate health care interventions: explanation and elaboration. PLoS Med, 6 (7), e1000100. https://doi.org/10.1371/journal.pmed.1000100.).

A pesar de la importancia de la búsqueda y de la existencia de guías que fomentan la descripción completa del proceso de búsqueda, son muchos los estudios que han señalado una deficiente publicación de información sobre los métodos y estrategias de búsqueda en las revisiones sistemáticas; la mayoría de ellos realizados en el campo de la medicina, concretamente en revisiones de eventos adversos (Golder y otros, 2008Golder, S.; Loke, Y.; McIntosh, H.M. (2008). Poor reporting and inadequate searches were apparent in systematic reviews of adverse effects. Journal of Clinical Epidemiology, 61 (5), 440-448. https://doi.org/10.1016/j.jclinepi.2007.06.005.; Zorzela y otros, 2014Zorzela, L.; Golder, S.; Liu, Y. (2014). Quality of reporting in systematic reviews of adverse events: systematic review. British Medical Journal, 348, f7668. https://doi.org/10.1136/bmj.f7668.), educación médica (Maggio y otros, 2011Maggio, L. A.; Tannery, N.H.; Kanter, S.L. (2011). Reproducibility of literature search reporting in medical education reviews. Academic Medicine, 86 (8), 1049-1054. https://doi.org/10.1097/ACM.0b013e31822221e7.), revisiones de la base de datos Medline (Sampson y otros, 2008Sampson, M.; McGowan, J.; Tetzlaff, J.; Cogo, E.; Moher, D. (2008). No consensus exists on search reporting methods for systematic reviews. Journal of Clinical Epidemiology, 61 (8), 748-754. https://doi.org/10.1016/j.jclinepi.2007.10.009.), revisiones Cochrane (Yoshii y otros, 2009Yoshii, A.; Plault, D.A.; McGraw, K.A.; Anderson, M.J.; Wellik, K.E. (2009). Analysis of the reporting of search strategies in Cochrane systematic reviews. Journal of Medial Library Association, 97 (1), 21-29. https://doi.org/10.3163/1536-5050.97.1.004.), en revisiones de revistas de alto impacto de Pediatría, Cardiología y Cirugía (Koffel y Rethlefsen, 2016Koffel, J.B.; Rethlefsen, M.L. (2016). Reproducibility of search strategies is poor in systematic reviews published in high-impact pediatrics, cardiology and surgery journals: A cross-sectional study. PLoS ONE, 11 (9), e0163309. https://doi.org/10.1371/journal.pone.0163309.), revisiones de VIH (Mullins y otros, 2014Mullins, M.M.; DeLuca, J.B.; Crepaz, N.; Lyles, C.M. (2014). Reporting quality of search methods in systematic reviews of HIV behavioral interventions (2000-2010): are the searches clearly explained, systematic and reproducible?. Research Synthesis Methods, 5 (2), 116-130. https://doi.org/10.1002/jrsm.1098.), pediatría (Nissen y otros, 2017Nissen, T.; Wayant, C.; Wahlstrom, A.; Sinnett, P.; Fugate, C.; Herrington, J.; Vassar, M. (2017). Methodological quality, completeness of reporting and use of systematic reviews as evidence in clinical practice guidelines for paediatric overweight and obesity. Clinical Obesity, 7 (1), 34-45. https://doi.org/10.1111/cob.12174.) y revistas de odontología (Layton, 2017Layton, D. (2017). A critical review of search strategies used in recent systematic reviews published in selected prosthodontic and implant-related journals: Are systematic reviews actually systematic?. International Journal of Prosthodontics, 30 (1), 13-21. https://doi.org/10.11607/ijp.5193.).

Diversos estudios han encontrado que aquellas revisiones sistemáticas en las que participa un profesional de la información y la documentación aportan información más completa y reproducible de las búsquedas (Rethlefsen y otros, 2015Rethlefsen, M.L.; Farrell, A.M.; Trzasko, L.C.O; Brigham, T.J. (2015). Librarian co-authors correlated with higher quality reported search strategies in general internal medicine systematic reviews. Journal of Clinical Epidemiology, 68 (6), 617-626. https://doi.org/10.1016/j.jclinepi.2014.11.025.; Koffel, 2015Koffel, J.B. (2015). Use of recommended search strategies in systematic reviews and the impact of librarian involvement: a cross-sectional survey of recent authors. PLoS ONE, 10 (5), e0125931. https://doi.org/10.1371/journal.pone.0125931.; Meert y otros, 2016Meert, D.; Torabi, N.; Costella, J. (2016). Impact of librarians on reporting of the literature searching component of pediatric systematic reviews. Journal of the Medical Library Association, 104 (4), 267-277. https://doi.org/10.3163/1536-5050.104.4.004.), consultan un mayor número de bases de datos (Golder y otros, 2008Golder, S.; Loke, Y.; McIntosh, H.M. (2008). Poor reporting and inadequate searches were apparent in systematic reviews of adverse effects. Journal of Clinical Epidemiology, 61 (5), 440-448. https://doi.org/10.1016/j.jclinepi.2007.06.005.) y, por consiguiente, presentan un menor riesgo de resultados incompletos o inexactos (Rader y otros, 2014Rader, T.; Mann, M.; Stansfield, C.; Cooper, C.; Sampson, M. (2014). Methods for documenting systematic review searches: a discussion of commons issues. Research Synthesis Methods, 5 (2), 98-115. https://doi.org/10.1002/jrsm.1097.).

De ahí que se haya destacado la importancia del profesional de la información y documentación, dada su formación y experiencia en la recuperación de información (McGowan, 2001McGowan, J. (2001). For expert literature searching, call a librarian. Canadian Medical Association Journal, 165 (10), 1301-1302.), como integrante del equipo de revisiones sistemáticas en su papel de experto en el proceso de búsqueda de información (McGowan y Sampson, 2005McGowan, J.; Sampson, M. (2005). Systematic reviews need systematic searchers. Journal of the Medical Library Association, 93 (1), 74-80.; Harris, 2005Harris, M.R. (2005). The librarian’s roles in the systematic review process: a case study. Journal of the Medical Library Association, 93 (1), 81-87.; McKibbon, 2006McKibbon, K.A. (2006). Systematic reviews and librarians. Library Trends, 55 (1), 202-215. https://doi.org/10.1353/lib.2006.0049.; Tannery y Maggio, 2012Tannery, N.H.; Maggio, LA. (2012). The role of medical librarians in medical education review articles. Journal of the Medical Library Association, 100 (2), 142-144. https://doi.org/10.3163/1536-5050.100.2.015.; Dudden y Protzko, 2011Dudden, R.F.; Protzko, S.L. (2011). The systematic review team: contributions of the health sciences librarian. Medical Reference Services Quarterly, 30 (3), 301-315. https://doi.org/10.1080/02763869.2011.590425.; Rethlefsen y otros, 2014Rethlefsen, M.L.; Murad, M.H.; Livingston, E.H. (2014). Engaging medical librarians to improve the quality of review articles. Journal of the Medical Library Association, 312 (10), 999-1000. https://doi.org/10.1001/jama.2014.9263.; Foster, 2015Foster, M.J. (2015). An overview of the role of librarians in systematic reviews: from expert search to project manager. Journal of EAHIL, 11 (3), 3-7.), llegando a describirse como una de las nuevas funciones del bibliotecario (Cooper y Crum, 2013Cooper, I.D.; Crum, J.A. (2013). New activities and changing roles of health science librarians: a systematic review, 1990-2012. Journal of the Medical Library Association, 101 (4), 268-277. https://doi.org/10.3163/1536-5050.101.4.008.). Así se pone también de manifiesto en las normas publicadas por el IOM, en las que se destaca su función en la planificación y diseño de la búsqueda (IOM, 2011IOM (Institute of Medicine) (2011). Finding what works in healthcare: standards for systematic reviews. Whashington: The National Academies Press. https://doi.org/10.17226/13059, 340 pp.), y en el Manual Cochrane de Revisiones Sistemáticas (Higgins y Green, 2011Higgins, J.P.T.; Green, S. (eds.) (2011). Manual Cochrane de revisiones sistemáticas de intervenciones Version 5.1.0 [actualizado marzo 2011]. The Cochrane Collaboration. Disponible en: http://handbook.cochrane.org [fecha de consulta: 10 de febrero de 2017].), donde se recomienda su participación tanto en la elección de bases de datos y otras fuentes como en la construcción y revisión de las estrategias de búsqueda (Li y otros, 2014Li, L.; Tian, J.; Tian, H.; Moher, D.; Liang, F.; Jiang, T.; Yao, L.; Yang, K. (2014). Network meta-analyses could be improved by searching more sources and by involving a librarian. Journal of Clinical Epidemiology, 67 (9), 1001-1007. https://doi.org/10.1016/j.jclinepi.2014.04.003.).

En este contexto, debería esperarse que las revisiones sistemáticas publicadas en revistas propias de ByD o en las que participan profesionales de la información y documentación, registrasen con precisión y de manera detallada los elementos relacionados con el proceso de búsqueda. A este respecto, son escasos los estudios realizados sobre evaluación de revisiones sistemáticas en ByD, y salvo el llevado a cabo por Ankem (2008Ankem, K. (2008). Evaluation of method in systematic reviews and meta-analyses published in LIS. Library and Information Research, 32 (101), 91-104.) en el que valoraba los métodos utilizados en 7 revisiones y 5 metaanálisis sobre información o bibliotecas médicas publicados desde 1996 al 2006, los demás han estado dirigidos a proponer una lista de comprobación (Xu y otros, 2015Xu, J.; Kang, Q.; Song, Z. (2015). The current state of systematic reviews in library and information studies. Library & Information Science Research, 37 (4), 296-310. https://doi.org/10.1016/j.lisr.2015.11.003.), o a determinar los instrumentos o criterios utilizados para evaluar la calidad (Maden y Kotas, 2016Maden, M.; Kotas, L. (2016). Evaluating approaches to quality assessment in Library and Information Science LIS systematic reviews: A methodology review. Evidence Based Library and Information Practice, 11 (2), 149-176. https://doi.org/10.18438/B8F630.).

2. OBJETIVO Top

El objetivo principal de este estudio es determinar si las revisiones sistemáticas en el área de ByD contienen toda la información del proceso de búsqueda necesaria para ser reproducible. De manera más específica, se trata de conocer el porcentaje de revisiones sistemáticas en ByD que informan de manera completa de cada uno de los elementos de búsqueda. También se pretende conocer las principales características de las revisiones en cuanto a lugar de trabajo de los autores, fuentes de publicación y temas tratados.

3. MÉTODO Top

3.1. Fuentes de datos

La búsqueda se llevó a cabo en las siguientes bases de datos: Web of Science (WOS), Scopus, Library Science Database (plataforma Proquest), LISTA (plataforma EBSCOhost) y Medline (plataforma PubMed). Todas las búsquedas se realizaron el 28 de febrero de 2017 y se actualizaron el 20 de marzo.

Además, se seleccionaron las revisiones sistemáticas incluidas en la wiki creada por Denise Koufogiannakis (2012bKoufogiannakis, D. (2012b). LIS Systematic Reviews. [Última fecha de actualización, 21 de junio de 2015]. Disponible en: http://lis-systematic-reviews.wikispaces.com/ [Fecha de consulta: 28 de febrero de 2017].). Estas revisiones, según el autor, cumplen los siguientes criterios: están publicadas en revistas de biblioteconomía, los autores pertenecen a ByD o afiliados a algún departamento o unidad de documentación o biblioteca, incluyen estudios realizados en el entorno bibliotecario y, al menos, el 25% de los estudios incluidos en las revisiones proceden de revistas del área.

3.2. Estrategia de búsqueda

Se diseñó la estrategia de búsqueda en cada base de datos para recuperar artículos que tuvieran la frase “revisión sistemática” o el término "metaanálisis" en el título. De esta manera se identificaron aquellos artículos que cumplían el primer ítem de la lista de comprobación PRISMA. En todas las bases de datos se limitaron los resultados de la búsqueda a los publicados desde el año 2000. No hubo limitación de idiomas. La estrategia de búsqueda fue desarrollada por el primer autor (33 años como especialista en búsquedas de información):

• WOS: Para poder limitar los resultados a revisiones sistemáticas o metaanálisis publicados en revistas clasificadas en la categoría ByD (Library and Information Science), se introdujo la siguiente sentencia de búsqueda desde el modo Búsqueda Avanzada y en la Colección Principal de Web of Science (Índices de Citas):

  WC=(Information Science & Library Science) AND ti=(systematic near/1 review* OR metaanalysis or meta-analysis)

  Se limitaron los resultados a artículos de revista, proceedings papers o revisiones.

• Scopus: Para limitar los resultados a los publicados en revistas de ByD, se buscó previamente en www.scimagojr.com aquellas indizadas en Scopus en la categoría Library and Information Sciences. Se recuperaron 193 revistas. Desde el modo Búsqueda Avanzada, se introdujo la siguiente sentencia de búsqueda:

  SUBJAREA (soci) AND TITLE (systematic pre/1 review* or metaanalysis or meta-analysis) AND SRCTITLE (todas las revistas recuperadas combinadas con OR) AND PUBYEAR > 1999 AND (LIMIT-TO ( DOCTYPE,”re “) OR LIMIT-TO ( DOCTYPE,”ar” ) OR LIMIT-TO ( DOCTYPE,”cp”)).

  Se limitaron a artículos de revista, proceedings papers o revisiones.

• Library Science Database:

  Ti (systematic pre/1 review OR metaanalysis or meta-analysis).

• Library, Information Science & Technology Abstracts (LISTA):

  Ti systematic w1 review or ti metanalysis or ti meta-analysis

  Los resultados se limitaron a tipo de documentos: artículo y conference paper publicados en revistas académicas.

• Medline: Al no poder limitar a revistas propias de ByD, se añadió a la búsqueda la condición de que tuviera el concepto de biblioteca en el campo de descriptores, la frase especialista de información en el título, o que los autores estuvieran afiliados a bibliotecas y los artículos trataran de manera relevante sobre información o bibliotecas (términos en el campo del título o descriptores). La sentencia de búsqueda empleada fue:

  (Systematic review* [ti] OR metaanalysis [ti] OR meta-analysis [ti]) AND ((libraries [mesh] OR librarians [mesh] OR information specialist* [ti]) or ((information [ti] or librar* [ti]) and librar* [affiliation]))

• Wiki: Se descargaron todas las entradas, 82.

3.3. Criterios de selección

Además del criterio de ser revisiones publicadas en revistas de ByD, utilizado de manera explícita en las estrategias de búsqueda en las bases de datos WOS y Scopus, o de manera implícita en LISTA y Library Science Database (por ser específicas del área de conocimiento), se definieron y aplicaron los siguientes criterios para incluir o excluir en el estudio las publicaciones recuperadas de las búsquedas:

1. Los artículos son revisiones sistemáticas o aplican técnicas de metaanálisis. Se revisó el título y el resumen de los artículos recuperados (y el texto completo cuando el resumen no estaba claro) y se excluyeron aquellos que no eran propiamente revisiones sistemáticas sino que hacían referencia a aspectos relacionados.

2. El tema tratado en la revisión sistemática es específico de ByD: documentación /bibliotecas/archivos.

3. Filiación de los autores: trabajan en bibliotecas, archivos, centros de documentación, unidades de información, o departamentos de escuelas o estudios de Biblioteconomía y Documentación (LIS Schools, LIS studies). Para determinar la filiación, se descargó el texto completo del artículo y se examinó la primera y última página, en las que suelen venir las direcciones. Cuando la información era incompleta o poco clara, se buscó en Google por el nombre y apellidos de los autores y ciudad o lugar de trabajo. Se incluyeron aquellos artículos que cumplían alguno de los siguientes criterios:

   a) Alguno de los autores está afiliado a ByD.

   b) Ningún autor tiene filiación con ByD pero los títulos de las revistas contienen los términos library, libraries, librarianship, documentation o information literacy.

Todos los artículos fueron evaluados de manera independiente por los tres autores. Únicamente en tres artículos hubo discrepancia sobre la pertenencia del tema tratado al área ByD; en estos casos, se tomó una decisión por consenso.

3.4. Extracción de datos

Para cumplir el objetivo del estudio, se seleccionaron 12 elementos relacionados con la búsqueda utilizados en las siguientes publicaciones:

• Estudio de Mullins y otros (2014Mullins, M.M.; DeLuca, J.B.; Crepaz, N.; Lyles, C.M. (2014). Reporting quality of search methods in systematic reviews of HIV behavioral interventions (2000-2010): are the searches clearly explained, systematic and reproducible?. Research Synthesis Methods, 5 (2), 116-130. https://doi.org/10.1002/jrsm.1098.) en el que se extrajeron los elementos comunes en las 10 guías más comunes publicadas hasta ese momento (QUOROM, MOOSE, CRD Guide, HTA checklist, Cochrane Collaboration handbook, AMSTAR, PRISMA, Campbell Collaboration guide, IOM statement). De esta lista se eliminó el elemento relativo a la calificación del buscador, ya que no afecta a la reproducción de la búsqueda ni a la selección de los estudios y solo aparecía en 2 guías. Se dividió el elemento de búsqueda complementaria en dos de los tipos indicados en el propio estudio: (a) lista de referencias en los estudios, y (b) búsqueda en Internet, sitios web, resúmenes de conferencias, informes especializados, literatura gris, y búsqueda manual de revistas. Se excluyó el subtipo de contactar con individuos, expertos u organizaciones.

• Elementos utilizados por Meert y otros (2016Meert, D.; Torabi, N.; Costella, J. (2016). Impact of librarians on reporting of the literature searching component of pediatric systematic reviews. Journal of the Medical Library Association, 104 (4), 267-277. https://doi.org/10.3163/1536-5050.104.4.004.) adaptados de las normas del Instituto de Medicina para las revisiones sistemáticas (IOM, 2011IOM (Institute of Medicine) (2011). Finding what works in healthcare: standards for systematic reviews. Whashington: The National Academies Press. https://doi.org/10.17226/13059, 340 pp.) y recomendados y descritos en el capítulo 6 del Cochrane Handbook for Systematic Reviews of Interventions (Lefebvre y otros, 2011Lefebvre, C.; Manheimer, E.; Glanville, J. (2011). Capítulo 6: La búsqueda de estudios. En: Higgins, J.P.T.; Green, S. (eds.), Manual Cochrane de revisiones sistemáticas de intervenciones Version 5.1.0. [actualizado marzo 2011]. The Cochrane Collaboration. Disponible en http://handbook.cochrane.org.) y en la declaración Prisma (Moher y otros, 2009Moher, D.; Liberati, A.; Tetzlaff, J.; Altman, D.G.; The PRISMA Group (2009). Preferred Reporting Items for Systematic Reviews and Meta-Analyses: The PRISMA Statement. PLoS Medicine, 6 (7), e1000097. https://doi.org/10.1371/journal.pmed.1000097.).

• Elementos que aparecían con más frecuencia en los 11 instrumentos evaluados por Sampson y otros (2008Sampson, M.; McGowan, J.; Tetzlaff, J.; Cogo, E.; Moher, D. (2008). No consensus exists on search reporting methods for systematic reviews. Journal of Clinical Epidemiology, 61 (8), 748-754. https://doi.org/10.1016/j.jclinepi.2007.10.009.): AMSTAR, PRISMA, Check in out, Cochrane Handbook, STARITE, Patrick, AGREE, INAHTA, Oxman & Guyatt, MOOSE, QUOROM.

Se consideró que todos los elementos seleccionados e incluidos son necesarios para reproducir o actualizar las búsquedas (1-10) y para hacer transparente la información sobre la selección de los estudios (11-12). Son los siguientes:

1. Nombre de las bases de datos consultadas.

2. Nombre de la plataforma utilizada en las bases de datos.

3. Descriptores, palabras clave y términos empleados en la estrategia de búsqueda.

4. Estrategia de búsqueda completa (sintaxis, combinación de conjuntos), al menos en una base de datos.

5. Periodo de tiempo cubierto en la búsqueda (años analizados).

6. Limitaciones (idioma o tipo de publicación) aplicadas a la búsqueda.

7. Fecha de ejecución de la búsqueda.

8. Número de registros recuperados.

9. Búsqueda en otras fuentes a través de la web (Google, repositorios, actas de congresos, sitios web,….) o de manera manual (revistas, tesis…).

10. Búsqueda de referencias en los estudios incluidos.

11. Selección de los estudios: criterios de inclusión/exclusión aplicados.

12. Diagrama de flujo del proceso de inclusión de los estudios.

La valoración de estos elementos se llevó a cabo mediante la lectura del texto completo de los estudios incluidos. Cada uno de los ítems se codificó en una escala dicotómica: Sí-presente en el estudio (1) / No-ausente (0).

Además, se extrajeron otros datos como nombre de la revista, año de publicación, autores y filiación, tema principal tratado en el artículo y nombre de cada una de las bases de datos consultadas. Los datos se introdujeron en una base de datos de Excel.

3.5. Análisis de datos

El análisis estadístico se realizó con el programa SPSS versión 22. La calidad global de las búsquedas se calculó sumando los valores de cada elemento y dividiendo por el número de elementos evaluados. Se calculó la estadística descriptiva para averiguar cuántos estudios cumplían los ítems del instrumento de evaluación. El número de bases de datos se expresó como media (desviación estándar) y mediana (rango intercuartílico).

4. RESULTADOS Top

Se recuperaron 1095 registros de todas las bases de datos, de los que quedaron 674 después de eliminar los repetidos (Figura 1). Una vez examinados el título y resumen, se excluyeron 149 que no eran revisiones sistemáticas y 6 que estaban publicados en chino, quedando 525 revisiones. De estas se excluyeron 439 que no cumplían los criterios de inclusión: bien porque el tema tratado pertenecía claramente a otras áreas (principalmente medicina e informática), o porque en aquellos casos en los que podía haber cierta duda al ser multidisciplinar (como gestión del conocimiento, medios sociales o comunicación) ningún autor pertenecía a ByD. Se seleccionaron 86 estudios para revisar el texto completo, a los que se añadieron 6 procedentes de las referencias bibliográficas y que cumplían todos los criterios de inclusión, quedando al final 92 (el Anexo 1 contiene la lista completa de las referencias).

Figura 1. Diagrama de flujo de selección de estudios [Descargar tamaño completo]

Características generales: De los 92 estudios, 86 son revisiones sistemáticas y 6 metaanálisis. Los temas tratados con mayor frecuencia están relacionados con las bibliotecas y servicios bibliotecarios (24) y con la búsqueda de información (23), seguidos de otros como la alfabetización informacional (12), información digital y consumo (10), formación y estudios en ByD (9), evaluación de la información (5), gestión del conocimiento (5) y necesidades de información (4).

Fuentes de publicación: Los estudios se han publicado en 40 revistas diferentes (Tabla I), de las que 17 (42,5%) contienen en el título el término library, libraries, libres o hacen referencia a tareas propias de las bibliotecas, habiendo publicado las dos terceras partes de los artículos (61). Las que más revisiones sistemáticas publican están relacionadas con las bibliotecas médicas o de la salud.

Tabla I. Revistas y filiación de los autores [Descargar tamaño completo]

Autoría: El 91,3% de los artículos estaba firmado, al menos, por un autor perteneciente al área de ByD, y en el 79,3% aparecía como primer firmante. Tan solo en 8 artículos ningún autor estaba afiliado a ByD, aunque en 7 de ellos las revistas eran de bibliotecas y en 1 de alfabetización informacional.

El lugar de trabajo más frecuente entre los autores era la biblioteca (52,4% de los artículos), seguido de las escuelas o departamentos relacionados con ByD, ciencias de la información o estudios de información (29,9%).

Tabla II. Filiación profesional de los autores [Descargar tamaño completo]

Elementos de las búsquedas: La calidad global de los estudios fue de 60,5%. De los 92 estudios analizados, solo 4 contenían todos los elementos (referencias 36, 62, 77 y 89 del Anexo I) y 5 incluían 11 (referencias 3, 10, 35, 55 y 69). El 68,5% incluían, al menos, la mitad de los 12 elementos. Los elementos que con mayor frecuencia aparecen registrados son el nombre de las bases de datos (95,6%), el número de registros recuperados (90,2%), términos empleados en la búsqueda (86,9%), criterios empleados en la selección de los estudios (82,6%) y los años cubiertos en la búsqueda (77,1%). El resto de los elementos se incluyen en menos de la mitad de los estudios, siendo la plataforma de las bases de datos el menos informado (Figura 2).

Figura 2. Elementos incluidos en las revisiones sistemáticas de ByD [Descargar tamaño completo]

5. DISCUSIÓN Top

5.1. Fuentes, temas, y crecimiento de revisiones sistemáticas

Este estudio se caracteriza por evaluar el grado con que se registran de manera completa datos sobre el proceso de búsqueda en revisiones sistemáticas publicadas en el campo de la ByD. El número de revisiones analizadas es muy superior al estudio de Ankem con 12 revisiones y metanálisis recuperados de las bases de datos LISA y Library Literature en los años 1996-2006 (Ankem, 2008Ankem, K. (2008). Evaluation of method in systematic reviews and meta-analyses published in LIS. Library and Information Research, 32 (101), 91-104.), y al estudio de Xu y otros (2015Xu, J.; Kang, Q.; Song, Z. (2015). The current state of systematic reviews in library and information studies. Library & Information Science Research, 37 (4), 296-310. https://doi.org/10.1016/j.lisr.2015.11.003.), en el que se evaluaba la metodología de investigación de 50 revisiones publicadas en chino y en inglés en las bases de datos WoS (1998-abril 2014), Scopus (1960-2014) LISTA (1960-2014) y Google Scholar.

Los resultados muestran que más de la mitad de las revisiones sistemáticas en ByD se publican en revistas relacionadas con las bibliotecas de salud y medicina (el 53% de los artículos), destacando en los primeros lugares Health Information and Libraries Journal y Journal of the Medical Library Association, coincidiendo con estudios de Koufogiannakis (2012aKoufogiannakis, D. (2012a). The state of systematic reviews in Library and Information Studies. Evidence Based Library and Information Practice, 7 (2), 91-95. https://doi.org/10.18438/B8Q021., 2012bKoufogiannakis, D. (2012b). LIS Systematic Reviews. [Última fecha de actualización, 21 de junio de 2015]. Disponible en: http://lis-systematic-reviews.wikispaces.com/ [Fecha de consulta: 28 de febrero de 2017].) y Xu y otros (2015Xu, J.; Kang, Q.; Song, Z. (2015). The current state of systematic reviews in library and information studies. Library & Information Science Research, 37 (4), 296-310. https://doi.org/10.1016/j.lisr.2015.11.003.). En estas revistas, las revisiones suelen tratar temas relacionados con información clínica y búsqueda o necesidades de información de pacientes; estos resultados son consistentes con los obtenidos por Ankem (2008Ankem, K. (2008). Evaluation of method in systematic reviews and meta-analyses published in LIS. Library and Information Research, 32 (101), 91-104.), en cuyo estudio los temas versaban sobre bibliotecas o información médica.

Nuestro estudio identifica 14 estudios desde el 2000 hasta el 2006 incluido (15%). En los 14, se incluyen las 7 revisiones sistemáticas y 2 metaanálisis del estudio de Ankem (los 3 metaanálisis no incluidos son anteriores al año 2000), identificando solo 5 más debido al mayor número de bases de datos consultadas y a que los criterios de inclusión se amplían al aceptar también revisiones sobre temas propios de ByD y en las que participan autores que pertenecen profesionalmente al campo de conocimiento. El número de revisiones en los 10 últimos años es muy elevado (78, de las que 62 están firmadas por un primer autor de ByD) para explicar que puede ser debido exclusivamente a que utilizamos unos criterios de selección menos restrictivos, e invita a pensar que realmente se ha producido un aumento importante en el número de revisiones sistemáticas en ByD en los últimos años, sobre todo a partir del 2013 (Figura 3).

Figura 3. Evolución temporal de las revisiones sistemáticas en ByD [Descargar tamaño completo]

Otro hecho destacable es que aunque las revisiones se publican preferentemente en unas pocas revistas especializadas en bibliotecas médicas, otras revistas más generales del campo de las bibliotecas y de la documentación han comenzado a publicar este tipo de estudios, si bien la mayoría de ellas solo han publicado 1 o 2 revisiones durante el periodo analizado.

5.2. Elementos de las búsquedas

Los resultados indican que algunos de los elementos analizados se registran de manera aceptable mientras que otros necesitan mejorar, resultando en una calidad global del proceso de búsqueda del 60,5%, un valor bajo que indica falta de transparencia de la información.

Los elementos que menos aparecen en las revisiones son la plataforma utilizada, la fecha de ejecución de la búsqueda, la estrategia de búsqueda completa, el diagrama de flujo y métodos complementarios. Se comentan a continuación los distintos elementos:

Nombre de las bases de datos: El primer paso en una revisión sistemática consiste en plantear una pregunta bien elaborada, y el segundo en diseñar una estrategia de búsqueda que identifique todos los estudios relevantes sobre un tema, por lo que es necesario buscar en múltiples bases de datos. Las bases de datos seleccionadas para la búsqueda juegan, por tanto, un papel esencial en la calidad de las revisiones ya que constituyen las principales fuentes de los estudios.

Es el elemento que más veces se cumple. Solo en 4 revisiones no se consultó ninguna base de datos y, por consiguiente, no aparecen:

• Se busca en la web (no indica el motor empleado) y en dos artículos publicados previamente (ref 1).

• Los estudios se seleccionaron de un sitio web (ref 42).

• Es un metaanálisis y los estudios se identifican a través de Google Scholar y de 5 actas de congresos y revistas (ref 49).

• Los estudios se obtienen de una wiki (ref 61).

Además de los 4 estudios que no utilizaron bases de datos, en 9 artículos se utilizó solo 1 base de datos (9,8%), y en 13 estudios 2 bases de datos (14,1%). Algo menos de la mitad de los estudios (46,7%) utilizó menos de 5 bases de datos, siendo el promedio de 6,8 bases de datos por artículo y la mediana de 5 bases de datos (rango intercuartílico de 7), un número superior a otros estudios en los que la mediana es de 3 (rango intercuartílico de 2) (Li y otros, 2014Li, L.; Tian, J.; Tian, H.; Moher, D.; Liang, F.; Jiang, T.; Yao, L.; Yang, K. (2014). Network meta-analyses could be improved by searching more sources and by involving a librarian. Journal of Clinical Epidemiology, 67 (9), 1001-1007. https://doi.org/10.1016/j.jclinepi.2014.04.003.).

Se han consultado 103 bases de datos diferentes. Las más consultadas se muestran en la tabla III, destacando las que pertenecen al área de Medicina (Medline, CINAHL, EMBASE, Cochrane Library, Psycinfo), algo lógico ya que, como se ha comentado anteriormente, algo más de la mitad de las revisiones se han publicado en revistas relacionadas con las bibliotecas de salud y medicina. Le siguen, a continuación, las bases de datos de ByD (LISA, LISTA, Library Literature) y las multidisciplinares más importantes (WOS y Scopus). La base de datos más consultada ha sido Medline, en más de la mitad de los artículos, seguida de LISA, CINAHL, Web of Science y LISTA.

Tabla III. Bases de datos más consultadas en las revisiones de ByD [Descargar tamaño completo]

La búsqueda en una sola base de datos no es suficiente en las revisiones sistemáticas, y la guía AMSTAR recomienda buscar, al menos, en 2 bases de datos (Shea y otros, 2007Shea, B.J.; Grimshaw, J.M.; Wells, G.A.; Boers, M.; Anderson, N.; Hamel, C.; Porter, A.C.; Tugwell, P.; Moher, D.; Bouter, L.M. (2007). Development of AMSTAR: a measurement tool to assess the methodological quality of systematic reviews. BMC Medical Research Methodology, 7, 10. https://doi.org/10.1186/1471-2288-7-10.), por lo que aunque es un elemento muy registrado, es necesario mejorar en el número de bases de datos a consultar para el desarrollo de revisiones sistemáticas y evitar, de esta manera, unas conclusiones sesgadas derivadas de la omisión de estudios relevantes.

Plataforma de las bases de datos: Es el elemento registrado con menor frecuencia, solo en 33 artículos (35,9%). Una misma base de datos puede ser consultada a través de distintas plataformas; por ejemplo, la base de datos Medline puede ser consultada a través de PubMed, WOS y Ovid, entre otras. Es muy importante indicar este elemento ya que cada plataforma tiene su propio lenguaje de recuperación (operadores de proximidad, campos, truncado, limitaciones…) y, por tanto, la estrategia de búsqueda es diferente para una misma base de datos según la plataforma utilizada, obteniendo también distintos resultados en la misma fecha de búsqueda ya que la actualización también varía.

Una búsqueda no puede reproducirse si se desconoce la plataforma en la que se ha ejecutado, por lo que es un elemento necesario y claramente mejorable.

Términos de búsqueda, descriptores utilizados: Está indicado en 80 artículos (87%), un porcentaje importante que es mayor si no tenemos en cuenta los 4 artículos en los que no se busca en bases de datos bibliográficas. Resulta esencial para valorar la calidad de las búsquedas en lo que respecta a exhaustividad y precisión de los resultados, ya que éstos dependen de que se hayan seleccionado todos los posibles términos que representan los conceptos de la búsqueda y los más específicos. Este elemento está íntimamente unido a la especificación de la estrategia de búsqueda al estar formada por los términos y descriptores empleados.

Estrategia de búsqueda completa: El porcentaje de artículos en los que se indica la estrategia de búsqueda completa en, al menos, una base de datos es bajo, menos de la mitad (45,7%). Es un elemento imprescindible para repetir la búsqueda y para la actualización de la revisión sistemática. Es esencial también para valorar la calidad de la búsqueda y, por tanto, la calidad de la revisión sistemática, ya que errores en la sintaxis o búsquedas inapropiadas pueden afectar a la calidad de la revisión y producir sesgos en las conclusiones (Yoshii y otros, 2009Yoshii, A.; Plault, D.A.; McGraw, K.A.; Anderson, M.J.; Wellik, K.E. (2009). Analysis of the reporting of search strategies in Cochrane systematic reviews. Journal of Medial Library Association, 97 (1), 21-29. https://doi.org/10.3163/1536-5050.97.1.004.). El Manual Cochrane de revisiones sistemáticas recomienda que «…las estrategias de búsqueda completas para cada base de datos necesitarán incluirse en un Anexo de la revisión. Las estrategias de búsqueda deberán copiarse exactamente como se llevaron a cabo e incluidas en su totalidad,…. » (Lefebvre y otros, 2011Lefebvre, C.; Manheimer, E.; Glanville, J. (2011). Capítulo 6: La búsqueda de estudios. En: Higgins, J.P.T.; Green, S. (eds.), Manual Cochrane de revisiones sistemáticas de intervenciones Version 5.1.0. [actualizado marzo 2011]. The Cochrane Collaboration. Disponible en http://handbook.cochrane.org.) y la norma 3.4 del Manual del IOM indica que debe describirse la estrategia de búsqueda, línea por línea, en cada base de datos (IOM, 2011IOM (Institute of Medicine) (2011). Finding what works in healthcare: standards for systematic reviews. Whashington: The National Academies Press. https://doi.org/10.17226/13059, 340 pp.).

Años analizados: Es importante indicar el intervalo de años buscados ya que permite evaluar la dimensión de la búsqueda y resulta imprescindible en el refinamiento y/o posterior actualización de la revisión. En nuestro estudio se registra en 71 artículos (77,2%), porcentaje claramente mejorable ya que recoger este dato es muy simple y requiere un mínimo esfuerzo.

Limitaciones de la búsqueda: Limitar los resultados de una búsqueda (idiomas, tipos de documentos, etc.) es un elemento más de la estrategia de búsqueda que debería indicarse de manera explícita, tanto si se ha aplicado como si no. La limitación a determinados idiomas puede llevar a no recuperar resultados relevantes y, por tanto, a un descenso en la exhaustividad de la revisión. En nuestro estudio, en poco más de la mitad de las revisiones (56,5%) se indica que se han aplicado limitaciones, un porcentaje bajo que hay que aumentar.

Fecha de ejecución de la búsqueda: El mes y año de ejecución de la búsqueda constituye un dato necesario para la actualización de cualquier revisión. A pesar de ser una información simple y objetiva de obtener, solo se indica en 40 de las revisiones (43,5%), porcentaje claramente mejorable.

Número de registros recuperados: Es el resultado de ejecutar la búsqueda en las bases de datos, por lo que se debería indicar cuántos registros se han recuperado en cada una de ellas. Según el Manual Cochrane, debería registrarse en la sección de resultados de la revisión (Lefebvre y otros, 2011Lefebvre, C.; Manheimer, E.; Glanville, J. (2011). Capítulo 6: La búsqueda de estudios. En: Higgins, J.P.T.; Green, S. (eds.), Manual Cochrane de revisiones sistemáticas de intervenciones Version 5.1.0. [actualizado marzo 2011]. The Cochrane Collaboration. Disponible en http://handbook.cochrane.org.). Depende de la base de datos, plataforma utilizada, estrategia de búsqueda, limitaciones, años cubiertos y fecha de ejecución. Permite determinar, al replicar una búsqueda, si los resultados son consistentes con la información registrada o se han producido resultados dispares. El porcentaje de estudios que lo indican es el 90,2%.

Búsqueda de información en otras fuentes a través de la web o de manera manual: A veces, las bases de datos bibliográficas no son suficientes para identificar todos los estudios relevantes por lo que se recomienda utilizar otras fuentes como sitios web, repositorios temáticos o motores de búsqueda (Stansfield y otros, 2016Stansfield, C.; Dickson, K.; Bangpan, M. (2016). Exploring issues in the conduct of website searching and other online sources for systematic reviews: how can we be systematic?. Systematic Reviews, 5 (1), 191. https://doi.org/10.1186/s13643-016-0371-9.).

La búsqueda en motores de búsqueda como Google Scholar o en repositorios temáticos e institucionales, blogs, o simplemente sitios web de asociaciones científicas y profesionales, implica el acceso a información publicada pero también no publicada por canales formales (literatura gris, informes, actas de conferencias y cualquier otro tipo de documento). Junto con la búsqueda manual en revistas, libros y otras fuentes, constituyen estrategias complementarias con la finalidad de ampliar el número de estudios y proporcionar una visión más completa de la evidencia disponible (Mahood y otros, 2014Mahood, Q.; Eerd, D.V.; Irvin, E. (2014). Searching for grey literature for systematic reviews: Challenges and benefits. Research Synthesis Methods, 5 (3), 221-234. https://doi.org/10.1002/jrsm.1106.) y, de esta manera, minimizar el riesgo de omitir fuentes de información relevantes (Godin y otros, 2015Godin, K.; Stapleton, J.; Kirkpatrick, S.I.; Hanning, R.M.; Leatherdale, S.T. (2015). Applying systematic review search methods to the grey literature: a case study examining guidelines for school-based breakfast programs in Canada. Systematic Reviews, 4 (138). https://doi.org/10.1186/s13643-015-0125-0.).

Poco más de la mitad de las revisiones en ByD, el 54,3%, han utilizado esta vía para obtener información, un porcentaje bajo. Se ha sugerido en el caso de utilizar motores de búsqueda que debería indicarse la estrategia de búsqueda y ser muy precisa, debido al número tan elevado de registros que se recuperan (Boeker y otros, 2013Boeker, M.; Vach, W.; Motschall, E. (2013). Google Scholar as replacement for systematic literature searches: good relative recall and precision are not enough. BMC Medical Research Methodolology, 13 (131). https://doi.org/10.1186/1471-2288-13-131.). En nuestro estudio, en ninguna revisión se ha explicitado la estrategia de búsqueda en los motores de búsqueda.

Búsqueda de referencias en los estudios incluidos: Otro método que se ha demostrado eficaz en la mejora del rendimiento de las estrategias de búsqueda es la revisión de las referencias de los artículos seleccionados. Aunque es una tarea que lleva más tiempo, se ha comprobado que es una manera directa de recuperar artículos que no están en las bases de datos (Jadad y otros, 1998Jadad, A.R.; Moher, D.; Klassen, T.P. (1998). Guides for reading and interpreting systematic reviews. II. How did authors find the studies and assess their quality?. Archives of Pediatrics and Adolescent Medicine, 152 (8), 812-817. https://doi.org/10.1001/archpedi.152.8.812.), bien sea debido a errores en la indización o al retraso en la actualización de la base de datos (DeLuca, 2008DeLuca, J.M. (2008). Developing a comprehensive search strategy for evidence based systematic reviews. Evidence based Library and Information Practice, 3 (1), 3-32. https://doi.org/10.18438/B8KP66.).

El rastreo de referencias de los artículos (método snowball o bola de nieve) se ha identificado como especialmente potente para identificar fuentes de alta calidad en temas raros o poco conocidos (Greenhalgh y Peacock, 2005Greenhalgh, T.; Peacock, R. (2005). Effectiveness and efficiency of search methods in systematic reviews of complex evidence: audit of primary sources. British Medical Journal, 331, 1064-1065. https://doi.org/10.1136/bmj.38636.593461.68). Este elemento se ha registrado en el 52,2% de las revisiones de nuestro estudio, porcentaje claramente mejorable, sobre todo teniendo en cuenta que puede ser la única vía de recuperar artículos relevantes.

Criterios de selección de los estudios: No es un elemento propio del proceso de búsqueda, pero sí tiene que ver ya que no todos los estudios recuperados van a cumplir con los criterios de inclusión para llevar a cabo la revisión sistemática, de ahí que puede considerarse como una limitación de los resultados de la búsqueda. Los criterios de inclusión/exclusión se enmarcan en el proceso de selección de los estudios y especificarlos de manera clara ayuda a minimizar el sesgo de selección y contribuye a mejorar la transparencia de la información.

Diagrama de flujo del proceso de selección: Es un elemento, que a diferencia del resto, se indica en el apartado de resultados. Según la declaración Prisma sirve para facilitar el número de estudios cribados, evaluados para su elegibilidad e incluidos en la revisión, y detallar las razones para su exclusión en cada etapa (Moher y otros, 2009Moher, D.; Liberati, A.; Tetzlaff, J.; Altman, D.G.; The PRISMA Group (2009). Preferred Reporting Items for Systematic Reviews and Meta-Analyses: The PRISMA Statement. PLoS Medicine, 6 (7), e1000097. https://doi.org/10.1371/journal.pmed.1000097.), y el IOM señala que la revisión sistemática debería incluir un diagrama de flujo que muestre el número de estudios que permanecen después de cada etapa en el proceso de selección (IOM, 2011IOM (Institute of Medicine) (2011). Finding what works in healthcare: standards for systematic reviews. Whashington: The National Academies Press. https://doi.org/10.17226/13059, 340 pp.).

Su importancia viene determinada porque resume de manera gráfica el proceso de selección de los estudios, desde el inicio, con el número de resultados obtenidos en cada base de datos consultada, hasta el final en el que se indica el número de estudios que van a formar parte de la revisión sistemática, después de haber eliminado los repetidos entre las distintas bases de datos y haber aplicado los criterios de selección. Es un elemento registrado con poca frecuencia en el presente estudio, solo aparece en 44 revisiones (47,8%).

5.3. Comparación con otros estudios

En la tabla IV se presentan los resultados de este estudio y los obtenidos por otros autores. En algunos elementos no existen valores debido a que no se han evaluado, no se ha encontrado el dato o no existe un valor único porque se han medido de manera desagregada (esto último ocurre en los elementos de búsqueda en la web y otras fuentes de información, y en la búsqueda de referencias).

El primer hecho sobresaliente es la gran variabilidad que existe en el grado de registro en varios de los elementos de búsqueda, especialmente en uno tan importante como es la estrategia de búsqueda completa, que varía desde un 13% a un 88%.

Hay coincidencia en que los elementos registrados con mayor frecuencia son el nombre de las bases de datos (superior al 94%), los descriptores y términos de búsqueda, y los criterios de selección de los estudios, aunque estos últimos solo se evalúan en dos trabajos. La mayoría de los estudios coinciden también en que existe un registro deficiente en el nombre de la plataforma (inferior al 36% salvo en el estudio de Yaylali) y en la fecha de ejecución de la búsqueda (menos del 45% salvo en el estudio de Sampson). En ninguno de los estudios se ha valorado la presencia del número de registros recuperados en cada base de datos, lo que sugiere que no es un dato esencial en la calidad de la búsqueda.

Tabla IV. Comparación del grado de registro de los elementos de la búsqueda entre diferentes estudios [Descargar tamaño completo]

Limitaciones

Hay varias limitaciones en este estudio. En primer lugar, no siempre aparecen los términos “systematic review” o metaanalysis en los títulos de los artículos y, por tanto, se ha podido dejar de recuperar revisiones relevantes. No obstante, el número de artículos identificados y analizados es el más alto de los pocos estudios realizados en ByD.

En segundo lugar, en algunos casos es difícil determinar si las revisiones pertenecen a ByD, ya que algunos de los temas tratados son multidisciplinares (gestión del conocimiento, recuperación de la información….), si bien solo hubo discrepancias en tres revisiones y se alcanzó un consenso entre los tres autores.

Por último, se ha buscado en bases de datos disponibles desde las universidades a las que pertenecen los autores, y aunque representan las propias de ByD (LISTA y Library Science Database), las multidisciplinares más importantes (WOS y Scopus), y la más utilizada en las ciencias de la salud (Medline), la consulta de otras bases de datos podría haber ampliado el número de revisiones incluidas.

6. CONCLUSIONES Top

En los últimos 5 años se ha producido un crecimiento importante en el número de revisiones sistemáticas en ByD. La mayoría de ellas son creadas por profesionales de la información y documentación, principalmente bibliotecarios y profesores de departamentos de documentación en universidades, considerados expertos en búsquedas, por lo que deberían servir de modelo en la publicación de los elementos que conforman el método de búsqueda; sin embargo, nuestro estudio ha demostrado que hay un deficiente registro de muchos de ellos y que las revisiones necesitan mejorar de manera global pero, sobre todo, en informar de la plataforma de la base de datos, la estrategia de búsqueda completa y la fecha de búsqueda.

De todos los elementos recomendados en las guías existentes, creemos innecesario registrar los términos de búsqueda al estar incluidos ya en la estrategia de la búsqueda y ser, por tanto, información redundante. Tampoco es necesario registrar de manera aislada el número de registros recuperados en las bases de datos, ya que es un elemento que está presente en el diagrama de flujo y es la forma recomendada para registrar este dato.

Para replicar, actualizar o evaluar la búsqueda de una revisión sistemática recomendamos documentar de manera completa y explícita los tres aspectos que definen una estrategia de búsqueda reproducible:

• ¿Dónde se ha buscado?: Fuentes. Incluye el nombre de las bases de datos y la plataforma, ya que una misma base de datos puede buscarse desde distintas interfaces.

• ¿Cómo se ha buscado?: Estrategia de búsqueda completa. Incluye sentencias de búsqueda (formadas por términos, operadores lógicos y de proximidad, campos, truncado….), años de publicación, y todo tipo de limitaciones (idiomas, etc.).

• ¿Cuándo se ha buscado?: Fecha de ejecución de la búsqueda.

La omisión de literatura relevante puede cuestionar la validez de una revisión sistemática y la forma de evitar el sesgo de selección y conclusiones sesgadas es realizando una búsqueda exhaustiva en múltiples fuentes. De ahí que no solo haya que mejorar realizando la búsqueda en más de una base de datos, sino que hay que complementarla con otras fuentes y recursos de información en la web, donde se puede recuperar información que no existe en las bases de datos bibliográficas: motores de búsqueda, repositorios, sitios web, revistas. Igualmente, el rastreo de las referencias bibliográficas citadas en los artículos puede ayudar a recuperar artículos relevantes no recuperados en las estrategias de búsqueda (por fallos en la indización, errores tipográficos, falta de términos, etc.).

Por último, es necesario también registrar la estrategia de búsqueda empleada en todas las bases de datos y no solo en una, ya que puede ser diferente según la base de datos consultada (distintos operadores de proximidad, campos, etc.), así como en los motores de búsqueda utilizados.

7. REFERENCIASTop

ANEXO I. LISTADO DE ESTUDIOS INCLUIDOSTop