1. INTRODUCCIÓN

La reproducibilidad y la transparencia son dos principios básicos y esenciales en la práctica de la investigación moderna y de la Ciencia Abierta (Nosek y otros, 2015Nosek, B. A., Alter, G., Banks, G. C., Borsboom, D., Bowman, S. D., Breckler, S. J., Buck, S., Chambers, C. D., Chin, G., Christensen, G., y otros. (2015). Promoting an Open Research Culture. Science, 348(6242), 1422-1425. DOI: https://doi.org/10.1126/science.aab2374 ), un movimiento cuya finalidad es hacer que los datos y todo el proceso de investigación sea accesible y pueda ser compartido con otras personas (Ayris y Ignat, 2018Ayris, P., y Ignat, T. (2018). Defining the Role of Libraries in the Open Science Landscape: A Reflection on Current European Practice. Open Information Science, 2(1), 1-22. DOI: https://doi.org/10.1515/opis-2018-0001 ; Vicente-Saez y Martínez-Fuentes, 2018Vicente-Saez, R., y Martínez-Fuentes, C. (2018). Open Science now: A systematic literature review for an integrated definition. Journal of Business Research, 88(June 2017), 428-436. DOI: https://doi.org/10.1016/j.jbusres.2017.12.043 ).

La reproducibilidad se refiere a la capacidad de repetir un estudio utilizando los mismos datos, métodos, herramientas y condiciones de análisis para conseguir los mismos o parecidos resultados (Goodman y otros, 2016Goodman, S. N., Fanelli, D., y Ioannidis, J. P. A. (2016). What does Research Reproducibility Mean? Science Translational Medicine, 8(341), 341ps12. DOI: https://doi.org/10.1126/scitranslmed.aaf5027 ; The National Academies of Sciences Engineering and Medicine, 2020The National Academies of Sciences Engineering and Medicine. (2020). Enhancing Scientific Reproducibility in Biomedical Research Through Transparent Reporting: Proceedings of a Workshop. The National Academies Press. Disponible en: https://doi.org/10.17226/25627. Fecha de consulta: 8/4/2022.). Aunque a veces se utilizan indistintamente reproducibilidad y replicabilidad, esta última consiste en obtener resultados consistentes entre estudios que intentan responder a la misma pregunta científica, cada uno de ellos con sus propios datos (The National Academies of Sciences Engineering and Medicine, 2020The National Academies of Sciences Engineering and Medicine. (2020). Enhancing Scientific Reproducibility in Biomedical Research Through Transparent Reporting: Proceedings of a Workshop. The National Academies Press. Disponible en: https://doi.org/10.17226/25627. Fecha de consulta: 8/4/2022.). Es decir, la reproducibilidad utiliza los mismos métodos y datos que el estudio original, mientras que la replicabilidad utiliza datos nuevos para tratar de confirmar resultados obtenidos en el estudio original.

La reproducibilidad es la esencia misma de la ciencia, llegándose a decir que sin reproducibilidad no hay ciencia (Bolli, 2015Bolli, R. (2015). Reflections on the Irreproducibility of Scientific Papers. Circulation Research, 117(8), 665-666. DOI: https://doi.org/10.1161/CIRCRESAHA.115.307496 ). Pero para garantizar que un estudio sea reproducible se requiere no solo que los datos y herramientas estén en abierto y puedan ser compartidos y utilizados por la comunidad científica, sino que también se debe proporcionar suficiente transparencia sobre el trabajo realizado (McNutt, 2014McNutt, M. (2014). Journals Unite for Reproducibility. Science, 346(6210), 679-679. DOI: https://doi.org/10.1126/science.aaa1724 ), lo que exige una descripción completa, precisa y detallada del método que se ha seguido para llevar a cabo la investigación, incluyendo procedimientos, materiales, herramientas y selección de los datos (Gernsbacher, 2018Gernsbacher, M. A. (2018). Writing Empirical Articles: Transparency, Reproducibility, Clarity, and Memorability. Advances in Methods and Practices in Psychological Science, 1(3), 403-414. DOI: https://doi.org/10.1177/2515245918754485 ; The National Academies of Sciences Engineering and Medicine, 2020The National Academies of Sciences Engineering and Medicine. (2020). Enhancing Scientific Reproducibility in Biomedical Research Through Transparent Reporting: Proceedings of a Workshop. The National Academies Press. Disponible en: https://doi.org/10.17226/25627. Fecha de consulta: 8/4/2022.). Los investigadores deben informar por qué realizaron sus estudios, cómo realizaron sus estudios y cuáles han sido los hallazgos de sus estudios. En eso consiste la transparencia, y escribir de forma transparente significa escribir con franqueza (Gernsbacher, 2018Gernsbacher, M. A. (2018). Writing Empirical Articles: Transparency, Reproducibility, Clarity, and Memorability. Advances in Methods and Practices in Psychological Science, 1(3), 403-414. DOI: https://doi.org/10.1177/2515245918754485 ).

La transparencia se ha convertido en un elemento fundamental de la integridad en la ciencia (Mebane y otros, 2019Mebane, C. A., Sumpter, J. P., Fairbrother, A., Augspurger, T. P., Canfield, T. J., Goodfellow, W. L., Guiney, P. D., LeHuray, A., Maltby, L., Mayfield, D. B., y otros. (2019). Scientific Integrity Issues in Environmental Toxicology and Chemistry: Improving Research Reproducibility, Credibility, and Transparency. Integrated Environmental Assessment and Management, 15(3), 320-344. DOI: https://doi.org/10.1002/ieam.4119 ), ya que al facilitar la reproducción de un estudio permite verificar el proceso de investigación y mejora la credibilidad y confianza en los resultados de la investigación (Ngulube y Ukwoma, 2021Ngulube, P., y Ukwoma, S. C. (2021). Prevalence of Methodological Transparency in the Use of Mixed Methods Research in Library and Information Science Research in South Africa and Nigeria, 2009-2015. Library and Information Science Research, 43(4), 101124. DOI: https://doi.org/10.1016/j.lisr.2021.101124 ). Por consiguiente, transparencia y reproducibilidad son dos principios íntimamente relacionados; sin transparencia no es posible reproducir una investigación, y cuanto mayor sea la transparencia, más fácil será reproducir los resultados de un estudio.

Son muchas las ventajas de compartir los datos y materiales de una investigación y de ser transparentes con el método empleado. Por una parte, permite a otros investigadores reproducir los resultados o reutilizar los datos (Miguel y otros, 2014Miguel, E., Camerer, C., Casey, K., Cohen, J., Esterling, K. M., Gerber, A., Glennerster, R., Green, D. P., Humphreys, M., Imbens, G., y otros. (2014). Promoting Transparency in Social Science Research. Science, 343(6166), 30-31. DOI: https://doi.org/10.1126/science.1245317 ), algo que sin duda favorece la integridad de la ciencia, fomenta la transparencia y evita el fraude (Abadal, 2021Abadal, E. (2021). Ciencia abierta: un modelo con piezas por encajar. Arbor, 197(799), a588. DOI: https://doi.org/10.3989/arbor.2021.799003 ). Por otra parte, ayuda a que los revisores puedan generar los mismos resultados que ofrece el artículo y a que el proceso de revisión por pares sea más riguroso, mejorando la calidad del manuscrito (Mullane y Williams, 2017Mullane, K., y Williams, M. (2017). Enhancing Reproducibility: Failures from Reproducibility Initiatives Underline Core Challenges. Biochemical Pharmacology, 138, 7-18. DOI: https://doi.org/10.1016/j.bcp.2017.04.008 ). Se ha asociado también con una mayor tasa de citas recibidas y un aumento de las oportunidades laborales y de financiación (McKiernan y otros, 2016McKiernan, E. C., Bourne, P. E., Brown, C. T., Buck, S., Kenall, A., Lin, J., McDougall, D., Nosek, B. A., Ram, K., Soderberg, C. K., y otros. (2016). How Open Science Helps Researchers Succeed. ELife, 5(JULY), 1-19. DOI: https://doi.org/10.7554/eLife.16800 ; Piwowar y otros, 2007Piwowar, H. A., Day, R. S., y Fridsma, D. B. (2007). Sharing Detailed Research Data Is Associated with Increased Citation Rate. PLoS ONE, 2 (3), e308. DOI: https://doi.org/10.1371/journal.pone.0000308 ).

Markowetz presenta cinco razones por las que merece la pena trabajar de manera reproducible: la reproducibilidad ayuda a evitar el desastre detectando problemas con los datos y sus análisis, facilita la redacción de artículos, ayuda a los revisores, permite la continuidad del trabajo y ayuda a construir la reputación del investigador (Markowetz, 2015Markowetz, F. (2015). Five Selfish Reasons to Work Reproducibly. Genome Biology, 16(1), 1-4. DOI: https://doi.org/10.1186/s13059-015-0850-7 ).

A pesar de la importancia que se ha concedido a la transparencia y reproducibilidad en investigación, la incapacidad de los investigadores de diferentes disciplinas para reproducir estudios de otros o incluso propios ha desembocado en la denominada “crisis de reproducibilidad” (Sayre y Riegelman, 2018Sayre, F., y Riegelman, A. (2018). The Reproducibility Crisis and Academic Libraries. College & Research Libraries, 79(1), 2-9. DOI: https://doi.org/10.5860/crl.79.1.2 ; Freese y Peterson, 2017Freese, J., y Peterson, D. (2017). Replication in Social Science. Annual Review of Sociology, 43(1), 147-165. DOI: https://doi.org/10.1146/annurev-soc-060116-053450 ). Así, el 90% de los investigadores que participaron en una encuesta de Nature estaban de acuerdo en que había una crisis en la reproducibilidad de la ciencia, y que los principales factores estaban relacionados con la competencia, la publicación selectiva y la presión por publicar, además de la no disponibilidad de datos y métodos y de una documentación deficiente e incompleta (Baker, 2016Baker, M. (2016). 1,500 Scientists Lift the Lid on Reproducibility. Nature, 533(7604), 452-454. DOI: https://doi.org/10.1038/533452a ).

Para abordar la crisis de reproducibilidad, se han desarrollado unas directrices de “Promoción de la transparencia y la apertura” (Transparency and Openness Promotion -TOP) que ofrecen 8 estándares, de los que 4 describen el significado de la apertura en todo el proceso científico para que la investigación pueda reproducirse. Hacen referencia a la transparencia del diseño del estudio, a los materiales empleados, a la disponibilidad de los datos (datos abiertos), y al código empleado. Recientemente, el Centre for Open Science también ha introducido “insignias” como forma de reconocer a los autores que están comprometidos con prácticas transparentes; existen tres insignias que indican que se comparten datos, materiales o hay un registro previo, y actualmente más de 75 revistas han adoptado estas insignias para reconocer las prácticas abiertas (Center for Open Science, 2021Center for Open Science. (2021). Open Science Badges enhance openness, a core value of scientific practice. Disponible en: https://www.cos.io/initiatives/badges. Fecha de consulta: 8/4/2022.).

El campo de las Ciencias Sociales y Humanidades se enfrenta también al problema de la reproducibilidad, planteándose entre sus posibles soluciones el aumento de datos abiertos (Manh-Tung y Quan-Hoang, 2019Manh-Tung, H., y Quan-Hoang, V. (2019). The Values and challenges of ‘Openness’ in Addressing the Reproducibility Crisis and Regaining Public Trust in Social Sciences and Humanities. European Science Editing, 45(1), 14-16. DOI: https://doi.org/10.20316/ESE.2019.45.17021 ). La aplicación de las prácticas de transparencia en Ciencias Sociales es importante, ya que los materiales y los datos abiertos son normas apropiadas para toda investigación empírica, sea experimental u observacional (Miguel y otros, 2014Miguel, E., Camerer, C., Casey, K., Cohen, J., Esterling, K. M., Gerber, A., Glennerster, R., Green, D. P., Humphreys, M., Imbens, G., y otros. (2014). Promoting Transparency in Social Science Research. Science, 343(6166), 30-31. DOI: https://doi.org/10.1126/science.1245317 ). Aunque se ha considerado más importante la reproducibilidad en estudios experimentales que en observacionales, es un concepto que trasciende los diseños de los estudios, si bien el cumplimiento de pautas en la presentación de informes y de registro previo, aspectos esenciales de la reproducibilidad, son prácticas poco frecuentes en la investigación en Ciencias Sociales (Munafò y otros, 2017Munafò, M. R., Nosek, B. A., Bishop, D. V. M., Button, K. S., Chambers, C. D., Percie Du Sert, N., Simonsohn, U., Wagenmakers, E. J., Ware, J. J., y otros. (2017). A Manifesto for Reproducible Science. Nature Human Behaviour, 1(1), 1-9. DOI: https://doi.org/10.1038/s41562-016-0021 ).

Existe muy poca literatura sobre prácticas de reproducibilidad en la disciplina de Biblioteconomía y Documentación (ByD). Solo hemos encontrado dos estudios. En uno de ellos, se evaluó y constató la deficiente transparencia metodológica en tesis doctorales que emplearon métodos mixtos (Ngulube y Ukwoma, 2021Ngulube, P., y Ukwoma, S. C. (2021). Prevalence of Methodological Transparency in the Use of Mixed Methods Research in Library and Information Science Research in South Africa and Nigeria, 2009-2015. Library and Information Science Research, 43(4), 101124. DOI: https://doi.org/10.1016/j.lisr.2021.101124 ). En otro se evidenció falta de información en muchas investigaciones realizadas con encuestas que comprometía su transparencia y reproducibilidad (Salvador-Oliván y otros, 2021Salvador-Oliván, J. A., Marco-Cuenca, G., y Arquero-Avilés, R. (2021). Evaluación de la investigación con encuestas en artículos publicados en revistas del área de Biblioteconomía y Documentación. Revista Española de Documentación Científica, 44(2), e295. DOI: https://doi.org/10.3989/redc.2021.2.1774 ), habiéndose señalado esta falta de detalle en el método como un problema importante en la investigación en ByD (Hernon y Schwartz, 2002Hernon, P., y Schwartz, C. (2002). The Word “Research:” Having to Live with a Misunderstanding. Library and Information Science Research, 24(3), 207-208. DOI: https://doi.org/10.1016/S0740-8188(02)00122-6 ).

2. OBJETIVOS

Dada la importancia de la ciencia abierta y de la reproducibilidad y transparencia en la investigación, y que no existen estudios sobre el cumplimiento de estas prácticas por parte de la comunidad científica en ByD, nos preguntamos si la comunidad científica de este campo ha adoptado suficientemente las prácticas de apertura y transparencia. Por consiguiente, nos planteamos el objetivo de determinar en qué medida se cumplen determinados indicadores de reproducibilidad y transparencia en las principales revistas españolas de ByD.

3. MÉTODO

Diseño: Estudio transversal. Las unidades de análisis (de muestreo) fueron artículos indexados en la base de datos Web of Science publicados desde el año 2020 hasta el 1 de marzo de 2022 en revistas españolas del área de Biblioteconomía y Documentación clasificadas en la categoría temática Information Science & Library Science del Journal Citation Reports, edición 2020 (tanto en la edición Social Sciences Citation Index como en Emerging Sources Citation Index).

Fuentes de información y estrategia de búsqueda: Para identificar los artículos se realizó una búsqueda en la base de datos Web of Science. La estrategia de búsqueda estuvo formada por el nombre de las revistas precedido por el prefijo SO= y combinadas con el operador OR (Anexo 1). Se limitaron los resultados a los publicados desde el año 2020, periodo de tiempo actual y suficiente para la implementación de diversas iniciativas relacionadas con la Ciencia Abierta. La búsqueda se ejecutó el 1 de marzo de 2022, y se recuperaron inicialmente 586 registros.

Criterios de inclusión/exclusión:, Se seleccionaron únicamente artículos originales y de revisión (tipo de documento “article” o “review”). Se excluyeron el resto de publicaciones que aparecían como tipo de documento “editorials”, “book reviews” y ”letters”, quedando finalmente 557 artículos, que se descargaron en formato bibliográfico a un fichero Excel.

Variables e indicadores: Basados en diversos estudios realizados en Ciencias Sociales y en Biomedicina, se seleccionaron indicadores relacionados con la transparencia y reproducibilidad que se pudieran aplicar al ámbito de la ByD (Adewumi y otros, 2021Adewumi, M. T., Vo, N., Tritz, D., Beaman, J., y Vassar, M. (2021). An Evaluation of the Practice of Transparency and Reproducibility in Addiction Medicine Literature. Addictive Behaviors, 112(November 2019), 106560. DOI: https://doi.org/10.1016/j.addbeh.2020.106560 ; Fladie y otros, 2021Fladie, I., Evans, S., Checketts, J., Tritz, D., Norris, B., y Vassar, M. (2021). An Evaluation of Reproducibility and Transparency Indicators in Orthopedic Literature. Journal of Evidence-Based Medicine, 14(4), 281-284. DOI: https://doi.org/10.1111/jebm.12457 ; Fladie y otros, 2020Fladie, I. A., Adewumi, T. M., Vo, N. H., Tritz, D. J., y Vassar, M. B. (2020). An Evaluation of Nephrology Literature for Transparency and Reproducibility Indicators: Cross-Sectional Review. Kidney International Reports, 5(2), 173-181. DOI: https://doi.org/10.1016/j.ekir.2019.11.001 ; Hardwicke y otros, 2020Hardwicke, T. E., Wallach, J. D., Kidwell, M. C., Bendixen, T., Crüwell, S., y Ioannidis, J. P. A. (2020). An Empirical Assessment of Transparency and Reproducibility-Related Research Practices in the Social Sciences (2014-2017). Royal Society Open Science, 7(2), 190806. DOI: https://doi.org/10.1098/rsos.190806 ; Hardwicke y otros, 2022Hardwicke, T. E., Thibault, R. T., Kosie, J. E., Wallach, J. D., Kidwell, M. C., y Ioannidis, J. P. A. (2022). Estimating the Prevalence of Transparency and Reproducibility-Related Research Practices in Psychology (2014-2017). Perspectives on Psychological Science, 17(1), 239-251. DOI: https://doi.org/10.1177/1745691620979806 ; Anderson y otros, 2021Anderson, J. M., Wright, B., Rauh, S., Tritz, D., Horn, J., Parker, I., Bergeron, D., Cook, S., y Vassar, M. (2021). Evaluation of indicators supporting reproducibility and transparency within cardiology literature. Heart, 107(2), 120-126. DOI: https://doi.org/10.1136/heartjnl-2020-316519 ; Johnson y otros, 2021Johnson, B., Rauh, S., Tritz, D., Schiesel, M., y Vassar, M. (2021). Evaluating Reproducibility and Transparency in Emergency Medicine Publications. Western Journal of Emergency Medicine, 22(4), 963-971. DOI: https://doi.org/10.5811/westjem.2021.3.50078 ). Se excluyó la presencia de un protocolo, ya que aunque en determinados campos de conocimiento, como Medicina, se espera que el diseño y los métodos del estudio se detallen en un documento llamado protocolo, en otros campos relacionados con las Ciencias Sociales (al que pertenece ByD) esta información se describe completamente en el informe final de investigación y no necesariamente como un documento separado (Hardwicke y otros, 2022Hardwicke, T. E., Thibault, R. T., Kosie, J. E., Wallach, J. D., Kidwell, M. C., y Ioannidis, J. P. A. (2022). Estimating the Prevalence of Transparency and Reproducibility-Related Research Practices in Psychology (2014-2017). Perspectives on Psychological Science, 17(1), 239-251. DOI: https://doi.org/10.1177/1745691620979806 ).

El listado de variables, y su aplicación según el tipo de estudio, se presenta en la Tabla I. El libro de códigos y la definición operativa de las variables está disponible en Open Science Farmework (OSF): https://osf.io/u5qre/.

Los artículos se clasificaron en dos categorías: publicaciones con datos empíricos y publicaciones sin datos empíricos. Se consideraron estudios empíricos aquellos en los que se recogieron datos primarios o secundarios de diferentes fuentes (observación directa, bases de datos, registros, encuestas, entrevistas, grupos de discusión, etc.), se procesaron y sintetizaron de manera cuantitativa (en tablas, figuras) o de manera cualitativa en forma de texto. En aquellos que emplearon datos empíricos se recogieron todas las variables. En los que no utilizaron datos empíricos se recogieron, además de las características generales de los artículos, solamente las variables relacionadas con el acceso abierto, declaración de financiación y de conflicto de intereses.

La accesibilidad de los artículos es un aspecto esencial en nuestro estudio. El acceso abierto permite que la comunidad científica y el público en general puedan disponer de los resultados y método de la investigación y, por tanto, influye en un aumento de la reproducibilidad y transparencia. Se comprobó a través del botón Open Access, introduciendo el título del artículo o el DOI. Si el botón Open Access no tenía éxito, se buscó a través del sitio web de la revista o de Google.

La disponibilidad de los datos en bruto y de los materiales son requisitos para poder reproducir los resultados de una investigación y verificar sus conclusiones. Los materiales se refieren a cualquier elemento o instrumento empleado para la recolección de datos y/o reproducción y ejecución del estudio (cuestionarios, guiones de entrevistas, libros de códigos, etc.). No se consideran materiales los datos o resultados complementarios (tablas o figuras).

Los scripts de análisis o guiones se refieren a comandos, órdenes o instrucciones detalladas empleadas en software para la preparación o análisis de los datos (códigos de análisis en R, sintaxis en SPSS, etc.).

Se recogieron también tres características de las revistas: periodicidad de publicación y la posición en el Journal Citation Reports según el Factor de Impacto (FI) y el Journal Citation Indicator (JCI). El JCI es una nueva métrica que se aplica a todas las revistas de la colección principal de Web of Science y mide el impacto de citación de una revista normalizado en cada categoría durante un periodo de tres años (Szomszor, 2021Szomszor, M. (2021). Introducing the Journal Citation Indicator: A new, field-normalized measurement of journal citation impact. Disponible en: https://tinyurl.com/tkkpupxz. Fecha de consulta: 6/6/2022.).

Extracción de datos: Se extrajeron los datos de las variables medidas a partir de la lectura del texto completo de los artículos y se recogieron en una hoja de cálculo Excel. El acceso al texto completo de los artículos con versión de pago se realizó gracias a la suscripción de los centros de trabajo de los autores con la revista. Los dos primeros autores realizaron la extracción de datos y la codificación. Cualquier duda en la codificación, se resolvió por consenso entre los tres autores.

Análisis estadístico: Los datos se procesaron con el programa estadístico SPSS v.22. Los resultados se resumieron con estadísticos descriptivos, presentando el número y porcentaje de artículos que cumplían con cada item.

El fichero de datos y comandos del SPSS empleados en este estudio están disponibles en OSF (https://osf.io/u5qre/).

4. RESULTADOS

Características generales de los artículos. La distribución de los artículos analizados por revistas se muestra en la Tabla II. El mayor número de artículos están publicados en la revista Profesional de la Información (algo más de la mitad) y en la Revista Española de Documentación Científica (REDC), ambas con periodicidad de publicación más frecuente que el resto y las dos únicas que tienen Factor de Impacto en el Journal Citation Reports (JCR). El resto de revistas pertenecen a Emerging Sources Citation Index y están situadas en Q4 según el Journal Citation Indicator (JCI).

De los 557 artículos, 398 (71,5%) han empleado datos empíricos. Las revistas que porcentualmente publican más artículos empíricos son la REDC (el 95,5%) y Profesional de la Información (el 82,1%), y las que menos Scire (con un 26,9%) y Cuadernos de Documentación Multimedia (un 31,3%).

Disponibilidad de los artículos. Todas las revistas excepto Profesional de la Información están declaradas como acceso abierto. REDC, Anales de Documentación, BiD, Cuadernos de Documentación Multimedia y Métodos de Información están incluidas en el directorio de revistas de acceso abierto (DOAJ). La Revista General de Información y Documentación aparece como acceso abierto en el JCR. Scire e Ibersid son de acceso abierto digital a través de su sitio web. Profesional de la Información combina el acceso abierto cuando el autor paga por publicar (APC) con artículos accesibles mediante compra individual o suscripción a la revista.

La gran mayoría de los artículos (86,7%) son de acceso abierto. Tan solo la revista Profesional de la Información contiene artículos que son de pago (24,7%) y 1 está disponible a texto completo gratis desde una red académica.

Conflicto de intereses y financiación. De los 557 artículos, en 555 no existe ninguna declaración sobre conflicto de intereses. Solamente en 2 se declara que no hay ningún conflicto de intereses (uno publicado por un autor de Estados Unidos y otro publicado por autores que trabajan en compañías farmacéuticas); los 2 artículos están publicados en la revista Profesional de la Información en idioma inglés.

En las dos terceras partes de los artículos (67%) no se declara si los trabajos han recibido o no algún tipo de financiación. Tan solo en 1 artículo se afirma que no recibió ningún tipo de aportación económica (publicado en Profesional de la Información por un autor de Estados Unidos). En 183 artículos se declara que hubo financiación, la mayoría (176) exclusivamente por organismos oficiales públicos; solo 1 fue financiado de manera pública y privada, y 6 fueron financiados por organismos privados.

Disponibilidad de datos. Solamente 10 artículos contenían declaraciones sobre disponibilidad de los datos, 8 publicados en la revista Profesional de la Información y 2 en la REDC. En 7 artículos, los datos estaban disponibles en repositorios de terceros (como OSF), en 2 artículos se alojaban en repositorios institucionales, y en 1 artículo había que solicitarlos al autor. En los 9 artículos que contenían los datos en repositorios se podían descargar los datos, si bien en 1 de ellos los datos no estaban claramente documentados ni contenía todos los datos para poder reproducir el estudio. En el artículo que había que solicitar los datos al autor no se intentó contactar con él y, por tanto, no se pudo comprobar la descarga, la documentación ni que estuviesen completos.

Disponibilidad de materiales. En 31 artículos se declaraba de manera explícita a lo largo del texto la disponibilidad de los materiales (o algunos de ellos). De los 31 artículos, en 17 estaban como anexos en el propio artículo o como material complementario en la propia revista, en 8 de ellos estaban en sitios como Google, sitios web o Drive, y en 6 de ellos estaban en repositorios, de los que 5 eran repositorios de terceros y 1 era un repositorio institucional. Los 14 artículos que tenían los materiales online estaban publicados en las revistas Profesional de la Información y REDC, y en todos ellos se pudieron descargar los materiales salvo en 2, que compartían la misma dirección URL y llevaba a un sitio web para comprar ese dominio.

Disponibilidad de guiones o scripts. En tan solo 2 artículos, ambos publicados en la revista Profesional de la Información y en idioma inglés, se declaraba que estaban disponibles los guiones de análisis. Uno de ellos estaba disponible en un repositorio OSF y estaba formado por comandos en un fichero de sintaxis del programa estadístico SPSS; el otro estaba como anexo en el propio artículo y estaba formado por comandos del lenguaje SPARQL.

5. DISCUSIÓN

Nuestros resultados indican que los artículos publicados en las revistas españolas de Biblioteconomía y Documentación son muy deficientes en la disponibilidad pública de elementos esenciales para la reproducibilidad de una investigación como son los materiales, datos o scripts empleados.

En la Tabla IV se presentan los resultados obtenidos en diversos estudios pertenecientes al campo de la Medicina y de Ciencias Sociales. Todas las revistas analizadas son de acceso abierto gratuito para autores y lectores salvo una que permite a los autores abrir sus contenidos mediante pago, lo que hace que el 86,7% de los artículos estén disponibles en abierto, un porcentaje más elevado que en los estudios de Ciencias Sociales y de Medicina con los que se compara. El acceso abierto al texto completo es de capital importancia ya que los materiales se encuentran frecuentemente dentro del texto publicado y la falta de acceso abierto a la literatura dificulta la reproducibilidad.

Las declaraciones de conflictos de intereses y de las fuentes de financiación ayudan a que la investigación sea transparente, ya que en el primer caso, alertan a los lectores de posibles sesgos en el diseño y ejecución del estudio, y en el segundo, pueden influir en la investigación y en unas conclusiones sesgadas (Adewumi y otros, 2021Adewumi, M. T., Vo, N., Tritz, D., Beaman, J., y Vassar, M. (2021). An Evaluation of the Practice of Transparency and Reproducibility in Addiction Medicine Literature. Addictive Behaviors, 112(November 2019), 106560. DOI: https://doi.org/10.1016/j.addbeh.2020.106560 ; Fladie y otros, 2020Fladie, I. A., Adewumi, T. M., Vo, N. H., Tritz, D. J., y Vassar, M. B. (2020). An Evaluation of Nephrology Literature for Transparency and Reproducibility Indicators: Cross-Sectional Review. Kidney International Reports, 5(2), 173-181. DOI: https://doi.org/10.1016/j.ekir.2019.11.001 ; Anderson y otros, 2021Anderson, J. M., Wright, B., Rauh, S., Tritz, D., Horn, J., Parker, I., Bergeron, D., Cook, S., y Vassar, M. (2021). Evaluation of indicators supporting reproducibility and transparency within cardiology literature. Heart, 107(2), 120-126. DOI: https://doi.org/10.1136/heartjnl-2020-316519 ).

En nuestro estudio, la declaración de conflictos de intereses es prácticamente inexistente. Esto puede deberse a que en los sitios web de las revistas no se exige una declaración explícita por parte de los autores, a pesar de que en los principios de transparencia y mejores prácticas en publicaciones académicas se señala que debería ser visible en los sitios web de las revistas su política sobre los conflictos de intereses (Committee on Publication Ethics y otros, 2018Committee on Publication Ethics, Directory of Open Access Journals, Open Access Scholarly Publishers Association, y World Association of Medical Editors. (2018). Principios de Transparencia y Mejores Prácticas en Publicaciones Académicas. DOI: https://doi.org/10.24318/cope.2019.1.13 Fecha de consulta: 8/4/2022.).

También es escasa la declaración de financiación, ya que solo en el 33% de los artículos se hizo alguna declaración al respecto, porcentaje similar al obtenido en revistas de Ciencias Sociales, en general, con un 31,4% (Hardwicke y otros, 2020Hardwicke, T. E., Wallach, J. D., Kidwell, M. C., Bendixen, T., Crüwell, S., y Ioannidis, J. P. A. (2020). An Empirical Assessment of Transparency and Reproducibility-Related Research Practices in the Social Sciences (2014-2017). Royal Society Open Science, 7(2), 190806. DOI: https://doi.org/10.1098/rsos.190806 ), pero menor que el obtenido en revistas de Psicología (Hardwicke y otros, 2022Hardwicke, T. E., Thibault, R. T., Kosie, J. E., Wallach, J. D., Kidwell, M. C., y Ioannidis, J. P. A. (2022). Estimating the Prevalence of Transparency and Reproducibility-Related Research Practices in Psychology (2014-2017). Perspectives on Psychological Science, 17(1), 239-251. DOI: https://doi.org/10.1177/1745691620979806 ) y que en los estudios llevados a cabo en revistas de Medicina.

No es una práctica generalizada la declaración de financiación y de conflictos de intereses. Los resultados de este estudio sugieren la necesidad de establecer, por parte de los editores de las revistas, unas normas que requieran la declaración explícita de financiación y de conflictos de intereses, incluso en el caso de que no haya. Revistas científicas importantes como, por ejemplo, las que pertenecen al grupo PLOS, promueven una mayor transparencia del proceso de investigación al exigir la declaración de las fuentes de financiación como condición para la publicación (PLOS ONE, 2022PLOS ONE. (2022). Disclosure of Funding Sources. Disponible en: https://journals.plos.org/plosone/s/disclosure-of-funding-sources#loc-funding-statement. Fecha de consulta: 8/4/2022.). Ninguna de las revistas analizadas en este estudio exige en las normas de envío de manuscritos que los autores deban declarar la existencia o no de conflictos de intereses y de financiación, aunque no los haya; tan solo REDC exige en la declaración de autoría el reconocimiento de las fuentes de financiación y conflicto de intereses cuando los haya, y BiD exige que se haga constar en los artículos una declaración de conflictos de interés cuando sea necesario. Si hay siempre una declaración, en un sentido o en otro, se facilita la transparencia y se evita la duda del lector de pensar si realmente no se han declarado porque no había conflictos de intereses ni financiación, porque se les ha olvidado o se ha omitido voluntariamente.

La disponibilidad de los datos en bruto facilita la reproducibilidad al permitir que cualquier lector o investigador tenga la oportunidad de reproducir y/o verificar los resultados del estudio. Solo el 2,5% de los artículos que empleaban datos empíricos tenían los datos disponibles, una cifra muy similar al 2,1% encontrado en el estudio realizado en revistas de Psicología (Hardwicke y otros, 2022Hardwicke, T. E., Thibault, R. T., Kosie, J. E., Wallach, J. D., Kidwell, M. C., y Ioannidis, J. P. A. (2022). Estimating the Prevalence of Transparency and Reproducibility-Related Research Practices in Psychology (2014-2017). Perspectives on Psychological Science, 17(1), 239-251. DOI: https://doi.org/10.1177/1745691620979806 ) pero inferior a los realizados en revistas de Ciencias Sociales (Hardwicke y otros, 2020Hardwicke, T. E., Wallach, J. D., Kidwell, M. C., Bendixen, T., Crüwell, S., y Ioannidis, J. P. A. (2020). An Empirical Assessment of Transparency and Reproducibility-Related Research Practices in the Social Sciences (2014-2017). Royal Society Open Science, 7(2), 190806. DOI: https://doi.org/10.1098/rsos.190806 ) y de Medicina.

La disponibilidad de los materiales también es muy escasa en los artículos evaluados (7,8%), menor que el 14,2% obtenido en el estudio de revistas de Psicología (Hardwicke y otros, 2022Hardwicke, T. E., Thibault, R. T., Kosie, J. E., Wallach, J. D., Kidwell, M. C., y Ioannidis, J. P. A. (2022). Estimating the Prevalence of Transparency and Reproducibility-Related Research Practices in Psychology (2014-2017). Perspectives on Psychological Science, 17(1), 239-251. DOI: https://doi.org/10.1177/1745691620979806 ) o que el 10,6% en el estudio de revistas de Ciencias Sociales (Hardwicke y otros, 2020Hardwicke, T. E., Wallach, J. D., Kidwell, M. C., Bendixen, T., Crüwell, S., y Ioannidis, J. P. A. (2020). An Empirical Assessment of Transparency and Reproducibility-Related Research Practices in the Social Sciences (2014-2017). Royal Society Open Science, 7(2), 190806. DOI: https://doi.org/10.1098/rsos.190806 ). En raras ocasiones, los autores no pueden compartir algunos o todos los datos y materiales por razones éticas o legales de privacidad y confidencialidad, en cuyo caso deberían informar a los editores en el momento del envío del manuscrito (Center for Open Science, 2015Center for Open Science. (2015). Guidelines for Transparency and Openness Promotion (TOP) in Journal Policies and Practices “The TOP Guidelines” Version 1.0.1. Disponible en: https://osf.io/ud578/. Fecha de consulta: 8/4/2022.), pero en los artículos evaluados no se justifica de ninguna manera.

En cuanto a los scripts de análisis, consistentes en la especificación detallada de las instrucciones de software ejecutadas en el análisis de los datos, solo 2 artículos compartían las instrucciones o comandos, en consonancia con los estudios realizados en revistas de Psicología (Hardwicke y otros, 2022Hardwicke, T. E., Thibault, R. T., Kosie, J. E., Wallach, J. D., Kidwell, M. C., y Ioannidis, J. P. A. (2022). Estimating the Prevalence of Transparency and Reproducibility-Related Research Practices in Psychology (2014-2017). Perspectives on Psychological Science, 17(1), 239-251. DOI: https://doi.org/10.1177/1745691620979806 ) o de Ciencias Sociales en general (Hardwicke y otros, 2020Hardwicke, T. E., Wallach, J. D., Kidwell, M. C., Bendixen, T., Crüwell, S., y Ioannidis, J. P. A. (2020). An Empirical Assessment of Transparency and Reproducibility-Related Research Practices in the Social Sciences (2014-2017). Royal Society Open Science, 7(2), 190806. DOI: https://doi.org/10.1098/rsos.190806 ), en el que solo había 1 artículo o 2, respectivamente. Aunque es evidente que hay un muy bajo número de artículos en los que está disponible el script de análisis de datos, hay que mencionar que no todos los artículos con datos empíricos utilizan comandos de software.

El acceso abierto a la literatura científica está muy extendido dentro de la Ciencia Abierta, aunque en los últimos años se van desarrollando y consolidando iniciativas relacionadas con los datos abiertos (De Filippo y otros, 2019De Filippo, D., Silva, P., y Borges, M. M. (2019). Caracterización de las publicaciones de España y Portugal sobre Open Science y análisis de su presencia en las redes sociales. Revista Española de Documentación Científica, 42(2), 235. DOI: https://doi.org/10.3989/redc.2019.2.1580 ). La disponibilidad online de los datos, materiales y scripts es muy escasa en nuestro estudio, y solo se produce en las revistas indexadas en Social Sciences Citation Index y que tienen Factor de Impacto. Repositorios de datos como Open Science Framework (osf.io) y Mendeley Data (mendeley.com/datasets), permiten a los investigadores poner sus materiales y datos a disposición del público, así como documentación detallada de los métodos y resultados.

El seguimiento de los estándares publicados en guías para promover las prácticas de transparencia y apertura en las revistas (Center for Open Science, 2015Center for Open Science. (2015). Guidelines for Transparency and Openness Promotion (TOP) in Journal Policies and Practices “The TOP Guidelines” Version 1.0.1. Disponible en: https://osf.io/ud578/. Fecha de consulta: 8/4/2022.) o la adopción por parte de las revistas de insignias que reconocen prácticas abiertas y transparentes (Center for Open Science, 2021Center for Open Science. (2021). Open Science Badges enhance openness, a core value of scientific practice. Disponible en: https://www.cos.io/initiatives/badges. Fecha de consulta: 8/4/2022.), podría ser un punto de partida para que las revistas españolas de ByD adopten políticas comunes relacionadas con la transparencia y la reproducibilidad, al menos con la posibilidad de compartir datos, materiales y scripts. La mejora de las políticas de las revistas puede ayudar a que estos ingredientes esenciales de la Ciencia Abierta se vuelvan más evidentes en la práctica diaria y, en última instancia, mejorar la confianza del público y de los investigadores en la propia ciencia (Nosek y otros, 2015Nosek, B. A., Alter, G., Banks, G. C., Borsboom, D., Bowman, S. D., Breckler, S. J., Buck, S., Chambers, C. D., Chin, G., Christensen, G., y otros. (2015). Promoting an Open Research Culture. Science, 348(6242), 1422-1425. DOI: https://doi.org/10.1126/science.aab2374 ). Igualmente es importante declarar las fuentes de financiación y conflictos de intereses, que en la guía de buenas prácticas para la edición científico-académica del CSIC ya se establece que las primeras deben declararse obligatoriamente, si bien indica que solamente se deben declarar conflictos de intereses cuando realmente existan (CSIC, 2021CSIC. (2021). Guía de buenas prácticas para la edición científico-académica. La publicación de revistas y libros en Editorial CSIC. Versión 3.1. Madrid:CSIC).

De las revistas analizadas, tan solo tres (REDC, Revista General de Información y Documentación, y Cuadernos de Documentación Multimedia), en la sección de política editorial y/o en sus directrices de envío de manuscritos, recomiendan a los autores publicar en acceso abierto los datos de investigación y depositarlos en repositorios de datos o institucionales. Otras revistas internacionales de la disciplina, tales como Journal of the Medical Library Association o Library and Information Science Research, han adoptado políticas cada vez más estrictas en las que exigen o animan a los autores a compartir sus datos y materiales en repositorios permanentes y de acceso público en sus normas de envío de manuscritos.

Es importante resaltar que el hecho de no compartir datos, materiales o los scripts de análisis contribuye a la falta de reproducibilidad y transparencia en la investigación. La adopción de prácticas de transparencia y la apertura de datos, materiales y scripts ayuda a evitar el fraude en las publicaciones, facilita la continuidad del trabajo académico, mejora la redacción de los artículos al tener que explicar con mayor detalle cómo se llevó a cabo el estudio, y aumenta el impacto del trabajo académico (Figueiredo Filho y otros, 2019Figueiredo Filho, D., Lins, R., Domingos, A., Janz, N., y Silva, L. (2019). Seven Reasons Why: A User’s Guide to Transparency and Reproducibility. Brazilian Political Science Review, 13(2), 1-37. DOI: https://doi.org/10.1590/1981-3821201900020001 ). Las revistas deben recomendar a los autores el depósito de datos en repositorios públicos cuando estén disponibles y compartir los materiales empleados en las investigaciones (McNutt, 2014McNutt, M. (2014). Journals Unite for Reproducibility. Science, 346(6210), 679-679. DOI: https://doi.org/10.1126/science.aaa1724 ).

Limitaciones: Este estudio tiene varias limitaciones. En primer lugar, nos hemos centrado principalmente en evaluar la disponibilidad de datos, materiales y scripts, prácticas todas ellas relacionadas con la transparencia y reproducibilidad pero no suficientes. No se ha evaluado la calidad de la información y recursos compartidos, ni si el apartado de Método estaba descrito con suficiente detalle y precisión, características que indudablemente influyen en la reproducibilidad de una investigación. Una descripción deficiente o inexacta de los materiales y recursos empleados contribuye a la irreproducibilidad del estudio (Prager y otros, 2019Prager, E. M., Chambers, K. E., Plotkin, J. L., McArthur, D. L., Bandrowski, A. E., Bansal, N., Martone, M. E., Bergstrom, H. C., Bespalov, A., y Graf, C. (2019). Improving Transparency and Scientific Rigor in Academic Publishing. Cancer Reports, 2(1), e1150. DOI: https://doi.org/10.1002/cnr2.1150 ), habiéndose señalado una falta de transparencia metodológica en estudios realizados en Sudáfrica y Nigeria en el ámbito de ByD (Ngulube y Ukwoma, 2021Ngulube, P., y Ukwoma, S. C. (2021). Prevalence of Methodological Transparency in the Use of Mixed Methods Research in Library and Information Science Research in South Africa and Nigeria, 2009-2015. Library and Information Science Research, 43(4), 101124. DOI: https://doi.org/10.1016/j.lisr.2021.101124 ).

En segundo lugar, no todos los artículos que emplean datos empíricos tienen por qué emplear materiales ni scripts, hecho que puede justificar los bajos porcentajes obtenidos en estos elementos.

En tercer lugar, nuestro estudio ha seleccionado las principales revistas españolas de ByD, todas ellas propias de dicha especialidad, aunque la revista Profesional de la Información incluye muchos artículos del área de conocimiento de Comunicación. No obstante, la responsabilidad de hacer cumplir con prácticas de transparencia recae sobre las revistas, por lo que nuestros resultados deben contemplarse no para artículos de ByD sino para las revistas españolas especializadas en ByD.

6. CONCLUSIONES

Las principales revistas españolas en ByD están comprometidas con el acceso abierto. Todas son de acceso abierto platino salvo una híbrida que requiere a los investigadores pagar por publicar en abierto los artículos (APC). Este hecho favorece que la mayoría de artículos estén en abierto.

Faltan prácticas actuales que promuevan la transparencia y la reproducibilidad. Los investigadores deben poner a disposición del público como mínimo los materiales y datos empleados en sus investigaciones. También deben ser transparentes sobre las fuentes de financiación y los conflictos de intereses. Es necesario que las revistas desarrollen iniciativas y políticas de transparencia mediante la aplicación de estándares de publicación de los artículos recomendando y/o exigiendo a los autores información más precisa y completa que favorezca el cumplimiento de los principios que definen la Ciencia Abierta. Pero no solo las revistas, también los autores deben estar comprometidos con estas prácticas. Los investigadores de ByD, como responsables y gestores del patrimonio documental y cultural, deben abrazar la Ciencia Abierta y ser transparentes tanto en sus publicaciones como en las fuentes de información que gestionan.