3.1 Primera fase. Identificación de las fuentes de información más adecuadas

Dado que el presente trabajo cienciométrico se realiza en el marco de los denominados Estudios Métricos de la Información, para cumplir con los objetivos planteados se han consultado las siguientes fuentes de información:

En el caso de los proyectos nacionales se han consultado las diferentes convocatorias correspondientes al Plan Nacional de Investigación, Desarrollo e Innovación para obtener información sobre proyectos concedidos a instituciones españolas a partir de la información disponible en la página web del Ministerio de Ciencia e Innovación que permite acceder a todas las convocatorias del plan estatal desde el año 2000.

La fuente de información sobre los proyectos europeos ha sido la base de datos CORDIS de la Comisión Europea, que proporciona información sobre los proyectos financiados por los diferentes programas de investigación e innovación de la Unión Europea (https://cordis.europa.eu/). Se han recuperado los proyectos concedidos en las convocatoria del 7º Programa Marco (7PM) de Investigación, Desarrollo Tecnológico e Innovación de la Unión Europea, y Horizonte 2020 (H2020), principal instrumento legal y económico para financiar la investigación comunitaria durante el período 2007-2013 y 2014-2020.

Para recoger información sobre publicaciones científicas relacionadas con ciencia abierta se ha consultado la Plataforma Web of Science de Clarivate Analytics. Se han incluido en el estudio las publicaciones correspondientes a la core collection, en concreto las bases de datos Science Citation Index (SCI), Social Sciences Citation Index (SSCI) y Arts & Humanities Citation Index (A&HCI) sin delimitar tipo documental ni idioma. Se ha realizado un recorte temporal para incluir las publicaciones de la última década (2010-2020) y así contar también con resultados de los proyectos realizados en años anteriores. Se ha utilizado esta fuente por sus altos estándares de calidad y las posibilidades de obtención de indicadores bibliométricos adecuados al objeto de estudio.

3.2 Segunda fase. Definición de la estrategia de búsqueda para la recuperación de información sobre ciencia abierta

Dado que el término ciencia abierta es amplio y complejo, para la identificación de documentos sobre el tema (proyectos, publicaciones, informes, etc.) se ha desarrollado una estrategia de búsqueda basada en palabras clave. Dicha estrategia surge de la consulta a estudios previos sobre el tema y ha sido ampliada, validada por expertos, mejorada y probada en diferentes trabajos propios realizados recientemente (Follett y Strezov, 2015Follett, R., y Strezov, V. (2015). An Analysis of Citizen Science Based Research: Usage and Publication Patterns. PLoS ONE. DOI: https://doi.org/10.1371/journal.pone.0143687.; Kullenberg y Kasperowski, 2016Kullenberg, C., y Kasperosky, D. (2016). What is citizen science? A scientometric meta-analysis. PloS ONE. DOI: https://doi.org/10.1371/journal.pone.0147152.; De Filippo y otros, 2018De Filippo, D., Bautista-Puig, N., Mauleón, E., y Sanz-Casado, E. (2018) A bridge between society and universities: a documentary analysis of science shops. Publications 6. DOI: https://doi.org/10.3390/publications6030036.; De Filippo y otros, 2019De Filippo, D., Silva, P., y Borges, M.M. (2019). Caracterización de las publicaciones de España y Portugal sobre open science y análisis de su presencia en las redes sociales. Revista Española de Documentación Científica, 42(2). DOI: https://doi.org/10.3989/redc.2019.2.1580.; De Filippo y D’Onofrio, 2019De Filippo, D., y D’Onofrio, M. G. (2019). Alcances y limitaciones de la ciencia abierta en Latinoamérica: análisis de las políticas públicas y publicaciones científicas de la región. Hipertext.net, 19, 32-48. DOI: https://doi.org/10.31009/hipertext.net.2019.i19.03.; Bautista-Puig y otros, 2019Bautista-Puig, N., De Filippo, D., Mauleón, E., y Sanz-Casado, E. (2019) Scientific Landscape of Citizen Science Publications: Dynamics, Content and Presence in Social Media Publications 7(12). DOI: https://doi.org/10.3390/publications7010012.; De Filippo y otros, 2020aDe Filippo, D., Lascurain, M.L., Pandiella-Dominique, A., y Sanz-Casado, E. (2020a). Scientometric analysis of research in energy efficiency and citizen science through projects and publications. Sustainability 12. DOI: https://doi.org/10.3390/su12125175.; De Filippo y otros, 2020bDe Filippo, D., Sanz-Casado, E., Berteni, F., Barisani, F., Bautista-Puig, N., y Grossi, G. (2020b). Assessing citizen science methods in IWRM for a new science shop: a bibliometric approach. Hydrological Sciences Journal, 66(2). DOI: https://doi.org/10.1080/02626667.2020.1851691.).

Los términos usados se indican a continuación tal como se han expresado en la estrategia de búsqueda:

(“open access” OR “open data” OR “open research” OR “citizen science” OR “citizen* scienc*” OR “open science” OR “communit* science*” OR “participator* research*” OR “participator* action* research*” OR “communit*-based research*” OR “citizen* research*” OR “science* shop*” OR “citizen* scient*” OR “Public-participation” OR “open innovation” OR “community engagement” OR “citizen awareness” OR “community perception” OR “community-based environmental change intervention” OR “community-based environm*” OR “community-based environmental protest” OR “community based environmental movements” OR “community-based environmental health” OR “community-based environmental education” OR “crowd* science” OR “civic technoscience” OR “community based auditing” OR “community environmental policing” OR “citizen observatories” OR “participatory science” OR “volunteer monitoring” OR “volunteered geographic information” OR “volun* GIS” OR “neogeography” OR “participatory GIS” OR “street science” OR “locally based monitoring” OR “volunteer based monitoring” OR “public participation in scientific research” OR “popular epidemiology” OR “public engagement” OR “participatory monitoring” OR “participatory sensing” OR “open peer review” OR “open reproducibility” OR “open education resources” OR “open hardware for science” OR “citizen observatory”, “community engagement research”, “biodiversity monitoring”, “civic science”, “eBird”, “locally-based monitoring”, “community-based monitor*” OR “science 2.0” OR “interconnected science” OR “e-science”)

Dado que la búsqueda de estos términos en el campo Topics (TS) de Web of Science ha generado mucho ruido (recuperación de un alto porcentaje de publicaciones no pertinentes), se ha aplicado la búsqueda a los campos Author Keyword (AK), Keyword Plus (KP) y Title (TI).

3.3 Tercera fase. Definición de dimensiones y variables a analizar

Para conocer la implicación de las instituciones en actividades de I+D+i se ha decidido analizar dos fases del proceso investigador: los proyectos y las publicaciones científicas, dado que cada una aporta información diferente y complementaria. Por tanto, se han identificado dos dimensiones. La primera -denominada producción del conocimiento- se basa en el análisis de la información contenida en los proyectos de investigación. La segunda -denominada resultados de la investigación- se centra en el estudio de información recogida en las publicaciones científicas.

En cuanto a las variables a estudiar, en cada dimensión se ha decidido profundizar en aspectos relacionados con el liderazgo, la participación, la colaboración entre instituciones, los aspectos económico-financieros y la especialización temática. En el caso de los resultados de investigación, se han incluido también dimensiones relacionadas con la visibilidad y accesibilidad de las publicaciones.

Para no perder de vista la interacción entre ambas dimensiones, se han identificado también variables que pueden analizarse de manera conjunta, es decir considerando ambas dimensiones como parte de un mismo proceso. Este proceso se ha denominado flujo de conocimiento y abarca el estudio de los aspectos relacionados con las publicaciones derivadas de los proyectos estudiados. La definición y análisis de este proceso tiene su origen en un estudio previo en el que se analizó la actividad científica en el ámbito de la eficiencia energética (De Filippo y Serrano-López, 2018De Filippo, D., y Serrano-López, A. (2018). From academia to citizenry. Study of the flow of scientific information from projects to scientific journals and social media in the field of Energy saving. Journal of Cleaner Production 199, 248-256. DOI: http://dx.doi.org/10.1016/j.jclepro.2018.07.177 ).

3.4 Cuarta fase. Definición de indicadores

Para hacer operativo el análisis de las diferentes dimensiones y variables, se propone una batería de indicadores cienciométricos. En la tabla I se muestran los indicadores propuestos.

3.5 Quinta fase. Recuperación de la información

Para obtener información de las diferentes fuentes consultadas se ha usado el siguiente procedimiento:

Se ha consultado la base de datos CORDIS para obtener información sobre el Séptimo Programa Marco y sobre la convocatoria Horizonte 2020.

Se han seleccionado todos los proyectos en los que hubiera participación española, como país coordinador o como socio.

Usando la estrategia de búsqueda propuesta, se han identificado proyectos que contuvieran las palabras clave seleccionadas en el título y/o el resumen.

Se han descargado los proyectos con la información completa de cada uno en Excel. Se han manejado por separado los proyectos del 7PM y los de H2020.

Se han consultado las concesiones de proyectos nacionales (Plan Nacional de España) correspondientes a las convocatorias de 2010 a 2019 de los programas Retos y Excelencia.

Usando la estrategia de búsqueda propuesta, se han identificado proyectos que contuvieran las palabras clave seleccionadas en el título. Dado que la información publicada sobre los proyectos concedidos es muy limitada, se asume que los resultados obtenidos son menores a los reales (hay años en los que las convocatorias no presentan el título de los proyectos).

Se han identificado publicaciones científicas en la colección principal de la Web of Science, a partir de las palabras definidas en la estrategia de búsqueda. Se han descargado los registros completos en formato tabulado.

Se han identificado también las publicaciones provenientes de los proyectos sobre ciencia abierta detectados en la fase anterior para obtener un corpus documental más amplio y completo. Para ello se ha seguido el procedimiento que se detalla a continuación:

3.6 Sexta fase. Elaboración de indicadores y análisis de la información.

A partir de la información recuperada, sobre proyectos y sobre las publicaciones, se han obtenido los principales indicadores bibliométricos que se presentan en la tabla I.

4.1. Dimensión: producción del conocimiento. Análisis de los proyectos obtenidos en convocatorias competitivas

La recuperación de información sobre proyectos ha hecho evidente la importancia que tienen para las instituciones españolas las convocatorias europeas, ya que España ha coordinado 2403 proyectos del Séptimo Programa Marco y participado en otros 5032 de esta misma convocatoria. Por su parte, en la convocatoria Horizonte 2020, las instituciones españolas han coordinado 3806 proyectos y participado en otros 3867. Con respecto a los proyectos relacionados con ciencia abierta, España ha participado en más de 100 proyectos de las diferentes convocatorias del Programa Marco. En cuanto al liderazgo, en el Séptimo Programa Marco un 55% de los proyectos con participación española ha estado coordinado por algún centro de España, cifras que representan el 44% en el Programa Horizonte 2020.

En el caso de la convocatoria del Plan Nacional, se ha recogido información sobre 11478 proyectos concedidos, de los cuales 37 se relacionan con ciencia abierta. Dado que la información recogida solo hace referencia al beneficiario principal, no es posible conocer otros aspectos relacionados con la coordinación. Los indicadores de financiación también muestran la magnitud de recursos económicos que representan los fondos europeos con casi 31 millones de Euros concedidos a proyectos en los que participan instituciones españolas en la convocatoria H2020.

En cuanto a los principales actores institucionales participantes en los proyectos, se ha podido observar un gran protagonismo por parte de las universidades, especialmente las politécnicas. Si bien las instituciones de educación superior representan una amplia mayoría de los centros con proyectos concedidos en convocatorias del Plan Nacional, en los proyectos europeos también adquieren relevancia el Consejo Superior de Investigaciones Científicas, las Fundaciones (principalmente FECYT, MADRI+D y fundaciones regionales para el desarrollo de la ciencia y la tecnología), así como empresas (generalmente del ámbito de la ingeniería, las telecomunicaciones, la informática, etc.), y asociaciones empresariales de diferentes sectores y regiones del país. A nivel de instituciones concretas se aprecia que destacan principalmente el CSIC y la Universidad Politécnica de Madrid -con 13 proyectos identificados-seguidos de la Universidad Politécnica de Cataluña -con 11 proyectos sobre ciencia abierta. En el ANEXO I (tabla AI.1.) se presenta el número de proyectos concedidos a cada institución en todas las convocatorias estudiadas.

La colaboración entre países resulta muy intensa en los proyectos europeos en los que España ha participado en consorcios, principalmente junto a otras instituciones de Reino Unido, Alemania, Italia, Francia y Holanda. En el caso de los proyectos del Plan Nacional, dado que solo consta la información del solicitante español, no ha sido posible contar con esta información.

Las temáticas que han concentrado mayor número de proyectos son las relacionadas con el acceso abierto, los datos abiertos, la innovación abierta y la ciencia ciudadana, aunque con algunas diferencias entre convocatorias. En cuanto a la accesibilidad de la información de los proyectos, se ha detectado que casi una cuarta parte de los pertenecientes al Plan Nacional, cuentan con una página web propia en la que ofrecer información sobre resultados y avances del proyecto. En el caso de los europeos, existe una doble vía de acceso a la información. Por un lado la base de datos CORDIS incorpora -junto a la descripción de cada proyecto- información sobre resultados, publicaciones, noticias, así como los informes de avance y terminación. Por otro lado, se ofrece el link a la página web del proyecto. Esto ha permitido comprobar que un 20% de los proyectos del 7PM y un 57% de los de H2020, tienen un sitio propio (tabla II). En el ANEXO II se presenta la información completa de todos los proyectos desagregados por cada una de las convocatorias.

4.2. Dimensión: Resultados de investigación. Análisis de las publicaciones científicas

Entre 2010 y 2020 en el mundo se han publicado 18.168 documentos sobre Ciencia Abierta. Un 6% de esta producción corresponde a autores adscritos a centros españoles, cifras que han pasado de representar un 3% en 2011 a un 7% en 2020. El análisis realizado ha mostrado que se han obtenido 1124 publicaciones provenientes de los proyectos analizados y otras 1128 se han recuperado a través de la estrategia de búsqueda propuesta. Tras eliminar las publicaciones duplicadas (un 34%) se han obtenido 1491 publicaciones con participación de instituciones españolas. En cuanto al liderazgo, existe una dificultad para conocer con exactitud cuál es la entidad que coordina la publicación debido a las múltiples dinámicas de firma que existen en diferentes disciplinas (firmas por orden alfabético, firma del autor principal en primera o última posición, etc.). Por lo tanto, se ha optado por utilizar la firma de contacto (reprint address) como indicador de liderazgo. En este sentido, se han identificado tres cuartas partes de las publicaciones con un centro de España como contacto.

Al considerar aspectos relacionados con la financiación se ha observado que un 66% de las publicaciones dejaron constancia de ser resultado de proyectos financiados. Es importante recordar que la propia metodología se basó en la identificación de publicaciones provenientes de proyectos financiados por lo que es de asumir que las publicaciones sin financiación son aquéllas que se han obtenido a través de la búsqueda por palabra clave. El Consejo Superior de Investigaciones Científicas, como sector institucional, es el actor predominante, seguido de las universidades. A nivel individual es la Universidad Politécnica de Madrid la institución que destaca, seguida de la Universidad de Barcelona, la Universidad Complutense de Madrid y la Universidad Autónoma de Barcelona. En el ANEXO I (tabla AI.2) se muestra el número de publicaciones por institución.

En cuanto a la colaboración entre países, España colabora principalmente con otros centros europeos y norteamericanos que son, mayoritariamente, universidades y centros de investigación. Los temas más frecuentes en las publicaciones son: los datos abiertos, la innovación abierta y el acceso abierto.

Otra información de interés es la disponibilidad de las publicaciones. En este sentido, se ha podido comprobar que el 58% de los 1491 documentos analizados estaban disponibles en acceso abierto, especialmente a través de la vía verde (tabla III). En el ANEXO III se presenta la información completa de las publicaciones sobre ciencia abierta.

4.3. Flujo de conocimiento. Análisis de las relaciones entre proyectos y publicaciones

Siguiendo la metodología mencionada, de las 1491 publicaciones recuperadas se han detectado 1051 documentos que tienen su origen en uno de los proyectos analizados. Al estudiar la relación entre proyectos y publicaciones, quizá lo que resulta más llamativo a primera vista es el alto porcentaje de publicaciones proveniente de Proyectos de las convocatorias del Plan Nacional (84%) frente a los resultados obtenidos de convocatorias europeas (en torno al 70%). Sin embargo, es importante mencionar que todos los proyectos de la convocatoria nacional han sido concedidos a coordinadores españoles, por lo que se espera que los resultados incluyan a instituciones españolas entre los firmantes. Asimismo, dado que la amplia mayoría de los participantes son universidades, los resultados científicos más frecuentes son las publicaciones. Por el contrario, en los proyectos europeos, participa un número elevado de instituciones de diversos países y no todas contribuyen de la misma manera en los resultados científicos. Además, la alta presencia de empresas u otro tipo de entidades en estos proyectos, hace que la diversidad de productos obtenidos sea mayor y no siempre la publicación científica es el resultado predominante (hay otros resultados como patentes, licencias, prototipos, aplicaciones informáticas, etc.).

Por otro lado, un dato interesante para destacar es que se han detectado 512 publicaciones en WoS que provienen de proyectos europeos en los que ha participado España, pero no cuentan con ninguna firma correspondiente a centros españoles. Estas publicaciones fueron eliminadas del análisis al no cumplir con el requisito de pertenecer a una institución española. En general se trata de publicaciones que derivan de proyectos tecnológicos con desarrollos aplicados al ámbito de la informática, así como acciones de ciencia ciudadana relacionadas con temas de medio ambiente o salud. Se ha observado que, entre las instituciones españolas participantes en estos proyectos, se encuentran centros o asociaciones tecnológicas (como COTEC o AIMER, entre otros), instituciones vinculadas al ámbito de la salud (como el Instituto de Salud Global de Barcelona) o universidades públicas (como la UPM o la UPC).

En cuanto a las instituciones participantes en los proyectos, se advierte que en las convocatorias del Plan Nacional las universidades generalistas tienen amplia participación. En el caso de los proyectos europeos, el Consejo Superior de Investigaciones Científicas, las universidades politécnicas y los centros tecnológicos tienen mayor presencia.

Como se ha mencionado, gran parte de las publicaciones provienen de las convocatorias nacionales, pero hay que recordar que varios de los proyectos correspondientes a la convocatoria Horizonte 2020 están concluyendo o han concluido recientemente por lo que muchos de los resultados obtenidos pueden estar en elaboración o en evaluación actualmente. Considerando el total de publicaciones recuperadas y el total de proyectos concedidos se puede observar que también es mayor el promedio de publicaciones por proyecto en el caso de las convocatorias del Plan Nacional, aunque en este caso es conveniente tener en cuenta los comentarios realizados anteriormente.

Se ha detectado, además, que el porcentaje de publicaciones en abierto derivadas de proyectos es de un 62%. Estas cifras son superiores al porcentaje de open access correspondientes al total de publicaciones analizadas (58%).

Los países con los que más colabora España en la producción conjunta de publicaciones científicas son: Reino Unido, Estados Unidos, Francia, Italia y Alemania.

Al considerar la producción científica de las diferentes instituciones españolas, se advierte que, ciertas instituciones con alta participación en proyectos, también cuentan con un elevado número de publicaciones. Es el caso del Consejo Superior de Investigaciones Científicas y las universidades politécnicas de Madrid y Cataluña. Sin embargo, otros centros, a pesar de la escasa participación en proyectos, resultan altamente productivos en términos de publicaciones científicas. Es el caso de universidades como las catalanas Universidad de Barcelona, Universidad Rovira i Virgili y Universidad Autónoma de Barcelona (tabla IV). En el ANEXO I (Tabla AI.3) se presenta el listado de instituciones con mayor número de publicaciones provenientes de proyectos.

En cuanto a las relaciones que se establecen a nivel de instituciones, la figura 4 muestra la colaboración en función del número de documentos publicados. Se aprecia que los tres nodos principales son el CSIC y las universidades politécnicas de Madrid y Valencia. Las relaciones se establecen principalmente con otras universidades españolas, siendo pocas las instituciones extranjeras con las que existe una colaboración frecuente (Figura 4).

5.1. Aspectos metodológicos

El estudio realizado tenía entre sus objetivos principales el desarrollo de una metodología que permitiera conocer la actividad científica sobre ciencia abierta realizada por instituciones españolas. En este sentido, los estudios cienciométricos tradicionales se han basado en el análisis de publicaciones y patentes por las posibilidades que estos documentos ofrecen para conocer la productividad científica y estudiar el impacto de la investigación en la comunidad académica (Callon y otros, 1995Callon, M., Penan, H., y Courtial, J.P. (1995). Cienciometría: la medición de la actividad científica: de la bibliometría a la vigilancia tecnológica. Gijón: Trea.). Sin embargo, el análisis de los proyectos de investigación también ha demostrado ser un enfoque valioso para obtener datos sobre las líneas de estudio propuestas por la comunidad científica y aceptadas por las agencias de financiación, así como para conocer aspectos significativos de la investigación en curso (Plaza, 2001Plaza, L. (2001). Obtención de indicadores de actividad científica mediante el análisis de proyectos de investigación. En: Albornoz, Mario (ed.), Indicadores Bibliométricos en Iberoamérica, 63-70. Buenos Aires: RICYT.).

En este sentido, se han encontrado estudios previos en que se analizan los resultados del Tercer Programa Marco y del Cuarto Programa Marco (Arnold y otros, 2005Arnold, E., Clark, J., y Muscio, A. (2005). What the evaluation record tells us about European Union Framework Programme performance. Science and Public Policy, 32 (5): 385-397. DOI: https://doi.org/10.3152/147154305781779335.), así como otros más recientes que se centran en el análisis del Séptimo Programa Marco para dar cuenta de los avances en determinados campos científicos o del papel desempeñado por la financiación obtenida (Pohoryles, 2014Pohoryles, R. (2014). Excellent research, but insufficient valorization? The case of the European transport research in the 7th framework programme. Innovat. Eur. J. Soc. Sci. Res., 27, 295-309. DOI: https://doi.org/10.1080/13511610.2014.951155.; Edler y James, 2015Edler, J., y James, A. (2015). Understanding the emergence of new science and technology policies: policy entrepreneurship, agenda setting and the development of the European Framework Programme. Research Policy, 44, 1252e1265. DOI: https://doi.org/10.1016/j.respol.2014.12.008.; Haanstra y otros, 2016Haanstra, K., Jonker, M., y Hart, B. (2016). An evaluation of 20 Years of EU framework programme-funded immune-mediated inflammatory translational research in non-human primates. Front. Immunol, 7. DOI: https://doi.org/10.3389/fimmu.2016.00462 ).

En los últimos años se ha evidenciado un interés creciente por parte de las agencias de financiación en conocer el impacto de los proyectos financiados y, para ello, la bibliometría ha demostrado ser una herramienta bastante adecuada a pesar de las dificultades que entraña este tipo de abordaje (Wang y Shapira, 2011Wang, J., y Shapira, P. (2011). Funding acknowledgement analysis: an enhanced tool to investigate research sponsorship impacts: the case of nanotechnology. Scientometrics, 87, 563-586. DOI: https://doi.org/10.1007/s11192-011-0362-5.; Costas y Van Leuven, 2012Costas, R., y van Leeuwen, T. (2012). Approaching the reward triangle: general analysis of the presence of funding acknowledgments and peer interactive communication in scientific publications. J. Assoc. Info. Sci. Technol. 63: 1647-1661. DOI: https://doi.org/10.1002/asi.22692.). En este sentido, el análisis de las publicaciones derivadas de los proyectos -analizando la información sobre financiación consignada en los papers- resulta interesante para contribuir a conocer el impacto de la actividad realizada en un campo científico. Según Paul-Hus y otros (2016)Paul-Hus, A., Desrochers, N., y Costas, R. (2016). Characterization, description, and considerations for the use of funding acknowledgement data in Web of Science. Scientometrics, 108, 167-182. DOI: https://doi.org/10.1007/s11192-016-1953-y., los primeros estudios que utilizaron dicha información para conocer el origen de los fondos y la financiación y su impacto en la trayectoria de determinadas disciplinas datan de 2010 (Lewison y Markusova, 2010Lewison, G., y Markusova, V. (2010). The evaluation of Russian cancer research. Research Evaluation 19, 129-144. DOI: https://doi.org/10.3152/095820210X510098.; Shapira y Wang, 2010Shapira, P., y Wang, J. (2010). Follow the money. Nature 468, 627-628. DOI:https://doi.org/10.1038/468627a.; Wang y Shapira, 2011Wang, J., y Shapira, P. (2011). Funding acknowledgement analysis: an enhanced tool to investigate research sponsorship impacts: the case of nanotechnology. Scientometrics, 87, 563-586. DOI: https://doi.org/10.1007/s11192-011-0362-5.). Por su parte, Rigby (2013)Rigby, J. (2013). Looking for the impact of peer review: does count of funding acknowledgements really predict research impact? Scientometrics, 94: 57-73. DOI:https://doi.org/10.1007/s11192-012-0779-5., sostuvo que esos datos pueden resultar útiles para medir y evaluar el impacto de los distintos organismos de financiación.

Entre las limitaciones metodológicas del estudio se encuentra el hecho de que al optar por analizar proyectos de investigación y publicaciones científicas se ha circunscrito la actividad científica a un ámbito muy concreto: la actividad que puede ser analizada a través de sus resultados formales y escritos. Sin embargo, somos conscientes que en ámbitos como la ciencia abierta, existen muchas otras prácticas invisibles que no son susceptibles de ser captadas a través de un análisis cuantitativo de la producción científica. Entre ellas se encuentran, por ejemplo, las acciones de ciencia ciudadana, el desarrollo de software de código abierto y de prometedores proyectos de hardware científico abierto, e incipientes experiencias de evaluación abierta de trabajos de investigación, entre otras muchas prácticas que se están desarrollando en España y que ponen de manifiesto un aspecto valioso de la dinámica de la ciencia abierta y colaborativa (De Filippo y D´Onofrio, 2019De Filippo, D., y D’Onofrio, M. G. (2019). Alcances y limitaciones de la ciencia abierta en Latinoamérica: análisis de las políticas públicas y publicaciones científicas de la región. Hipertext.net, 19, 32-48. DOI: https://doi.org/10.31009/hipertext.net.2019.i19.03.; Fressoli y De Filippo, 2021Fressoli, M., y De Filippo, D. (2021) Nuevos escenarios y desafíos para la ciencia abierta. Entre el optimismo y la incertidumbre. Arbor 197(799). DOI: https://doi.org/10.3989/arbor.2021.79900.). Sin embargo, creemos que la metodología propuesta puede considerarse una opción válida para la recuperación de información proveniente de diversas fuentes de información académica y formal que permite tener una noción abarcadora de la actividad que están realizando las instituciones españolas sobre ciencia abierta. Más allá de elaborar un listado descriptivo de actividades, el análisis propuesto permite conocer diferentes dimensiones detectando los principales actores involucrados y su rol en el proceso de producción y difusión de la actividad científica sobre el tema estudiado.

Es importante mencionar también el valor de las fuentes de información analizadas que ofrecen una amplia variedad de datos de diferente naturaleza. En este sentido, otra importante limitación ha sido la escasa información relacionada con proyectos concedidos en las convocatorias del Plan Nacional. Esto ha impedido profundizar en el análisis de estos proyectos por lo que los datos ofrecidos están infraestimados.

5.2. Resultados obtenidos

Con respecto a los resultados obtenidos se advierte que la participación en proyectos nacionales e internacionales, va en la línea del interés cada vez mayor que las instituciones españolas han adquirido en relación con la ciencia abierta y que se ha reflejado en las diferentes normativas y estrategias promovidas por distintas entidades.

Analizando los resultados concretos es posible observar la importancia que los proyectos europeos tienen en cuanto a captación de recursos económicos, especialmente para las universidades, que han incrementado su participación tanto en número de proyectos concedidos como en fondos obtenidos, según los datos aportados por el Observatorio IUNE para el seguimiento de la actividad científica de las universidades españolas (Mañana-Rodríguez y otros, 2021Mañana-Rodriguez, J., De Filippo, D., Serrano-López, A., Lascurain, M.L., García-Zorita, J.C., y Sanz-Casado, E. (2021) Observatorio IUNE 2021. Informe anual periodo 2010-2019. Actividad investigadora de las universidades españolas. Madrid: IUNE. Disponible en: https://iune.es/wp-content/uploads/2021/09/Informe-IUNE-2021-n.pdf.). En el caso de los proyectos sobre ciencia abierta, aunque el volumen de proyectos es reducido en relación al total de los concedidos en todas las disciplinas, existe un interés constante tal como se ha observado en estudios previos que analizan sus características y evolución (De Filippo y Lascurain, 2021De Filippo, D., y Lascurain, M.L (2021). Actividad científica de las universidades españolas sobre open science. Análisis de proyectos y publicaciones sobre open science y repercusión en redes sociales. Entregable, 3. DOI: https://doi.org/10.5281/zenodo.5136933.).

La colaboración entre países e instituciones para la conformación de grandes redes y consorcios es otra de las características de los proyectos europeos, mientras que en los nacionales la información obtenida no permite conocer en detalle estos aspectos. En este sentido se advierte que, mientras las instituciones de educación superior son el sector predominante en los proyectos de ciencia abierta en las convocatorias nacionales, en los proyectos europeos existe una diversidad institucional mucho mayor, con alta participación de centros como el Consejo Superior de Investigaciones Científicas, centros tecnológicos, fundaciones del I+D+i y empresas, especialmente del ámbito de la ingeniería y tecnología.

En cuanto a las temáticas vinculadas con ciencia abierta, se advierte una tendencia a desarrollar proyectos relacionados con educación o aspectos sociales (ciencia ciudadana, por ejemplo) en las convocatorias del Plan Nacional. Por su parte, los proyectos europeos se centran en cuestiones con un desarrollo tecnológico-informático mayor, concentrando las propuestas en el desarrollo de acciones vinculadas con la interoperabilidad de datos, los recursos abiertos, etc.

Con respecto a la accesibilidad de la información, es de destacar la importancia de las páginas web de los proyectos que permiten conocer los avances y los resultados y obtener información actual sobre novedades en el desarrollo de los mismos. Asimismo, contar con una base de datos como CORDIS también facilita el estudio, al ofrecer información amplia, variada y estandarizada sobre los proyectos europeos de diversas convocatorias. Sin dudas, contar a nivel nacional con una fuente similar implicaría un avance considerable para el estudio de la dinámica científica del país cuyo análisis, por el momento, resulta limitado con las fuentes actualmente disponibles.

En cuanto a las publicaciones científicas sobre ciencia abierta, la estrategia de búsqueda propuesta ha recuperado 1128 documentos de España. Esto corresponde a un 6% del total de publicaciones del mundo en el período analizado. Aunque la aportación de España pueda parecer reducida, es importante tener en cuenta que, para la última década, el país contribuye con un 3,5% a la producción mundial recogida en Web of Science (Clarivate Analytics, 2021Clarivate Analytics. (2021). Web of Science database.). Esto evidencia que las publicaciones sobre ciencia abierta están por encima de lo esperado.

Se ha observado que un 66% de los documentos sobre ciencia abierta analizados cuentan con información sobre financiación, es decir que son resultados de proyectos financiados. Al consultar los datos de Web of Science para el total de España en el mismo período, las publicaciones en acceso abierto representan un 60%, por lo que la producción sobre ciencia abierta alcanza porcentajes superiores (Clarivate Analytics, 2021Clarivate Analytics. (2021). Web of Science database.).

En cuanto a las instituciones más productivas, las universidades y el Consejo Superior de Investigaciones Científicas son el sector institucional predominante. Los centros que destacan también son los grandes productores en el total de documentos de España, con excepción de la Universidad Politécnica de Madrid que destaca por su alta producción en temas relacionados con ciencia abierta (ver más detalles en: De Filippo y Lascurain, 2021De Filippo, D., y Lascurain, M.L (2021). Actividad científica de las universidades españolas sobre open science. Análisis de proyectos y publicaciones sobre open science y repercusión en redes sociales. Entregable, 3. DOI: https://doi.org/10.5281/zenodo.5136933.). A nivel de países, es interesante observar que la colaboración con centros de Reino Unido (15%) alcanza proporciones más elevadas de las que presenta el total de la producción de España en WoS (9,5%), lo que refleja un intenso vínculo con centros especializados en el tema de la ciencia abierta. Por el contrario, la colaboración con Italia es menor a lo esperado ya que solo un 9% de las publicaciones sobre ciencia abierta de España se elaboran junto a centros de este país, frente a un 14% en el total de las publicaciones de España en WoS (Clarivate Analytics, 2021Clarivate Analytics. (2021). Web of Science database.).

El acceso abierto es uno de los puntos más relevantes ya que alcanza cifras muy elevadas (58%), frente a un 43% de la producción total de España en Web of Science. Esto, sin dudas, tiene una relación directa con la temática y con el hecho de que gran parte de las publicaciones derivan de proyectos competitivos que tienen entre sus principales características la obligatoriedad de la difusión en abierto de sus resultados.

El análisis de la relación entre proyectos y publicaciones muestra que los proyectos del Plan Nacional son los que han tenido un mayor volumen de publicaciones. Esto puede resultar extraño pero, tal como se ha mencionado anteriormente, obedece a varias circunstancias. Entre ellas, el hecho principal es que las entidades que participan de estos proyectos son mayoritariamente universidades y, en segundo lugar, centros de investigación, cuya actividad principal es la académica. Para estas instituciones el principal resultado científico son las publicaciones y de ahí que éste sea el output científico por excelencia. Por el contrario, en los proyectos europeos existe una diversidad institucional mucho mayor con presencia de empresas, fundaciones, centros tecnológicos, por lo que también es mayor la diversidad de resultados obtenidos. También se ha observado que un número importante de publicaciones (512) derivadas de proyectos con participación española, no fueron elaboradas por centros españoles, es decir que no han participado en esta fase del proyecto. Asimismo, la actualidad de muchos proyectos de Horizonte 2020 hace que, quizá, actualmente haya numerosas publicaciones en elaboración o evaluación que no han sido recuperadas en el momento del estudio.

Quizá lo más interesante es la detección de un alto porcentaje de publicaciones en abierto entre aquellas originadas en los proyectos analizados, que alcanzan el 62% en concordancia, como se ha mencionado, con la obligatoriedad de presentación de resultados en abierto.

A nivel de instituciones, son también los grandes productores los que encabezan el listado, aunque es destacado el rol de algunas universidades con una producción media en el conjunto de la producción total de España, pero que tienen una alta actividad en temas de ciencia abierta. Son, en concreto, las universidades politécnicas de Cataluña, Madrid y Valencia.

Estos resultados nos llevan a plantear la necesidad de profundizar en el estudio de las relaciones entre las diversas fases de la investigación y su impacto que, evidentemente, no debería alcanzar solo el ámbito académico sino que es fundamental poder medir y analizar también la repercusión social. Esto cobra especial relevancia en ámbitos como el de la ciencia abierta, por lo que a ello estamos dedicando las fases actuales de nuestra investigación.