ESTUDIOS / RESEARCH STUDIES

CARACTERIZACIÓN DE LAS PUBLICACIONES DE ESPAÑA Y PORTUGAL SOBRE OPEN SCIENCE Y ANÁLISIS DE SU PRESENCIA EN LAS REDES SOCIALES

Daniela De Filippo*, Paulo Silva**, María Manuel Borges**

* Instituto INAECU, Universidad Carlos III de Madrid

Correo-e: dfilippo@bib.uc3m.es | ORCID iD: http://orcid.org/0000-0001-9297-9970

** Faculdade de Letras, Universidade de Coimbra, Portugal

Correo-e: uc2015201252@student.uc.pt | ORCID iD: http://orcid.org/0000-0003-1833-8846
Correo-e: mmb@fl.uc.pt | ORCID iD: http://orcid.org/0000-0002-7755-6168

 

RESUMEN

Se analizan las publicaciones sobre Ciencia Abierta de España y Portugal en la base de datos SCOPUS. A través de indicadores bibliométricos y altmétricos se estudia la repercusión de la producción en redes sociales. Entre 2000 y 2016 se detectaron 1273 documentos sobre el tema en ambos países, concentrados especialmente en el último quinquenio. Destacan las publicaciones sobre Open data y las temáticas de mayor producción han sido Computer Science y Social Science. Un tercio de las publicaciones con DOI ha tenido repercusión en las redes sociales siendo Twitter el medio que concentra mayor número de menciones. Si bien una tercera parte de los documentos se publicó en acceso abierto, no se detectó relación entre este indicador y la presencia en redes sociales.

CHARACTERIZATION OF THE IBERIAN PUBLICATIONS ON OPEN SCIENCE AND ANALYSIS OF THEIR PRESENCE IN SOCIAL MEDIA

ABSTRACT

In this paper, the publications on Open Science in SCOPUS, from Spain and Portugal, are analyzed and the impact of that production on social media is studied through bibliometric and altmetric indicators. Between 2000 and 2016, 1273 documents on this subject were detected for both countries, especially concentrated in the last five years. Open Data is one of the more frequent topics, and Computer Science and Social Science are the subjects with a higher production. One third of the publications with DOI have had an impact on social networks, with Twitter being the medium with the highest number of mentions. Although one third of the documents were published in open access, no link was found between this indicator and the presence in social media.

Recibido: 13-04-2018; 2ª versión: 05-10-2018; Aceptado: 08-10-2018.

Cómo citar este artículo/Citation: De Filippo, D.; Silva, P.; Borges, M. M. (2019). Caracterización de las publicaciones de España y Portugal sobre Open Science y análisis de su presencia en las redes sociales. Revista Española de Documentación Científica, 42 (2): e235. https://doi.org/10.3989/redc.2019.2.1580

PALABRAS CLAVE: Ciencia Abierta; Bibliometría; Altmetría; España; Portugal.

KEYWORDS: Open Science; bibliometric indicators; altmetric indicators; Spain; Portugal.

Copyright: © 2019 CSIC. Este es un artículo de acceso abierto distribuido bajo los términos de la licencia de uso y distribución Creative Commons Reconocimiento 4.0 Internacional (CC BY 4.0).

CONTENIDOS

RESUMEN
ABSTRACT
1. INTRODUCCIÓN
2. METODOLOGÍA
3. RESULTADOS
4. DISCUSIÓN
5. CONCLUSIONES
6. AGRADECIMIENTOS
7. REFERENCIAS

 

1. INTRODUCCIÓN Top

En la actual sociedad de la información, el conocimiento científico y tecnológico juega un rol central y, como ya anticiparan autores como Manuel Castells (1996Castells, M. (1996). The Rise of the Network Society. The Information Age: Economy, Society and Culture. Vol. I. Cambridge, MA, Oxford: Blackwell.), tanto el acceso como la gestión del conocimiento, se convierten en factores clave. En este contexto, especialmente en los últimos años, la investigación científica está atravesando una transición cultural que abarca nuevos modelos de publicación y reutilización de información en un intento de mayor apertura, con un enfoque digital para promover el acceso a los resultados científicos. Es por esto que algunos autores plantean la necesidad de adoptar un concepto más amplio de “producción científica” que pueda incluir en su definición toda la gama de recursos científicos producidos durante el proceso de investigación (Machado, 2015Machado, J. (2015). Open Data and Open Science. En: Albagli, S.; Maciel, M.; Abdo, A. (eds.), Open Science, Open Issues. Brasília: IBICT; Rio de Janeiro: Unirio, pp. 189-214. Accesible en: http://livroaberto.ibict.br/bitstream/1/1061/1/Open%20Science%20open%20issues_Digital.pdf.).

Desde hace poco más de una década, el movimiento Open Science, un término amplio que se desdobla en múltiples iniciativas y significados (Bartling y Friesike, 2014Bartling, S.; Friesike, S. (2014). Opening Science. The Evolving Guide on How the Internet is Changing Research, Collaboration and Scholarly Publishing. Springer. ISBN: 978-3-319-00025-1. https://doi.org/10.1007/978-3-319-00026-8.), ha tenido un impacto notable. Los orígenes del proceso de apertura del conocimiento científico pueden encontrarse en 2002 con el movimiento de Acceso Abierto, culminando en la apertura de la literatura científica financiada con fondos públicos. El avance de la tecnología, la producción masiva de datos, las redes sociales científicas, la ciencia ciudadana, los recursos educacionales y el código abierto, en conjunto, generaron una ciencia diferente. Este concepto más amplio de ciencia, definido como Ciencia Abierta, pretende abrir todo un conjunto de formatos y recursos científicos con especial énfasis en los datos de investigación financiados con fondos públicos (da Silva, 2017da Silva, P. (2017). As Políticas de Open Data em Portugal: análise da sua implementação e impacto. Departamento de Filosofía, Comunicación e Información, Facultad de Letras, Universidad de Coimbra. Tesina de la Maestría en Ciencias de la Información.). Comúnmente hace referencia al esfuerzo por hacer más accesibles los resultados de investigación científica financiada por el sector público, en formato digital, para la comunidad científica, el sector empresarial o la sociedad en general (OECD, 2015OECD (2015). Making Open Science a Reality. OECD Science, Tecnology and Industy Policy Papers, 25. Paris: OECD Publications. http://doi.org/10.1787/5jrs2f963zs1-en.), pero es evidente que va más allá. La Ciencia Abierta representa un cambio cultural en la forma en que las partes interesadas en la investigación, la educación y el intercambio de conocimientos, crean, almacenan, comparten y entregan los resultados de su actividad (LERU, 2018LERU (League of European Research Universities) (2018). Open Science and its role in universities: A roadmap for cultural change. Advice paper 24. Accesible en: https://www.leru.org/publications/open-science-and-its-role-in-universities-a-roadmap-for-cultural-change.). Es, en definitiva, un cambio de sistema, donde la ciencia se lleva a cabo y se comunica de una manera que permite a los demás contribuir, colaborar y sumar al esfuerzo de investigación, con todo tipo de datos, resultados y protocolos libremente disponibles, en diferentes etapas del proceso de investigación (Research Information Network, 2010Research Information Network (2010). Open science case studies. Acesible en: http://www.rin.ac.uk/system/files/attachments/RINews_Issue_11_0.pdf.). Asimismo, el concepto de “inclusión” es central en algunas definiciones encontradas ya que hay quienes la consideran una práctica de ciencia colaborativa, y un importante facilitador de participación pública en ciencia (Leonelli y otros, 2015Leonelli, S.; Spichtinger, D.; Prainsack, B. (2015). Sticks and carrots: encouraging open science at its source. Geography and Environment, 2, 12-16. Accesible en: http://onlinelibrary.wiley.com/enhanced/exportCitation/doi/10.1002/geo2.2.; FOSTER, 2016FOSTER (2016). Open Science Definition. Accesible en: https://www.fosteropenscience.eu/taxonomy/term/100.). Entre las principales iniciativas relacionadas con la Open Science destacan: Open Access; Open data; investigación participativa y ciencia ciudadana (STEPS, 2016STEPS América Latina (2016). Ciencia abierta, colaborativa y alternativa: un camino para resolver problemas de desarrollo.).

La importancia que ha adquirido la ciencia abierta puede observarse también en las diferentes políticas implementadas por organismos internacionales para su promoción y puesta en práctica. A nivel europeo, por ejemplo, en 2012, el Open Access (OA) fue adoptado como principio. Desde entonces los proyectos desarrollados en el marco del Programa Horizonte 2020, deben poner en OA toda la literatura científica producida bajo financiación pública (European Union, 2013European Union (2013). Regulamento (UE) Nº 1291/2013 do Parlamento Europeu e do Conselho de 11 de dezembro de 2013. Jornal Oficial da União Europeia. Accesible en: http://ec.europa.eu/research/participants/data/ref/h2020/legal_basis/fp/h2020-eu-establact_pt.pdf.). Después de un proyecto piloto que requería el depósito de datos científicos en un repositorio de 9 áreas del conocimiento, en 2017, el mandato de apertura de los datos de investigación que dan origen a las publicaciones científicas se ha ampliado a todas las áreas del conocimiento (European Commission, 2016aEuropean Commission (2016a). Europa líder mundial da economia baseada nos dados, graças à iniciativa europeia para a computação em nuvem. Comunicado de imprensa. Accesible en: http://europa.eu/rapid/press-release_IP-16-1408_pt.htm.). Las iniciativas de promoción de Open Science se extienden también al campo de las infraestructuras, con el proyecto OpenAire que permite la agregación de toda la literatura científica producida en proyectos bajo financiación europea y proporciona vínculos entre esas publicaciones y los datos subyacentes. La tercera fase del proyecto arrancó en 2017 con el objetivo de establecer puentes tecnológicos y sociales y proporcionar servicios de intercambio de información científica, independientemente del formato (OpenAIRE, 2017OpenAIRE (2017). About OpenAIRE-Connect. Accesible en: https://www.openaire.eu/connect.). Además, la Unión Europea manifestó su intención de crear una European Open Science Cloud (EOSC) para proporcionar a los investigadores una infraestructura de acceso a herramientas y datos para la investigación y la innovación (European Commission, 2016bEuropean Commission (2016b). Open innovation, Open Science, open to the world. A vision for Europe. Brussels: European Commission, Directorate-General for Research and Innovation. Accesible en: http://bookshop.europa.eu/en/open-innovation-open-science-open-tothe-world-pbKI0416263/.). La Comisión Europea creó también el Open Science Monitor, definiendo tres categorías de apertura: OA a las publicaciones, OA a los datos de investigación y formas abiertas de comunicación académica (European Commission: Dirección General de Investigación e Innovación, 2017European Commission. Dirección General de Investigación e Innovación (2017). Open Science Monitor. Accesible en: http://ec.europa.eu/research/openscience/index.cfm?pg=about&section=monitor.).

Bajo la recomendación de la Comisión Europea sobre el acceso a la información científica y su conservación (EUR-Lex, 2012EUR-Lex (2012). COMMISSION RECOMMENDATION of 17 July 2012 on access to and preservation of scientific information (2012/417/EU). Official Journal of the European Union, 39-43. Accesible en: https://publications.europa.eu/en/publication-detail/-/publication/48558fc9-d4c8-11e1-905c-01aa75ed71a1.), Portugal y España han estado haciendo esfuerzos en favor de la apertura de los resultados científicos generados a través de fondos públicos. En Portugal, el Ministerio de Ciencia, Tecnología y Educación Superior (Portugal, 2016Portugal. Ministério da Ciência, Tecnologia e Ensino Superior (MCTES) (2016). Ciência Aberta, Conhecimento para todos: Princípios orientadores. Accesible en: https://www.fosteropenscience.eu/content/ciencia-aberta-conhecimento-para-todos) estableció como meta para el año 2018 la adopción y aplicación de una política científica abierta. La Resolución del Consejo de Ministros Nº 21/2016 define los principios de aplicación de la política de ciencia abierta en Portugal en torno a cuatro ejes: Acceso abierto y datos abiertos; Infraestructuras y preservación digital; Evaluación científica; Responsabilidad social científica. En España, el Plan Estatal de Investigación Científica y Técnica y de Innovación 2017-2020 definió la apertura de resultados y datos de investigación obtenidos bajo financiación pública como obligatoria (España, 2017España. Ministerio de Economía, Industria y Competitividad, Secretaría de Investigación, Desarrollo e Innovación (2017). Plan Estatal de Investigación Científica y Técnica y de Innovación 2017-2020. Accesible en: http://www.idi.mineco.gob.es/stfls/MICINN/Prensa/FICHEROS/2018/PlanEstatalIDI.pdf.).

La difusión de los resultados de investigación a través de publicaciones y patentes fue, hasta hace pocos años, el modelo más frecuente en la producción y evaluación de conocimiento. En este sentido, como explicaran Callon y otros (1995Callon, M.; Courtial, J.P.; Penan, H. (1995). Cienciometría: la medición de la actividad científica: de la bibliometría a la vigilancia tecnológica. Gijón: Trea.) la cienciometría y la bibliometría se convirtieron en las principales herramientas para el análisis de la productividad científica, y la medición de su impacto en la comunidad científica. Una marca distintiva de nuestra época es el crecimiento exponencial de la producción de información, con la proliferación de nuevas tecnologías de información y comunicación que permiten el aumento del intercambio de información, el número de artículos científicos publicados y la producción masiva de datos. El acceso generalizado a internet propició un cambio en el paradigma de acceso y publicación de contenidos científicos. En este sentido, desde hace pocos años, asistimos a un cambio considerable y revolucionario en el modelo tradicional de comunicación científica con el advenimiento de la web 2.0, que ha favorecido la comunicación y la colaboración entre los distintos agentes académicos. Así, es posible observar que numerosas plataformas de intercambio de información como foros, blogs y aplicaciones de redes sociales (entre ellas Facebook o Twitter) no sólo han tenido una buena acogida entre el público en general, sino que también han seducido a los miembros de la comunidad científica dando lugar a la llamada ‘web social académica’. Este nuevo espacio de colaboración permite a los investigadores compartir y validar sus proyectos de investigación a través de aplicaciones propias del entorno académico como los gestores bibliográficos sociales (e.j. Mendeley o CiteULike), las redes profesionales, (e.j. ResearchGate o ScienceOpen), y las aplicaciones de identidad digital como ResearcherID de Web of Science u ORCID. Una muestra del impacto de estas nuevas herramientas es el uso que muchos investigadores afirman darles ya que, como muestran Kramer y Bosman en un estudio reciente (2016Kramer, B.; Bosman, J. (2016). Innovations in Scholarly Communication. Accesible en: https://101innovations.wordpress.com/ [consultado el 24-05-2018].), junto a los repositorios institucionales, ResearchGate se ha convertido en la herramienta preferida para dar a conocer los resultados de las investigaciones actuales. A todo este conjunto de herramientas se suma el movimiento de acceso abierto a la ciencia y las publicaciones y repositorios en línea (PLos ONE, ArXiv, CiteSearch, PubMed o RePEc). En este contexto, según afirman Mohammadi y Thelwall (2013Mohammadi, E.; Thelwall, M. (2013). Assessing the Mendeley readership of social sciences and humanities research. 14th International Society of Scientometrics and Informetrics Conference, Viena, 15-16 Julio.) la multiplicación de canales de comunicación informales constituye un nuevo reto para el análisis de la actividad científica. Es por ello que resulta fundamental proponer nuevos modelos de abordaje y análisis de la comunicación científica que integren los mecanismos ya consolidados junto a las nuevas herramientas.

Para ello, los estudios tradicionales basados en el análisis bibliométrico pueden ser ampliados y complementados con los nuevos indicadores altmétricos, que aportan una medida del interés que genera sobre la sociedad la I+D+i en un determinado sector. El concepto de Altmetría fue definido por Jason Priem en un post en el que la describe como: “La creación y estudio de nuevos indicadores (metrics) basados en la web social para analizar y caracterizar la actividad académica (scholarship)”.

A partir de la situación descrita, este estudio se propone alcanzar dos objetivos:

  1. Identificar y caracterizar las publicaciones sobre Open Science indexadas en bases de datos internacionales de España y Portugal.

  2. Detectar y analizan los indicadores altmétricos asociados a dicha producción.

Por último, se intenta interpretar cuál es la situación que se vive en la península Ibérica en cuanto a la producción sobre Open Science, poniendo en relación los resultados obtenidos con las políticas públicas e institucionales que se han puesto en marcha recientemente en ambos países.

 

2. METODOLOGÍA Top

La recuperación de publicaciones sobre Open Science se ha realizado usando como fuente de información la base de datos SCOPUS. La selección de esta fuente se justifica por su amplia cobertura de revistas y prestigio internacional. En este sentido, como han demostrado otros estudios previos, la cobertura de España y Portugal es mayor que en otras fuentes como Web of Science, especialmente en las áreas de Ciencias Sociales y Humanas (de Moya-Anegón y otros, 2007Moya-Anegón, F. de; Chinchilla-Rodríguez, Z.; Vargas-Quesada, B.; Corera-Álvarez, E.; Muñoz-Fernández, F.L.; González-Molina, A.; Herrero-Solana, V. (2007). Coverage analysis of Scopus: A journal metric approach. Scientometrics, 73 (1), 53-78. https://doi.org/10.1007/s11192-007-1681-4.; Codina y otros, 2014Codina, L.; Cortiñas, S.; Monistrol, R.; Pérez-Montoro, M. (2014). Web of Science versus Scopus para estudios en Comunicación: Propuesta de sistema de análisis y resultados. Textual & Visual Media, 7, 137-162.). Asimismo, la posibilidad de realizar búsquedas por campos específicos como el de Palabras clave, ha sido un valor agregado. Se ha evidenciado que la consulta simultánea en campos como Título, Palabras clave y Resumen produce mucho ruido porque recupera documentos que pueden mencionar los términos buscados en el resumen aunque no se trate del tema principal. Poder tratar las palabras clave de manera independiente favorece la fiabilidad de la información recogida.

Por ello, se ha definido una estrategia de búsqueda “ad-hoc” a partir de términos relacionados con Open Science que están presentes tanto en el título como en las palabras clave de los artículos. Todos los términos se han buscado con diferentes variantes, tanto de idioma como de género y número.

TITLE ( “open access” OR “open data” OR “citizen science” OR “open research” OR “open science” OR “citizen* scienc*” OR “communit* science*” OR “participator* research*” OR “participator* action* research*” OR “communit*-based research*” OR “citizen* research*” OR “science* shop*” OR “citizen* scient*” OR “Public-participation” OR “open innovation” ) OR KEY ( “open access” OR “open data” OR “citizen science” OR “open research” OR “open science” OR “open innovation” OR “citizen* scienc*” OR “communit* science*” OR “participator* research*” OR “participator* action* research*” OR “communit*-based research*” OR “citizen* research*” OR “science* shop*” OR “citizen* scient*” OR “Public-participation” OR “open innovation”)

Si bien toda selección de términos destinados a identificar la producción de un campo temático siempre es subjetiva, partimos del supuesto de que las palabras clave seleccionadas conforman el núcleo de términos relacionados con la temática abordada y que han sido extraídos de la bibliografía afín. Es evidente que puede haber muchas otras delimitaciones temáticas, pero hemos decidido acotar la selección de publicaciones a aquéllas que, tras la lectura de los resúmenes, hemos comprobado que se ajustan al tema tratado. Es importante destacar que el número concreto de documentos recogidos es una aproximación al conjunto de la producción sobre ciencia abierta, dado que puede haber términos no incluidos que hablen sobre el tema, pero cuya inclusión hubiera generado dificultades en el análisis y pocos cambios en las tendencias generales.

El período de análisis ha sido 2000-2016.

Tras la recogida de documentos, se ha realizado la normalización y depuración de la información y se ha elaborado una base de datos relacional en MySQL para la gestión y obtención de indicadores bibliométricos y altmétricos.

Para caracterizar la producción científica sobre Open Science se han obtenido los siguientes indicadores:

Se ha obtenido también información sobre la repercusión de las publicaciones en las redes sociales. Al descargar los documentos de SCOPUS se ha trabajado con el campo DOI (Digital Object Identifier) para obtener los principales indicadores altmétricos. Para ello, se ha utilizado un script -desarrollado en el Laboratorio de Estudios Métricos de la Información (LEMI) de la Universidad Carlos III de Madrid- que consulta directamente la información de la plataforma Altmetric.com que ofrece datos desde 2010. De este modo se accede masivamente a la misma información que ofrece Almetric.com para cada documento. Los indicadores obtenidos fueron:

Finalmente, para comprobar si los textos sobre Open Science tienen impacto académico y repercusión en redes sociales, se ha realizado una correlación entre las dos dimensiones relacionadas con el impacto: citas recibidas de publicaciones científicas frente a menciones en redes sociales.

 

3. RESULTADOS Top

En el período de estudio, la producción mundial sobre Open Science (recogida con la metodología descrita) ha sido de 27.767 documentos. Se presentan a continuación los principales resultados obtenidos:

Evolución anual de la producción y principales productores

En valores absolutos destaca la producción de países como Estados Unidos y Reino Unido que, en conjunto, superan el 40% de las publicaciones sobre este tema. En la figura 1 se muestra la distribución por países señalando con color más oscuro los países más productivos y con tonos claros los de baja producción sobre Open Science.

Figura 1. Distribución de la producción sobre Open Science por países

Distribución de la producción sobre Open Science por países

[Descargar tamaño completo]

 

A partir del cálculo del índice de Actividad se ha detectado que hay países como: Sudáfrica, Finlandia, Canadá, Australia y Holanda que muestran una actividad intensiva en este tema (IA>1,7). En la tabla I se muestran los valores absolutos resaltando aquéllos con una importante actividad en este tema (IA>1) y, entre ellos, se encuentran España y Portugal (IA=1,27 y 1,64 respectivamente).

Tabla I. Distribución de la producción en Open Science frente al total de publicaciones en SCOPUS. Índice de actividad por país

Distribución de la producción en Open Science frente al total de publicaciones en SCOPUS. Índice de actividad por país

[Descargar tamaño completo]

 

Aportación de España y Portugal

Los documentos de la Península Ibérica sobre Open Science han sido 1273: 1016 corresponden a España y 291 a Portugal, 34 de ellos fueron publicados en colaboración entre ambos países. España ocupa la posición 7 del mundo por producción en este tema, mientras que Portugal se ubica en la posición 23. En ambos casos, aunque los valores absolutos del número de documentos resulten escasos, los dos países realizan una aportación al total mundial mayor de lo que cabría esperar. Esto se debe a que España publica un 3,65% de los documentos del mundo en Open Science, mientras que su aportación en toda la base de datos SCOPUS es del 2,8% del mundo. Asimismo, Portugal, aporta un 1,05% de los documentos mundiales sobre el tema frente a un 0,65% del mundo en todas las áreas (tabla II).

Tabla II. Distribución de la producción sobre Open Science y aportación de España y Portugal (SCOPUS 2000-2016)

Distribución de la producción sobre Open Science y aportación de España y Portugal (SCOPUS 2000-2016)

[Descargar tamaño completo]

 

Los documentos recuperados son textos muy recientes, ya que un 80% de los documentos se ha publicado a partir de 2012. Esto implica que la aportación de la producción de la Península Ibérica al total del mundo se haya incrementado notablemente, pasando del 0,45% en 2002 (primer año en que hay documentos en ambos países) al 5,6% en 2016. La máxima aportación se registra en 2015 donde los documentos de España y Portugal representan el 6,1% del mundo (Figura 2).

Figura 2. Evolución anual del número de documentos sobre Open Science de España y Portugal y aportación al total de la producción sobre el tema

Evolución anual del número de documentos sobre Open Science de España y Portugal y aportación al total de la producción sobre el tema

[Descargar tamaño completo]

 

En cuanto a las instituciones más productivas sobre Open Science, en España predominan las universidades públicas y los centros del Consejo Superior de Investigaciones Científicas. Destacan especialmente: Universidad Politécnica de Madrid, Universidad de Barcelona, Universidad Autónoma de Barcelona, Universidad de Granada, Universidad Politécnica de Valencia, Universidad Carlos III de Madrid y Universidad Complutense de Madrid. Algo similar ocurre en Portugal dado que predomina la producción de las universidades, especialmente la de Minho, Nova de Lisboa, Porto, Lisboa y Coimbra. En la figura 3 se puede apreciar la distribución geográfica de la producción que se concentra en las grandes ciudades de ambos países.

Figura 3. Distribución geográfica de los documentos sobre Open Science

Distribución geográfica de los documentos sobre Open Science

[Descargar tamaño completo]

 

Especialización temática de la producción

Considerando las áreas temáticas (disciplinas SCOPUS) en que se publican los documentos sobre Open Science, se aprecia que la producción de España se ha publicado en revistas de 26 áreas distintas y la de Portugal se recoge en 25. Las categorías que concentran mayor número de publicaciones son Computer Science y Social Science. Se puede advertir que las tendencias de la Península Ibérica difieren de la producción media del mundo en este tema con menor proporción de lo esperado de documentos en áreas como Medicine.

A partir de la distribución porcentual de la producción en cada país, frente a la distribución del mundo, se ha obtenido el Índice de Actividad por área temática. En la figura 4 se muestran aquellas áreas de especialización (IA>1) y las de menor intensidad (IA<1) pudiendo observar las diferencias entre ambos países.

Figura 4. Índice de actividad por área temática en la producción sobre Open Science

Índice de actividad por área temática en la producción sobre Open Science

[Descargar tamaño completo]

 

Si se consideran las revistas en las que se han publicado los documentos sobre Open Science de España, se advierte que esta producción se ha difundido en 137 revistas (con más de 1 documento). En el caso de Portugal se han detectado 26 títulos con más de 1 documento. En el primer caso, el 20% de los documentos se ha concentrado en las 10 primeras revistas. De ellas destacan “El Profesional de la Información” (5,4%); “Lecture Notes in Computer Science” (3,5% de los documentos) y “Revista Española de Documentación Científica” (1,3%). En el caso de Portugal la primera revista (“Lecture Notes in Computer Science”), incluye un 4,5% de los documentos. Le sigue “Procedia Computer Science”, con un 2% de la producción.

Utilizando las palabras clave de las publicaciones se han podido identificar los términos más frecuentes. En ambos países, los estudios de caso nacionales son un objeto de estudio bastante habitual dado que, tanto “España” como “Portugal”, son términos mencionados reiteradas veces. Entre las palabras clave relacionadas con Open Science, aquéllos vinculados con “open innovation”, “open data” y “open access” tienen una alta frecuencia de aparición en ambos países (tabla III).

Tabla III. Frecuencia de las palabras clave en los documentos sobre Open Science de España y Portugal (SCOPUS 2000-2016)

Frecuencia de las palabras clave en los documentos sobre Open Science de España y Portugal (SCOPUS 2000-2016)

[Descargar tamaño completo]

 

Otro de los aspectos a analizar es el idioma de los documentos. En España un 79% de las publicaciones fueron escritas en inglés, un 21% en idioma local (mayoritariamente español y en algún caso catalán) y se han registrado 4 publicaciones en portugués. En el caso de Portugal solo 16 publicaciones (5,5%) se han escrito en portugués siendo la amplia mayoría en inglés (94%).

Repercusión de las publicaciones en redes sociales

Tras la recuperación de documentos, se realizó la identificación de sus DOI para poder obtener los indicadores altmétricos. Se ha observado que un 79% de los documentos analizados tiene DOI. En el caso de España se han detectado documentos con indicadores altmétricos desde 2007 y en el caso de Portugal desde 2011. Considerando los porcentajes de publicaciones con indicadores altmétricos sobre el total de publicaciones en esos mismos años, los valores rondan el 38% en ambos países. En la tabla IV se pueden comprobar los valores para cada caso.

Tabla IV. Distribución idiomática de documentos sobre Open Science con DOI

Distribución idiomática de documentos sobre Open Science con DOI

[Descargar tamaño completo]

 

Entre las publicaciones que cuentan con indicadores altmétricos las más frecuentes son las menciones en post y Twitter (tweets) (89% y 87% de los documentos con altmétricos, respectivamente). Las menciones en Facebook, feeds, y sms, aunque son escasas, cuentan con una mayor proporción en el caso de Portugal (tabla V).

Tabla V. Distribución de indicadores altmétricos en las publicaciones sobre Open Science según tipo de fuente

Distribución de indicadores altmétricos en las publicaciones sobre Open Science según tipo de fuente

[Descargar tamaño completo]

 

La distribución de las menciones es muy variable dado que, aunque lo más frecuente es que haya pocos documentos con muchas menciones, también se han detectado documentos con más de 100 menciones. Lo más habitual es que esto ocurra en el caso de los post y los tweets. En la figura 5 se puede observar esta distribución para ambos países y se aprecia que, a pesar de que el volumen es diferente, existe un patrón de actividad similar.

Figura 5. Distribución de las menciones en redes sociales de las publicaciones sobre Open Science

Distribución de las menciones en redes sociales de las publicaciones sobre Open Science

[Descargar tamaño completo]

 

Se ha considerado también la relación entre el contenido y el tipo de acceso al documento. Así, se ha podido constatar que el 1,4% de los documentos de SCOPUS en el período estudiado son Open Access. Estos porcentajes ascienden al 3% en el caso de la producción sobre Open Science y son aún mayores en las publicaciones de la Península Ibérica sobre el tema (un 4,8% en España y un 6,8% en Portugal). El tipo documental más frecuente en las publicaciones es el artículo que, en promedio, presenta acceso abierto en un 5% de los casos. En la tabla VI se puede apreciar la distribución por tipo de documentos.

Tabla VI. Distribución de indicadores altmétricos en las publicaciones sobre Open Science según tipo documental

Distribución de indicadores altmétricos en las publicaciones sobre Open Science según tipo documental

[Descargar tamaño completo]

 

Al analizar la relación entre el tipo de acceso al documento y la repercusión en las redes sociales, se ha constatado que los documentos OA tienen mayor número de indicadores altmétricos que los otros. En España un 55% de los documentos OA cuentan con menciones en las redes sociales frente a un 34% con menciones pero sin acceso abierto. En Portugal la distancia entre ambos grupos es mayor ya que un 80% de los documentos OA tienen indicadores altmétricos, frente al 25% sin OA y con menciones en las redes (tabla VII).

Tabla VII. Relación entre documentos con acceso abierto e indicadores altmétricos en las publicaciones sobre Open Science

Relación entre documentos con acceso abierto e indicadores altmétricos en las publicaciones sobre Open Science

[Descargar tamaño completo]

 

Para la producción española se ha advertido que los documentos OA recibieron mayor número de citas que los otros (9,79 citas/doc versus 6,43 citas/doc); sin embargo en el caso de Portugal, la situación observada es la contraria (tabla VIII).

Tabla VIII. Relación entre acceso abierto e indicadores altmétricosy citas en las publicaciones sobre Open Science

Relación entre acceso abierto e indicadores altmétricosy citas en las publicaciones sobre Open Science

[Descargar tamaño completo]

 

La comparación entre el impacto bibliométrico tradicional y la repercusión en redes sociales, se ha realizado teniendo en cuenta, por un lado, las citas recibidas y, por otro, las menciones en diferentes canales de comunicación. A pesar de que pueda pensarse que los documentos con mayor presencia en las redes sociales suelen ser los más citados (y viceversa) no se aprecia una clara relación entre ambas dimensiones. En la figura 6 se muestra la relación entre citas y menciones en Twitter, el indicador altmétrico más habitual.

Figura 6. Relación entre citas y menciones en Twitter en las publicaciones sobre Open Science

Relación entre citas y menciones en Twitter en las publicaciones sobre Open Science

[Descargar tamaño completo]

 

 

4. DISCUSIÓN Top

Los resultados obtenidos como parte de este trabajo permiten inferir que el interés por la investigación relacionada con Open Science es bastante reciente, dado que es en los últimos 5 años en los que se concentra la mayor parte de la producción. Esto coincide con la puesta en marcha (desde 2011/2012) de diferentes políticas europeas e ibéricas, centradas en la promoción y consolidación del movimiento Open Science.

Entre los resultados obtenidos se ha observado que los grandes países productores científicos como Estados Unidos. y Reino Unido, son también los más productivos en este campo pero aparecen otros con una intensa actividad en el tema como Sudáfrica, Finlandia, Canadá, Australia y Holanda.

Esto puede explicarse por una serie de políticas desarrolladas en consonancia con la Open Science. En el caso de Finlandia, por ejemplo, la Open Science and Research Iniciative, auspiciada por el Ministerio de Educación y Cultura, tiene como objetivo la apertura y disponibilidad permanente de todos los resultados de investigación, con la intención de convertir al país en líder del acceso abierto (Finland, 2014Finland. The Ministry of Education and Culture’s Open Science and Research Initiative 2014–2017 (2014). The Open Science and Research Roadmap, Reports of the Ministry of Education and Culture, Finland, 2014:21. Accesible en: http://julkaisut.valtioneuvosto.fi/bitstream/handle/10024/75210/okm21.pdf.; Forsström y Haataja, 2016Forsström, P.; Haataja, J. (2016). Open Science as an Instrument for Effective Research. Signum, 2, 11-15. Accesible en: https://journal.fi/signum/article/view/58741.). Asimismo, la Academia de Finlandia recomienda la publicación en OA siempre que sea posible (Forsström y Haataja, 2016Forsström, P.; Haataja, J. (2016). Open Science as an Instrument for Effective Research. Signum, 2, 11-15. Accesible en: https://journal.fi/signum/article/view/58741.). Por su parte, Holanda, puso en marcha en 2017 el National Plan Open Science cuyos objetivos son promover el OA de publicaciones y datos para su uso y reutilización y también adoptar sistemas de evaluación y recompensa en el ámbito de la Open science (Netherlands, 2017Netherlands. Dutch Ministry of Education, Culture and Science (2017). National Plan Open Science. Accesible en: http://doi.org/10.4233/uuid:9e9fa82e-06c1-4d0d-9e20-5620259a6c65.). En el caso de Canadá, se ha desarrollado el Action Plan on Open Government 2.0 que permite un mayor acceso a los resultados de investigación científica financiada con fondos públicos y promueve una mayor colaboración entre el sector público y el privado (OECD, 2015OECD (2015). Making Open Science a Reality. OECD Science, Tecnology and Industy Policy Papers, 25. Paris: OECD Publications. http://doi.org/10.1787/5jrs2f963zs1-en.). El esfuerzo realizado por el gobierno de Sudáfrica en consonancia con la Open Science se ha visto reflejado, especialmente en sus políticas de OA. Es por ello que la UNESCO (2015UNESCO (2015). Concepts of Openness and Open Access. Open Access for Researchers. Paris: UNESCO. Accesible en: http://unesdoc.unesco.org/images/0023/002322/232207E.pdf.) analiza el crecimiento del OA en África, presentando el caso de este país como un ejemplo de apertura del conocimiento científico, a través del depósito en repositorios.

A nivel regional se ha podido comprobar que, aunque España es más productiva que Portugal, ambos países cuentan con una producción científica relevante en este tema, dado que aportan porcentajes mayores al promedio de producción considerando todos los campos del conocimiento. Esto no ocurre solamente con las publicaciones recogidas en SCOPUS, sino que la misma tendencia se evidencia en Web of Science (Clarivate Analytics, 2017Clarivate Analytics (2017). Web of Science database. https://clarivate.com/products/web-of-science/databases/.).

Al identificar las temáticas con mayor relación con la Open Science destacan Computer Science y Social Science. Esto resulta lógico al observar que muchas de las publicaciones analizan aspectos técnicos vinculados con el acceso abierto a la información, la interconexión de diferentes fuentes de datos, etc. Por otro lado, también cobran relevancia publicaciones sobre cuestiones que afectan a la sociedad como la participación ciudadana en los procesos de producción de nuevo conocimiento, la transparencia de la información o los cambios en la comunicación.

Se ha podido constatar, además, que las universidades son las instituciones que más documentos producen sobre Open Science, especialmente aquéllas que implementaron estrategias de promoción de la apertura científica, principalmente a través de la creación de repositorios institucionales, proyectos sobre Open Science, participación en redes para el desarrollo del OA, etc.

En España, el Recolector de Ciencia Abierta (RECOLECTA) agrupa a todos los repositórios científicos nacionales, teniendo el mismo papel el Repositório Científico de Acesso Aberto (RCAAP) en Portugal. Según los datos de OpenDOAR, Portugal cuenta actualmente con 55 repositorios y España con 133, en su mayoría pertenecientes a universidades. En términos de políticas de depósito obligatorias, Portugal cuenta con 26 (25 de ellas provenientes de universidades o centros de investigación), mientras que en España existen 39 (35 relacionadas con universidades o centros de investigación) (ROARMAP). A nivel institucional, la Fundación Española para la Ciencia y la Tecnología y la Universidade do Minho destacan como promotoras de Ciencia Abierta a través de su participación en proyectos como OpenAIRE, Confederation of Open Access Repositories (COAR) o Mediterranean Open Access Network (MedOANet).

El análisis de los indicadores altmétricos de cada publicación se realizó a partir del DOI. Esto permitió comprobar que la presencia en redes sociales alcanza al 38% de los documentos, valores superiores a los detectados en áreas como Física o Ingeniería en los que no supera el 21%. Asimismo, en otros campos como Plant Sciences ronda el 31% y es en Communication donde llega a un 43%. Algunos estudios previos en los que se analiza el impacto en redes sociales en todas las áreas, muestran que el porcentaje de publicaciones con indicadores altmétricos se suele situar entre el 15% y el 24% y son las Ciencias Sociales y las Humanidades las que presentan los valores más elevados. Una posible causa puede ser la relación existente entre el objeto de estudio y su impacto en redes sociales, dado que los temas relacionados con la comunicación de la ciencia parecen ser los de mayor repercusión en los social media (De Filippo y Sanz-Casado, 2018De Filippo, D.; Sanz-Casado, E. (2018). Bibliometric and Altmetric Analysis of Three Social Science Disciplines. Front. Res. Metr. Anal., 3, 34. https://doi.org/10.3389/frma.2018.00034.).

En cuanto al acceso abierto de los documentos, se ha evidenciado que la producción sobre Open Science se publica en OA en mayor porcentaje que en otros temas y, España y Portugal, presentan proporciones de documentos OA por encima de la media. Sin embargo, no deja de resultar llamativo que las proporciones de documentos OA sean tan escasas al tratar, justamente, temas de ciencia abierta. Se ha podido comprobar que la publicación en OA favorece la repercusión en redes sociales ya que los documentos en acceso abierto contaron con mayor número de menciones en diferentes medios, especialmente en tweets. Estos resultados coinciden con los observados por autores como Bruns y Stieglitz (2012Bruns, A.; Stieglitz, S. (2012). Quantitative Approaches to Comparing Communication Patterns on Twitter. Journal of Technology in Human Services, 30 (3-4). https://doi.org/10.1080/15228835.2012.744249.).

Aunque podría parecer que los documentos en acceso abierto tendrían también mayor impacto académico, sólo en el caso de España se ha verificado una relación positiva entre el OA y las citas recibidas. En este sentido, estudios previos como el de Swan (2010Swan, A. (2010). The open access citation advantage: studies and results to date. Accesible en:http://eprints.soton.ac.uk/268516/2/Citation_advantage_paper.pdf.) han mostrado que, en general, existe un incremento de las citas cuando se publica en OA. Por su parte, el trabajo de Gargouri afirma que el impacto del OA en la citación es satisfactorio, pero éste se incrementa más en artículos de revistas OA con un alto Journal Impact Factor (Gargouri y otros, 2010Gargouri, Y.; Hajjem, C.; Larivière, V.; Gingras, Y.; Carr, L.; Brody, T.; Harnad, S. (2010). Self-selected or mandated, open access increases citation impact for higher quality research. PloS one, 5 (10), e13636. Accesible en: http://dx.doi.org/10.1371/journal.pone.0013636.). Por su parte, McCabe & Snyder (2014McCabe, M. J.; Snyder, C. M. (2014). Identifying the Effect of Open Access on Citations Using a Panel of Science Journals. Economic Inquiry, 52 (4), 1284-1300.) plantean que, a pesar de existir una relación positiva entre los artículos OA y el número de citas recibidas, los valores obtenidos en su estudio son más modestos que los esperados. Otro trabajo que analiza el impacto de las publicacione OA por vía dorada muestra que en España este impacto es bajo, especialmente comparado con países como Reino Unido o Dinamarca (Torres-Salinas y otros, 2016Torres-Salinas, D.; Robinson-García, N.; Aguillo, I. (2016). Bibliometric and benchmark analysis of gold Open Access in Spain: big output and little impact. El profesional de la información, 25 (1), 17-24.). Según los autores el motivo podría deberse al hecho de que muchas publicaciones se difunden en revistas nacionales con un Journal Impact Factor menor. Esta situación también afecta a Portugal y puede ser aplicable a los resultados obtenidos en este estudio.

Tampoco se ha constatado relación entre el impacto tradicional (número de citas recibidas) y las menciones en redes sociales. En este sentido, según Holmberg y Thelwall (2013Holmberg, K.; Thelwall, M. (2013). Disciplinary differences in twitter scholarly communication. 14th International Society of Scientometrics and Informetrics Conference, Viena, 15-19 Julio.), los estudios que confirman una relación positiva entre las citas tradicionales y las menciones en redes sociales, se basan en revistas de élite. Según muestran los autores en el mencionado estudio, es posible asociar 6 de los 11 indicadores altmétricos estudiados a las citas tradicionales en las áreas de medicina y biología. Sin embargo, el estudio no demostró ninguna correlación entre las mismas.

Aunque los indicadores altmétricos pueden ofrecer información interesante para valorar la repercusión social de las publicaciones científicas, existen limitaciones que impiden detectar claras relaciones entre los diferentes indicadores. Entre ellas destaca el hecho de que los documentos analizados son muy recientes y esto reduce considerablemente su ventana de citación; asimismo, el reducido número absoluto de documentos con menciones en redes sociales, tampoco permite sacar conclusiones relevantes.

Es por ello que en estudios futuros se hará especial hincapié en el análisis del contenido de las publicaciones, utilizando técnicas de minería de textos para detectar posibles relaciones entre el tipo de contenido y su repercusión en las redes sociales.

 

5. CONCLUSIONES Top

Entre los aspectos más destacados del estudio podemos resaltar los siguientes:

 

6. AGRADECIMIENTOSTop

Los aspectos metodológicos desarrollados en este trabajo han sido realizados en el marco del Proyecto “Detección de nuevos frentes de investigación e innovación en Eficiencia Energética. Análisis de los flujos de conocimiento entre el ambito científico, la industria y la sociedad” (REF: CSO2014-51916-C2-1-R) financiado por el Ministerio Español de Economía y Competitividad (MINECO).

ACKNOWLEDGMENTs

Methodological aspects developed in this work have been carried out within the framework of the Project “Detection of new fronts of research and innovation in Energy Efficiency. Analysis of knowledge flows between the scientific field, industry and society” (REF: CSO2014-51916-C2-1-R) financed by the Spanish Ministry of Economy and Competitiveness (MINECO).

 

7. REFERENCIASTop

Bartling, S.; Friesike, S. (2014). Opening Science. The Evolving Guide on How the Internet is Changing Research, Collaboration and Scholarly Publishing. Springer. ISBN: 978-3-319-00025-1. https://doi.org/10.1007/978-3-319-00026-8
Bruns, A.; Stieglitz, S. (2012). Quantitative Approaches to Comparing Communication Patterns on Twitter. Journal of Technology in Human Services, 30 (3-4). https://doi.org/10.1080/15228835.2012.744249
Callon, M.; Courtial, J.P.; Penan, H. (1995). Cienciometría: la medición de la actividad científica: de la bibliometría a la vigilancia tecnológica. Gijón: Trea.
Castells, M. (1996). The Rise of the Network Society. The Information Age: Economy, Society and Culture. Vol. I. Cambridge, MA, Oxford: Blackwell.
Clarivate Analytics (2017). Web of Science database. https://clarivate.com/products/web-of-science/databases/
Codina, L.; Cortiñas, S.; Monistrol, R.; Pérez-Montoro, M. (2014). Web of Science versus Scopus para estudios en Comunicación: Propuesta de sistema de análisis y resultados. Textual & Visual Media, 7, 137-162.
da Silva, P. (2017). As Políticas de Open Data em Portugal: análise da sua implementação e impacto. Departamento de Filosofía, Comunicación e Información, Facultad de Letras, Universidad de Coimbra. Tesina de la Maestría en Ciencias de la Información.
De Filippo, D.; Sanz-Casado, E. (2018). Bibliometric and Altmetric Analysis of Three Social Science Disciplines. Front. Res. Metr. Anal., 3, 34. https://doi.org/10.3389/frma.2018.00034
Directory of Open Access Journals (DOAJ) (2017). Search. Accesible en: https://doaj.org/ [Consultado a 10-03-2018].
España. Ministerio de Economía, Industria y Competitividad, Secretaría de Investigación, Desarrollo e Innovación (2017). Plan Estatal de Investigación Científica y Técnica y de Innovación 2017-2020. Accesible en: http://www.idi.mineco.gob.es/stfls/MICINN/Prensa/FICHEROS/2018/PlanEstatalIDI.pdf
EUR-Lex (2012). COMMISSION RECOMMENDATION of 17 July 2012 on access to and preservation of scientific information (2012/417/EU). Official Journal of the European Union, 39-43. Accesible en: https://publications.europa.eu/en/publication-detail/-/publication/48558fc9-d4c8-11e1-905c-01aa75ed71a1
European Commission (2016a). Europa líder mundial da economia baseada nos dados, graças à iniciativa europeia para a computação em nuvem. Comunicado de imprensa. Accesible en: http://europa.eu/rapid/press-release_IP-16-1408_pt.htm
European Commission (2016b). Open innovation, Open Science, open to the world. A vision for Europe. Brussels: European Commission, Directorate-General for Research and Innovation. Accesible en: http://bookshop.europa.eu/en/open-innovation-open-science-open-tothe-world-pbKI0416263/
European Commission. Dirección General de Investigación e Innovación (2017). Open Science Monitor. Accesible en: http://ec.europa.eu/research/openscience/index.cfm?pg=about&section=monitor
European Union (2013). Regulamento (UE) Nº 1291/2013 do Parlamento Europeu e do Conselho de 11 de dezembro de 2013. Jornal Oficial da União Europeia. Accesible en: http://ec.europa.eu/research/participants/data/ref/h2020/legal_basis/fp/h2020-eu-establact_pt.pdf
Finland. The Ministry of Education and Culture’s Open Science and Research Initiative 2014–2017 (2014). The Open Science and Research Roadmap, Reports of the Ministry of Education and Culture, Finland, 2014:21. Accesible en: http://julkaisut.valtioneuvosto.fi/bitstream/handle/10024/75210/okm21.pdf
Forsström, P.; Haataja, J. (2016). Open Science as an Instrument for Effective Research. Signum, 2, 11-15. Accesible en: https://journal.fi/signum/article/view/58741
FOSTER (2016). Open Science Definition. Accesible en: https://www.fosteropenscience.eu/taxonomy/term/100
Gargouri, Y.; Hajjem, C.; Larivière, V.; Gingras, Y.; Carr, L.; Brody, T.; Harnad, S. (2010). Self-selected or mandated, open access increases citation impact for higher quality research. PloS one, 5 (10), e13636. Accesible en: http://dx.doi.org/10.1371/journal.pone.0013636
Holmberg, K.; Thelwall, M. (2013). Disciplinary differences in twitter scholarly communication. 14th International Society of Scientometrics and Informetrics Conference, Viena, 15-19 Julio.
Kramer, B.; Bosman, J. (2016). Innovations in Scholarly Communication. Accesible en: https://101innovations.wordpress.com/ [consultado el 24-05-2018].
Leonelli, S.; Spichtinger, D.; Prainsack, B. (2015). Sticks and carrots: encouraging open science at its source. Geography and Environment, 2, 12-16. Accesible en: http://onlinelibrary.wiley.com/enhanced/exportCitation/doi/10.1002/geo2.2
LERU (League of European Research Universities) (2018). Open Science and its role in universities: A roadmap for cultural change. Advice paper 24. Accesible en: https://www.leru.org/publications/open-science-and-its-role-in-universities-a-roadmap-for-cultural-change
Machado, J. (2015). Open Data and Open Science. En: Albagli, S.; Maciel, M.; Abdo, A. (eds.), Open Science, Open Issues. Brasília: IBICT; Rio de Janeiro: Unirio, pp. 189-214. Accesible en: http://livroaberto.ibict.br/bitstream/1/1061/1/Open%20Science%20open%20issues_Digital.pdf
McCabe, M. J.; Snyder, C. M. (2014). Identifying the Effect of Open Access on Citations Using a Panel of Science Journals. Economic Inquiry, 52 (4), 1284-1300.
Mohammadi, E.; Thelwall, M. (2013). Assessing the Mendeley readership of social sciences and humanities research. 14th International Society of Scientometrics and Informetrics Conference, Viena, 15-16 Julio.
Moya-Anegón, F. de; Chinchilla-Rodríguez, Z.; Vargas-Quesada, B.; Corera-Álvarez, E.; Muñoz-Fernández, F.L.; González-Molina, A.; Herrero-Solana, V. (2007). Coverage analysis of Scopus: A journal metric approach. Scientometrics, 73 (1), 53-78. https://doi.org/10.1007/s11192-007-1681-4
Netherlands. Dutch Ministry of Education, Culture and Science (2017). National Plan Open Science. Accesible en: http://doi.org/10.4233/uuid:9e9fa82e-06c1-4d0d-9e20-5620259a6c65
OECD (2015). Making Open Science a Reality. OECD Science, Tecnology and Industy Policy Papers, 25. Paris: OECD Publications. http://doi.org/10.1787/5jrs2f963zs1-en
OpenAIRE (2017). About OpenAIRE-Connect. Accesible en: https://www.openaire.eu/connect
Portugal. Ministério da Ciência, Tecnologia e Ensino Superior (MCTES) (2016). Ciência Aberta, Conhecimento para todos: Princípios orientadores. Accesible en: https://www.fosteropenscience.eu/content/ciencia-aberta-conhecimento-para-todos
Research Information Network (2010). Open science case studies. Acesible en: http://www.rin.ac.uk/system/files/attachments/RINews_Issue_11_0.pdf
ROAD: the Directory of Open Access Scholarly Resources. Acesible en: http://www.issn.org/the-issn-international-is-pleased-to-introduce-road/ [Consultado a 10-03-2018].
STEPS América Latina (2016). Ciencia abierta, colaborativa y alternativa: un camino para resolver problemas de desarrollo.
Swan, A. (2010). The open access citation advantage: studies and results to date. Accesible en:http://eprints.soton.ac.uk/268516/2/Citation_advantage_paper.pdf
Torres-Salinas, D.; Robinson-García, N.; Aguillo, I. (2016). Bibliometric and benchmark analysis of gold Open Access in Spain: big output and little impact. El profesional de la información, 25 (1), 17-24.
UNESCO (2015). Concepts of Openness and Open Access. Open Access for Researchers. Paris: UNESCO. Accesible en: http://unesdoc.unesco.org/images/0023/002322/232207E.pdf