Este estudio analiza las actitudes y percepciones sobre revistas de acceso abierto de los evaluadores de la carrera científica en Argentina, focalizándose en diferencias por rango de edad, áreas temáticas e instituciones de pertenencia. Los resultados muestran que los evaluadores mantienen opiniones y actitudes tradicionales tanto en la elección de la revista donde publican, como en la evaluación de la producción de sus pares. Se valoran: la revisión por pares, el prestigio de la editorial o editor responsable de la revista, el factor de impacto y la indización en índices internacionales y regionales. El modelo de acceso abierto de la revista no aparece como factor clave ni en la publicación ni en la evaluación de los investigadores. La valoración positiva de publicar en AA aumenta con la edad de los evaluadores. Resulta prometedor que un 61% de los evaluadores haya publicado al menos un artículo en estas revistas en los últimos cinco años y éstos le otorgan mayor importancia a ese factor cuando evalúan a sus pares.
This study analyzes attitudes and perceptions of open access publishing among researchers who evaluate scientific careers in Argentina, focusing on differences in age range, thematic area and institution affiliation. The results indicate that evaluators maintain traditional attitudes and opinions in both the choice of the journal where they themselves publish and the process of evaluating the research output of their peers. The journal peer-review process, publishing prestige, impact factor and presence in international and regional indexes are highly valued. But the open access journal model is not considered as a key factor in either their decisions about their own publications or in their evaluation of other researchers. The positive opinion about publishing in OA increases with the evaluator’s age. It is promising that 61% of evaluators have published at least one open access article in the last five years and they give greater importance to this aspect when evaluating their peers.
El acceso abierto (AA) en el marco de la comunicación científica ha sido un tema de interés creciente en la comunidad académica desde la declaración de Budapest Open Access Initiative (BOAI) en 2002. Desde entonces, el concepto se ha extendido y hoy abarca tanto a las publicaciones científicas como a los datos de investigación (research data) y a los datos producidos por instituciones públicas (open data) y, en menor medida, al sector privado. La atención sobre el tema se debe a diversos factores pero, sin duda, uno de los más importantes ha sido el apoyo al movimiento de ciencia abierta de los gobiernos, las universidades, las agencias que financian la investigación y otros organismos internacionales como la OCDE (OECD,
La revisión de la declaración de Budapest (BOAI) que se hizo diez años después, reafirmó la definición de AA presentada originalmente:
Se ratificaron además las dos estrategias del AA propuestas en la declaración original: a través del depósito de las publicaciones en repositorios (ruta verde) y a través de revistas (ruta dorada). Desde entonces, el número de documentos en AA a través de ambas vías no ha parado de crecer. Algunos estudios demuestran como en la producción científica mundial, medida a través de la Web of Science (WoS), el porcentaje de artículos en AA ha pasado del 3% en 2004 hasta el 11% en 2013 (Torres-Salinas y Orduña-Malea,
En la Unión Europea, en el Séptimo Programa Marco se realizó un experimento piloto con proyectos financiados por la Comisión Europea en diversas áreas del conocimiento en las cuales las publicaciones resultantes de esos proyectos debían depositarse en un repositorio de AA, y en el actual programa marco Horizon 2020 este requisito se ha ampliado a todas las disciplinas, incluyendo una prueba piloto con datos de investigación en áreas específicas (Melero y Hernández-San-Miguel,
El avance del movimiento de AA ha dado lugar a numerosos estudios sobre el conocimiento y las actitudes de los investigadores frente a los desafíos que plantean los nuevos modelos de publicación y acceso a la literatura científica, y sobre cómo ello impacta en las prácticas de comunicación de los resultados de sus investigaciones. En este apartado se dará cuenta de los resultados relativos a revistas de AA.
Una exhaustiva revisión de antecedentes permite apreciar que de las numerosas encuestas y entrevistas realizadas a investigadores de diversas instituciones y países en el período 2004-2016, los análisis y conclusiones giran en torno a tres cuestiones centrales. Por un lado, sobre los factores que tienen en cuenta los investigadores a la hora de elegir una revista dónde publicar. Por otro, sus percepciones sobre los beneficios de publicar en revistas AA, y finalmente, las razones y preocupaciones que los llevan a no hacerlo.
Respecto de la primera cuestión, varios estudios concluyen que la revisión por pares y el prestigio y la relevancia de las revistas son los principales factores que influyen en la elección sobre donde publicar (Coonin y Younce,
La adecuación de la revista a la audiencia y la eficacia para llegar a los lectores son otros aspectos considerados (Rowlands y otros,
Entre los numerosos beneficios que visualizan los investigadores sobre la publicación en AA destacan: el acceso gratuito para todos los lectores (Swan y Brown,
Por el contrario, entre los aspectos negativos y preocupaciones que los investigadores tienen en relación a la publicación en AA aparece: el desconocimiento de revistas de AA en su área disciplinar (Xia,
Mientras la mayoría de los estudios analizan los conocimientos y opiniones de investigadores en su rol de productores de conocimiento, este trabajo, que sigue la línea de Bongiovani y Gómez,
El objetivo de esta investigación es determinar qué conocimientos, percepciones y actitudes tienen sobre la publicación en revistas de AA los investigadores que integran comités evaluadores en distintas áreas temáticas, grupos etarios e instituciones de pertenencia del sistema científico académico argentino. Se espera responder:
¿Qué conocimientos, opiniones y actitudes tienen respecto del AA los investigadores evaluadores del sistema científico académico argentino?
¿Cuáles son los aspectos más valorados en la evaluación de la producción científica de sus pares evaluados, y qué lugar ocupan los factores relacionados con el AA?
¿Existen diferencias en la valoración según la edad, el área disciplinar y la institución de pertenencia de los evaluadores?
¿En qué medida sus preferencias como investigadores a la hora de elegir las revistas donde publicar parecen incidir en sus opiniones como evaluadores?
En materia de políticas públicas en ciencia y tecnología en Argentina, una gran parte de las actividades de investigación es llevada a cabo en las Universidades Nacionales en el marco del Programa de Incentivos a Docentes Investigadores. Los docentes investigadores que aspiran a obtener una categoría en dicho Programa (desde la categoría V, de ingreso, a la I) son evaluados por los pares que integran el Banco de Evaluadores, organizado por disciplina y constituido por docentes-investigadores de mayor categoría (I o II) y trayectoria en su área temática. Algunos de estos docentes investigadores tienen doble dependencia institucional, pudiendo pertenecer también al Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET), uno de los organismos de financiamiento y ejecución de la investigación más importante del país, altamente vinculado al sistema universitario.
Las publicaciones científicas que resultan de las actividades de investigación son uno de los aspectos que se evalúan, tanto en el ingreso y la promoción de la categorización como en la evaluación de proyectos e informes de resultados. La publicación en revistas solamente se discrimina en con o sin revisión por pares, asignando puntuaciones diferentes a ambas categorías dentro de la evaluación (Ministerio de Educación y Deportes,
Se realizó una encuesta a docentes investigadores miembros del Banco de Evaluadores disponible en el sitio web del Ministerio de Educación y Deportes de la Nación. El instrumento de recolección de datos fue un cuestionario de preguntas cerradas y abiertas distribuido durante los meses de junio y julio de 2013 a través del gestor de encuestas online Survey Monkey. Se enviaron solicitudes a 5538 evaluadores de todas las áreas temáticas y se obtuvieron 1.086 respuestas (tasa de respuesta del 19,6%). La muestra fue representativa en cuanto a áreas temáticas y universidades, manteniendo los porcentajes poblacionales a excepción de la Universidad de Buenos Aires que quedó sub-representada.
Un 59% de los evaluadores declaró conocer iniciativas de AA y un 41% no, siendo los más jóvenes quienes tienen un mayor conocimiento de este tipo de iniciativas. Asimismo, se observan diferencias de acuerdo en las áreas temáticas (
La
Si bien la mayoría de los evaluadores (64%) indicó que AA significa acceso gratuito para los lectores, todavía hay un porcentaje que desconoce esta característica. Se notaron variaciones por áreas temáticas, con porcentajes de conocimiento más altos en física, astronomía y geofísica (78%) y más bajos en economía, administración y contabilidad (32%).
En promedio, el 42% de los encuestados consideró falsa la afirmación de que las revistas AA son menos prestigiosas que las basadas en suscripción, un 24% consideró que son menos prestigiosas y un 34% no sabe o no tiene opinión sobre este aspecto. Se observan marcadas diferencias por áreas temáticas: un 64% en educación y 63% en artes dicen que las revistas AA no son menos prestigiosas. Por el contrario, un 45% de los encuestados en ingeniería y un 42% en física, astronomía y geofísica considera que sí lo son.
Que la condición de AA de las revistas se relacione con un más bajo factor de impacto fue considerado falso por el 34%, en tanto el 39% no sabe o no tiene opinión. También hay notables diferencias según los campos temáticos. En las áreas de antropología, sociología y ciencias políticas (57%) y en psicología (50%) se considera falsa esta afirmación, a diferencia de ingeniería (42%), ciencias de la tierra, el mar y la atmósfera (42%) y química, bioquímica y farmacia (38%) que lo considera verdadero.
Ante la afirmación “Publicar en revistas AA es valorado positivamente en las evaluaciones para el avance en la carrera del investigador” resulta llamativo que el 48% de los investigadores evaluadores haya optado por la opción “no sabe/no tiene opinión”. Mientras un 22% dice que es verdadera y un 29%, que es falsa. Las diferencias de acuerdo a las áreas también son notables, siendo en artes, economía, administración y contabilidad donde aparece mayor valoración, mientras en matemáticas e ingeniería un 47% considera esta afirmación falsa (
Al momento de decidir dónde publicar, el “Prestigio / Calidad de la revista” es considerado muy importante para el 82% de los investigadores evaluadores (
La “Relevancia de la revista para la comunidad y/o región” también es muy importante para un 64% de los encuestados, aunque se ven diferencias de acuerdo al centro de investigación de pertinencia. Esto podría relacionarse con el mayor conocimiento de las iniciativas regionales de AA como Scielo (81%), Latindex (60%) y Redalyc (55%), por sobre otras más globales OJS (49%), o DOAJ (28%), entre otras.
Para el 64% de los encuestados el “Factor de impacto de la revista” es el segundo aspecto considerado muy importante, con variaciones según el rango etario, disminuyendo su importancia en el grupo de mayor edad. Aquí se ven diferencias de acuerdo a la institución de pertenencia de los investigadores, siendo de mayor peso para los que pertenecen al CONICET (68%). La ausencia de gastos de publicación (por ejemplo: gastos por el envío, gastos por cada página publicada, gastos por imprimir páginas en color, etc.) es muy importante para un 57% de los investigadores, ascendiendo a 69% en el caso de los más jóvenes (35-44 años). Asimismo, es muy importante para un 62% de los que pertenecen a CONICET y para un 52% de los que solo pertenecen al consejo de investigación de su universidad.
La importancia de la revista para la promoción académica es muy importante para un 51% y algo importante para un 39% de los encuestados. Si bien el número de evaluadores jóvenes encuestados es bajo, se observan marcadas diferencias por rango de edad: es muy importante para un 67% de los investigadores de la franja etaria de 35-44 años, mientras que es muy importante solo para un 35% de los investigadores de 65 años o más. Asimismo, también se ven diferencias de acuerdo a la pertenencia institucional de los investigadores, con aquellos pertenecientes a CONICET otorgándole un peso mayor a este factor.
Que la revista sea AA es muy importante, en promedio, solo para un 16% y algo importante para un 42%. Además, un 41% considera que no es importante al momento de elegir la revista para publicar su trabajo. Aquí también hay diferencias por edad, siendo los del rango de mayor edad los que más valoran esta modalidad de publicación con un 23%, mientras los más jóvenes consideran que este modelo no es importante en un 52%. (
Un 58% de los investigadores pertenecientes a CONICET consideran que no es importante que la revista sea de AA a la hora de publicar. Se observan diferencias de acuerdo a la disciplina de los evaluadores. En matemáticas (70%) y en física, astronomía y geofísica un 63% lo consideran no importante. En psicología es muy importante para el 47% y algo importante para el 42% y en educación muy importante para el 32% y algo importante para el 48%.
Un 61% de los investigadores evaluadores ha publicado al menos un artículo en revistas de AA en los últimos cinco años, con un 10% que no sabe y un 28% que no ha publicado artículos en estas revistas (
A los investigadores-evaluadores que no publicaron en AA se les consultó las razones, y un 52% respondió que prefiere publicar en revistas tradicionales o conocidas en su especialidad. Un 45% desconocía revistas de AA en su especialidad. Un 17% dijo que la próxima vez publicará en estas revistas (
El análisis por edad revela que los investigadores de 55-64 años son los que más desconocen las revistas de AA. Un 92% de los investigadores pertenecientes a CONICET que no publicaron en AA, consideran que las revistas de AA en su especialidad no son de buena calidad.
Un 92% de los investigadores que evalúan las publicaciones de un docente investigador consideran muy importante que la revista tenga revisión por pares. Igualmente, el prestigio del editor o equipo editorial que publica la revista científica es muy importante para el 60% de los evaluadores, en tanto un 35% lo consideró algo importante. El factor de impacto de la revista resulta muy importante al momento de evaluar para un 51% y algo importante para el 40%. La indexación de la revista en bases de datos aparece como un factor importante; que esté indexada en Web of Science es muy importante para un 51%, en SCOPUS para el 44%, y en bases de datos específicas para un 40% (
Publicar en revistas de AA es muy importante en la evaluación para solo un 17%, algo importante para un 39% y no importante para un 44% de los investigadores evaluadores. Si se analiza esta variable por rango de edad, el AA adquiere más importancia a medida que avanza la franja etaria (
Que la publicación sea de AA es muy importante para un 26% de los investigadores que pertenecen a consejo de investigaciones de su universidad, mientras que no es importante para un 28% de este grupo. De los que pertenecen a CONICET solo un 7% lo considera muy importante, mientras que un 62% considera que no es un factor importante. Aquellos que más artículos han publicado en AA le otorgan mayor importancia a este factor al evaluar a sus pares.
Si se hace una comparación por áreas temáticas se observa que las áreas de matemáticas, biología, química, bioquímica y farmacia, junto con física, astronomía y geofísica son las que menor importancia le otorgan a la publicación en revistas de AA tanto en la evaluación como en la publicación (
Con el fin de garantizar una mayor accesibilidad de la literatura científica un 61% de los evaluadores señalaron la publicación en revistas de AA como recomendado y solo el 7% lo señala como obligatorio (
En general, los evaluadores del sistema científico-académico argentino siguen manteniendo criterios tradicionales para la evaluación de las revistas donde publican sus pares. El prestigio y la calidad de la revista y de la editorial encabezan la lista de características más importantes, seguido de la relevancia de la revista para la comunidad y/o región. En tercer lugar, el factor de impacto, y en cuarto, la indización en índices internacionales, y luego regionales. Con algunas variantes según las disciplinas, en general, estos aspectos también son los más relevantes en su rol de investigadores a la hora de elegir revistas donde van a comunicar los resultados de sus investigaciones. Los resultados coinciden parcialmente con hallazgos de estudios previos a nivel internacional (Coonin y Younce,
Una de las primeras conclusiones a las que se puede arribar en este trabajo es que, para evaluar la producción de sus pares, los evaluadores siguen criterios semejantes a los que tienen como investigadores al momento de elegir las revistas donde publicar.
No sorprende que la modalidad de AA no aparezca como un factor clave ni en la publicación ni en la evaluación. Si bien en Argentina existe una ley (Ley N. 26899,
Todavía existe un desconocimiento sobre una de las características definitorias de las revistas de AA como es la gratuidad para los lectores, tal como muestra el estudio de Rodríguez (
Aunque el AA no aparece como un factor importante, destaca el hecho de que más de la mitad de los evaluadores informa haber publicado al menos un artículo en abierto en los últimos cinco años. Y los que lo han hecho, le otorgan mayor importancia a este factor cuando evalúan a sus pares; por lo que, una segunda conclusión a la que permite arribar este estudio es que el haber publicado en revistas AA parece influir positivamente al momento de evaluar la publicación en estas revistas. En otras palabras, se puede pensar que si se conoce y se utiliza esta modalidad de publicación aumentará su valoración positiva al momento de evaluar.
Por otro lado, a medida que aumenta la edad de los evaluadores más peso otorgan al modelo de AA de la revista. Si bien la muestra de evaluadores jóvenes fue baja, se notó que tienen mayores conocimientos sobre la modalidad de publicación en AA, pero priorizan otros aspectos a la hora de publicar y evaluar. Esto coincide con estudios previos (Harley y otros,
Del análisis a nivel de áreas temáticas se puede concluir que la diversidad de conocimientos, opiniones y actitudes que los evaluadores tienen respecto del AA, además de estar influenciadas por tradiciones disciplinares, también lo están por la pertenencia institucional de los investigadores que forman los comités de evaluación, habiendo diferencias entre aquellos que solo están en el sistema universitario, que otorgan más importancia a la publicación en AA, respecto de los que pertenecen a CONICET. Esto podría deberse a que ese organismo, por tradiciones disciplinares mayormente vinculadas a las ciencias exactas y naturales mantiene criterios que privilegian el factor de impacto de las revistas y su indización en bases de datos internacionales. No obstante cabe señalar que en el área de ciencias sociales y humanidades los criterios son más amplios, y recientes normativas impulsan calificar positivamente a revistas incluidas en portales regionales como SciELO, Redalyc, luego de las tradicionales Web of Science, Scopus y otras especializadas (CONICET,
Siendo la revisión de pares el único criterio de valoración definido de antemano en las pautas de evaluación de revistas del sistema universitario público argentino, no es de extrañar que este sea el aspecto más valorado como garantía de calidad de las revistas. Resulta alentador el hecho de que cerca de la mitad de los investigadores evaluadores considere que las revistas de AA son tan prestigiosas como las tradicionales de suscripción. Esto se distancia de lo señalado en estudios previos, donde se consideraba menos prestigiosas a las revistas AA (Harley y otros,
Es importante tener en cuenta que muchas revistas de acceso abierto aplican un proceso de revisión por pares en donde se privilegian los aspectos metodológicos sobre el de los resultados e impacto del artículo, como es el caso de las megarevistas, lo que puede evidenciarse en las citas posteriores, o en indicadores altmétricos de impacto en la web social como vistas, descargas, menciones en blogs y en redes sociales. En la medida en que estos aspectos no sean tomados en cuenta en la evaluación, difícilmente se podrá dar cuenta de si hay o no diferencias en favor de un modelo de acceso u otro, y esto quedará librado a elecciones que tienen que ver más con opiniones sobre beneficios, que sobre beneficios concretos en el retorno de la inversión de la investigación y en la valoración que la propia comunidad científica y la sociedad en general hagan de las posibilidades que otorga el acceso abierto a los conocimientos.
A modo de conclusión final, uno de los principales desafíos en la evaluación de la ciencia parece ser una mirada más amplia por parte de los evaluadores en torno a los criterios a privilegiar en la valoración de la producción científica. Es evidente que el AA no es por ahora un factor relevante. El hecho de no estar incluido en los criterios de evaluación es una clara demostración. No obstante, al entender de los autores de este trabajo, no se debe reducir la visibilidad de los beneficios del AA a publicar en revistas de acceso abierto. Claramente la difusión por la vía verde a través de repositorios digitales es la opción que un 82% de los evaluadores consideró que se debería incluir en los parámetros de evaluación, ya sea como obligación o recomendación. Como señalara Harnad (Harnad y otros,