Las investigaciones recientes muestran la diversidad de modelos de evaluación que se identifican en Europa en estos momentos (Ochsner y otros, 2017b). Esa diversidad viene dada por distintas variables como la centralización o descentralización de los modelos, la disponibilidad de información sobre producción científica a nivel institucional, regional o de país, la mayor o menor consideración de las prácticas de investigación en las distintas disciplinas o la inclusión de una o más dimensiones de la investigación en esos procesos de evaluación. Lo cierto es que muchos de ellos tienen como objeto principal de evaluación las publicaciones científicas. No solo son el resultado más tangible y mensurable de la actividad científica. También pueden considerarse la punta del iceberg: donde hay publicaciones, hay investigación, difusión, innovación o redes de colaboración.

Quizá pueda hacerse una primera distinción en los modelos, entre aquellos países que tienen sistemas de información científica nacionales (Current Research Information Systems) que reúnen el conjunto de la producción científica y aquellos que no lo tienen. Países como Noruega, Finlandia, Dinamarca o la región de Flandes (Bélgica) han construido CRIS que les permiten tener recogida la totalidad de la producción científica del país/región. También la plataforma Lattes6 de Brasil puede considerarse un sistema de información científica a nivel nacional. Al tener datos completos de la producción científica es posible realizar evaluaciones en contexto. El punto de partida del sistema de evaluación es lo producido por un país; a partir de ahí se pueden identificar patrones de publicación de las distintas disciplinas y aplicar valoraciones y/o ponderaciones de los canales de publicación, básicamente revistas y editoriales académicas de libros (Giménez-Toledo y otros, 2016). Las categorizaciones o niveles que se asignan a la producción científica son elaboradas por paneles de expertos a partir de información generada por grupos de investigación y asociaciones de editores.

Es importante recalcar que, de partida, se tiene en cuenta toda la producción científica y no se valora solo una pequeña fracción visible en bases de datos internacionales como Web of Science (Clarivate Analytics) o Scopus (Elsevier). Esto marca una diferencia fundamental. En muchos otros países, el modelo ha sido (o es) a la inversa: no existen bases de datos nacionales, los investigadores envían a las agencias de evaluación sus currículos para ser valorados y entonces pueden darse dos situaciones.

La primera de ellas, bastante extendida hasta hace poco tiempo, reconoce prioritariamente la producción científica recogida en las grandes bases de datos comerciales Web of Science y Scopus. Esa producción científica está limitada a la selección de fuentes que hacen los productores y fundamentalmente son artículos de revistas científicas y libros de un conjunto muy acotado de editoriales académicas. Resulta necesario recordar aquí las limitaciones que produce la evaluación realizada con estas fuentes. Son innumerables los estudios que muestran los sesgos de estas bases de datos y las consecuentes dificultades para evaluar la producción en Humanidades y Ciencias Sociales. Uno de los últimos (Gingras y Khelfaoui, 2017) muestra cómo las citas favorecen a los países con una relación más cercana a Estados Unidos. Pero ya solo en la distribución geográfica de las revistas y editoriales que se seleccionan se aprecia lo incompletas que resultan las fuentes para evaluar la producción científica de un país. Solo por poner un ejemplo: un reciente estudio de la producción científica dominicana revela que la producción científica del país visible en las bases de datos internacionales representa solo el 49% de lo producido. Es decir, que un 51% permanece invisible si no se consideran otras fuentes (Riggio, 2017). En consecuencia, cuando se decide evaluar utilizando única y exclusivamente estas fuentes de información, no solo se está minusvalorando gran parte de la actividad desarrollada por los investigadores del país, sino que se le quita importancia a la investigación que puede ser más útil para la región o el país, que es normalmente la que queda fuera de las bases de datos internacionales.

La segunda de ellas se refiere a procesos de evaluación no respaldados por un CRIS pero sin que ello implique una evaluación pobre o limitada de las publicaciones. De hecho, en los últimos años puede constatarse cómo algunos ejercicios de evaluación nacionales evalúan la producción científica utilizando fuentes de indicadores diversas. Así, por ejemplo, además de WoS o Scopus, se consideran bases de datos como ERIH Plus (European Reference Index for the Humanities en su última versión) u otras categorizaciones de revistas de ámbito internacional; también se tienen en cuenta bases de datos o índices nacionales que estudian las características de las revistas científicas de un país. Son los casos de las listas de canales de publicación del sistema BFI/BRI, Bibliometric Research Indicator en Dinamarca7, las del sistema finés categorizadas por el Julkaisufoorumi8, las del sistema noruego realizadas por el Norwegian Register for Scientific Journals, Series and Publishers9 o las del sistema de evaluación de la Región de Flandes, en Bélgica, a través del la Base de Datos Bibliográfica Académica Flamenca para las Ciencias Sociales y las Humanidades o VABB-SHW10. E incluso en algunos casos como el español, se mencionan fuentes de información sobre editoriales de libros académicos como Scholarly Publishers Indicators (SPI)11 o etiquetas de calidad para colecciones (CEA/APQ)12.

Rankings, categorizaciones o etiquetas de calidad para libros y revistas científicas son herramientas que intervienen casi en cualquier proceso de evaluación. De alguna manera, el uso de estas fuentes constata la necesidad de apoyar las decisiones sobre producción científica en indicadores objetivos. Probablemente el uso que se hace de esas herramientas es lo más controvertido. Los indicadores sobre publicaciones deberían utilizarse siempre en combinación con el criterio de los expertos en la materia. Esta ha sido siempre la regla de oro de la Bibliometría. Sin embargo, en ocasiones se simplifican y automatizan en exceso en los procesos de evaluación, haciendo traducciones automáticas del valor de una contribución científica en función de la posición de una revista o una editorial en un ranking. Los indicadores de publicaciones deben aportar información sólida y útil al experto, pero no determinar el resultado definitivo de la evaluación. “Metrics should support, not supplant, expert judgement” es la conclusión de The Metric Tide (Wilsdon y otros, 2015), un informe independiente sobre las métricas en la evaluación científica.

La ausencia de CRIS impide tener un conocimiento detallado de los niveles de producción por disciplinas científicas, de los índices de coautoría o colaboración internacional, de la relevancia de los distintos canales de publicación o de los idiomas utilizados para la transmisión del conocimiento científico. En definitiva, impide tener los datos de contexto a nivel de país sobre los patrones de comunicación de las distintas disciplinas. Bien es cierto que, en ocasiones, no hay sistemas de información nacionales pero sí institucionales. Estos sistemas, repositorios o bases de datos diseñadas especialmente para el seguimiento de la producción científica en una institución, permiten disponer de información precisa para la evaluación en una universidad o un centro de investigación en particular (De Filippo y otros, 2011; Reale y otros, 2011). Así, por ejemplo, el Consejo Superior de Investigaciones Científicas (CSIC) de España cuenta con el sistema de información ConCiencia, mientras que una buena parte de las universidades españolas trabajan con el software Universitas XXI para el seguimiento de su producción científica, entre otras cosas.

Por otra parte, en los procesos de evaluación a escala nacional de países que no cuentan con CRIS, los distintos comités o paneles de expertos tienen más o menos definido ese contexto pero no hay datos que confirmen los patrones de publicación y su evaluación a lo largo del tiempo. Además, al priorizarse la producción recogida en las bases de datos internacionales, se otorga un carácter secundario a la investigación más cercana al territorio y que puede tener un impacto social –no solo académico- en la comunidad más cercana.

En este sentido, se favorece la publicación internacional (entendiendo “internacional” en un sentido restrictivo pues es lo seleccionado por los productores de las bases de datos) y, por tanto, se atiende a los temas y metodologías que son interesantes en un contexto internacional y globalizado. Sin embargo, es necesario considerar también las publicaciones que están fuera de ese ámbito, no solo porque difunden conocimientos científicos en otros temas relevantes para las comunidades cercanas, sino también porque de este modo se está preservando la diversidad temática, lingüística, metodológica e ideológica que existe en la investigación (Ochsner y otros, 2017b; Giménez-Toledo, 2017). Así, por ejemplo, las preguntas de investigación y las respuestas que se observan en revistas internacionales indexadas casi en cualquier disciplina no son aquellas que prioritariamente preocupan en países de América Latina o en España. Vessuri y otros (2013) se refiere a la internacionalización de la investigación en los siguientes términos “Si la ciencia de América Latina quiere internacionalizarse sobre una base sólida, debería dejar de interpretar erróneamente que la ciencia del Atlántico Norte es la totalidad de la ciencia mundial” (p.12). Los distintos argumentos en este sentido apuntan a que si se dejan de atender las publicaciones no indexadas, se estará perdiendo parte de la investigación esencial para los contextos nacionales o regionales.

Por otra parte, reconociendo las singularidades de la producción científica en Humanidades y Ciencias Sociales y, al mismo tiempo, el interés de observar esa producción en un marco internacional - no solo en los nacionales- y desde una perspectiva comparada, hace tiempo que se propuso la creación de una base de datos que recogiera las publicaciones generadas en estas disciplinas en el ámbito europeo (Martin y otros, 2010). Aunque la propuesta no llegó a desarrollarse, lo cierto es que la idea sigue teniendo vigencia. De hecho, forma parte de los objetivos de la acción COST European Network for Research Evaluation in the Social Sciences and the Humanities (ENRESSH, 2015). Esta red está colaborando en el proyecto piloto VIRTA (Puuska y otros, 2017), una infraestructura tecnológica que permite recoger la producción científica de distintos países de forma normalizada e interoperable. El sistema se alimenta de forma descentralizada, desde cada uno de los países o instituciones. En la medida en que el proyecto piloto pueda avanzar y se sumen a él otros países, se podrá ir creando una gran base de datos de producción científica que permitiría no solo la realización de estudios sobre dinámicas de publicación, colaboración, etc. en distintas disciplinas sino también disponer de información para la evaluación científica en contexto, un factor clave para la evaluación de las Humanidades y las Ciencias Sociales.

La evaluación de los contenidos –es decir, de la investigación publicada- ha sido y es una reivindicación habitual de los humanistas y científicos sociales. En ocasiones critican la evaluación que se hace a partir de los canales de publicación, fundamentalmente de revistas y editoriales, disociando el contenido del continente. A juzgar por los estudios realizados (McCulloch, 2017; Giménez-Toledo, 2016), la comunidad académica siente la presión que ejerce sobre ellos la evaluación, la exigencia por publicar más y en determinados medios y, en relación con esto, la desviación de sus temas de investigación para poder publicar en las revistas o editoriales que son mejor valoradas. Además, como apuntan Ochsner y otros (2017a) los investigadores de estas áreas tienen fuertes reservas hacia la cuantificación.

Hay varios factores que tener en cuenta sobre este posicionamiento (Giménez-Toledo, 2016, p. 23 y siguientes). Por un lado, hay pocos esquemas de evaluación científica de corte esencialmente cualitativo. El último Research Excellence Framework (REF, 2014) (Panel D) del Reino Unido era uno de ellos, hasta el punto de señalar explícitamente en su convocatoria que no consideraría el medio en el que se hubiera publicado una contribución o las clasificaciones de revistas o editoriales en los paneles de Humanidades y Ciencias Sociales (Research Excellence Framework, 2014). Primaría la evaluación basada en paneles de expertos. La metodología pudo ser aplicada gracias a la enorme inversión en el propio proceso de evaluación, pues es costosa en tiempo y en dinero; al mismo tiempo, al ser un ejercicio de evaluación voluntario que se efectúa sobre la producción científica de investigadores y para un periodo de seis años, es factible realizarla, frente a los procesos de evaluación periódicos, normalmente anuales, que se llevan a cabo a nivel institucional. Aún así, el REF 2014 ha sido controvertido y criticado.

La evaluación cualitativa o basada únicamente en el criterio de especialistas no está exenta de problemas, pues no solo hay escuelas de pensamiento, ideologías o apreciaciones metodológicas que implican posicionarse a favor o en contra de una determinada línea de investigación. Es que además, como indican Ochsner y otros (2017a) “the way SSH scholars appreciate research output of colleagues is quite different from how STEM researchers do. SSH scholars are much more critical. They criticize even work they value as excellent”. Es decir, el hecho de que las evaluaciones estuvieran basadas solo en el juicio de los especialistas no garantizaría una mejor aceptación de los procesos de evaluación. Esa razón, unida a los costes y a los tiempos de los procesos de evaluación, hace que muchos modelos de evaluación estén basados en una fórmula combinada entre el criterio de los especialistas (lo cualitativo) y los indicadores (lo cuantitativo).

En lo que concierne a la falta de aceptación de los indicadores cuantitativos por parte de humanistas y científicos sociales es necesario establecer diferencias entre indicadores y, desde luego, reivindicar el valor y la utilidad de algunos de ellos. A juzgar por las reticencias que a veces provocan, podría parecer que los indicadores de una publicación –su prestigio, su internacionalidad, su rigor en la selección de originales- fueran valores totalmente ajenos a la idea, juicio o percepción que la academia tiene sobre esa publicación. Podría parecer que el juicio de los expertos sobre un canal de publicación (revista, editorial, etc.) no se pudiera traducir de ninguna manera a un valor numérico o a una categoría. Los indicadores bibliométricos no siempre son meras medidas de la cantidad de producción o de citas recibidas. Quizá porque en ocasiones se han utilizado esos indicadores en exceso o mal, o quizá porque lo numérico resulta generalmente ajeno en las Humanidades, existe un rechazo a su uso. Sin embargo, un indicador numérico o una categoría pueden estar representando distintas cualidades de la investigación o de las publicaciones. Cuando un panel de especialistas se reúne para determinar qué grado de calidad tiene un conjunto de revistas y resumen su juicio en un conjunto de categorías (véase sistema finlandés, danés o noruego en Giménez-Toledo y otros, 2016) se está produciendo esta traducción práctica que implica facilitar un proceso de evaluación teniendo en cuenta los conocimientos de los especialistas. Lo mismo ocurre en un proceso de consulta a la comunidad académica sobre el prestigio de las editoriales, como el que se produce para la creación del sistema de indicadores de editoriales Scholarly Publishers Indicators. O cuando, para la creación de este mismo sistema, se analizan miles de registros bibliográficos que permiten determinar el perfil de especialización de una editorial (Giménez-Toledo y Mañana-Rodríguez, 2016). La construcción de un indicador implica formalizar un conocimiento que hasta el momento ha permanecido “informal” o tácito, consiguiendo así que sea útil para los procesos de evaluación. Un alumbrador artículo de Ferrara y Bonaccorsi (2016) muestra cómo la distancia teórica que existe entre la opinión de los especialistas sobre las revistas y los indicadores no es tal o no es tanta. Ellos comparan dos procesos de evaluación de revistas científicas, uno basado en juicios cualitativos y otro en categorizaciones, y demuestran, mediante regresiones, que realmente los resultados son muy parecidos. Es decir, que es factible realizar esa traducción de criterios cualitativos en indicadores y que las herramientas que los recogen permiten afrontar con eficiencia los sobrecargados procesos de evaluación de la actividad científica.

Por otra parte, es necesario distinguir los sistemas de evaluación y sus fuentes en función de los objetivos que tiene cada uno de ellos. Se habla de evaluación en general, pero no es lo mismo llevar a cabo un proceso de evaluación institucional para mejorar la transparencia y poder diseñar unas mejores directrices en política científica, que evaluar para asignar recursos para la investigación o que evaluar a un investigador para su promoción. En función de los objetivos, los procedimientos y herramientas de evaluación varían. Sivertsen (2017a) establece una clara clasificación de los sistemas de evaluación de países que están trabajando con sistemas de financiación basados en los resultados de la investigación. En esa clasificación se observa cómo los diferentes objetivos de los sistemas han propiciado que en ocasiones se opte por la evaluación basada en paneles de expertos y en otros se utilicen más los indicadores, dándose también diferencias en el tipo de indicadores que se utilizan. Adentrarse en esa variedad de objetivos y procedimientos debe hacer ver que las generalizaciones, también en la evaluación científica, no son buenas ni constructivas.

Una de las ideas clave en los procedimientos de evaluación que se reivindican en la actualidad es que la comunidad académica debe participar en el diseño de ese procedimiento o de esos indicadores. El denominado enfoque bottom up (de abajo a arriba) se concibe como una buena solución para mejorar los procesos de evaluación (Ochsner y otros, 2017a). La razón para ello es que estos procedimientos tienen en cuenta las prácticas de investigación y de comunicación científica de los humanistas y científicos sociales, lo que tiene como consecuencia no solo una evaluación más ajustada a la realidad sino también, a priori, una mejor aceptación de los resultados por parte de la comunidad académica. Es necesario señalar a priori, porque incluso los procedimientos o fuentes de información que se crean especialmente pensando en estas disciplinas e involucrando a sus académicos resultan a veces controvertidas o contestadas por los investigadores. La primera etapa de ERIH, European Reference Index for the Humanities, es un ejemplo de ello, quizá más notorio por el alcance europeo del proyecto. El proyecto se transformó en ERIH Plus (2017), una fuente de información bibliográfica sobre revistas científicas de Humanidades y Ciencias Sociales, que informa del cumplimiento de ciertos criterios de calidad que se exigen a este tipo de publicaciones: sistema de revisión por expertos externos, existencia de un comité editorial, afiliación institucional de los autores, etc. Paradójicamente, la intervención de los especialistas en las disciplinas –reivindicación habitual- para categorizar las revistas de ERIH en su primera etapa fue un elemento tan controvertido (Journals under threat, 2009) que hoy ya no se tiene en cuenta. ERIH plus es hoy una fuente de información bibliográfica más que una fuente con información potencialmente útil para la evaluación científica.

Pero no solo ERIH ha sido discutido por la comunidad académica. Las categorizaciones de revistas o editoriales, las ponderaciones de los indicadores o las facetas de la actividad investigadora que se tienen en cuenta (por ejemplo, la valoración de las actividades de divulgación científica o la dirección de revistas científicas) son permanentemente objeto de discusión en los procesos de evaluación nacionales. Es una característica común en todos los países, independientemente del modelo de evaluación que se siga. Y a veces la reacción contra los sistemas de evaluación o sus resoluciones es tan contundente que se llega a los tribunales. Es un hecho que no deja de sorprender pues hoy la evaluación se realiza con mucha más información, mejores indicadores y, muy frecuentemente, con la participación de la comunidad científica. Los paneles de expertos suelen formar parte de la mayoría de los procesos de evaluación. También las asociaciones científicas hacen llegar a las agencias de evaluación sus opiniones y posicionamientos acerca de los criterios de evaluación. En general, se dan mejores condiciones para poder evaluar mejor. Sin embargo, bien sea por las visiones reduccionistas de la ciencia –solo vale aquello que es publicado en revistas internacionales indexadas-, bien por el rechazo sistemático a los procedimientos o a los indicadores cuantitativos, aún queda mucho por hacer para lograr modelos de evaluación que sean ampliamente aceptados.

En la mayoría de los casos, cuando se propone integrar enfoques bottom up a los procesos de evaluación, se está considerando manejar de manera combinada indicadores y peer review con la implicación de las comunidades académicas correspondientes. Algunos ejemplos de estos enfoques pueden ser el seguido en el denominado modelo noruego o el utilizado para la creación de los rankings de prestigio de las editoriales Scholarly Publishers Indicators (SPI)13. En el primero, como se ha indicado anteriormente, la base de partida es el conjunto de producción científica de todo un país. Se evalúa en contexto, pues se pueden identificar los patrones de trabajo académico y publicación de las distintas disciplinas y, además, se recurre al juicio de los especialistas. El modelo noruego cuenta con paneles de expertos que validan los canales de publicación y establecen niveles para ellos.

En el caso de SPI, se recaba información sobre el prestigio de las editoriales a partir de los lectores y autores de los libros que publican esas editoriales (Giménez-Toledo, 2018). Se consulta a la comunidad académica que, como especialista, es quién mejor puede evaluar la calidad del fondo de las editoriales. La consulta permite publicar rankings de prestigio de las editoriales que se conciben como una información orientativa en los procesos de evaluación. Esa aproximación no es la única, pues el sistema SPI aporta también indicadores sobre la especialización del catálogo de las editoriales, el sistema de selección de originales que siguen, la utilización de los metadatos, la agrupación de su fondo en colecciones o su presencia en otros sistemas de información. Tanto los indicadores de prestigio como el sistema de selección de originales de las editoriales son elementos mencionados explícitamente por las agencias de evaluación españolas Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA, 2017) y Comisión Nacional Evaluadora de la Actividad Investigadora (Ministerio de Educación, Cultura y Deporte, 2017) en los campos de Humanidades y Ciencias Sociales.

Una transformación clave en la forma de hacer ciencia y comunicar los resultados de la investigación se está produciendo por los principios de la ciencia abierta. A partir del postulado de que la sociedad en su conjunto debería beneficiarse y tener acceso a los resultados de la investigación científica realizada con fondos públicos, se plantean nuevas prácticas académicas:

Todos ellos son temas a los que se está dedicando mucha atención en la investigación y que han entrado en las agendas de la política científica, especialmente lo que concierne a la publicación de datos y resultados de investigación en abierto. La Recomendación de la Comisión Europea sobre acceso y preservación de la información científica (European Commission, 2012), la futura creación de una plataforma para la publicación de resultados en abierto propuesta también por la Comisión Europea (European Commission, 2017), las diferentes leyes de la ciencia, incluida la española (España, 2011), y las distintas convocatorias de proyectos de investigación, entre ellas las del vigente programa europeo de investigación e innovación H202014, muestran que políticamente el acceso abierto al conocimiento científico es una apuesta firme y segura. Sin embargo, la adopción del acceso abierto conlleva muchos cambios en el entorno académico.

Si los autores deben publicar en abierto, bien por propia convicción, bien por los imperativos de las convocatorias de proyectos, tienen que decidir cómo hacerlo. Pueden optar por la vía verde o por la vía dorada. En este último caso –publicación inmediata de los resultados en abierto-, la publicación suele implicar el pago de tasas a las editoriales académicas consolidadas. Sin ese pago, el contenido del artículo quedaría cerrado, solo accesible para quien tenga suscripción a una revista en concreto y solo una vez que hubiera pasado el periodo de embargo, el autor podría depositar el artículo en un repositorio (vía verde).

Habitualmente estas tasas (APCs: Article Processing Charges) son pagadas por los autores porque sus proyectos cuentan con fondos para la publicación en abierto. Es decir, las propias convocatorias públicas prevén que los presupuestos de los proyectos de investigación dispongan de partidas para publicar en abierto. De esta forma se impulsa el acceso abierto. Sin embargo, son muchas las dudas que surgen de la sostenibilidad del sistema y, de hecho, es uno de los grandes temas de debate. Por una parte, no se puede financiar todo lo que se produce. Por otra, los fondos públicos destinados a la investigación acaban en las grandes empresas editoriales que no solo han diseñado programas específicos de publicación en abierto para facilitar el cumplimiento de los mandatos a los autores, sino que además son capaces de atraer más originales (y más ingresos) porque sus revistas están indexadas en las bases de datos internacionales, forman parte del “sistema” y, en virtud de eso, están ampliamente reconocidas por las agencias de evaluación de muchos países. La industria editorial académica ha adoptado soluciones para que el acceso abierto a la investigación fuera una oportunidad y no una amenaza. Los estudios de Björk y Solomon (Björk y Solomon, 2012; Solomon y Björk, 2012a y 2012b) muestran con claridad el notable incremento de revistas científicas dentro de las grandes casas editoriales que permiten la publicación en abierto mediante el pago de las correspondientes tasas. Y esas mismas editoriales han creado programas específicos de publicación de monografías y libros colectivos en abierto. Mientras, las pequeñas editoriales y las editoriales universitarias o institucionales que publican revistas y libros académicos se resienten de las estrategias comerciales de las grandes editoriales; y cuando se apuesta por la edición en abierto, el modelo de financiación es bien diferente: es el subsidio o financiación de la universidad quién asume el coste de esa publicación.

Es sabido que en las Ciencias Sociales y, muy especialmente, en las Humanidades, los libros ocupan un lugar prominente en la comunicación de resultados de investigación. Sin embargo, publicarlos en abierto resulta muy costoso. El informe de Jubb (2017) cifra en 6.500 libras las tasas (BPCs: Book Processing Charges) para publicar en Cambridge University Press, 10.000 para publicar con Taylor & Francis y 11.000 con Palgrave. Puesto que estos costes, y la menor disponibilidad de fondos para las Humanidades y las Ciencias Sociales, plantean un serio problema de sostenibilidad, están surgiendo en los últimos años una serie de iniciativas que tratan de dar respuesta a este desafío. Así, por ejemplo, Knowledge Unlatched15 propone que los costes para publicar una monografía en abierto, seleccionada, editada y publicada por un sello editorial consolidado, sean cubiertos por las bibliotecas universitarias que quieran participar de este sistema de cofinanciación. Más de 340 títulos han sido publicados ya de este modo. Por otra parte, han aparecido nuevas casas editoriales como la universitaria UCL Press que publica directamente en abierto y que es financiada por la propia universidad (University College of London), en lo que constituye una firme apuesta porque el conocimiento científico esté disponible públicamente.

Desde el punto de vista de la evaluación en Humanidades y Ciencias Sociales, todas las cuestiones relacionadas con el acceso abierto tienen un gran interés. Por una parte –ya se ha apuntado- los procesos de evaluación valoran entre otras cuestiones los canales de publicación. Esto supone que las revistas y editoriales más consolidadas, que además permitan publicar en abierto una vez abonadas las tasas, estarán en disposición de recibir más y mejores originales. Se plantea, eso sí, el problema de la sostenibilidad económica. Pero también el de la diversidad. Basta pensar en revistas universitarias de distintos países del mundo, que publican directamente en abierto sin exigir el pago de tasas; o en editoriales relevantes en los ámbitos nacionales, tanto comerciales como universitarias, que no han adoptado el acceso abierto para las monografías porque su modelo de negocio es la venta de libros, porque no participan de ningún sistema de cofinanciación de ediciones y la inversión en la edición sería a fondo perdido o porque, sencillamente, existen recelos sobre la protección de la propiedad intelectual. Las cifras ayudan a mostrar las dimensiones de la edición de libros académicos en abierto. Según DOAB (Directory of Open Access Books), una fuente abierta a la información de todo el mundo, 240 editoriales están trabajando con monografías de acceso abierto. Aunque en esa cifra están representadas algunas de las editoriales más fuertes de todo el mundo, con un gran volumen de producción editorial, representan un porcentaje relativamente pequeño con respecto a las editoriales académicas que existen. Solo en España, por ejemplo, se identifican más de 200 editoriales de perfil puramente académico (Giménez-Toledo, 2017); En Francia, hay unas 75 editoriales científicas institucionales (Henny, 2015); en Colombia, más de 60 editoriales universitarias16; y en México, son 42 las editoriales afiliadas a Altexto17 (red de editoriales universitarias). Como bien señala el informe A landscape study on open access and monographs (Ferwerda y otros, 2017), los mercados editoriales, hábitos lectores o posibilidades de financiación en los distintos países determinan también los modelos de edición y la predisposición a participar en proyectos de monografías de acceso abierto.

La diversidad en la investigación y en la edición dentro de las Humanidades y las Ciencias Sociales es y será un factor crucial en la evaluación de estas disciplinas. Al no generar un conocimiento tan monolítico como el de las ciencias positivas, las formas y canales de publicación son mucho más diversas, lo que tiene implicaciones en la evaluación científica: se necesitan fuentes muy completas que aporten información sobre el amplio rango de revistas, editoriales y otros canales de comunicación. Estas fuentes deberían conjugar la diversidad y pluralidad en temas de investigación, idiomas o metodologías con la calidad y/o el rigor en la selección de los textos que se publican. Precisamente porque los canales de publicación en estas disciplinas son mucho más numerosos y porque es necesario distinguir las investigaciones más sólidas y los canales más selectivos, el desarrollo de indicadores objetivos que aporten información adicional al evaluador resulta fundamental.

La multiplicación de los canales de publicación de resultados científicos unida a los pagos de tasas por publicar en acceso abierto (o simplemente por publicar) representa una cuestión crítica en la actual comunicación científica. Puesto que tiene su repercusión en la evaluación científica y, además, es objeto de preocupación por parte de la comunidad académica, es preciso tratarlo, aunque sea brevemente. El pago de tasas a las editoriales para publicar en abierto trata de sufragar parcialmente los costes de edición y compensar al editor por lo que dejará de ingresar por venta de contenidos cuando se publica en abierto. Se asume que ese pago se produce una vez que el artículo o el libro han sido aprobados por los evaluadores o comités de lectura para su publicación. Sin embargo, el debate que se está produciendo de fondo es si ese pago está condicionando lo que se publica. Existen recelos por parte de la comunidad académica que ve en el pago por publicaciones una vía fácil de publicación, que puede estar prescindiendo o alterando los filtros de selección, garantes fundamentales de la publicación académica y de los procesos de evaluación. Por otra parte, la existencia de fondos para la publicación ha generado también otro tipo de situaciones.

Una de ellas, ya muy documentada, es la proliferación de editoriales depredadoras, tanto de libros como de revistas. Se trata de estructuras no profesionalizadas que ofrecen a los autores publicar sus artículos o libros con inmediatez a cambio del pago por la publicación, sin que medie una prestación de servicios editoriales. La bibliografía sobre este fenómeno es muy extensa y controvertida. Quizá pueda obtenerse una visión general en Anderson (2017) y, desde luego en Beall (2017), que acuñó el término editorial depredadora, construyó un listado mundial de las mismas y tuvo que clausurarlo por un problema judicial, también muy controvertido.

La otra es la generación de constantes oportunidades para publicar que algunas editoriales consolidadas ofrecen a los autores. Así, tras la publicación de un artículo en una revista o tras la presentación de una comunicación a un congreso, las editoriales se ponen en contacto directamente con los autores para ofrecerles publicar una ampliación de ese trabajo o para que su trabajo forme parte de una obra colectiva, por poner solo algunos ejemplos. Todo ello provoca cierto desconcierto en el investigador pues no siempre tiene claro hasta qué punto son vías interesantes de publicación, al tiempo que le implican plantearse una nueva publicación que quizá no tuviera planificada. Asimismo, pueden surgirle dudas sobre si esa propuesta implicará algún tipo de pago o sobre la consideración que tendrá esa revista o editorial en un futuro proceso de evaluación.

En paralelo al auge de la publicación en abierto, se suceden desarrollos en el ámbito de las redes sociales –tanto generalistas como académicas- e innovaciones tecnológicas en las plataformas que ofrecen contenidos científicos que permiten disponer de otras métricas distintas a las tradicionales: las denominadas métricas alternativas o Altmetrics. La evaluación científica ha estado basada durante años en los indicadores de impacto de Journal Citation Reports y, más recientemente, de indicadores basados en datos de Scopus como SNIP (Source Normalized Impact per Paper) y Scimago Journal Rank. Tales indicadores se derivan de la literatura científica seleccionada por los productores de las bases de datos y se calculan a partir de las referencias que contienen esas bases de datos. Son inaccesibles para quienes no tengan suscripción a las bases de datos. Al ser fuentes selectivas –no completas- y cerradas, no permiten tener una idea precisa de las citas recibidas por cada investigación. Por otra parte, las citas que sí que pueden ser recabadas en abierto a través de Google Scholar, Microsoft Academic o PubMed tampoco representan la totalidad de las citas producidas, pues las grandes editoriales comerciales no ofrecen en abierto los corpus de referencias empleadas en los artículos que publican. Estas herramientas presentan, de momento, problemas de transparencia y de calidad de datos. Todo ello sustenta la reivindicación de la comunidad académica de bibliómetras de solicitar a las editoriales que hagan accesibles los listados de referencias asociados a los artículos que publican: la denominada Initiative for Open Citations (ISSI, 2017).

En el campo de las Humanidades, el valor de las citas siempre ha sido más cuestionado por la existencia de escuelas de pensamiento, por el factor local/lingüístico de las investigaciones o por la falta de inmediatez con la que se cita. Sin embargo, no cabe duda de que la existencia de fuentes abiertas permite recabar datos más completos sobre el impacto académico. Otra cuestión es cómo tratar, desde el punto de vista de la evaluación científica, esos datos de citación que proceden de fuentes abiertas y que, como señala la Initiative for Open Citations, aún presentan problemas de calidad de la información. Muy posiblemente, la información sobre las citas que recibe una publicación hoy, sea utilizada de manera informal en procesos de evaluación. Sin embargo, formalizar esa utilización parece todavía complicado precisamente por la calidad de los datos.

Algo similar sucede con el otro tipo de métricas: visualizaciones, descargas, recomendaciones o valoraciones de los usuarios de la red. Existen cada vez más herramientas que permiten obtenerlas (Zuccala y otros, 2015), pero su significado, valor y posibilidad de ser comparados entre autores, disciplinas, etc. son aún inciertos, cuando no limitados (Torres Salinas y otros, 2017). Como se indica en The Metric Tide, las opciones que ofrecen sistemas como Twitter, Facebook, ResearchGate, Academia o Mendeley son enormes pero “evidence on whether and how these may relate to research quality is very limited”. La disponibilidad de información y de posibles indicadores no es sinónimo, sin embargo, de la madurez de los mismos para ser empleados en procesos de evaluación. La investigación en el campo de la Cienciometría tiene también sus tiempos y no pueden/deben emplearse apresuradamente los datos sin antes haber obtenido conclusiones sólidas sobre los mismos (Wilsdon y otros, 2015, p. 136). En este sentido, hay que señalar el trabajo que está siendo desarrollado por NISO (National Information Standards Organisation) en relación a la normalización de métricas alternativas, así como a su aplicación a resultados académicos distintos a las publicaciones como conjuntos de datos, visualizaciones o infografías y software. También es destacable el trabajo de investigación que viene siendo realizado por uno de los centros de referencia en el campo de los estudios de la ciencia, Center for Science and Technology Studies (CWTS) de la Universidad de Leiden. Una de sus líneas de trabajo se centra precisamente en determinar el papel que pueden desempeñar las métricas alternativas en la Cienciometría. En el estudio realizado en 2015 (Costas y otros, 2015) se observaba aún una correlación débil entre citas e indicadores altmétricos, lo que podría mostrar que ambos tipos de indicadores reflejan dimensiones distintas. También en ese estudio se detectaban más indicadores altmétricos para disciplinas de Humanidades que para otras. Por otra parte, se ha podido observar cómo la variable tiempo puede afectar a las correlaciones entre citas e indicadores tomados de la web social (Thelwall y otros, 2013).

Por último, cabe apuntar que, aunque las métricas alternativas se obtienen tanto para la literatura científica bajo suscripción como para la que está disponible en abierto, lo cierto es que las infraestructuras creadas para fomento del acceso abierto son y serán una enorme fuente de obtención de indicadores. El acceso abierto no significa solo que haya colecciones de documentos que puedan consultarse sin barreras, sino que además está vinculado al concepto de ciencia abierta e implica la existencia de infraestructuras y de interconexión entre los datos, como OpenAIRE18 o como los desarrollos que se están dando especialmente en las Humanidades y en las Ciencias Sociales como el proyecto OPERAS (Open access Publication in the European Research Area for Social Science and Humanities) o HIRMEOS (High Integration of Research Monographs in the European Open Science infrastructure). Sin duda, estos sistemas representarán una aportación adicional a la visibilidad, a la accesibilidad, a las métricas y a la identificación de las dinámicas de trabajo en estas disciplinas.

Tanto las métricas tradicionales como las más novedosas pueden representar una información valiosa y estratégica en los procesos de evaluación. Los nuevos desarrollos que se están produciendo en la evaluación de publicaciones científicas, incluyendo libros, colecciones de libros, revistas nacionales, etc., así como las métricas alternativas, contribuyen a abrir las posibilidades de evaluación de las Humanidades y las Ciencias Sociales, hasta hace poco constreñidas a unos estrictos límites que establecían las bases de datos internacionales. Pero si bien es cierto que las posibilidades de evaluación mejoran, también lo es que resulta necesario prestar especial atención a los indicadores y fuentes que se utilizan para esta evaluación.

Como señala el informe The Metric Tide las métricas responsables implican trabajar con datos robustos, transparentes y que permitan reflejar la diversidad en la investigación y en las trayectorias investigadoras. Asimismo, resulta necesario reflexionar sobre las consecuencias de la aplicación de unas u otras métricas en procesos de evaluación y reconocer las limitaciones que puedan tener (Wilsdon y otros, 2015, pp. 133-134). Esto afecta especialmente a las métricas alternativas, sobre las que la propia comunidad cienciométrica advierte de qué precauciones deberían tomarse para no cometer los mismos errores cometidos con las métricas tradicionales (Thelwall, 2014).

Otra de las cuestiones clave en el debate que se está planteando sobre cómo utilizar las métricas es la necesidad de considerar los objetivos con los que se evalúa, distinguiendo los diferentes procesos de evaluación, y la naturaleza de la investigación evaluada. En definitiva, lo que se está proponiendo es que se utilicen los distintos indicadores de una manera responsable, apropiada al objetivo que se persigue y con un firme compromiso ético: evaluar de la manera más adecuada posible a favor de una mejor investigación.

El impacto social de la investigación es uno de los temas en los que más está trabajando la comunidad académica para conseguir que sea reconocido y valorado en los procesos de evaluación de la actividad científica. El Research Excellence Framework 2014 del Reino Unido ya se ocupaba de la evaluación de esos impactos sociales, relacionándolos con la investigación de excelencia. Pero también han formado parte de muchos otros procesos de evaluación como el de las Humanidades en Noruega (2017) o en los tramos de investigación en España evaluados por la CNEAI (Campo 0. Transferencia del conocimiento e innovación) (España, 2011).

Se trata de considerar que el valor de la investigación no reside solo en cómo un trabajo científico es reconocido (citado) por otros investigadores sino también –o quizá, sobre todo- en los cambios y mejoras que pueda generar en la sociedad, en la cultura y en la economía. Al fin y al cabo, la investigación debe servir a ese fin: mejorar la sociedad en la que vivimos. Existe acuerdo en que estas aportaciones de la ciencia a la sociedad deben producirse y valorarse. El cómo hacerlo es más complicado, aunque se está avanzando en ello (Benneworth y otros, 2017). Los países que más están trabajando en este asunto han comenzado por realizar inventarios de estudios de caso, a partir de la información que los propios investigadores hacen llegar a las agencias de evaluación. De este modo, es posible conocer una cierta taxonomía de los tipos de impactos sociales que puede generar la investigación en Humanidades y Ciencias Sociales y estudiar los contextos en los que se producen (Sivertsen, 2017b).

En el informe Evaluation of the Humanities in Norway del Research Council of Norway (2017) se analizaron 165 estudios de caso que muestran una gran y diversa interacción entre la academia y la sociedad. El análisis también permitió observar que algunas áreas son más activas en ese tipo de transferencias y también que existe cierta confusión entre lo que es compromiso público de los investigadores con la sociedad, divulgando el conocimiento que generan, y lo que es impacto, es decir, aquel resultado de investigación que llega a producir un cambio social. Otra conclusión muy interesante del estudio es que el impacto social que generan las Humanidades es de alcance nacional, más que internacional, lo que redunda en la importancia de la investigación humanística y social y en la relativización que debe hacerse de la “internacionalización” en la evaluación de la investigación.

Por otra parte, también hay que tener en cuenta el tipo de interacciones que se producen entre academia y sociedad sin que haya una formalización –contrato, convenio, etc.- entre las partes. Las interacciones informales se revelan como frecuentes en las Humanidades y en las Ciencias Sociales, a partir del estudio de Olmos-Peñuela y otros (2014).

Terämä y otros (2016) han estudiado cómo los investigadores e instituciones interpretan lo que es impacto social de la investigación, a partir de las contribuciones enviadas a evaluar en el marco del REF 2014. Zaltz (2017) agrupa esas contribuciones en las siguientes categorías de “impacto”: influencia en la educación; compromiso público; tecnologías y soluciones medioambientales; impacto en la política; y aplicaciones clínicas.