ESTUDIOS / RESEARCH STUDIES

LA EVALUACIÓN DE LAS HUMANIDADES Y DE LAS CIENCIAS SOCIALES EN REVISIÓN

Elea Giménez Toledo*

* Grupo de Investigación sobre el Libro Académico (ILIA), Instituto de Filosofía (IFS), Consejo Superior de Investigaciones Científicas (CSIC)

Correo-e: elea.gimenez@cchs.csic.es | ORCID iD: http://orcid.org/0000-0001-5425-0003

RESEARCH ASSESSMENT IN HUMANITIES AND SOCIAL SCIENCES IN REVIEW

CONTENIDOS

1. INTRODUCCIÓN Top

La evaluación de la actividad científica es siempre un ejercicio controvertido y complejo, especialmente la que afecta a los individuos pero también las que se realizan a nivel de grupos, departamentos o instituciones. Las críticas a los procedimientos de evaluación se dan en el seno de los diferentes países con entornos de investigación distintos (Matthews, 2015Matthews, D. (2015). REF sceptic to lead review into research assessment. Times Higher Education. https://www.timeshighereducation.com/news/ref-sceptic-lead-review-research-assessment.; Kulczycki, 2017Kulczycki, E. (2017). Assessing publications through a bibliometric indicator: The case of comprehensive evaluation of scientific units in Poland. Research Evaluation, 26 (1), 41-52. https://doi.org/10.1093/reseval/rvw023.; Alperin y Rozemblum, 2017Alperin, J.P.; Rozemblum, C. (2017). The Reinterpretation of the Visibility and Quality of New Policies to Assess Scientific Publications. Revista Interamericana de Bibliotecología, 40 (3). https://doi.org/10.17533/udea.rib.v40n3a04.) pero también en el ámbito internacional, tal y como muestran la Declaración de San Francisco (DORA, 2013DORA (2013). San Francisco Declaration on Research Assessment. http://crln.acrl.org/index.php/crlnews/article/view/9104/9996.) o el Manifiesto de Leiden (Hicks y otros, 2015Hicks, D.; Wouters, P.; Waltman, L.; De Rijcke, S.; Rafols, I. (2015). The Leiden Manifesto for research metrics. Nature, 520 (7548), 429-431. https://doi.org/10.1038/520429a.). También se registran en el seno de distintas disciplinas pero, sin duda, es en las Humanidades y Ciencias Sociales donde se producen las mayores tensiones y donde la comunidad académica no acepta o es muy crítica con los procedimientos empleados (Hug y Ochsner, 2014Hug, S.; Ochsner, M. (2014). A framework to explore and develop criteria for assessing research quality in the humanities. International Journal of Education Law and Policy, 10 (1), 55-68.; Giménez-Toledo, 2016Giménez-Toledo, E. (2016). Malestar. Los investigadores ante su evaluación. Madrid: Iberoamericana Vervuert.; McCulloch , 2017McCulloch, S. (2017). The importance of being REF-able: academic writing under pressure from a culture of counting. LSE Impact blog. http://blogs.lse.ac.uk/impactofsocialsciences/2017/02/09/the-importance-of-being-ref-able-academic-writing-under-pressure-from-a-culture-of-counting/.).

La mayor parte de las críticas que se hacen sobre la evaluación en estas áreas, referidas específicamente a las publicaciones como resultados de investigación, podrían resumirse en dos puntos: a) los procedimientos de evaluación se adecúan poco a las prácticas de investigación y de comunicación científica que son consustanciales a las Humanidades y a las Ciencias Sociales. Por poner solo dos ejemplos ampliamente documentados: los libros, capítulos de libros y revistas científicas nacionales son más relevantes en Humanidades y Ciencias Sociales que en Ciencia, Tecnología y Medicina y los patrones de citación son claramente diferentes (Hicks, 2004Hicks, D. (2004). The four literatures of social science. En: Handbook of quantitative science and technology research. Dordrecht: Springer, pp. 473-496.); y b) las fuentes que se han utilizado tradicionalmente en la evaluación de las publicaciones científicas y/o que tienen más peso en las políticas científicas son limitadas; no cubren bien la diversidad de revistas científicas que existen y que son relevantes para estas disciplinas, pero tampoco cubren suficientemente bien otros canales de comunicación científica, ya sean libros, actas de congresos o informes; en consecuencia, la cobertura es pobre en temas de investigación, en los idiomas y en los enfoques locales o nacionales que se dan en la investigación en estas áreas. Este hecho es especialmente notorio si se tiene en cuenta que todos los estudios que caracterizan a las Humanidades y, en cierta medida, a las Ciencias Sociales, concluyen sistemáticamente que en estas disciplinas se realiza una investigación más apegada al territorio y se trabaja en objetos de investigación locales; que, en relación con el punto anterior, se publican los resultados de investigación en una gran diversidad de idiomas porque van destinados a esa área geográfica que estudian y se utilizan más las revistas científicas nacionales por la misma razón; y, finalmente, que los libros y capítulos de libros son mucho más relevantes que en otras disciplinas para comunicar resultados de investigación. De hecho, predominan en la producción científica de muchas de las disciplinas de Humanidades (Ochsner y otros, 2017aOchsner, M.; Hug, S.; Galleron, I. (2017a). The future of research assessment in the humanities: bottom-up assessment procedures. Palgrave Communications, 3. https://doi.org/10.1057/palcomms.2017.20.; Tanner, 2016Tanner, S. (2016). An analysis of the Arts and Humanities submitted research outputs to REF 2014 with a focus on academic books. https://academicbookfuture.files.wordpress.com/2016/11/abof_academic-books-ref2014-report_simon-tanner.pdf.; Giménez-Toledo, 2016Giménez-Toledo, E. (2016). Malestar. Los investigadores ante su evaluación. Madrid: Iberoamericana Vervuert.).

A todo ello hay que añadir otro cuestionamiento de fondo. Las publicaciones científicas son el resultado materializado, tangible y mensurable de la investigación. Desde ese punto de vista, las publicaciones son elementos fundamentales para juzgar la actividad investigadora. Sin embargo, hoy se reivindica no solo la generación de ese conocimiento científico y su publicación, sino también su impacto e influencia en la sociedad. Por tanto, la evaluación de las publicaciones en el currículo académico resulta insuficiente y es necesario atender a otras facetas de la actividad investigadora.

Todas estas cuestiones están siendo analizadas cada vez con más atención. La investigación sobre las formas de comunicación e impacto científico y social en las Humanidades y en las Ciencias Sociales es creciente. Los principales congresos internacionales del ámbito de la evaluación de la ciencia, la Bibliometría y la Cienciometría dedican secciones específicas de su programación a los diferentes avances en estas cuestiones. Es el caso de los congresos de la International Society for Informetrics and Scientometrics (ISSI)[1] o de Science, Technology & Innovation Indicators (STI)[2]. Pero además, la evaluación de las Humanidades y de las Ciencias Sociales es el objeto principal de la investigación en el marco de la acción COST European Network for Research Evaluation in the Social Sciences (ENRESSH)[3], de la iniciativa EvalHum[4] y del congreso internacional que organiza: Research Evaluation in the Social Sciences and the Humanities (RESSH)[5]. En estas iniciativas, a diferencia de la investigación más tradicional, se hace hincapié en los aspectos no bibliométricos de estas disciplinas, aunque los bibliométricos también forman parte de la agenda, especialmente los que abarcan metodologías novedosas.

2. OBJETIVOS Top

Este trabajo se plantea como principal objetivo revisar las tendencias más sobresalientes en la evaluación de las Humanidades y de las Ciencias Sociales en el ámbito internacional, especialmente en Europa. En este proceso de revisión se tratan de identificar las características y los cambios más destacados que se están produciendo en las prácticas de evaluación. Si bien no podrán tratarse todos los aspectos sistemática y detalladamente por la propia naturaleza del artículo de revisión, se pretende que la exposición de algunas de las claves que rigen hoy los procesos de evaluación permita ver los cambios sustanciales que se están dando y el sentido de la evolución.

Asimismo, este estado de la cuestión pretende mostrar el dinamismo que se registra en la investigación sobre evaluación en estas disciplinas y que responde a la necesidad de evaluar mejor. Por otra parte, este artículo pretende servir de base para conocer las distintas rutas que pueden seguirse en la evaluación de las Humanidades y Ciencias Sociales, alejadas de los métodos bibliométricos tradicionales y más ajustadas a las prácticas de investigación de estas disciplinas.

3. METODOLOGÍA Top

Las tendencias y rasgos distintivos que se describen en este artículo, y que pretenden mostrar las prácticas de evaluación en las Humanidades y en las Ciencias Sociales, son una síntesis de la investigación continuada en este campo. Más concretamente, los contenidos de este artículo se derivan de a) la revisión de la literatura científica publicada en canales especializados; b) la participación activa en la acción COST European Network for Research Evaluation in the Social Sciences (ENRESSH CA-15137), en sus grupos de trabajo, en sus congresos y en publicaciones conjuntas especializadas en este tema; c) la interacción con académicos, editores de libros y de revistas y agencias de evaluación en torno a la evaluación de la producción científica, en actividades académicas.

4. CLAVES DE LA EVALUACIÓN DE LAS HUMANIDADES Y CIENCIAS SOCIALES HOY Top

4.1. Datos completos y fuentes de indicadores para los canales de publicación

Las investigaciones recientes muestran la diversidad de modelos de evaluación que se identifican en Europa en estos momentos (Ochsner y otros, 2017bOchsner, M.; Kulczyck, E.; Gedutis, A. (2017b). Diversity of Research Evaluation Systems in Europe. Nordic Workshop for Bibliometrics, Helsinki, Finland. http://www.helsinki.fi/astro/library/nwb22/D1-05-Ochsner.pdf.). Esa diversidad viene dada por distintas variables como la centralización o descentralización de los modelos, la disponibilidad de información sobre producción científica a nivel institucional, regional o de país, la mayor o menor consideración de las prácticas de investigación en las distintas disciplinas o la inclusión de una o más dimensiones de la investigación en esos procesos de evaluación. Lo cierto es que muchos de ellos tienen como objeto principal de evaluación las publicaciones científicas. No solo son el resultado más tangible y mensurable de la actividad científica. También pueden considerarse la punta del iceberg: donde hay publicaciones, hay investigación, difusión, innovación o redes de colaboración.

Quizá pueda hacerse una primera distinción en los modelos, entre aquellos países que tienen sistemas de información científica nacionales (Current Research Information Systems) que reúnen el conjunto de la producción científica y aquellos que no lo tienen. Países como Noruega, Finlandia, Dinamarca o la región de Flandes (Bélgica) han construido CRIS que les permiten tener recogida la totalidad de la producción científica del país/región. También la plataforma Lattes[6] de Brasil puede considerarse un sistema de información científica a nivel nacional. Al tener datos completos de la producción científica es posible realizar evaluaciones en contexto. El punto de partida del sistema de evaluación es lo producido por un país; a partir de ahí se pueden identificar patrones de publicación de las distintas disciplinas y aplicar valoraciones y/o ponderaciones de los canales de publicación, básicamente revistas y editoriales académicas de libros (Giménez-Toledo y otros, 2016Giménez-Toledo, E.; Mañana-Rodríguez, J.; Engels, T. C. E.; Ingwersen, P.; Siverten, G.; Verleysen, F. T.; Zuccala, A. (2016). Taking scholarly books into account: current developments in five european countries. Scientometrics, 107 (2), 685-699. https://doi.org/10.1007/s11192-016-1886-5.). Las categorizaciones o niveles que se asignan a la producción científica son elaboradas por paneles de expertos a partir de información generada por grupos de investigación y asociaciones de editores.

Es importante recalcar que, de partida, se tiene en cuenta toda la producción científica y no se valora solo una pequeña fracción visible en bases de datos internacionales como Web of Science (Clarivate Analytics) o Scopus (Elsevier). Esto marca una diferencia fundamental. En muchos otros países, el modelo ha sido (o es) a la inversa: no existen bases de datos nacionales, los investigadores envían a las agencias de evaluación sus currículos para ser valorados y entonces pueden darse dos situaciones.

La primera de ellas, bastante extendida hasta hace poco tiempo, reconoce prioritariamente la producción científica recogida en las grandes bases de datos comerciales Web of Science y Scopus. Esa producción científica está limitada a la selección de fuentes que hacen los productores y fundamentalmente son artículos de revistas científicas y libros de un conjunto muy acotado de editoriales académicas. Resulta necesario recordar aquí las limitaciones que produce la evaluación realizada con estas fuentes. Son innumerables los estudios que muestran los sesgos de estas bases de datos y las consecuentes dificultades para evaluar la producción en Humanidades y Ciencias Sociales. Uno de los últimos (Gingras y Khelfaoui, 2017Gingras, Y.; Khelfaoui, M. (2017). Assessing the effect of the United States’ “citation advantage” on other countries’ scientific impact as measured in the Web of Science (WoS) database. Scientometrics, 114 (2), 517-532. https://doi.org/10.1007/s11192-017-2593-6.) muestra cómo las citas favorecen a los países con una relación más cercana a Estados Unidos. Pero ya solo en la distribución geográfica de las revistas y editoriales que se seleccionan se aprecia lo incompletas que resultan las fuentes para evaluar la producción científica de un país. Solo por poner un ejemplo: un reciente estudio de la producción científica dominicana revela que la producción científica del país visible en las bases de datos internacionales representa solo el 49% de lo producido. Es decir, que un 51% permanece invisible si no se consideran otras fuentes (Riggio, 2017Riggio, G. (2017). Indicadores bibliométricos de la actividad científica de la República Dominicana. Madrid: Universidad Carlos III. Tesis doctoral.). En consecuencia, cuando se decide evaluar utilizando única y exclusivamente estas fuentes de información, no solo se está minusvalorando gran parte de la actividad desarrollada por los investigadores del país, sino que se le quita importancia a la investigación que puede ser más útil para la región o el país, que es normalmente la que queda fuera de las bases de datos internacionales.

La segunda de ellas se refiere a procesos de evaluación no respaldados por un CRIS pero sin que ello implique una evaluación pobre o limitada de las publicaciones. De hecho, en los últimos años puede constatarse cómo algunos ejercicios de evaluación nacionales evalúan la producción científica utilizando fuentes de indicadores diversas. Así, por ejemplo, además de WoS o Scopus, se consideran bases de datos como ERIH Plus (European Reference Index for the Humanities en su última versión) u otras categorizaciones de revistas de ámbito internacional; también se tienen en cuenta bases de datos o índices nacionales que estudian las características de las revistas científicas de un país. Son los casos de las listas de canales de publicación del sistema BFI/BRI, Bibliometric Research Indicator en Dinamarca[7], las del sistema finés categorizadas por el Julkaisufoorumi[8], las del sistema noruego realizadas por el Norwegian Register for Scientific Journals, Series and Publishers[9] o las del sistema de evaluación de la Región de Flandes, en Bélgica, a través del la Base de Datos Bibliográfica Académica Flamenca para las Ciencias Sociales y las Humanidades o VABB-SHW[10]. E incluso en algunos casos como el español, se mencionan fuentes de información sobre editoriales de libros académicos como Scholarly Publishers Indicators (SPI)[11] o etiquetas de calidad para colecciones (CEA/APQ)[12].

Rankings, categorizaciones o etiquetas de calidad para libros y revistas científicas son herramientas que intervienen casi en cualquier proceso de evaluación. De alguna manera, el uso de estas fuentes constata la necesidad de apoyar las decisiones sobre producción científica en indicadores objetivos. Probablemente el uso que se hace de esas herramientas es lo más controvertido. Los indicadores sobre publicaciones deberían utilizarse siempre en combinación con el criterio de los expertos en la materia. Esta ha sido siempre la regla de oro de la Bibliometría. Sin embargo, en ocasiones se simplifican y automatizan en exceso en los procesos de evaluación, haciendo traducciones automáticas del valor de una contribución científica en función de la posición de una revista o una editorial en un ranking. Los indicadores de publicaciones deben aportar información sólida y útil al experto, pero no determinar el resultado definitivo de la evaluación. “Metrics should support, not supplant, expert judgement” es la conclusión de The Metric Tide (Wilsdon y otros, 2015Wilsdon, J.; Allen, L.; Belfiore, E.; Campbell, P.; Curry, S.; Hill, S.; Jones, R.; Kain, R.; Kerridge, S.; Thelwall, M.; Tinkler, J.; Viney, I.; Hill, J.; Wouters, P.; Johnson, B. (2015). The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. https://doi.org/10.13140/RG.2.1.4929.1363.), un informe independiente sobre las métricas en la evaluación científica.

La ausencia de CRIS impide tener un conocimiento detallado de los niveles de producción por disciplinas científicas, de los índices de coautoría o colaboración internacional, de la relevancia de los distintos canales de publicación o de los idiomas utilizados para la transmisión del conocimiento científico. En definitiva, impide tener los datos de contexto a nivel de país sobre los patrones de comunicación de las distintas disciplinas. Bien es cierto que, en ocasiones, no hay sistemas de información nacionales pero sí institucionales. Estos sistemas, repositorios o bases de datos diseñadas especialmente para el seguimiento de la producción científica en una institución, permiten disponer de información precisa para la evaluación en una universidad o un centro de investigación en particular (De Filippo y otros, 2011De Filippo, D.; Sanz-Casado, E.; Salido, C. U.; Ardanuy, J.; Gómez-Caridad, I. (2011). El papel de las bases de datos institucionales en el análisis de la actividad científica de las universidades. Revista española de documentación científica, 34 (2), 165-189. https://doi.org/10.3989/redc.2011.2.797.; Reale y otros, 2011Reale, E.; De Filippo, D.; Gómez, I.; Lepori, B.; Potì, B.; Primeri, E.; Probst, C.; Sanz-Casado, E. (2011). New uses of the institutional databases of universities: indicators of research activity. Research Evaluation, 20 (1), 47-60. https://doi.org/10.3152/095820211X12941371876300.). Así, por ejemplo, el Consejo Superior de Investigaciones Científicas (CSIC) de España cuenta con el sistema de información ConCiencia, mientras que una buena parte de las universidades españolas trabajan con el software Universitas XXI para el seguimiento de su producción científica, entre otras cosas.

Por otra parte, en los procesos de evaluación a escala nacional de países que no cuentan con CRIS, los distintos comités o paneles de expertos tienen más o menos definido ese contexto pero no hay datos que confirmen los patrones de publicación y su evaluación a lo largo del tiempo. Además, al priorizarse la producción recogida en las bases de datos internacionales, se otorga un carácter secundario a la investigación más cercana al territorio y que puede tener un impacto social –no solo académico- en la comunidad más cercana.

En este sentido, se favorece la publicación internacional (entendiendo “internacional” en un sentido restrictivo pues es lo seleccionado por los productores de las bases de datos) y, por tanto, se atiende a los temas y metodologías que son interesantes en un contexto internacional y globalizado. Sin embargo, es necesario considerar también las publicaciones que están fuera de ese ámbito, no solo porque difunden conocimientos científicos en otros temas relevantes para las comunidades cercanas, sino también porque de este modo se está preservando la diversidad temática, lingüística, metodológica e ideológica que existe en la investigación (Ochsner y otros, 2017bOchsner, M.; Kulczyck, E.; Gedutis, A. (2017b). Diversity of Research Evaluation Systems in Europe. Nordic Workshop for Bibliometrics, Helsinki, Finland. http://www.helsinki.fi/astro/library/nwb22/D1-05-Ochsner.pdf.; Giménez-Toledo, 2017Giménez-Toledo, E. (2017). Edición académica en español: la diversidad como desafío. Revista de Occidente, 438, 77-103. http://www.ortegaygasset.edu/publicaciones/revistadeoccidente/noviembre-2017.). Así, por ejemplo, las preguntas de investigación y las respuestas que se observan en revistas internacionales indexadas casi en cualquier disciplina no son aquellas que prioritariamente preocupan en países de América Latina o en España. Vessuri y otros (2013Vessuri, H.; Guédon, J. C.; Cetto, A. M. (2013). Excellence or quality? Impact of the current competition regime on science and scientific publishing in Latin America and its implications for development. Current Sociology, 62 (5), 647-665. https://doi.org/10.1177/0011392113512839.) se refiere a la internacionalización de la investigación en los siguientes términos “Si la ciencia de América Latina quiere internacionalizarse sobre una base sólida, debería dejar de interpretar erróneamente que la ciencia del Atlántico Norte es la totalidad de la ciencia mundial” (p.12). Los distintos argumentos en este sentido apuntan a que si se dejan de atender las publicaciones no indexadas, se estará perdiendo parte de la investigación esencial para los contextos nacionales o regionales.

Por otra parte, reconociendo las singularidades de la producción científica en Humanidades y Ciencias Sociales y, al mismo tiempo, el interés de observar esa producción en un marco internacional - no solo en los nacionales- y desde una perspectiva comparada, hace tiempo que se propuso la creación de una base de datos que recogiera las publicaciones generadas en estas disciplinas en el ámbito europeo (Martin y otros, 2010Martin, B. R.; Tang, P.; Morgan Jones, M. (2010). Towards a bibliometric database for the social sciences and humanities-A European Scoping Project. http://sro.sussex.ac.uk/29810/ .). Aunque la propuesta no llegó a desarrollarse, lo cierto es que la idea sigue teniendo vigencia. De hecho, forma parte de los objetivos de la acción COST European Network for Research Evaluation in the Social Sciences and the Humanities (ENRESSH, 2015ENRESSH (2015). Memorandum of understanding for the implementation of the COST action European Network for Research Evaluation in the SSH CA15137. http://enressh.eu/wp-content/uploads/2016/10/CA15137-e.pdf.). Esta red está colaborando en el proyecto piloto VIRTA (Puuska y otros, 2017Puuska, H.M.; Pölönen, J.; Engels, T.; Sivertsen, G. (2017). Towards the integration of European research information. Spring 2017 Membership Meeting of euroCRIS, Dublin. https://dspacecris.eurocris.org/bitstream/11366/593/1/euroCRIS_MMDublin_Puuska_Towards_integration_of_European_research_information_20170531.pdf), una infraestructura tecnológica que permite recoger la producción científica de distintos países de forma normalizada e interoperable. El sistema se alimenta de forma descentralizada, desde cada uno de los países o instituciones. En la medida en que el proyecto piloto pueda avanzar y se sumen a él otros países, se podrá ir creando una gran base de datos de producción científica que permitiría no solo la realización de estudios sobre dinámicas de publicación, colaboración, etc. en distintas disciplinas sino también disponer de información para la evaluación científica en contexto, un factor clave para la evaluación de las Humanidades y las Ciencias Sociales.

4.2. Hacia una evaluación más cualitativa y/o con enfoques bottom up

La evaluación de los contenidos –es decir, de la investigación publicada- ha sido y es una reivindicación habitual de los humanistas y científicos sociales. En ocasiones critican la evaluación que se hace a partir de los canales de publicación, fundamentalmente de revistas y editoriales, disociando el contenido del continente. A juzgar por los estudios realizados (McCulloch, 2017McCulloch, S. (2017). The importance of being REF-able: academic writing under pressure from a culture of counting. LSE Impact blog. http://blogs.lse.ac.uk/impactofsocialsciences/2017/02/09/the-importance-of-being-ref-able-academic-writing-under-pressure-from-a-culture-of-counting/.; Giménez-Toledo, 2016Giménez-Toledo, E. (2016). Malestar. Los investigadores ante su evaluación. Madrid: Iberoamericana Vervuert.), la comunidad académica siente la presión que ejerce sobre ellos la evaluación, la exigencia por publicar más y en determinados medios y, en relación con esto, la desviación de sus temas de investigación para poder publicar en las revistas o editoriales que son mejor valoradas. Además, como apuntan Ochsner y otros (2017aOchsner, M.; Hug, S.; Galleron, I. (2017a). The future of research assessment in the humanities: bottom-up assessment procedures. Palgrave Communications, 3. https://doi.org/10.1057/palcomms.2017.20.) los investigadores de estas áreas tienen fuertes reservas hacia la cuantificación.

Hay varios factores que tener en cuenta sobre este posicionamiento (Giménez-Toledo, 2016Giménez-Toledo, E. (2016). Malestar. Los investigadores ante su evaluación. Madrid: Iberoamericana Vervuert., p. 23 y siguientes). Por un lado, hay pocos esquemas de evaluación científica de corte esencialmente cualitativo. El último Research Excellence Framework (REF, 2014Research Excellence Framework (REF) (2014). Main panel D criteria. http://www.ref.ac.uk/2014/media/ref/content/pub/panelcriteriaandworkingmethods/01_12_2D.pdf.) (Panel D) del Reino Unido era uno de ellos, hasta el punto de señalar explícitamente en su convocatoria que no consideraría el medio en el que se hubiera publicado una contribución o las clasificaciones de revistas o editoriales en los paneles de Humanidades y Ciencias Sociales (Research Excellence Framework, 2014Research Excellence Framework (REF) (2014). Main panel D criteria. http://www.ref.ac.uk/2014/media/ref/content/pub/panelcriteriaandworkingmethods/01_12_2D.pdf.). Primaría la evaluación basada en paneles de expertos. La metodología pudo ser aplicada gracias a la enorme inversión en el propio proceso de evaluación, pues es costosa en tiempo y en dinero; al mismo tiempo, al ser un ejercicio de evaluación voluntario que se efectúa sobre la producción científica de investigadores y para un periodo de seis años, es factible realizarla, frente a los procesos de evaluación periódicos, normalmente anuales, que se llevan a cabo a nivel institucional. Aún así, el REF 2014 ha sido controvertido y criticado.

La evaluación cualitativa o basada únicamente en el criterio de especialistas no está exenta de problemas, pues no solo hay escuelas de pensamiento, ideologías o apreciaciones metodológicas que implican posicionarse a favor o en contra de una determinada línea de investigación. Es que además, como indican Ochsner y otros (2017aOchsner, M.; Hug, S.; Galleron, I. (2017a). The future of research assessment in the humanities: bottom-up assessment procedures. Palgrave Communications, 3. https://doi.org/10.1057/palcomms.2017.20.) “the way SSH scholars appreciate research output of colleagues is quite different from how STEM researchers do. SSH scholars are much more critical. They criticize even work they value as excellent”. Es decir, el hecho de que las evaluaciones estuvieran basadas solo en el juicio de los especialistas no garantizaría una mejor aceptación de los procesos de evaluación. Esa razón, unida a los costes y a los tiempos de los procesos de evaluación, hace que muchos modelos de evaluación estén basados en una fórmula combinada entre el criterio de los especialistas (lo cualitativo) y los indicadores (lo cuantitativo).

En lo que concierne a la falta de aceptación de los indicadores cuantitativos por parte de humanistas y científicos sociales es necesario establecer diferencias entre indicadores y, desde luego, reivindicar el valor y la utilidad de algunos de ellos. A juzgar por las reticencias que a veces provocan, podría parecer que los indicadores de una publicación –su prestigio, su internacionalidad, su rigor en la selección de originales- fueran valores totalmente ajenos a la idea, juicio o percepción que la academia tiene sobre esa publicación. Podría parecer que el juicio de los expertos sobre un canal de publicación (revista, editorial, etc.) no se pudiera traducir de ninguna manera a un valor numérico o a una categoría. Los indicadores bibliométricos no siempre son meras medidas de la cantidad de producción o de citas recibidas. Quizá porque en ocasiones se han utilizado esos indicadores en exceso o mal, o quizá porque lo numérico resulta generalmente ajeno en las Humanidades, existe un rechazo a su uso. Sin embargo, un indicador numérico o una categoría pueden estar representando distintas cualidades de la investigación o de las publicaciones. Cuando un panel de especialistas se reúne para determinar qué grado de calidad tiene un conjunto de revistas y resumen su juicio en un conjunto de categorías (véase sistema finlandés, danés o noruego en Giménez-Toledo y otros, 2016Giménez-Toledo, E.; Mañana-Rodríguez, J.; Engels, T. C. E.; Ingwersen, P.; Siverten, G.; Verleysen, F. T.; Zuccala, A. (2016). Taking scholarly books into account: current developments in five european countries. Scientometrics, 107 (2), 685-699. https://doi.org/10.1007/s11192-016-1886-5.) se está produciendo esta traducción práctica que implica facilitar un proceso de evaluación teniendo en cuenta los conocimientos de los especialistas. Lo mismo ocurre en un proceso de consulta a la comunidad académica sobre el prestigio de las editoriales, como el que se produce para la creación del sistema de indicadores de editoriales Scholarly Publishers Indicators. O cuando, para la creación de este mismo sistema, se analizan miles de registros bibliográficos que permiten determinar el perfil de especialización de una editorial (Giménez-Toledo y Mañana-Rodríguez, 2016Giménez-Toledo, E.; Mañana-Rodríguez, J. (2016). Lo cuantitativo en las Humanidades: los casos de la evaluación y la edición científica. Índice. Revista de Estadística y Sociedad, 69, 25-27. http://www.revistaindice.com/numero69/p25.pdf.). La construcción de un indicador implica formalizar un conocimiento que hasta el momento ha permanecido “informal” o tácito, consiguiendo así que sea útil para los procesos de evaluación. Un alumbrador artículo de Ferrara y Bonaccorsi (2016Ferrara, A.; Bonaccorsi, A. (2016). How robust is journal rating in Humanities and Social Sciences? Evidence from a large-scale, multi-method exercise. Research Evaluation, 25 (3), 279-291. https://doi.org/10.1093/reseval/rvv048.) muestra cómo la distancia teórica que existe entre la opinión de los especialistas sobre las revistas y los indicadores no es tal o no es tanta. Ellos comparan dos procesos de evaluación de revistas científicas, uno basado en juicios cualitativos y otro en categorizaciones, y demuestran, mediante regresiones, que realmente los resultados son muy parecidos. Es decir, que es factible realizar esa traducción de criterios cualitativos en indicadores y que las herramientas que los recogen permiten afrontar con eficiencia los sobrecargados procesos de evaluación de la actividad científica.

Por otra parte, es necesario distinguir los sistemas de evaluación y sus fuentes en función de los objetivos que tiene cada uno de ellos. Se habla de evaluación en general, pero no es lo mismo llevar a cabo un proceso de evaluación institucional para mejorar la transparencia y poder diseñar unas mejores directrices en política científica, que evaluar para asignar recursos para la investigación o que evaluar a un investigador para su promoción. En función de los objetivos, los procedimientos y herramientas de evaluación varían. Sivertsen (2017aSivertsen, G. (2017a). Unique, but still best practice? The Research Excellence Framework (REF) from an international perspective. Palgrave Communications, 3. https://doi.org/10.1057/palcomms.2017.78.) establece una clara clasificación de los sistemas de evaluación de países que están trabajando con sistemas de financiación basados en los resultados de la investigación. En esa clasificación se observa cómo los diferentes objetivos de los sistemas han propiciado que en ocasiones se opte por la evaluación basada en paneles de expertos y en otros se utilicen más los indicadores, dándose también diferencias en el tipo de indicadores que se utilizan. Adentrarse en esa variedad de objetivos y procedimientos debe hacer ver que las generalizaciones, también en la evaluación científica, no son buenas ni constructivas.

Una de las ideas clave en los procedimientos de evaluación que se reivindican en la actualidad es que la comunidad académica debe participar en el diseño de ese procedimiento o de esos indicadores. El denominado enfoque bottom up (de abajo a arriba) se concibe como una buena solución para mejorar los procesos de evaluación (Ochsner y otros, 2017aOchsner, M.; Hug, S.; Galleron, I. (2017a). The future of research assessment in the humanities: bottom-up assessment procedures. Palgrave Communications, 3. https://doi.org/10.1057/palcomms.2017.20.). La razón para ello es que estos procedimientos tienen en cuenta las prácticas de investigación y de comunicación científica de los humanistas y científicos sociales, lo que tiene como consecuencia no solo una evaluación más ajustada a la realidad sino también, a priori, una mejor aceptación de los resultados por parte de la comunidad académica. Es necesario señalar a priori, porque incluso los procedimientos o fuentes de información que se crean especialmente pensando en estas disciplinas e involucrando a sus académicos resultan a veces controvertidas o contestadas por los investigadores. La primera etapa de ERIH, European Reference Index for the Humanities, es un ejemplo de ello, quizá más notorio por el alcance europeo del proyecto. El proyecto se transformó en ERIH Plus (2017ERIH Plus revision (2017). https://dbh.nsd.uib.no/publiseringskanaler/erihplus/about/erih_revision_completed.), una fuente de información bibliográfica sobre revistas científicas de Humanidades y Ciencias Sociales, que informa del cumplimiento de ciertos criterios de calidad que se exigen a este tipo de publicaciones: sistema de revisión por expertos externos, existencia de un comité editorial, afiliación institucional de los autores, etc. Paradójicamente, la intervención de los especialistas en las disciplinas –reivindicación habitual- para categorizar las revistas de ERIH en su primera etapa fue un elemento tan controvertido (Journals under threat, 2009Editorial: Journals Under Threat: A Joint Response from History of Science, Technology and Medicine Editors (2009). Centaurus, 51, 1-4. https://doi.org/10.1111/j.1600-0498.2008.00140.x.) que hoy ya no se tiene en cuenta. ERIH plus es hoy una fuente de información bibliográfica más que una fuente con información potencialmente útil para la evaluación científica.

Pero no solo ERIH ha sido discutido por la comunidad académica. Las categorizaciones de revistas o editoriales, las ponderaciones de los indicadores o las facetas de la actividad investigadora que se tienen en cuenta (por ejemplo, la valoración de las actividades de divulgación científica o la dirección de revistas científicas) son permanentemente objeto de discusión en los procesos de evaluación nacionales. Es una característica común en todos los países, independientemente del modelo de evaluación que se siga. Y a veces la reacción contra los sistemas de evaluación o sus resoluciones es tan contundente que se llega a los tribunales. Es un hecho que no deja de sorprender pues hoy la evaluación se realiza con mucha más información, mejores indicadores y, muy frecuentemente, con la participación de la comunidad científica. Los paneles de expertos suelen formar parte de la mayoría de los procesos de evaluación. También las asociaciones científicas hacen llegar a las agencias de evaluación sus opiniones y posicionamientos acerca de los criterios de evaluación. En general, se dan mejores condiciones para poder evaluar mejor. Sin embargo, bien sea por las visiones reduccionistas de la ciencia –solo vale aquello que es publicado en revistas internacionales indexadas-, bien por el rechazo sistemático a los procedimientos o a los indicadores cuantitativos, aún queda mucho por hacer para lograr modelos de evaluación que sean ampliamente aceptados.

En la mayoría de los casos, cuando se propone integrar enfoques bottom up a los procesos de evaluación, se está considerando manejar de manera combinada indicadores y peer review con la implicación de las comunidades académicas correspondientes. Algunos ejemplos de estos enfoques pueden ser el seguido en el denominado modelo noruego o el utilizado para la creación de los rankings de prestigio de las editoriales Scholarly Publishers Indicators (SPI)[13]. En el primero, como se ha indicado anteriormente, la base de partida es el conjunto de producción científica de todo un país. Se evalúa en contexto, pues se pueden identificar los patrones de trabajo académico y publicación de las distintas disciplinas y, además, se recurre al juicio de los especialistas. El modelo noruego cuenta con paneles de expertos que validan los canales de publicación y establecen niveles para ellos.

En el caso de SPI, se recaba información sobre el prestigio de las editoriales a partir de los lectores y autores de los libros que publican esas editoriales (Giménez-Toledo, 2018Giménez-Toledo, E. (ed.) (2018). Estudio cualitativo de las editoriales académicas. La percepción de la comunidad científica española. Madrid: Federación del Gremio de Editores de España.). Se consulta a la comunidad académica que, como especialista, es quién mejor puede evaluar la calidad del fondo de las editoriales. La consulta permite publicar rankings de prestigio de las editoriales que se conciben como una información orientativa en los procesos de evaluación. Esa aproximación no es la única, pues el sistema SPI aporta también indicadores sobre la especialización del catálogo de las editoriales, el sistema de selección de originales que siguen, la utilización de los metadatos, la agrupación de su fondo en colecciones o su presencia en otros sistemas de información. Tanto los indicadores de prestigio como el sistema de selección de originales de las editoriales son elementos mencionados explícitamente por las agencias de evaluación españolas Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA, 2017ANECA (2017). Méritos evaluables para la acreditación nacional para el acceso a los cuerpos docentes universitarios. http://www.aneca.es/Programas-de-evaluacion/ACADEMIA/Criterios-de-evaluacion-noviembre-2017.) y Comisión Nacional Evaluadora de la Actividad Investigadora (Ministerio de Educación, Cultura y Deporte, 2017Ministerio de Educación, Cultura y Deporte (2017). Resolución de 23 de noviembre de 2017, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios específicos aprobados para cada uno de los campos de evaluació. Boletín Oficial del Estado, nº 292. Madrid, España. https://www.boe.es/boe/dias/2017/12/01/pdfs/BOE-A-2017-14085.pdf .) en los campos de Humanidades y Ciencias Sociales.

4.3. Acceso abierto y sus implicaciones en la evaluación científica

Una transformación clave en la forma de hacer ciencia y comunicar los resultados de la investigación se está produciendo por los principios de la ciencia abierta. A partir del postulado de que la sociedad en su conjunto debería beneficiarse y tener acceso a los resultados de la investigación científica realizada con fondos públicos, se plantean nuevas prácticas académicas:

• la publicación de resultados en abierto, tanto en forma de artículos, como libros u otros tipos de documentos (informes, documentos de trabajo, etc.);

• publicación de los datos de las investigaciones en abierto para que otros investigadores puedan utilizarlos y/o reproducir las investigaciones;

• la evaluación de la actividad científica a partir de fuentes abiertas (citas procedentes de Google Scholar, métricas alternativas de fuentes como Twitter, Facebook, Research Gate, Academia, etc.) y no de bases de datos cerradas;

• y también la valoración del impacto académico (open citations) y no académico que pueda establecerse también a partir de fuentes abiertas (Ràfols y otros, 2017Ràfols, I.; Robinson-García, N.; Leeuwen, T. van (2017). How to make altmetrics useful in societal impact assessments: shifting from citation to interaction approaches. Impact of Social Sciences Blog. http://blogs.lse.ac.uk/impactofsocialsciences/2017/03/23/how-to-make-altmetrics-useful-in-societal-impact-assessments-shifting-from-citation-to-interaction-approaches/ .).

Todos ellos son temas a los que se está dedicando mucha atención en la investigación y que han entrado en las agendas de la política científica, especialmente lo que concierne a la publicación de datos y resultados de investigación en abierto. La Recomendación de la Comisión Europea sobre acceso y preservación de la información científica (European Commission, 2012European Commission (2012). Commission recommendation of 17.7.2012 on access to and preservation of scientific information. http://ec.europa.eu/research/science-society/document_library/pdf_06/recommendation-access-and-preservation-scientific-information_en.pdf.), la futura creación de una plataforma para la publicación de resultados en abierto propuesta también por la Comisión Europea (European Commission, 2017European Commission (2017). Towards a Horizon 2020 platform for open access. Nota informativa. https://ec.europa.eu/research/openscience/pdf/information_note_platform_public.pdf#view=fit&pagemode=none.), las diferentes leyes de la ciencia, incluida la española (España, 2011España. Jefatura del Estado (2011). Ley 14/2011, de 1 de junio, de la Ciencia, la Tecnología y la Innovación. Boletín Oficial del Estado, nº 31. https://www.boe.es/boe/dias/2011/06/02/pdfs/BOE-A-2011-9617.pdf .), y las distintas convocatorias de proyectos de investigación, entre ellas las del vigente programa europeo de investigación e innovación H2020[14], muestran que políticamente el acceso abierto al conocimiento científico es una apuesta firme y segura. Sin embargo, la adopción del acceso abierto conlleva muchos cambios en el entorno académico.

Si los autores deben publicar en abierto, bien por propia convicción, bien por los imperativos de las convocatorias de proyectos, tienen que decidir cómo hacerlo. Pueden optar por la vía verde o por la vía dorada. En este último caso –publicación inmediata de los resultados en abierto-, la publicación suele implicar el pago de tasas a las editoriales académicas consolidadas. Sin ese pago, el contenido del artículo quedaría cerrado, solo accesible para quien tenga suscripción a una revista en concreto y solo una vez que hubiera pasado el periodo de embargo, el autor podría depositar el artículo en un repositorio (vía verde).

Habitualmente estas tasas (APCs: Article Processing Charges) son pagadas por los autores porque sus proyectos cuentan con fondos para la publicación en abierto. Es decir, las propias convocatorias públicas prevén que los presupuestos de los proyectos de investigación dispongan de partidas para publicar en abierto. De esta forma se impulsa el acceso abierto. Sin embargo, son muchas las dudas que surgen de la sostenibilidad del sistema y, de hecho, es uno de los grandes temas de debate. Por una parte, no se puede financiar todo lo que se produce. Por otra, los fondos públicos destinados a la investigación acaban en las grandes empresas editoriales que no solo han diseñado programas específicos de publicación en abierto para facilitar el cumplimiento de los mandatos a los autores, sino que además son capaces de atraer más originales (y más ingresos) porque sus revistas están indexadas en las bases de datos internacionales, forman parte del “sistema” y, en virtud de eso, están ampliamente reconocidas por las agencias de evaluación de muchos países. La industria editorial académica ha adoptado soluciones para que el acceso abierto a la investigación fuera una oportunidad y no una amenaza. Los estudios de Björk y Solomon (Björk y Solomon, 2012Björk, B. C.; Solomon, D. (212). Open access versus subscription journals: a comparison of scientific impact. BMC medicine, 10 (1), 73. https://doi.org/10.1186/1741-7015-10-73.; Solomon y Björk, 2012aSolomon, D. J.; Björk, B. C. (2012a). A study of open access journals using article processing charges. Journal of the Association for Information Science and Technology, 63 (8), 1485-1495. https://doi.org/10.1002/asi.22673. y 2012bSolomon, D. J.; Björk, B. C. (2012b). Publication fees in open access publishing: Sources of funding and factors influencing choice of journal. Journal of the association for information science and technology, 63 (1), 98-107. https://doi.org/10.1002/asi.21660.) muestran con claridad el notable incremento de revistas científicas dentro de las grandes casas editoriales que permiten la publicación en abierto mediante el pago de las correspondientes tasas. Y esas mismas editoriales han creado programas específicos de publicación de monografías y libros colectivos en abierto. Mientras, las pequeñas editoriales y las editoriales universitarias o institucionales que publican revistas y libros académicos se resienten de las estrategias comerciales de las grandes editoriales; y cuando se apuesta por la edición en abierto, el modelo de financiación es bien diferente: es el subsidio o financiación de la universidad quién asume el coste de esa publicación.

Es sabido que en las Ciencias Sociales y, muy especialmente, en las Humanidades, los libros ocupan un lugar prominente en la comunicación de resultados de investigación. Sin embargo, publicarlos en abierto resulta muy costoso. El informe de Jubb (2017Jubb, M. (2017). Academic Books and their Futures: A Report to the AHRC and the British Library. London.) cifra en 6.500 libras las tasas (BPCs: Book Processing Charges) para publicar en Cambridge University Press, 10.000 para publicar con Taylor & Francis y 11.000 con Palgrave. Puesto que estos costes, y la menor disponibilidad de fondos para las Humanidades y las Ciencias Sociales, plantean un serio problema de sostenibilidad, están surgiendo en los últimos años una serie de iniciativas que tratan de dar respuesta a este desafío. Así, por ejemplo, Knowledge Unlatched[15] propone que los costes para publicar una monografía en abierto, seleccionada, editada y publicada por un sello editorial consolidado, sean cubiertos por las bibliotecas universitarias que quieran participar de este sistema de cofinanciación. Más de 340 títulos han sido publicados ya de este modo. Por otra parte, han aparecido nuevas casas editoriales como la universitaria UCL Press que publica directamente en abierto y que es financiada por la propia universidad (University College of London), en lo que constituye una firme apuesta porque el conocimiento científico esté disponible públicamente.

Desde el punto de vista de la evaluación en Humanidades y Ciencias Sociales, todas las cuestiones relacionadas con el acceso abierto tienen un gran interés. Por una parte –ya se ha apuntado- los procesos de evaluación valoran entre otras cuestiones los canales de publicación. Esto supone que las revistas y editoriales más consolidadas, que además permitan publicar en abierto una vez abonadas las tasas, estarán en disposición de recibir más y mejores originales. Se plantea, eso sí, el problema de la sostenibilidad económica. Pero también el de la diversidad. Basta pensar en revistas universitarias de distintos países del mundo, que publican directamente en abierto sin exigir el pago de tasas; o en editoriales relevantes en los ámbitos nacionales, tanto comerciales como universitarias, que no han adoptado el acceso abierto para las monografías porque su modelo de negocio es la venta de libros, porque no participan de ningún sistema de cofinanciación de ediciones y la inversión en la edición sería a fondo perdido o porque, sencillamente, existen recelos sobre la protección de la propiedad intelectual. Las cifras ayudan a mostrar las dimensiones de la edición de libros académicos en abierto. Según DOAB (Directory of Open Access Books), una fuente abierta a la información de todo el mundo, 240 editoriales están trabajando con monografías de acceso abierto. Aunque en esa cifra están representadas algunas de las editoriales más fuertes de todo el mundo, con un gran volumen de producción editorial, representan un porcentaje relativamente pequeño con respecto a las editoriales académicas que existen. Solo en España, por ejemplo, se identifican más de 200 editoriales de perfil puramente académico (Giménez-Toledo, 2017Giménez-Toledo, E. (2017). Edición académica en español: la diversidad como desafío. Revista de Occidente, 438, 77-103. http://www.ortegaygasset.edu/publicaciones/revistadeoccidente/noviembre-2017.); En Francia, hay unas 75 editoriales científicas institucionales (Henny, 2015Henny, J. M. (ed.) (2015). L’edition scientifique institutionelle en France. Paris: AEDRES. Rapport.); en Colombia, más de 60 editoriales universitarias[16]; y en México, son 42 las editoriales afiliadas a Altexto[17] (red de editoriales universitarias). Como bien señala el informe A landscape study on open access and monographs (Ferwerda y otros, 2017Ferwerda, E.; Pinter, F.; Stern, N. (2017). A landscape study on open access and monographs: Policies, funding and publishing in eight European countries. Knowledge Exchange. https://doi.org/10.5281/zenodo.815932.), los mercados editoriales, hábitos lectores o posibilidades de financiación en los distintos países determinan también los modelos de edición y la predisposición a participar en proyectos de monografías de acceso abierto.

La diversidad en la investigación y en la edición dentro de las Humanidades y las Ciencias Sociales es y será un factor crucial en la evaluación de estas disciplinas. Al no generar un conocimiento tan monolítico como el de las ciencias positivas, las formas y canales de publicación son mucho más diversas, lo que tiene implicaciones en la evaluación científica: se necesitan fuentes muy completas que aporten información sobre el amplio rango de revistas, editoriales y otros canales de comunicación. Estas fuentes deberían conjugar la diversidad y pluralidad en temas de investigación, idiomas o metodologías con la calidad y/o el rigor en la selección de los textos que se publican. Precisamente porque los canales de publicación en estas disciplinas son mucho más numerosos y porque es necesario distinguir las investigaciones más sólidas y los canales más selectivos, el desarrollo de indicadores objetivos que aporten información adicional al evaluador resulta fundamental.

La multiplicación de los canales de publicación de resultados científicos unida a los pagos de tasas por publicar en acceso abierto (o simplemente por publicar) representa una cuestión crítica en la actual comunicación científica. Puesto que tiene su repercusión en la evaluación científica y, además, es objeto de preocupación por parte de la comunidad académica, es preciso tratarlo, aunque sea brevemente. El pago de tasas a las editoriales para publicar en abierto trata de sufragar parcialmente los costes de edición y compensar al editor por lo que dejará de ingresar por venta de contenidos cuando se publica en abierto. Se asume que ese pago se produce una vez que el artículo o el libro han sido aprobados por los evaluadores o comités de lectura para su publicación. Sin embargo, el debate que se está produciendo de fondo es si ese pago está condicionando lo que se publica. Existen recelos por parte de la comunidad académica que ve en el pago por publicaciones una vía fácil de publicación, que puede estar prescindiendo o alterando los filtros de selección, garantes fundamentales de la publicación académica y de los procesos de evaluación. Por otra parte, la existencia de fondos para la publicación ha generado también otro tipo de situaciones.

Una de ellas, ya muy documentada, es la proliferación de editoriales depredadoras, tanto de libros como de revistas. Se trata de estructuras no profesionalizadas que ofrecen a los autores publicar sus artículos o libros con inmediatez a cambio del pago por la publicación, sin que medie una prestación de servicios editoriales. La bibliografía sobre este fenómeno es muy extensa y controvertida. Quizá pueda obtenerse una visión general en Anderson (2017Anderson, R. (2017). Cabell’s New Predatory Journal Blacklist: A Review. The Scholarly Kitchen. https://scholarlykitchen.sspnet.org/2017/07/25/cabells-new-predatory-journal-blacklist-review/.) y, desde luego en Beall (2017Beall, J. (2017). What I learned from predatory publishers. Biochemia Medica, 27 (2), 273-278. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5493177/.), que acuñó el término editorial depredadora, construyó un listado mundial de las mismas y tuvo que clausurarlo por un problema judicial, también muy controvertido.

La otra es la generación de constantes oportunidades para publicar que algunas editoriales consolidadas ofrecen a los autores. Así, tras la publicación de un artículo en una revista o tras la presentación de una comunicación a un congreso, las editoriales se ponen en contacto directamente con los autores para ofrecerles publicar una ampliación de ese trabajo o para que su trabajo forme parte de una obra colectiva, por poner solo algunos ejemplos. Todo ello provoca cierto desconcierto en el investigador pues no siempre tiene claro hasta qué punto son vías interesantes de publicación, al tiempo que le implican plantearse una nueva publicación que quizá no tuviera planificada. Asimismo, pueden surgirle dudas sobre si esa propuesta implicará algún tipo de pago o sobre la consideración que tendrá esa revista o editorial en un futuro proceso de evaluación.

4.4. Métricas alternativas y citas abiertas

En paralelo al auge de la publicación en abierto, se suceden desarrollos en el ámbito de las redes sociales –tanto generalistas como académicas- e innovaciones tecnológicas en las plataformas que ofrecen contenidos científicos que permiten disponer de otras métricas distintas a las tradicionales: las denominadas métricas alternativas o Altmetrics. La evaluación científica ha estado basada durante años en los indicadores de impacto de Journal Citation Reports y, más recientemente, de indicadores basados en datos de Scopus como SNIP (Source Normalized Impact per Paper) y Scimago Journal Rank. Tales indicadores se derivan de la literatura científica seleccionada por los productores de las bases de datos y se calculan a partir de las referencias que contienen esas bases de datos. Son inaccesibles para quienes no tengan suscripción a las bases de datos. Al ser fuentes selectivas –no completas- y cerradas, no permiten tener una idea precisa de las citas recibidas por cada investigación. Por otra parte, las citas que sí que pueden ser recabadas en abierto a través de Google Scholar, Microsoft Academic o PubMed tampoco representan la totalidad de las citas producidas, pues las grandes editoriales comerciales no ofrecen en abierto los corpus de referencias empleadas en los artículos que publican. Estas herramientas presentan, de momento, problemas de transparencia y de calidad de datos. Todo ello sustenta la reivindicación de la comunidad académica de bibliómetras de solicitar a las editoriales que hagan accesibles los listados de referencias asociados a los artículos que publican: la denominada Initiative for Open Citations (ISSI, 2017ISSI (2017). Open citations: A letter from the scientometric community to scholarly publishers. http://issi-society.org/open-citations-letter/.).

En el campo de las Humanidades, el valor de las citas siempre ha sido más cuestionado por la existencia de escuelas de pensamiento, por el factor local/lingüístico de las investigaciones o por la falta de inmediatez con la que se cita. Sin embargo, no cabe duda de que la existencia de fuentes abiertas permite recabar datos más completos sobre el impacto académico. Otra cuestión es cómo tratar, desde el punto de vista de la evaluación científica, esos datos de citación que proceden de fuentes abiertas y que, como señala la Initiative for Open Citations, aún presentan problemas de calidad de la información. Muy posiblemente, la información sobre las citas que recibe una publicación hoy, sea utilizada de manera informal en procesos de evaluación. Sin embargo, formalizar esa utilización parece todavía complicado precisamente por la calidad de los datos.

Algo similar sucede con el otro tipo de métricas: visualizaciones, descargas, recomendaciones o valoraciones de los usuarios de la red. Existen cada vez más herramientas que permiten obtenerlas (Zuccala y otros, 2015Zuccala, A.; Verleysen, F.; Cornacchia, R.; Engels, T. (2015). Altmetrics for the humanities: Comparing Goodreads reader ratings with citations to history books. Aslib Journal of Information Management, 67 (3), 320-336. https://doi.org/10.1108/AJIM-11-2014-0152.), pero su significado, valor y posibilidad de ser comparados entre autores, disciplinas, etc. son aún inciertos, cuando no limitados (Torres Salinas y otros, 2017Torres-Salinas, D.; Robinson-Garcia, N.; Gorraiz, J. (2017). Filling the citation gap: measuring the multidimensional impact of the academic book at institutional level with PlumX. Scientometrics, 113 (3), 1371-1384. https://doi.org/10.1007/s11192-017-2539-z.). Como se indica en The Metric Tide, las opciones que ofrecen sistemas como Twitter, Facebook, ResearchGate, Academia o Mendeley son enormes pero “evidence on whether and how these may relate to research quality is very limited”. La disponibilidad de información y de posibles indicadores no es sinónimo, sin embargo, de la madurez de los mismos para ser empleados en procesos de evaluación. La investigación en el campo de la Cienciometría tiene también sus tiempos y no pueden/deben emplearse apresuradamente los datos sin antes haber obtenido conclusiones sólidas sobre los mismos (Wilsdon y otros, 2015Wilsdon, J.; Allen, L.; Belfiore, E.; Campbell, P.; Curry, S.; Hill, S.; Jones, R.; Kain, R.; Kerridge, S.; Thelwall, M.; Tinkler, J.; Viney, I.; Hill, J.; Wouters, P.; Johnson, B. (2015). The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. https://doi.org/10.13140/RG.2.1.4929.1363., p. 136). En este sentido, hay que señalar el trabajo que está siendo desarrollado por NISONISO Alternative Assessment Metrics (Altmetrics) Initiative (s.d.). http://www.niso.org/standards-committees/altmetrics. (National Information Standards Organisation) en relación a la normalización de métricas alternativas, así como a su aplicación a resultados académicos distintos a las publicaciones como conjuntos de datos, visualizaciones o infografías y software. También es destacable el trabajo de investigación que viene siendo realizado por uno de los centros de referencia en el campo de los estudios de la ciencia, Center for Science and Technology Studies (CWTS) de la Universidad de Leiden. Una de sus líneas de trabajo se centra precisamente en determinar el papel que pueden desempeñar las métricas alternativas en la Cienciometría. En el estudio realizado en 2015 (Costas y otros, 2015Costas, R.; Zahedi, Z.; Wouters, P. (2015). Do “altmetrics” correlate with citations? Extensive comparison of altmetric indicators with citations from a multidisciplinary perspective. Journal of the Association for Information Science and Technology, 66 (10), 2003-2019. https://doi.org/10.1002/asi.23309.) se observaba aún una correlación débil entre citas e indicadores altmétricos, lo que podría mostrar que ambos tipos de indicadores reflejan dimensiones distintas. También en ese estudio se detectaban más indicadores altmétricos para disciplinas de Humanidades que para otras. Por otra parte, se ha podido observar cómo la variable tiempo puede afectar a las correlaciones entre citas e indicadores tomados de la web social (Thelwall y otros, 2013Thelwall, M.; Haustein, S.; Larivière, V.; Sugimoto, C. R. (2013). Do altmetrics work? Twitter and ten other social web services. PloS one, 8 (5), e64841. https://doi.org/10.1371/journal.pone.0064841.).

Por último, cabe apuntar que, aunque las métricas alternativas se obtienen tanto para la literatura científica bajo suscripción como para la que está disponible en abierto, lo cierto es que las infraestructuras creadas para fomento del acceso abierto son y serán una enorme fuente de obtención de indicadores. El acceso abierto no significa solo que haya colecciones de documentos que puedan consultarse sin barreras, sino que además está vinculado al concepto de ciencia abierta e implica la existencia de infraestructuras y de interconexión entre los datos, como OpenAIRE[18] o como los desarrollos que se están dando especialmente en las Humanidades y en las Ciencias Sociales como el proyecto OPERAS (Open access Publication in the European Research Area for Social Science and Humanities) o HIRMEOS (High Integration of Research Monographs in the European Open Science infrastructure). Sin duda, estos sistemas representarán una aportación adicional a la visibilidad, a la accesibilidad, a las métricas y a la identificación de las dinámicas de trabajo en estas disciplinas.

4.5. Métricas responsables

Tanto las métricas tradicionales como las más novedosas pueden representar una información valiosa y estratégica en los procesos de evaluación. Los nuevos desarrollos que se están produciendo en la evaluación de publicaciones científicas, incluyendo libros, colecciones de libros, revistas nacionales, etc., así como las métricas alternativas, contribuyen a abrir las posibilidades de evaluación de las Humanidades y las Ciencias Sociales, hasta hace poco constreñidas a unos estrictos límites que establecían las bases de datos internacionales. Pero si bien es cierto que las posibilidades de evaluación mejoran, también lo es que resulta necesario prestar especial atención a los indicadores y fuentes que se utilizan para esta evaluación.

Como señala el informe The Metric Tide las métricas responsables implican trabajar con datos robustos, transparentes y que permitan reflejar la diversidad en la investigación y en las trayectorias investigadoras. Asimismo, resulta necesario reflexionar sobre las consecuencias de la aplicación de unas u otras métricas en procesos de evaluación y reconocer las limitaciones que puedan tener (Wilsdon y otros, 2015Wilsdon, J.; Allen, L.; Belfiore, E.; Campbell, P.; Curry, S.; Hill, S.; Jones, R.; Kain, R.; Kerridge, S.; Thelwall, M.; Tinkler, J.; Viney, I.; Hill, J.; Wouters, P.; Johnson, B. (2015). The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. https://doi.org/10.13140/RG.2.1.4929.1363., pp. 133-134). Esto afecta especialmente a las métricas alternativas, sobre las que la propia comunidad cienciométrica advierte de qué precauciones deberían tomarse para no cometer los mismos errores cometidos con las métricas tradicionales (Thelwall, 2014Thelwall, M. (2014). Five recommendations for using alternative metrics in the future UK Research Excellence Framework. http://blogs.lse.ac.uk/impactofsocialsciences/2014/10/23/alternative-metrics-future-uk-research-excellence-framework-thelwall/.).

Otra de las cuestiones clave en el debate que se está planteando sobre cómo utilizar las métricas es la necesidad de considerar los objetivos con los que se evalúa, distinguiendo los diferentes procesos de evaluación, y la naturaleza de la investigación evaluada. En definitiva, lo que se está proponiendo es que se utilicen los distintos indicadores de una manera responsable, apropiada al objetivo que se persigue y con un firme compromiso ético: evaluar de la manera más adecuada posible a favor de una mejor investigación.

4.6. Impacto social de las humanidades y las ciencias sociales

El impacto social de la investigación es uno de los temas en los que más está trabajando la comunidad académica para conseguir que sea reconocido y valorado en los procesos de evaluación de la actividad científica. El Research Excellence Framework 2014Research Excellence Framework (REF) (2014). Main panel D criteria. http://www.ref.ac.uk/2014/media/ref/content/pub/panelcriteriaandworkingmethods/01_12_2D.pdf. del Reino Unido ya se ocupaba de la evaluación de esos impactos sociales, relacionándolos con la investigación de excelencia. Pero también han formado parte de muchos otros procesos de evaluación como el de las Humanidades en Noruega (2017) o en los tramos de investigación en España evaluados por la CNEAI (Campo 0. Transferencia del conocimiento e innovación) (España, 2011España. Jefatura del Estado (2011). Ley 14/2011, de 1 de junio, de la Ciencia, la Tecnología y la Innovación. Boletín Oficial del Estado, nº 31. https://www.boe.es/boe/dias/2011/06/02/pdfs/BOE-A-2011-9617.pdf .).

Se trata de considerar que el valor de la investigación no reside solo en cómo un trabajo científico es reconocido (citado) por otros investigadores sino también –o quizá, sobre todo- en los cambios y mejoras que pueda generar en la sociedad, en la cultura y en la economía. Al fin y al cabo, la investigación debe servir a ese fin: mejorar la sociedad en la que vivimos. Existe acuerdo en que estas aportaciones de la ciencia a la sociedad deben producirse y valorarse. El cómo hacerlo es más complicado, aunque se está avanzando en ello (Benneworth y otros, 2017Benneworth, P.; Olmos-Peñuela, J.; Muhonen, R. (2017). Towards a common understanding on the societal impact of SSH research. ENRESSH2017. 2nd International Conference on Research Evaluation in the Social Sciences and Humanities, Antwerp, Belgium, pp. 32-35. https://www.uantwerpen.be/images/uantwerpen/container41447/files/A5-BOOK_RESSH2017_170717-interactive.pdf.). Los países que más están trabajando en este asunto han comenzado por realizar inventarios de estudios de caso, a partir de la información que los propios investigadores hacen llegar a las agencias de evaluación. De este modo, es posible conocer una cierta taxonomía de los tipos de impactos sociales que puede generar la investigación en Humanidades y Ciencias Sociales y estudiar los contextos en los que se producen (Sivertsen, 2017bSivertsen, G. (2017b). Frameworks for understanding the societal relevance of the Humanities. ENRESSH2017. 2nd International Conference on Research Evaluation in the Social Sciences and Humanities, Antwerp, Belgium, pp. 30-31. https://www.uantwerpen.be/images/uantwerpen/container41447/files/A5-BOOK_RESSH2017_170717-interactive.pdf).

En el informe Evaluation of the Humanities in Norway del Research Council of Norway (2017Research Council of Norway (2017). Evaluation of the Humanities in Norway. Oslo: The Research Council of Norway. https://www.forskningsradet.no/en/Publications/1220788265688 .) se analizaron 165 estudios de caso que muestran una gran y diversa interacción entre la academia y la sociedad. El análisis también permitió observar que algunas áreas son más activas en ese tipo de transferencias y también que existe cierta confusión entre lo que es compromiso público de los investigadores con la sociedad, divulgando el conocimiento que generan, y lo que es impacto, es decir, aquel resultado de investigación que llega a producir un cambio social. Otra conclusión muy interesante del estudio es que el impacto social que generan las Humanidades es de alcance nacional, más que internacional, lo que redunda en la importancia de la investigación humanística y social y en la relativización que debe hacerse de la “internacionalización” en la evaluación de la investigación.

Por otra parte, también hay que tener en cuenta el tipo de interacciones que se producen entre academia y sociedad sin que haya una formalización –contrato, convenio, etc.- entre las partes. Las interacciones informales se revelan como frecuentes en las Humanidades y en las Ciencias Sociales, a partir del estudio de Olmos-Peñuela y otros (2014Olmos-Peñuela, J.; Molas-Gallart, J.; Castro-Martínez, E. (2014). Informal collaborations between social sciences and humanities researchers and non-academic partners. Science and Public Policy, 41 (4), 493-506. https://doi.org/10.1093/scipol/sct075.).

Terämä y otros (2016Terämä, E.; Smallman, M.; Lock, S. J.; Johnson, C.; Austwick, M. Z. (2016). Beyond academia–Interrogating research impact in the research excellence framework. PloS one, 11 (12), e0168533. https://doi.org/10.1371/journal.pone.0168533.) han estudiado cómo los investigadores e instituciones interpretan lo que es impacto social de la investigación, a partir de las contribuciones enviadas a evaluar en el marco del REF 2014Research Excellence Framework (REF) (2014). Main panel D criteria. http://www.ref.ac.uk/2014/media/ref/content/pub/panelcriteriaandworkingmethods/01_12_2D.pdf.. Zaltz (2017Zaltz Austwick, M. (2017). Does high-impact research come at the expense of quality? An automated analysis of the REF impact landscape. LSE Impact blog. http://blogs.lse.ac.uk/impactofsocialsciences/2017/03/02/does-high-impact-research-come-at-the-expense-of-quality-an-automated-analysis-of-the-ref-impact-landscape/.) agrupa esas contribuciones en las siguientes categorías de “impacto”: influencia en la educación; compromiso público; tecnologías y soluciones medioambientales; impacto en la política; y aplicaciones clínicas.

5. CONCLUSIONES Top

La diversificación o la atención a las múltiples dimensiones de la investigación se presenta como una de las características y/o reivindicaciones de la nueva evaluación: la investigación en Humanidades y Ciencias Sociales muestra sus resultados de distintas maneras, no solo a través de un tipo de publicaciones. Por tanto, atender a los distintos canales de comunicación, así como a otros resultados distintos a las publicaciones constituye uno de los retos que afrontar en los procesos de evaluación. En este sentido, cobran especial relevancia los resultados que son transferidos y tienen algún tipo de impacto en la sociedad. La comunidad académica lo reivindica, los investigadores especializados en evaluación científica trabajan en las metodologías que permiten evaluar estos aspectos; y las propias agencias de evaluación y financiación consideran este otro tipo de retornos de la investigación, cuando no financian estudios que permitan mejorar la identificación y evaluación de esos retornos. De este modo, se superan las fronteras del impacto académico, aquél que mide la influencia de unos investigadores en otros. La identificación de resultados que representan un verdadero avance en el conocimiento es también otro de los grandes retos para la nueva evaluación científica.

Otra de las conclusiones es que las métricas constituyen un apoyo o una ayuda a los procesos de evaluación, y que complementan pero no reemplazan el juicio de los expertos. Además, una de las reivindicaciones que se dan desde las Humanidades y las Ciencias Sociales es que la evaluación referida a las publicaciones se realice con datos completos, es decir, que tenga en cuenta todo lo que produce un investigador y no solo aquello que es visible en bases de datos internacionales, utilizadas tradicionalmente en procesos de evaluación. También se constata que los países que optan por utilizar indicadores de publicaciones, como fuente de apoyo para la evaluación, tienden a considerar diversas fuentes, no solo las bases de datos internacionales y comerciales. De hecho, son muchos los países que han desarrollado formal o informalmente listados, categorizaciones, rankings y sellos de calidad, tanto de revistas como de editoriales, colecciones o libros, que ayudan en los procesos de evaluación.

En este sentido es necesario apuntar que las fuentes de indicadores deben reunir ciertas características que les den solidez y aceptación por parte de la comunidad académica. Deben estar desarrollados por especialistas, involucrar a la propia comunidad académica y editorial en su elaboración, ser transparentes en sus metodologías y ser públicos. Muchas de estas ideas son recogidas por el informe The Metric Tide (Wilsdon y otros, 2015Wilsdon, J.; Allen, L.; Belfiore, E.; Campbell, P.; Curry, S.; Hill, S.; Jones, R.; Kain, R.; Kerridge, S.; Thelwall, M.; Tinkler, J.; Viney, I.; Hill, J.; Wouters, P.; Johnson, B. (2015). The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. https://doi.org/10.13140/RG.2.1.4929.1363.) como parte de lo que se ha denominado métricas responsables. Es necesario que estas ideas sean bien transferidas y comunicadas a quienes tienen responsabilidades en la evaluación científica.

El uso mecanicista y obsesivo de los indicadores puede llevar a situaciones no deseadas, de extrema competitividad y malas prácticas (Wilsdon y otros, 2015Wilsdon, J.; Allen, L.; Belfiore, E.; Campbell, P.; Curry, S.; Hill, S.; Jones, R.; Kain, R.; Kerridge, S.; Thelwall, M.; Tinkler, J.; Viney, I.; Hill, J.; Wouters, P.; Johnson, B. (2015). The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. https://doi.org/10.13140/RG.2.1.4929.1363.). Pero no debe confundirse el mal uso de los indicadores con su falta de valor. Aquéllos que están bien construidos pueden y deben considerarse una ayuda a los evaluadores y -lo que no siempre se ve- un apoyo para los investigadores, que siendo coherentes con su tema y trayectoria de investigación contribuyen a diversificarla publicando en canales que son plurales en cuanto a contenidos, idiomas o enfoques.

Además, resulta crucial que en el diseño de los procedimientos de evaluación se tengan muy en cuenta los objetivos que se persiguen con esa evaluación y, desde luego, el contexto (disciplina, el sistema de investigación de cada país, etc.). Las metodologías deben estar muy ajustadas a los objetivos. Un proceso de evaluación individual debe ser distinto de uno que evalúa a un equipo que va a desarrollar un proyecto de investigación arriesgado y éste distinto al que se encamina a asignar recursos a departamentos universitarios. También debe atenderse a las diferencias que existen en las prácticas de investigación según las disciplinas y según el carácter de la investigación (interdisciplinar, teórica, aplicada, etc.).

Tener en cuenta estas variables, presentes en muchos de los informes o manifiestos que defienden una nueva forma de evaluación científica, generará confianza y transparencia, aspectos clave para la aceptación de los sistemas de evaluación por parte de la comunidad académica.

6. NOTAS Top

7. REFERENCIASTop