ESTUDIOS / RESEARCH STUDIES

LAS REVISTAS UNIVERSITARIAS EN EL MARCO DE LOS CRITERIOS DE EVALUACIÓN DE LA ACTIVIDAD INVESTIGADORA EN ESPAÑA

Rafael Ruíz-Pérez*, Alberto Martín-Martín*, Emilio Delgado López-Cózar*

* Grupo de investigación Evaluación de la Ciencia y de la Comunicación Científica (EC3).
Departamento de Información y Documentación. Universidad de Granada. España.

Correo-e: rruiz@ugr.es

UNIVERSITY JOURNALS IN THE CONTEXT OF EVALUATION CRITERIA FOR SCIENTIFIC PERFORMANCE IN SPAIN

CONTENIDOS

1. INTRODUCCIÓN Top

En las dos últimas décadas, la implantación en España de un sistema de evaluación de la actividad investigadora, además de jugar un papel crucial en la difusión internacional de nuestra producción científica (Jiménez y otros, 2003Jiménez Contreras, E.; Moya Anegón, F.; Delgado López-Cózar, E. (2003). The evolution of research activity in Spain. The impact of the National Commission for the Evaluation of Research Activity (CNEAI). Research Policy, 32 (1), pp. 123-142.), continúa siendo un asunto controvertido que viene produciendo abundante literatura especializada (Echeburúa, 2002Echeburúa Odriozola, E. (2002). El sistema de sexenios en la evaluación de la actividad investigadora en el ámbito de la psicología clínica: una primera reflexión. Análisis y Modificación de la Conducta, 288 (119), pp. 391-404.; Espinet, 2006Espinet Rubio, A. (2006). Perversiones, paradojas y traumas en la evaluación científica. Anales de Química, 102 (4), pp. 60-63.; Buela-Casal, 2007Buela-Casal, G. (2007). Reflexiones sobre el sistema de acreditación del profesorado funcionario de Universidad en España. Psicothema, 19, pp. 473-482.; Buela-Casal y Sierra, 2007Buela-Casal, G.; Sierra, JC. (2007). Criterios, indicadores y estándares para la acreditación de profesores titulares y catedráticos de Universidad. Psicothema, 19, pp. 537-551.; Salvador y otros, 2008Salvador Coderch, P.; Azagra Malo, A.; Gómez Ligüerre, C. (2008). Criterios de evaluación de la actividad investigadora en derecho civil, derecho privado y análisis del derecho. InDret, 3, pp. 2-63.; Ruiz-Pérez y otros, 2010Ruiz-Pérez, R.; Delgado López-Cózar, E.; Jiménez Contreras, E. (2010). Principios y criterios utilizados en España por la Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI) para la valoración de las publicaciones cientifícas: 1989-2009. Psicothema, 22 (4), pp. 898-908.; Cancelo y Bastida, 2013Cancelo, M.; Bastida, M. (2013). La evaluación de la investigación en España: los sexenios en las áreas de economía y empresa. CIRIEC-España, Revista de Economía Pública, Social y Cooperativa, 78, pp. 265-292.). La Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI) y la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA), son los organismos encargados de efectuar dicha evaluación; el primero concediendo o denegando a los profesores universitarios y al personal del CSIC los conocidos “sexenios de investigación”; el segundo otorgando o no el certificado que acredita para el acceso a los cuerpos docentes, donde el peso de la investigación es determinante dentro de las dimensiones curriculares establecidas en el proceso de evaluación.

Sin entrar en el impacto de esta política y en los resultados alcanzados dentro de un plan de incentivos a los científicos españoles, ponderado ya en algunos trabajos (Fernández y otros, 2006Fernández Esquinas, M.; Pérez Yruela, M.; Merchán Hernández, C. (2006). EL sistema de incentivos y recompensas en la ciencia pública española. En: Sebastián, J.; Muñoz, E. (eds.), Radiografía de la investigación pública en España, pp. 148-206. Madrid: Biblioteca Nueva.), se podría decir que el sistema otorga reconocimiento personal y social a profesores e investigadores, condicionando además de forma directa la progresión en su carrera académica. No es de extrañar, pues, que sea un tema polémico recurrente que salta al debate público en artículos de opinión de la prensa nacional, algunos de ellos recientes: “a los profesores con más sexenios se les rebaja su carga docente hasta los 16 créditos, mientras que a los que no tienen tramos les adjudican el máximo de 32. Los profesores que no logran que se les reconozcan sus investigaciones se ven obligados a emplear la mayor parte de su jornada en dar clases, con lo que no les queda tiempo para investigar” (Muñoz, 2013Muñoz, JM. (2013). La batalla por los sexenios. El País, 14/12/2013. http://ccaa.elpais.com/ccaa/2013/12/11/andalucia/1386781747_518219.html.).

Este debate (Argüelles, 2005Argüelles, JC. (2005). La selección natural en la ciencia. El País, 26/01/2005.; Abellanas, 2006Abellanas, M. (2006). Evaluación científica. El País, 4/12/2006.; Cortina, 2008Cortina, A. (2008). ¿La calidad de las humanidades?. El País, 24/11/2008.; Játiva, 2013Játiva, JM. (2013). Una sentencia ratifica el derecho de los profesores interinos a los sexenios. El País, 03/01/2013. http://ccaa.elpais.com/ccaa/2013/01/03/valencia/1357244175_689084.html.), además de reclamar transparencia en el sistema y el reconocimiento de las particularidades de los diferentes campos de conocimiento, se dirige fundamentalmente sobre los criterios de evaluación; que no pocos investigadores califican de “injustos y arbitrarios”, siendo los artículos en revistas y la forma de evaluarlos, los que focalizan las críticas más contundentes: “la CNEAI ha limitado la investigación digna de ser evaluada positivamente a la publicada en revistas anglosajonas, las incluidas en la base de datos ISI (Instituto para la Información Científica)…, lo que perjudica a la investigación en ciencias sociales y humanísticas… es decir, si el trabajo no se publica en una revista incluida en el ISI es como si no existiera para la CNEAI”; “Publicó sus trabajos en las mejores revistas españolas de Sociología y fueron suspendidos. La CNEAI se limitó a justificarlo…con la frase “medio de repercusión insuficiente” (Muñoz, 2013Muñoz, JM. (2013). La batalla por los sexenios. El País, 14/12/2013. http://ccaa.elpais.com/ccaa/2013/12/11/andalucia/1386781747_518219.html.).

Sin entrar en este debate, hay que decir, sin embargo, que no son totalmente rigurosas las afirmaciones anteriores, entre otras razones porque en el ISI hay revistas no anglosajonas, entre ellas algunas españolas. Es cierto que los criterios de evaluación de las agencias priman especialmente estas revistas, pero como veremos, los criterios de evaluación admiten publicaciones más allá del ISI aunque bajo determinadas condiciones, si bien es verdad que estas condiciones a las revistas ISI se les presuponen. En cualquier caso, si fuese totalmente cierta las exclusividad del ISI, las revistas españolas que quedarían fuera del sistema, sin rentabilidad para el profesorado lo que en ellas se publica, rondaría el 90% del total, y ello porque España, que sobrepasa las 2000 revistas científicas, consigue incluir actualmente en el referido ISI, hoy Web of Science (WOS), solo 183, de las cuales 57 están editadas por universidades.

Hacemos ya esta distinción entre revistas universitarias y no universitarias, porque dentro del descontento general, el colectivo universitario, representado por la Unión de Editoriales Universitarias (UNE), se ha sentido especialmente perjudicado, y con razón, por esta situación. Y ello, porque dentro de los criterios de evaluación, no sólo les afectan las condiciones generales impuestas a las revistas españolas, si no que se ven penalizados con particularidades. Así, ya en 2009 la UNE trasmite a CNEAI el malestar que han generado en las universidades los criterios de evaluación del profesorado (BOE 282, 22/11/2008) por los que se determina, en muchas áreas de conocimiento, que se considerarán relevantes aquellos trabajos que no estén publicados por la misma institución en la que trabaja el investigador, entendiendo que esta resolución supone un claro perjuicio para las editoriales universitarias, a las que se les presupone un comportamiento poco riguroso y acientífico (UNE, 2009UNE (2009). Crónica. Las editoriales universitarias reivindican un trato no discriminatorio en la evaluación del profesorado. Unelibros, 18 (Primavera 2009), p. 3.). En 2011, la vicepresidenta de la UNE afirmaba que “tiene entre sus objetivos promover la mejora y reconocimiento de la edición universitaria, puesto que aún existe una cierta desconfianza…en algunas comisiones acerca de su validez”. “Se trata de lograr que quienes opten por publicar en editoriales universitarias, no se vean después discriminados cuando se valore su actividad docente y/o investigadora” (González, 2011González, A.I. (2011). Calidad de la Edición Universitaria. Unelibros, 23 (Otoño 2011), p. 9.). En el año 2012, el rector de la Universidad Politécnica de Madrid declaraba, en clara alusión a uno de los pilares básicos de la edición científica, que “el mayor desafío es la introducción de sistemas de garantía de calidad científica si se quiere que las publicaciones alcancen la difusión y prestigio que merecen, entre ellas, la necesidad de incluir en las revistas universitarias el sistema de revisión por pares…elemento imprescindible para convertir la edición universitaria en un medio de difusión e impacto de las publicaciones y que sean valoradas en CNEAI y similares” (Conde, 2012Conde, C. (2012). La edición científica en la universidad actual. Unelibros, 25 (Otoño 2012), p. 26.). Por último, en el año 2013, y en clara referencia nuevamente a la calidad de los procesos editoriales, el Secretario General de Universidades declaraba que “si las editoriales universitarias españolas crean un sello que certifique que las obras editadas han pasado unos procesos y unos filtros de calidad, el Ministerio apoyará su reconocimiento en los procesos de evaluación del profesorado que realizan CNEAI y ANECA” (Morán, 2013Morán, F. (2013). Un sello de calidad de las publicaciones universitarias es absolutamente necesario. Unelibros, 26 (Primavera 2013), p. 9.). En fin, como vemos, la escasa presencia de las revistas en los índices internacionales, la implantación del sistema de evaluación por pares, y la penalización que sufre la publicación de trabajos en revistas o editoriales asociadas al organismo donde el solicitante desarrolla sus investigaciones, son elementos claves de la evaluación que planean sobre la desconfianza hacia las revistas españolas, y especialmente hacia la edición universitaria.

Pues bien, nuestro objetivo aquí es aportar información para describir cuál es la situación, de las revistas españolas en general y de las universitarias en particular, en relación con los criterios de evaluación que aplican las agencias. Todo ello con el fin de descubrir y valorar si hay razones fundamentadas de calidad editorial, de repercusión, de difusión y visibilidad que justifiquen la referida discriminación, permitiéndonos además establecer comparaciones entre las revistas universitarias y no universitarias en el cumplimiento de los criterios de evaluación. Por otra parte, dado que los referidos criterios de evaluación se fundamentan sobre la naturaleza científica de las revistas sometidas a evaluación, es conveniente recordar cual es el papel de las revistas en la ciencia moderna.

La función de las publicaciones periódicas es la de ser el principal medio de comunicación entre la comunidad científica. Este medio debe ser permanente, puntual, riguroso y transparente, convirtiéndose en el registro oficial y público del conocimiento, certificando su autoría; que lo publicitado respeta los métodos científicos y asegurando que los contenidos han sido previamente sometidos a la consideración de otros científicos que denominamos pares. Sobre estos principios se asienta el consenso internacional sobre el valor que la ciencia moderna otorga a las revistas científicas (Zuckerman y Merton, 1971Zuckerman, H.; Merton, RK. (1971). Patterns of evaluation in science: institutionalisation, structure and functions of the referee system. Minerva, 9, pp. 66-100, http://dx.doi.org/10.1007/BF01553188.; CSE, 2013CSE (2013). COUNCIL OF SCIENCE EDITORS. CSE's White Paper on Promoting Integrity in Scientific Journal Publications, 2013. http://www.councilscienceeditors.org/i4a/pages/index.cfm?pageid=3331 [acceso Septiembre 2013].; ICMJE, 2013ICMJ. INTERNATIONAL COMMITTEE OF MEDICAL JOURNAL EDITORS (2013). Uniform Requirements for Manuscripts Submitted to Biomedical Journals: Writing and Editing for Biomedical Publication, http://www.icmje.org/urm_main.html [acceso Septiembre 2013].), y por tanto, difícilmente se admite una revista como de investigación sin que los cumpla rigurosamente. A partir de estos principios se construyen las restantes características que, finalmente, dan el prestigio a una revista: La revista y sus mecanismos editoriales, donde se asegura la suficiencia en la originalidad, novedad, rigor metodológico y relevancia de los contenidos; la revista y su capacidad de difusión; la revista y su repercusión medida a través de las citas y el consiguiente impacto como indicador de influencia; y finalmente, la revista y valor que le otorga la propia comunidad científica. En consecuencia, si partimos de la base que tanto ANECA (en el apartado actividad investigadora) como CNEAI establecen sus evaluaciones sobre resultados de investigación publicados, resulta lógico admitir también que sus criterios de evaluación se fundamenten sobre estos principios y características, y todo ello, como veremos, con las especificaciones y matices que han estimado conveniente añadir.

2. MATERIAL Y MÉTODOS Top

Criterios de evaluación de ANECA y CNEAI

Se han identificado los criterios de evaluación de la actividad investigadora que aplican las agencias recogidos en los documentos de referencia (ANECA, 2008ANECA (2008). Principios y orientaciones para la aplicación de los criterios de evaluación, Versión 2.0, 31/01/2008. http://www.aneca.es/Programas/ACADEMIA/ACADEMIA/Documentos-del-Programa [acceso Septiembre 2013].; CNEAI, 2013CNEAI (2013). Resolución de 15 de noviembre de 2013, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios específicos aprobados para cada uno de los campos de evaluación. BOE núm. 279, de 21/11/2013, p. 92880-92893. http://www.mecd.gob.es/ministerio-mecd/organizacion/organismos/cneai/criterios-evaluacion.html [acceso Diciembre 2013].), si bien, de entrada, no hay que olvidar que ambas declaran que su pretensión es valorar “las publicaciones que representen actividad investigadora original, de calidad y relevancia contrastada, que aporten innovación y avance en cada área de conocimiento”. Ahora bien, ¿cómo lograrlo mediante un sistema de evaluación lo más objetivo posible? Ambas agencias persiguen esta finalidad mediante un conjunto de criterios apoyados, fundamentalmente, en el rigor y la relevancia científica de los medios empleados por los investigadores para difundir sus investigaciones.

Atendiendo al carácter formal de las evaluaciones y ante la imposibilidad, sobre todo técnica (se realizan miles de evaluaciones), de aplicar evaluaciones sobre contenidos, entienden como fundamental el “poder determinar las condiciones que se deben exigir a los medios de difusión de los resultados de la investigación para que pueda esperarse un impacto (léase relevancia científica) aceptable de los mismos. Entienden así mismo, que en los distintos ámbitos del saber existen índices que ordenan las publicaciones de reconocido prestigio”, asumiendo “que aparecer en tales índices internacionales es de suficiente garantía para que lo publicado en esa revista tenga asegurada su calidad”, entre otras razones porque sus contenidos han sido ya evaluados. En este punto los criterios muestran una clara preferencia por las revistas incluidas en los índices de impacto de los Journal Citation Reports (JCR) de la WOS, aunque con matices. Para Ciencias, Biomedicina, Ciencias de la Salud, y en menor grado en Ingenierías y Arquitectura, los JCR son imprescindibles y prácticamente únicos, especificándose además que las revistas ocuparán aquí posiciones relevantes de alto o medio impacto según CNEAI, y en el primer tercio según ANECA, siempre dentro de los listados de su categoría. Por su parte, para las Ciencias Sociales, la mera presencia de las revistas en los JCR es la vía preferente aunque no única, excepto en Economía y Psicología donde se piden posiciones relevantes; y finalmente, para las Humanidades y Jurídicas, siendo vía preferente la simple presencia en WOS (recordemos que los A&HCI no tienen JCR asociados), se admiten sin embargo otras alternativas.

Estas otras alternativas, expresadas en los criterios bajo el condicional “podrán considerarse también los artículos publicados en revistas que ocupan posiciones relevantes en otros listados como…” nos conducen, con algunas variantes de redacción según sea CNEAI o ANECA, de un lado a los impactos internacionales asociados a las revistas de SCOPUS (los SJR) y a las clasificaciones de los European References Index for the Humanities (ERIH); y de otro, para las revistas españolas, a los índices de impacto de IN-RECS y a los sistemas de evaluación de revistas DICE y FECYT. Todo ello “siempre que, a juicio del comité asesor, cuenten con una calidad científica similar a las incluidas en los índices mencionados y satisfagan los criterios que se especifican en el Apéndice I según CNEAI; y según ANECA siempre que figuren en catálogos donde se les asigne un Índice de Calidad Relativo. Finalmente, la lista de bases de datos bibliográficas que se añaden en algunas áreas, como por ejemplo las relacionadas en el campo 10 de CNEAI: Francis, International Bibliography of the Social Sciences (IBSS), Bibliography of the History of Arts (RLG), Historical Abstracts, International Medieval Bibliography, RILMS Abstracts of Music Literature, etc., deben entenderse como un mérito de difusión y visibilidad asociado a la calidad de la revista, pero nunca como un indicador de valoración suficiente por sí solo.

Por otra parte, ambas agencias asumen que “resulta complicado determinar cuándo existe una garantía de calidad en un medio de difusión que no aparece en los referidos índices y sistemas”; y en tal caso, los criterios especifican cuales son las condiciones que debe cumplir una publicación para que sea reconocida como de impacto (léase de suficiente relevancia científica). En ANECA estas condiciones se hacen explícitas para los ámbitos de las Ciencias Sociales, Jurídicas y Humanidades mediante la fórmula “pueden considerarse también artículos publicados en revistas no indexadas o sin índice de calidad relativo atendiendo al reconocimiento científico de la revista en su área, y al rigor y objetividad del proceso de selección de los artículos”, añadiendo un conjunto de indicadores donde el proceso editorial (periodicidad, regularidad y pervivencia; arbitraje científico y revisores anónimos; composición e independencia del equipo editorial; etc.) vuelve a ser decisivo. En CNEAI las condiciones se relacionan en el famoso Apéndice I que desde 2005 viene acompañando a las distintas convocatorias (Ruiz-Pérez y otros, 2010Ruiz-Pérez, R.; Delgado López-Cózar, E.; Jiménez Contreras, E. (2010). Principios y criterios utilizados en España por la Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI) para la valoración de las publicaciones cientifícas: 1989-2009. Psicothema, 22 (4), pp. 898-908.), y que bajo la cabecera “criterios que debe reunir un medio de difusión de la investigación (revista, libro, congreso) para que lo publicado en él sea reconocido como «de impacto»”, reúne 11 requisitos donde el protagonismo lo adquieren nuevamente la regularidad; el proceso anónimo de selección y evaluación de manuscritos; así como la desvinculación institucional [del solicitante] con la revista (consejos asesores o científicos, se entiende que de cualquier revista) o la editorial. Esto último incomoda especialmente a las editoriales universitarias al sentirse en parte tachadas de “endogámicas”, palabra acusadora que, reconozcámoslo, resulta molesta para cualquier colectivo; más cuando en las últimas convocatorias la CNEAI ha retomado para los campos 7, 8, 9, 10 y 11 la advertencia de que “se valorará desfavorablemente la reiterada publicación de trabajos en revistas o editoriales pertenecientes o asociadas al mismo organismo donde el solicitante realiza su investigación”, advertencia que es sustancialmente distinta a la anterior, y que al referirse solo al organismo editorial, parece excluir a las revistas no universitarias.

Indicadores aplicados

Se han definido los indicadores que analizan los ajustes de las revistas a estos criterios nucleares de evaluación. Como indicadores de la calidad editorial se ha testado la regularidad-periodicidad así como el sistema de evaluación por pares o Peer Review (en adelante PR). Como se verá, estos indicadores se aplican al conjunto de revistas española cuando los datos globales pueden obtenerse de las fuentes, pero cuando los datos son de elaboración propia observados sobre las propias revistas, y dada la amplia tarea que requieren y la cantidad de revistas a analizar, se han limitado a las revistas universitarias de humanidades, grupo de análisis de especial atención en este trabajo. Como indicadores que nos permitan conocer la situación en los índices de impacto y en los sistemas de valoración, se ha analizado la presencia y status de las revistas en cada uno de los sistemas citados por las agencias.

Regularidad y periodicidad

Es un indicador difícil de cuantificar pues no existen fuentes con información actualizada para todas las revistas; siendo la comprobación revista a revista, y sobre la base del último número publicado, el único procedimiento fiable. En nuestro caso se consideró manejable la muestra formada por las revistas españolas universitarias de Humanidades, grupo mayoritario dentro de las universitarias que tradicionalmente ha venido presentando problemas de periodicidad. La selección se realizó desde el Directorio de Revistas de CC Sociales y Humanidades del Consejo Superior de Investigaciones Científicas (CSIC, 2013CSIC (2013). Directorio de revistas de CC Sociales y Humanidades, http://bddoc.csic.es:8080/inicioBuscarCampos.html;jsessionid=1E1FD2C754BB949FBE318262D59386DD?estado_formulario=show&bd=ISOC&tabla=revi[acceso julio 2013].), utilizando la búsqueda por campos marcando la opción “vivas” dentro del campo “Estado” y la opción “Universidad” dentro del campo “Tipo de institución”. A fecha de consulta –Julio de 2013- se obtiene un listado de 840 registros que fueron sometidos a una depuración manual. En la depuración se eliminaron, por un lado las de Sociales, manteniendo las que comparten temática con Humanidades (áreas= América Latina, Antropología cultural e Interdisciplinares), por otro, todos los duplicados originados por cambios de título, versiones impresa y electrónica y suplementos separados, manteniendo aquellas cabeceras divididas en secciones pero con distinto ISSN. Se han mantenido las revistas cuya edición es compartida y al menos una de estas era una institución universitaria española, obteniéndose definitivamente un listado de 471 revistas.

Para evaluar el indicador se han utilizado los siguientes criterios: la puntualidad y regularidad se han valorado sobre la presencia (en las páginas web de las revistas) del sumario correspondiente al último número de su periodicidad, dándola por buena si este sumario se encontraba disponible dentro del periodo marcado por la periodicidad. Dado que las consultas se realizaron en Julio de 2013, para las revistas semestrales se dio por buena la puntualidad si a esa fecha se encontraba disponible el sumario correspondiente al nº1 del año 2013. Para los Anuarios, y con bastante flexibilidad, se dio por buena la puntualidad si a la fecha de consulta se encontraba disponible el sumario del número correspondiente a 2012. Se anotaron las interrupciones en la publicación, los retrasos acumulados o el agrupamiento de números como recurso para recuperar la periodicidad.

Peer Review

Para la cuantificación global del PR en las revistas españolas se han utilizado las fuentes que proporcionan dicha información en términos afirmativos o negativos: El directorio Ulrich´s (Ulrichsweb, 2013Ulrichsweb (2013). Ulrichs Global Serial Directory, http://ulrichsweb.serialssolutions.com/ [acceso Diciembre 2013].) y el sistema de valoración español DICE (DICE, 2010DICE (2010). Difusión y Calidad Editorial de las Revistas Españolas de Humanidades y Ciencias Sociales y Jurídicas, http://dice.cindoc.csic.es/ [acceso Enero 2014].). En el Ulrich´s internacional, no demasiado explícito en declarar su fuente de datos, el Sí o el No se registra en el campo “Evaluada/revisada”; en DICE, bastante desactualizado, el Sí o el No se recoge en el campo “Evaluadores externos”. Dentro de Ulrich´s se identificaron las revistas españolas con la búsqueda: País de publicación= España y Estado= Activa y Tipo de serie= Revista y Tipo de contenido= Académico / de investigación, obteniéndose 2481 registros, de los cuales, la propia base de datos marca 642 registros con valor Si en el campo “Evaluadas / revisadas”. Tras la descarga en Excel y depuración de duplicados la cifras quedaron reducidas a 1782 revistas españolas, de las que 449 cumplen la condición de “Evaluada / revisada”. En este listado, el marcado de las revistas editadas por una institución universitaria se realizó manualmente. En DICE, con cobertura solo para revistas españolas de Sociales, Jurídicas y Humanidades, se lanzó la búsqueda sobre los 2270 registros que componen esta base de datos, pero marcando la opción “Si” dentro del campo “Evaluadores externos”, obteniéndose 1122 registros, que tras la depuración de duplicados se reducen a 1034 títulos distintos que cumplen la condición de ser revistas españolas de las referidas áreas con evaluadores externos. El marcado de las revistas universitarias se realizó de forma manual.

Ahora bien, como el PR es un indicador cuya adecuada valoración necesita la observación de distintas variables que no ofrecen los directorios consultados, se consideró necesario el estudio detallado de la información sobre el proceso editorial a partir del análisis de las páginas web de las propias revistas. Se utilizó la ya mencionada muestra de 471 revistas universitarias de humanidades. Las declaraciones sobre el PR suelen encontrase en las “instrucciones a autores”, y en algunos casos en un apartado dedicado al “proceso editorial”. Hay que señalar que muchas revistas se agrupan en un catálogo compartido de la editorial correspondiente, y en tales casos se sigue un formulario estándar para facilitar, entre otras informaciones, la declaración del sistema de evaluación de manuscritos. Las variables observadas en las declaraciones han sido: 1. Si se aplica un sistema de evaluación por pares, referees o arbitraje científico; 2. Si el sistema utiliza evaluadores externos; 3. Si se especifica el número de evaluadores empleado y 4. Si se declara el anonimato del proceso bajo las fórmulas ciego o doble ciego. Puesto que se trata de observaciones cuantificadas a partir de declaraciones, se ha incorporado una quinta variable que hemos denominado de comprobación y/o demostración del proceso, basada en la publicación o no por parte de la revista de la lista nominal de los evaluadores utilizados, generalmente durante un año de publicación, o bien, en la publicación de un informe estadístico, generalmente anual o bianual, sobre el proceso editorial.

Índices de impacto y sistemas de valoración

Para analizar la situación de las revistas en los índices de impacto y sistemas de valoración, se han utilizado las propias bases de datos de los correspondientes índices y sistemas. En el caso de WOS se ha cuantificado la presencia de revistas españolas y se han marcado las universitarias y no universitarias, tanto en las bases generales (SCI, SSCI y A&HCI) como en los últimos impactos disponibles de los JCR 2012 (WOS, 2013WOS (2013). Web of Science, https://apps.webofknowledge.com/UA_GeneralSearch_input.do?product=UA&search_mode=GeneralSearch&SID=T2c4aw5hR6FQeR6seII&preferencesSaved [acceso Enero 2014].). Para los índices de SCOPUS (SJR, 2012SJR (2012). SCImago Journal and Country Rank, http://www.scimagojr.com/ [accesoSeptiembre 2013].), así como para los nacionales IN-RECS Sociales, IN-RECH Humanidades e IN-RECJ Jurídicas (EC3, 2011EC3 (2011). Evaluación de la Ciencia y la Comunicación Científica. Índice de Impacto de las Revistas españolas de Ciencias Sociales, Humanidades y Jurídicas, http://ec3.ugr.es [acceso Enero 2014].), y atendiendo al criterio de las agencias “podrán considerarse también… las revistas que ocupan posiciones relevantes…” se han tomado como tales “posiciones relevantes” las revistas situadas en el 1º y 2 cuartil, marcando manualmente aquellas que las editoriales universitarias, por un lado, y las no universitarias por otro, consiguen meter en dichos cuartiles.

Similar procedimiento se ha seguido para identificar las revistas españolas incluidas en el ERIH (2011ERIH (2011). European Reference IndexfortheHumanities. ERIH revised lists, https://www2.esf.org/asp/ERIH/Foreword/search.asp [acceso Enero 2014].), seleccionando aquí como “posiciones relevantes” las clasificadas como Internacionales 1 (INT1) e Internacionales 2 (INT 2). Por su parte, para las revistas que cumplen los criterios de calidad del sistema de valoración DICE, se descargaron en Excel los 2270 registros que componen la base de datos (DICE, 2010DICE (2010). Difusión y Calidad Editorial de las Revistas Españolas de Humanidades y Ciencias Sociales y Jurídicas, http://dice.cindoc.csic.es/ [acceso Enero 2014].); se depuraron los duplicados y se identificaron 1997 revistas distintas, de las cuales, distinguiendo entre universitarias y no universitarias, se consideraron como “posiciones relevantes” las que cumplen simultáneamente los siguientes criterios: evaluadores externos=Si, apertura exterior de los autores=Si (al menos el 50% de los trabajos publicados a lo largo de un año son de autores ajenos a la entidad editora), valoración de la difusión internacional=media o alta (la revista está incluida en 6 o más bases de datos), internacionalidad de las contribuciones= media, alta o muy alta (durante un año, la participación de autores extranjeros es de al menos un 10% de las contribuciones). Finalmente, las revistas acreditadas por la FECYT se han tomado de la lista publicada por esta institución (FECYT, 2013FECYT (2013). Fundación Española para la Ciencia y la Tecnología. Sistema de Evaluación de la Calidad de Revistas Científicas, http://evaluacionarce.fecyt.es/publico/index.aspx [acceso Enero 2014].), donde es fácil marcar las universitarias frente a las no universitarias dado que la lista ofrece para cada revista la editorial, la convocatoria en la que fue acreditada, y la vigencia de la acreditación.

3. RESULTADOS Top

Regularidad y periodicidad

Respecto del cumplimiento de la periodicidad, los datos obtenidos de la muestra y resumidos en la tabla I descubren que casi el 48% de las 471 revistas universitarias de Humanidades analizadas no aparecen puntualmente dentro de la periodicidad que tienen marcada. Este porcentaje sería algo mayor si para los Anuarios, periodicidad mayoritaria en la edición universitaria de Humanidades, con el 69,4% de las revistas, no se hubiese aplicado la flexibilidad señalada en la metodología.

Tabla I. Periodicidad y puntualidad en las Revistas Universitarias Españolas de Humanidades [Descargar tamaño completo]

Los datos específicos sobre las 226 revistas que incumplen la periodicidad son, por otra parte demoledores (tabla I), pues hay 57 revistas (12,1% del total de la Humanidades) que no se han publicado desde hace 5 o más años, por lo que pueden darse por muertas. Así mismo, hay 158 (33,5%) cuyos últimos números aparecieron entre 2009 y 2011, y si bien no pueden considerarse muertas, si están inactivas, o cuando menos con serias dificultades para seguir publicándose, observándose casos en los que recuren al artificio de acumular en un mismo fascículo varios números para intentar recuperar la puntualidad. Por último, existen 11 revistas que aun teniendo periodicidad definida aparecen de forma esporádica e irregular.

Peer Review

Sobre el cumplimiento del PR, calificado en los directorios en términos de Sí o No, hay que tener presentes los problemas ya mencionados en la metodología, que se ponen de manifiesto en las importantes diferencias que se advierten en los resultados según se trate de una u otra fuente. Ulrich´s, a tenor del número de revistas españolas que identifica, debe considerarse restrictivo y muy exigente para catalogar una revista como académica / de investigación, así como para asignarle la categoría evaluada / revisada. Las 1782 revistas españolas identificadas para todas las áreas de conocimiento nos parece un dato corto, sobre todo teniendo en cuenta que en DICE hemos identificado una cifra cercana a los 2000 títulos solo en lo referido a revistas españolas de Sociales y Humanidades. No obstante, las cifras que hemos obtenido en Ulrich´s son similares a las ofrecidas en otros estudios, pues de las 1782, se identifican como universitarias 829 (46,5%), porcentaje muy próximo al 43% calculado por Abadal y Rius (2008Abadal, E.; Rius Alcaraz, Ll. (2008). Revistas científicas de las universidades españolas: acciones básicas para aumentar su difusión e impacto. Revista Española de Documentación Científica, 31 (2), pp. 242-262.) para el año 2007 utilizando la misma fuente, y al 45,3% calculado por Zamora y otros (2007Zamora, H.; Aguillo, I.; Ortega, JL.; Granadino, B. (2007). Calidad formal, impacto y visibilidad de las revistas electrónicas universitarias españolas. El profesional de la información, 16 (1), pp. 13-23, http://dx.doi.org/10.3145/epi.2007.jan.02.).

Respecto del PR, Ulrich´s cifra en un 25,2% el cumplimiento de este indicador para las revistas españolas, presentando porcentajes bastante próximos respecto del total de revistas en cada uno de los subgrupos considerados, esto es, 27,3% para las no universitarias y 22,7% para las universitarias. Si nos fijamos solo en las 449 revistas españolas con PR en esta fuente, las 189 universitarias que cumplen esta condición representan el 42% del total PR frente al 58% de las no universitarias (Tabla II).

Tabla II. El “Peer Review” en las Revistas Españolas y en las Revistas Universitarias según Ulrich´s [Descargar tamaño completo]

Los datos que se obtiene del DICE para el año 2010 referidos solo a revistas españolas de Sociales, Jurídicas y Humanidades, sitúan, sobre un total de 1997 revistas, el cumplimiento del PR en 1034, lo que supone el 51,7%. De ellas, 490 son universitarias (47,3%) y 544 no universitarias (52,7%). Ahora bien, respecto del total de revistas de cada grupo, el DICE llega incluso a marcar con un mayor porcentaje de cumplimiento del PR a las revistas universitarias, pues las 490 PR significan un 56% de las 865 totales universitarias, mientras que las 544 PR no universitarias significan el 48% de las 1132 totales no universitarias (Tabla III).

Sobre la base de la información obtenida por elaboración propia a partir de las páginas web de las revistas, la situación del PR, en este caso de las 471 revistas universitarias de Humanidades, el resultado es sorprendente: son 315 las que declaran realizar PR, esto es, un 66,8% (Tabla III), porcentaje bastante superior al obtenido en DICE, si bien hay que aclarar que nuestros datos están más actualizados y que hemos dado por bueno el cumplimiento del PR cuando la revista simplemente declara bajo cualquier fórmula realizar o utilizar evaluación, revisión por pares, referees o arbitraje científico.

Tabla III. El “Peer Review” en las Revistas Españolas y en las Revistas Universitarias de Ciencias Sociales, Jurídicas y Humanidades [Descargar tamaño completo]

Ahora bien, sobre estas 471 revistas se ha realizado un estudio detallado del PR que nos permite descubrir los indicios de calidad del sistema de evaluación aplicado, siempre sobre la base de las declaraciones encontradas. La figura 1 muestra en valores absolutos y porcentuales, de un lado, las revistas que declaran de forma puntual cada una de las variables observadas, de otro, aquellas que cumplen la condición de declarar conjuntamente las variables anonimato (ciego-doble ciego), número de evaluadores y evaluación externa. La variable demostración no se ha computado en el cumplimiento conjunto, pues como ya se ha explicado en la metodología, no forma parte de la declaración del sistema de evaluación sino que pretende descubrir indicios que apuntan a demostrar que el sistema se cumple.

Sobre el total de las 315 revistas PR de Humanidades el 44,1% declaran el anonimato del proceso aplicado mediante sistema ciego o doble ciego; el 42,5% declaran el número de evaluadores empleados, generalmente 2, y el 39% declaran que la evaluación es externa. Estos valores se reducen considerablemente hasta el 18% en el cumplimiento conjunto, esto es, solo 57 revistas presentan una declaración de PR ajustada a un modelo internacional que incluye las 3 condiciones básicas: externo, anónimo y número de evaluadores empleado. Por último, la cifra de 14 revistas (4,4%) que presenta algún indicio de demostración del sistema, bien mediante la publicación de la lista de evaluadores utilizados, bien mediante la elaboración y publicación de informes sobre el proceso editorial, es realmente simbólica (figura 1).

Figura 1. Características sobre el Peer Review en las Revistas Españolas Universitarias de Humanidades [Descargar tamaño completo]

La distribución de las distintas variables por áreas temáticas y en valores porcentuales sobre el total de revistas PR de cada área (figura 2) muestra que el mejor comportamiento corresponde a las interdisciplinares, si bien estas solo están representada por 16 revistas en el total de las 315 revistas PR. Le siguen con valores muy equilibrados y por encima del 30% en todas las variables, a excepción de la demostración, las de Historia y Arte y las de Filología, Lengua y Literatura, cuya representación en el conjunto de las revistas PR es además mayoritaria con 94 y 123 revistas respectivamente. Por otra parte, a estas dos áreas pertenecen la mayoría de las revistas (39 de 57) con cumplimiento conjunto, esto es, entre ambas concentran casi el 70% (35% y 33,3%) de todas las revistas universitarias de Humanidades con una declaración completa del PR homologable con los estándares internacionales.

Figura 2. El Peer Review por áreas temáticas en las Revistas Españolas Universitarias de Humanidades [Descargar tamaño completo]

Índices de impacto y sistemas de valoración

En cuanto a la repercusión científica medida a partir los índices de impacto, la presencia y estatus de las revistas españolas es la siguiente: En la WOS, y contabilizando aquellas revistas que están en distintas bases de datos una vez por cada base, España consigue meter en 2013, un total de 183 revistas, de las que 126 (SCI 65; SSCI 31; AHCI 30), son revistas de editoriales no universitarias (68,8%), mientras que las universitarias son 57 (SCI: 12; SSCI: 26; AHCI: 19) y representan el 31,2% del total. Si tenemos en cuenta solamente las revistas con FI calculado en los JCR 2012, estos porcentajes se distancian aun mas, bajando al 28% las universitarias mientras que las no universitarias ascienden al 72%. Esta diferencia tan amplia está provocada por las revistas JCR del SCI, donde la edición no universitaria cuenta con 62 revistas frente a las 12 del colectivo universitario (Tabla IV).

Tabla IV. Situación de las Revistas Españolas y las Revistas Universitarias en la WOS y en los índices de impacto JCR, SJR e IN-RECx [Descargar tamaño completo]

En los impactos asociados a SCOPUS (Tabla IV) los porcentajes son bastante similares a los JCR, pues de las 393 revistas que incluye España en los SJR, casi el 70% son no universitarias y el 30% universitarias. Dentro de este mismo índice, y atendiendo al criterio de las agencias “revistas con posiciones relevantes”, identificadas aquí en relación con los SJR como las de su 1º y 2º cuartil, los datos presentan prácticamente el mismo desequilibrio en la distribución: del un total de 69 revistas españolas situadas en el los dos primeros cuartíles del SJR las no universitarias representan el 69,5% y las universitarias el 30,5%.

En lo que se refiere a los impactos nacionales de IN-RECx, disponibles hasta 2011 (Tabla IV), las revistas que ambos conjuntos consiguen meter en “posiciones relevantes”, identificadas aquí como de primer cuartil, presenta una situación bastante igualada, pues sobre un total de 265 revistas, el 53,6% pertenece a la edición no universitaria y el 46,4% a la universitaria. En Sociales (IN-RECS) la diferencia es de 9 revistas a favor de la edición no universitaria, pero en Humanidades (IN-RECH); el grupo de las universitarias con 66 revistas supera ampliamente a las 49 que consigue meter el grupo no universitario. Significativa es así mismo la escasa presencia de las Jurídicas (IN-RECJ) universitarias en posiciones relevantes de este índice, donde sus revistas son solo 7 de 41, habiéndose observado que son las publicaciones de la administración y las de los organismos públicos del ámbito judicial las mejor situadas.

En cuanto a los sistemas de valoración de revistas (Tabla V) los datos continúan reflejando diferencias significativas en favor del conjunto no universitario, tanto en las clasificaciones ERIH como en las revistas acreditadas por FECYT.

Tabla V. Situación de las Revistas Españolas y de las Revistas Universitarias en los Sistemas de Valoración: categorías ERIH, acreditas por FECYT y con criterios de calidad DICE [Descargar tamaño completo]

Sobre ERIH y sus redefinidas categorías INT1, INT2, NAT (hasta 2007 denominadas A, B, C), digamos de momento que sorprende el escaso número de 47 revistas españolas que hemos podido identificar en las “posiciones relevantes” INT1 e INT2”, de las que el 40.5% son universitarias y el 59.5% no universitarias. Hay que aclarar además, que aunque pudiera parecer que ERIH solo recoge Humanidades, en realidad en estas 47 revistas hay también de Estudios de Genero, Filosofía de las Ciencias, Antropología, Pedagogía, Educación y Psicología. Por su parte, la FECYT, después de las tres convocatorias de evaluación que lleva realizadas desde el año 2009, ha otorgado el sello de calidad a 94 revistas españolas, con una amplia ventaja de las no universitarias con el 62,7% sobre las universitarias con el 37,3%. Sin embargo, en el DICE, el cumplimiento de los criterios de calidad que hemos seleccionado para este sistema (Tabla V), la edición universitaria, con 160 revistas (56,8%) de un total de 282 sale mejor valorada que la no universitaria (43,2%).

4. DISCUSIÓN Y CONCLUSIONES Top

Según los datos generales obtenidos, las revistas españolas presentan serios problemas para mantener la regularidad y muchas lagunas en el sistema de Peer Review, sobre todo en las áreas de conocimiento en las que aquí se ha profundizado su análisis. Es muy probable además, que las deficiencias en estos indicadores básicos estén influyendo en la escasa visibilidad e impacto de las revistas en los índices, sobre todo porque sus metodologías y criterios de selección de revistas prestan especial atención al cumplimiento de los mismos. Todo ello podría derivar finalmente en el poco éxito que alcanzan las revistas científicas españolas en el marco de los criterios utilizados en España por las agencias de evaluación. Por otra parte, dentro del conjunto, y en las comparaciones que se han podido establecer, hay que admitir que en buena parte de ellas, la edición universitaria presenta peores resultados que la edición no universitaria. Por esta razón, no ponemos en duda que las revistas universitarias españolas están poco profesionalizadas, son irregulares, con muchos problemas en los procesos de evaluación, poco visibles y poco relevantes; cuestiones que han sido recordadas recientemente en las III Jornadas de la Unión de Editoriales Universitarias (Delgado y Torres, 2013Delgado López-Cózar, E.; Torres Salinas, D. (2013). Las revistas universitarias españolas. ¿Cómo sobrevivir en un entorno electrónico?. III Jornadas Unión de Editoriales Universitarias Españolas. Madrid, 6 de junio de 2013, http://hdl.handle.net/10481/27623.), y por supuesto, en parte, no son novedosas. Ya en 2007, refiriéndose a las revistas electrónicas universitarias, Zamora y otros (2007Zamora, H.; Aguillo, I.; Ortega, JL.; Granadino, B. (2007). Calidad formal, impacto y visibilidad de las revistas electrónicas universitarias españolas. El profesional de la información, 16 (1), pp. 13-23, http://dx.doi.org/10.3145/epi.2007.jan.02.) se pronunciaban con observaciones muy desalentadoras sobre sus web, su reducida visibilidad y muy bajo impacto. Abadal y Rius (2008Abadal, E.; Rius Alcaraz, Ll. (2008). Revistas científicas de las universidades españolas: acciones básicas para aumentar su difusión e impacto. Revista Española de Documentación Científica, 31 (2), pp. 242-262.) proponían un conjunto de medidas necesarias para mejorar las revistas universitarias, su difusión e impacto, entre otras, su digitalización, la inclusión en portales, el libre acceso, versiones multilingües e inclusión en bases de datos.

Ahora bien, admitida esta conclusión general, y dentro del enfoque que este trabajo plantea, la cuestión es dilucidar si las revistas universitarias merecen las particulares especificaciones negativas, que frente a otras revistas españolas, les apuntan los criterios de evaluación de la actividad investigadora. Desde nuestro punto de vista, y a la luz de los datos más pormenorizados que en este trabajo se presentan, es probable que estas especificaciones no tengan mucho fundamento y necesiten ser rectificadas en algunos aspectos.

En lo que a la periodicidad se refiere no es el caso y no caben rectificaciones. No contamos con datos ni generales ni desagregados de otros estudios para establecer algunas comparativas con las no universitarias, tan solo los puntuales obtenidos por González y otros (2010González Teruel, A.; Abad García, MF.; Hernández San Miguel, J.; Ruiz Castell, J. (2010). Localización e identificación de las revistas universitarias para su integración en repositorios institucionales. El caso de la Universitat de València. BiD: textos universitaris de biblioteconomia i documentació, 25, http://www.ub.edu/bid/25/gonzalez2.htm.) de las revistas editadas por la Universidad de Valencia, donde señala que entre las revistas que ha venido publicando esta institución permanecían activas solo el 34,5%. Pero en cualquier caso, los datos son insostenibles: aunque referido solo a las humanidades, casi un 50% de las revistas universitarias de este campo están incumpliendo la periodicidad, y de ellas un 12% se encuentran en vía muerta, situación difícilmente superable y asunto básico de urgente solución. Posiblemente, el problema de la regularidad en las revistas de Humanidades sea más acusado que en otras áreas, pero lo importante ahora es detectar sus causas, que pueden estar, por un lado en la inadecuada gestión en tiempo del proceso editorial de los manuscritos, de otro por la falta de estos. En el primer caso, alguna solución podría poner en marcha la UNE con la profesionalización más o menos centralizada por áreas de conocimiento, por agrupación de editoriales, etc., pues mientras la gestión sea fruto del trabajo amateur, la buena voluntad y esfuerzo personal de cada equipo editorial, no se alcanzarán resultados satisfactorios. Por su parte, la escasez de manuscritos no tiene fácil solución si las comunidades científicas son pequeñas y poco productivas; o bien, mientras no se rompa el círculo vicioso en el que entra una revista cuando no cuenta para la evaluación, y por tanto no atrae originales; o bien, porque existan demasiadas revistas con la misma cobertura y la producción no sea suficiente para abastecer la demanda, supuesto en el que las fusiones o concentraciones interuniversitarias pueden tener viabilidad.

Respecto del PR sin embargo, los datos que arrojan las fuentes pueden considerarse ilustrativos de que la situación en el conjunto editorial español no está significativamente mejor que la edición universitaria. En este punto pues, los criterios de evaluación no deben de insinuar discriminación general alguna sobre las revistas universitarias más allá de las consideraciones puntuales que un comité de evaluación pueda realizar de una revista concreta. Estas consideraciones deben de hacerse extensibles a cualquier revista cuando proceda aplicarle las “condiciones que debe cumplir una publicación para que sea reconocida” esto es, los indicadores de calidad del proceso editorial para revistas sin “índice de calidad relativo” en el caso de ANECA, o los indicadores del Apéndice 1 en el caso de la CNEAI. Cuestión distinta es el estudio detallado que aquí se ha realizado de las revistas universitarias de Humanidades para descubrir los elementos de calidad del sistema de evaluación empleado. Las cifras obtenidas de que un 31% ni siquiera declara realizar evaluación y que solo el 18% declara aplicar conjuntamente los parámetros imprescindibles de PR, son insostenibles; sin embargo, para establecer comparaciones y discriminaciones, necesitamos un análisis similar, bastante laborioso por cierto, y que está por hacer, para el conjunto de las revistas españolas.

En cuanto a los índices de impacto, es evidente que los criterios de evaluación muestran lo que podríamos denominar una acusada JCR-dependencia, cuestión que ha sido ampliamente criticada, tanto desde la edición universitaria como desde la no universitaria. Sin embargo, no deberíamos olvidar que uno de los objetivos que persiguen las agencias de evaluación es el de impulsar y favorecer la difusión y la competencia en el plano internacional de la investigación española, y para ello nada mejor que incentivar la presencia en la WOS y los JCR. En cualquier caso, la edición universitaria precisa aquí un impulso importante y está en alguna desventaja con las revistas no universitarias; pero esta desventaja tiene su explicación. Por un lado, a pesar de las mejoras de los últimos años, la poca presencia de revistas españolas en la WOS-JCR o en los SCOPUS-SJR en relación con nuestro potencial investigador es un sesgo ya conocido (Bordons y otros, 2002Bordons, M.; Fernandez, MT.; Gomez, I. (2002). Advantages and limitations in the use of impact factor measures for the assessment of research performance in a peripheral country. Scientometrics, 53 (2), pp. 195-206, http://dx.doi.org/10.1023/A:1014800407876.; Torres-Salinas, 2007Torres Salinas, D. (2007). Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora de la Universidad de Navarra en el área de ciencias de la salud: 1994-2005 [tesis doctoral]. Granada: Universidad.), y por tanto, esta JCR-dependencia de los criterios de evaluación no es un problema exclusivo que afecte solo a la edición universitaria. Por otro, atendiendo a la realidad de los datos, la notable mayor presencia de revistas no universitarias en los JCR se explica por el peso que en estas tienen las revistas de Biomedicina, Ciencia y Tecnología, áreas donde tradicionalmente la edición universitaria ha tenido una muy escasa penetración, y por tanto, si no se publica en estas áreas difícilmente se pueden tener revistas en los JCR del SCI. Es por tanto en Sociales y Humanidades donde la universidad despliega el grueso de su actividad editorial; de ahí que en el SSCI la situación está mucho más equilibrada, consiguiendo meter la edición universitaria 25 revistas frente a las 31 no universitarias. Algo parecido ocurre en los impactos nacionales de IN-RECx, donde la cobertura del índice, centrado exclusivamente en revistas de Sociales, Humanidades y Jurídicas, permite reflejar también un cierto equilibrio, detectando al mismo tiempo que el protagonismo de la edición universitaria está en las revistas de humanidades, área de conocimiento donde supera ampliamente en el primer cuartil de IN-RECH a la edición no universitaria.

En las plataformas de valoración, los datos sugieren también una lectura matizada. ERIH muestran un saldo de 9 revistas a favor de la edición no universitaria, sin embargo, las dudas que plantea este sistema radican en la escasa transparencia sobre los criterios utilizados por los expertos que seleccionan y clasifican las revistas; problema analizado en un trabajo reciente (Aliaga y otros, 2013Aliaga, FM.; Almerich, G.; Suárez-Rodríguez, JM. (2013). El European Reference Index for the Humanities (ERIH) como criterio de calidad de las revistas académicas: análisis de la lista revisada de educación. Revista Española de Documentación Científica, 36 (2), en008. http://dx.doi.org/10.3989/redc.2013.2.901.), donde además se plantea que el número de revistas españolas que recoge es exiguo y poco representativo. Nuestros datos confirman estas sospechas, pues es poco coherente que las revistas españolas WOS del SSCI y del A&HCI, marca de internacionalidad por excelencia, sumen 106, mientras que ERIH solo recoja 47 en las categorías INT1 e INT2; categorías que según declaran responden a revistas de alta influencia e interés en muchos ámbitos de todo el mundo y a revistas de visibilidad e influencia ‘significativa’ en varios campos y diversos países.

Y finalmente el DICE, donde las revistas universitarias superan a las no universitarias en los parámetros seleccionados. Esta situación nos permite hacer algunas interpretaciones, sobre todo si otorgamos a este producto un suficiente grado de fiabilidad al estar refrendado por las agencias. La cuestión es la siguiente: si las revistas en “posiciones relevantes” que hemos seleccionado en este producto cumplen las condiciones: evaluadores externos=Si; apertura exterior de los autores=Si; valoración de la difusión internacional=media o alta; internacionalidad de las contribuciones= media, alta o muy alta; hay que admitir que la advertencia sobre la endogamia y la “valoración desfavorable a la publicación de trabajos en revistas o editoriales pertenecientes al mismo organismo donde el solicitante realiza su investigación” no debe apuntar especialmente a las revistas universitarias, cuando menos, más allá de las consideraciones puntuales que un comité de evaluación pueda realizar sobre una revista concreta, independientemente de quien sea su editor, pues cualquier revista que publique muchos trabajos de miembros pertenecientes a sus comités, puede ser también calificada de endogámica. En cualquier caso, esta advertencia de los criterios puede tener otras lecturas con las que nadie debería sentirse señalado: puede tratarse simple y llanamente de un incentivo motivador por el que es sano y recomendable, incluso hasta obligatorio, que los profesores universitarios busquemos un equilibrio entre lo que publicamos dentro y fuera de la universidad.

5. BIBLIOGRAFÍATop