En las dos últimas décadas, la implantación en España de un sistema de evaluación de la actividad investigadora, además de jugar un papel crucial en la difusión internacional de nuestra producción científica (Jiménez y otros, 2003), continúa siendo un asunto controvertido que viene produciendo abundante literatura especializada (Echeburúa, 2002; Espinet, 2006; Buela-Casal, 2007; Buela-Casal y Sierra, 2007; Salvador y otros, 2008; Ruiz-Pérez y otros, 2010; Cancelo y Bastida, 2013). La Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI) y la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA), son los organismos encargados de efectuar dicha evaluación; el primero concediendo o denegando a los profesores universitarios y al personal del CSIC los conocidos “sexenios de investigación”; el segundo otorgando o no el certificado que acredita para el acceso a los cuerpos docentes, donde el peso de la investigación es determinante dentro de las dimensiones curriculares establecidas en el proceso de evaluación.

Sin entrar en el impacto de esta política y en los resultados alcanzados dentro de un plan de incentivos a los científicos españoles, ponderado ya en algunos trabajos (Fernández y otros, 2006), se podría decir que el sistema otorga reconocimiento personal y social a profesores e investigadores, condicionando además de forma directa la progresión en su carrera académica. No es de extrañar, pues, que sea un tema polémico recurrente que salta al debate público en artículos de opinión de la prensa nacional, algunos de ellos recientes: “a los profesores con más sexenios se les rebaja su carga docente hasta los 16 créditos, mientras que a los que no tienen tramos les adjudican el máximo de 32. Los profesores que no logran que se les reconozcan sus investigaciones se ven obligados a emplear la mayor parte de su jornada en dar clases, con lo que no les queda tiempo para investigar” (Muñoz, 2013).

Este debate (Argüelles, 2005; Abellanas, 2006; Cortina, 2008; Játiva, 2013), además de reclamar transparencia en el sistema y el reconocimiento de las particularidades de los diferentes campos de conocimiento, se dirige fundamentalmente sobre los criterios de evaluación; que no pocos investigadores califican de “injustos y arbitrarios”, siendo los artículos en revistas y la forma de evaluarlos, los que focalizan las críticas más contundentes: “la CNEAI ha limitado la investigación digna de ser evaluada positivamente a la publicada en revistas anglosajonas, las incluidas en la base de datos ISI (Instituto para la Información Científica)…, lo que perjudica a la investigación en ciencias sociales y humanísticas… es decir, si el trabajo no se publica en una revista incluida en el ISI es como si no existiera para la CNEAI”; “Publicó sus trabajos en las mejores revistas españolas de Sociología y fueron suspendidos. La CNEAI se limitó a justificarlo…con la frase “medio de repercusión insuficiente” (Muñoz, 2013).

Sin entrar en este debate, hay que decir, sin embargo, que no son totalmente rigurosas las afirmaciones anteriores, entre otras razones porque en el ISI hay revistas no anglosajonas, entre ellas algunas españolas. Es cierto que los criterios de evaluación de las agencias priman especialmente estas revistas, pero como veremos, los criterios de evaluación admiten publicaciones más allá del ISI aunque bajo determinadas condiciones, si bien es verdad que estas condiciones a las revistas ISI se les presuponen. En cualquier caso, si fuese totalmente cierta las exclusividad del ISI, las revistas españolas que quedarían fuera del sistema, sin rentabilidad para el profesorado lo que en ellas se publica, rondaría el 90% del total, y ello porque España, que sobrepasa las 2000 revistas científicas, consigue incluir actualmente en el referido ISI, hoy Web of Science (WOS), solo 183, de las cuales 57 están editadas por universidades.

Hacemos ya esta distinción entre revistas universitarias y no universitarias, porque dentro del descontento general, el colectivo universitario, representado por la Unión de Editoriales Universitarias (UNE), se ha sentido especialmente perjudicado, y con razón, por esta situación. Y ello, porque dentro de los criterios de evaluación, no sólo les afectan las condiciones generales impuestas a las revistas españolas, si no que se ven penalizados con particularidades. Así, ya en 2009 la UNE trasmite a CNEAI el malestar que han generado en las universidades los criterios de evaluación del profesorado (BOE 282, 22/11/2008) por los que se determina, en muchas áreas de conocimiento, que se considerarán relevantes aquellos trabajos que no estén publicados por la misma institución en la que trabaja el investigador, entendiendo que esta resolución supone un claro perjuicio para las editoriales universitarias, a las que se les presupone un comportamiento poco riguroso y acientífico (UNE, 2009). En 2011, la vicepresidenta de la UNE afirmaba que “tiene entre sus objetivos promover la mejora y reconocimiento de la edición universitaria, puesto que aún existe una cierta desconfianza…en algunas comisiones acerca de su validez”. “Se trata de lograr que quienes opten por publicar en editoriales universitarias, no se vean después discriminados cuando se valore su actividad docente y/o investigadora” (González, 2011). En el año 2012, el rector de la Universidad Politécnica de Madrid declaraba, en clara alusión a uno de los pilares básicos de la edición científica, que “el mayor desafío es la introducción de sistemas de garantía de calidad científica si se quiere que las publicaciones alcancen la difusión y prestigio que merecen, entre ellas, la necesidad de incluir en las revistas universitarias el sistema de revisión por pares…elemento imprescindible para convertir la edición universitaria en un medio de difusión e impacto de las publicaciones y que sean valoradas en CNEAI y similares” (Conde, 2012). Por último, en el año 2013, y en clara referencia nuevamente a la calidad de los procesos editoriales, el Secretario General de Universidades declaraba que “si las editoriales universitarias españolas crean un sello que certifique que las obras editadas han pasado unos procesos y unos filtros de calidad, el Ministerio apoyará su reconocimiento en los procesos de evaluación del profesorado que realizan CNEAI y ANECA” (Morán, 2013). En fin, como vemos, la escasa presencia de las revistas en los índices internacionales, la implantación del sistema de evaluación por pares, y la penalización que sufre la publicación de trabajos en revistas o editoriales asociadas al organismo donde el solicitante desarrolla sus investigaciones, son elementos claves de la evaluación que planean sobre la desconfianza hacia las revistas españolas, y especialmente hacia la edición universitaria.

Pues bien, nuestro objetivo aquí es aportar información para describir cuál es la situación, de las revistas españolas en general y de las universitarias en particular, en relación con los criterios de evaluación que aplican las agencias. Todo ello con el fin de descubrir y valorar si hay razones fundamentadas de calidad editorial, de repercusión, de difusión y visibilidad que justifiquen la referida discriminación, permitiéndonos además establecer comparaciones entre las revistas universitarias y no universitarias en el cumplimiento de los criterios de evaluación. Por otra parte, dado que los referidos criterios de evaluación se fundamentan sobre la naturaleza científica de las revistas sometidas a evaluación, es conveniente recordar cual es el papel de las revistas en la ciencia moderna.

La función de las publicaciones periódicas es la de ser el principal medio de comunicación entre la comunidad científica. Este medio debe ser permanente, puntual, riguroso y transparente, convirtiéndose en el registro oficial y público del conocimiento, certificando su autoría; que lo publicitado respeta los métodos científicos y asegurando que los contenidos han sido previamente sometidos a la consideración de otros científicos que denominamos pares. Sobre estos principios se asienta el consenso internacional sobre el valor que la ciencia moderna otorga a las revistas científicas (Zuckerman y Merton, 1971; CSE, 2013; ICMJE, 2013), y por tanto, difícilmente se admite una revista como de investigación sin que los cumpla rigurosamente. A partir de estos principios se construyen las restantes características que, finalmente, dan el prestigio a una revista: La revista y sus mecanismos editoriales, donde se asegura la suficiencia en la originalidad, novedad, rigor metodológico y relevancia de los contenidos; la revista y su capacidad de difusión; la revista y su repercusión medida a través de las citas y el consiguiente impacto como indicador de influencia; y finalmente, la revista y valor que le otorga la propia comunidad científica. En consecuencia, si partimos de la base que tanto ANECA (en el apartado actividad investigadora) como CNEAI establecen sus evaluaciones sobre resultados de investigación publicados, resulta lógico admitir también que sus criterios de evaluación se fundamenten sobre estos principios y características, y todo ello, como veremos, con las especificaciones y matices que han estimado conveniente añadir.

Según los datos generales obtenidos, las revistas españolas presentan serios problemas para mantener la regularidad y muchas lagunas en el sistema de Peer Review, sobre todo en las áreas de conocimiento en las que aquí se ha profundizado su análisis. Es muy probable además, que las deficiencias en estos indicadores básicos estén influyendo en la escasa visibilidad e impacto de las revistas en los índices, sobre todo porque sus metodologías y criterios de selección de revistas prestan especial atención al cumplimiento de los mismos. Todo ello podría derivar finalmente en el poco éxito que alcanzan las revistas científicas españolas en el marco de los criterios utilizados en España por las agencias de evaluación. Por otra parte, dentro del conjunto, y en las comparaciones que se han podido establecer, hay que admitir que en buena parte de ellas, la edición universitaria presenta peores resultados que la edición no universitaria. Por esta razón, no ponemos en duda que las revistas universitarias españolas están poco profesionalizadas, son irregulares, con muchos problemas en los procesos de evaluación, poco visibles y poco relevantes; cuestiones que han sido recordadas recientemente en las III Jornadas de la Unión de Editoriales Universitarias (Delgado y Torres, 2013), y por supuesto, en parte, no son novedosas. Ya en 2007, refiriéndose a las revistas electrónicas universitarias, Zamora y otros (2007) se pronunciaban con observaciones muy desalentadoras sobre sus web, su reducida visibilidad y muy bajo impacto. Abadal y Rius (2008) proponían un conjunto de medidas necesarias para mejorar las revistas universitarias, su difusión e impacto, entre otras, su digitalización, la inclusión en portales, el libre acceso, versiones multilingües e inclusión en bases de datos.

Ahora bien, admitida esta conclusión general, y dentro del enfoque que este trabajo plantea, la cuestión es dilucidar si las revistas universitarias merecen las particulares especificaciones negativas, que frente a otras revistas españolas, les apuntan los criterios de evaluación de la actividad investigadora. Desde nuestro punto de vista, y a la luz de los datos más pormenorizados que en este trabajo se presentan, es probable que estas especificaciones no tengan mucho fundamento y necesiten ser rectificadas en algunos aspectos.

En lo que a la periodicidad se refiere no es el caso y no caben rectificaciones. No contamos con datos ni generales ni desagregados de otros estudios para establecer algunas comparativas con las no universitarias, tan solo los puntuales obtenidos por González y otros (2010) de las revistas editadas por la Universidad de Valencia, donde señala que entre las revistas que ha venido publicando esta institución permanecían activas solo el 34,5%. Pero en cualquier caso, los datos son insostenibles: aunque referido solo a las humanidades, casi un 50% de las revistas universitarias de este campo están incumpliendo la periodicidad, y de ellas un 12% se encuentran en vía muerta, situación difícilmente superable y asunto básico de urgente solución. Posiblemente, el problema de la regularidad en las revistas de Humanidades sea más acusado que en otras áreas, pero lo importante ahora es detectar sus causas, que pueden estar, por un lado en la inadecuada gestión en tiempo del proceso editorial de los manuscritos, de otro por la falta de estos. En el primer caso, alguna solución podría poner en marcha la UNE con la profesionalización más o menos centralizada por áreas de conocimiento, por agrupación de editoriales, etc., pues mientras la gestión sea fruto del trabajo amateur, la buena voluntad y esfuerzo personal de cada equipo editorial, no se alcanzarán resultados satisfactorios. Por su parte, la escasez de manuscritos no tiene fácil solución si las comunidades científicas son pequeñas y poco productivas; o bien, mientras no se rompa el círculo vicioso en el que entra una revista cuando no cuenta para la evaluación, y por tanto no atrae originales; o bien, porque existan demasiadas revistas con la misma cobertura y la producción no sea suficiente para abastecer la demanda, supuesto en el que las fusiones o concentraciones interuniversitarias pueden tener viabilidad.

Respecto del PR sin embargo, los datos que arrojan las fuentes pueden considerarse ilustrativos de que la situación en el conjunto editorial español no está significativamente mejor que la edición universitaria. En este punto pues, los criterios de evaluación no deben de insinuar discriminación general alguna sobre las revistas universitarias más allá de las consideraciones puntuales que un comité de evaluación pueda realizar de una revista concreta. Estas consideraciones deben de hacerse extensibles a cualquier revista cuando proceda aplicarle las “condiciones que debe cumplir una publicación para que sea reconocida” esto es, los indicadores de calidad del proceso editorial para revistas sin “índice de calidad relativo” en el caso de ANECA, o los indicadores del Apéndice 1 en el caso de la CNEAI. Cuestión distinta es el estudio detallado que aquí se ha realizado de las revistas universitarias de Humanidades para descubrir los elementos de calidad del sistema de evaluación empleado. Las cifras obtenidas de que un 31% ni siquiera declara realizar evaluación y que solo el 18% declara aplicar conjuntamente los parámetros imprescindibles de PR, son insostenibles; sin embargo, para establecer comparaciones y discriminaciones, necesitamos un análisis similar, bastante laborioso por cierto, y que está por hacer, para el conjunto de las revistas españolas.

En cuanto a los índices de impacto, es evidente que los criterios de evaluación muestran lo que podríamos denominar una acusada JCR-dependencia, cuestión que ha sido ampliamente criticada, tanto desde la edición universitaria como desde la no universitaria. Sin embargo, no deberíamos olvidar que uno de los objetivos que persiguen las agencias de evaluación es el de impulsar y favorecer la difusión y la competencia en el plano internacional de la investigación española, y para ello nada mejor que incentivar la presencia en la WOS y los JCR. En cualquier caso, la edición universitaria precisa aquí un impulso importante y está en alguna desventaja con las revistas no universitarias; pero esta desventaja tiene su explicación. Por un lado, a pesar de las mejoras de los últimos años, la poca presencia de revistas españolas en la WOS-JCR o en los SCOPUS-SJR en relación con nuestro potencial investigador es un sesgo ya conocido (Bordons y otros, 2002; Torres-Salinas, 2007), y por tanto, esta JCR-dependencia de los criterios de evaluación no es un problema exclusivo que afecte solo a la edición universitaria. Por otro, atendiendo a la realidad de los datos, la notable mayor presencia de revistas no universitarias en los JCR se explica por el peso que en estas tienen las revistas de Biomedicina, Ciencia y Tecnología, áreas donde tradicionalmente la edición universitaria ha tenido una muy escasa penetración, y por tanto, si no se publica en estas áreas difícilmente se pueden tener revistas en los JCR del SCI. Es por tanto en Sociales y Humanidades donde la universidad despliega el grueso de su actividad editorial; de ahí que en el SSCI la situación está mucho más equilibrada, consiguiendo meter la edición universitaria 25 revistas frente a las 31 no universitarias. Algo parecido ocurre en los impactos nacionales de IN-RECx, donde la cobertura del índice, centrado exclusivamente en revistas de Sociales, Humanidades y Jurídicas, permite reflejar también un cierto equilibrio, detectando al mismo tiempo que el protagonismo de la edición universitaria está en las revistas de humanidades, área de conocimiento donde supera ampliamente en el primer cuartil de IN-RECH a la edición no universitaria.

En las plataformas de valoración, los datos sugieren también una lectura matizada. ERIH muestran un saldo de 9 revistas a favor de la edición no universitaria, sin embargo, las dudas que plantea este sistema radican en la escasa transparencia sobre los criterios utilizados por los expertos que seleccionan y clasifican las revistas; problema analizado en un trabajo reciente (Aliaga y otros, 2013), donde además se plantea que el número de revistas españolas que recoge es exiguo y poco representativo. Nuestros datos confirman estas sospechas, pues es poco coherente que las revistas españolas WOS del SSCI y del A&HCI, marca de internacionalidad por excelencia, sumen 106, mientras que ERIH solo recoja 47 en las categorías INT1 e INT2; categorías que según declaran responden a revistas de alta influencia e interés en muchos ámbitos de todo el mundo y a revistas de visibilidad e influencia ‘significativa’ en varios campos y diversos países.

Y finalmente el DICE, donde las revistas universitarias superan a las no universitarias en los parámetros seleccionados. Esta situación nos permite hacer algunas interpretaciones, sobre todo si otorgamos a este producto un suficiente grado de fiabilidad al estar refrendado por las agencias. La cuestión es la siguiente: si las revistas en “posiciones relevantes” que hemos seleccionado en este producto cumplen las condiciones: evaluadores externos=Si; apertura exterior de los autores=Si; valoración de la difusión internacional=media o alta; internacionalidad de las contribuciones= media, alta o muy alta; hay que admitir que la advertencia sobre la endogamia y la “valoración desfavorable a la publicación de trabajos en revistas o editoriales pertenecientes al mismo organismo donde el solicitante realiza su investigación” no debe apuntar especialmente a las revistas universitarias, cuando menos, más allá de las consideraciones puntuales que un comité de evaluación pueda realizar sobre una revista concreta, independientemente de quien sea su editor, pues cualquier revista que publique muchos trabajos de miembros pertenecientes a sus comités, puede ser también calificada de endogámica. En cualquier caso, esta advertencia de los criterios puede tener otras lecturas con las que nadie debería sentirse señalado: puede tratarse simple y llanamente de un incentivo motivador por el que es sano y recomendable, incluso hasta obligatorio, que los profesores universitarios busquemos un equilibrio entre lo que publicamos dentro y fuera de la universidad.