El establecimiento de una política evaluativa sustentada en indicadores internacionales por parte de las agencias de evaluación españolas –Agencia Nacional de Evaluación y Prospectiva (ANEP), Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI) y Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA)–, ha condicionado la orientación, incrementado el rigor metodológico y contribuido a la internacionalización de la investigación nacional (Buela-Casal, 2007a, b; Delgado-López-Cózar, 2010, 2011; Fernández-Esquinas, y otros, 2011; Sierra, y otros, 2009; Torres-Albero y otros, 2011). Además, se han establecido unos requisitos mínimos de evaluación que reducen la arbitrariedad y normalizan el reconocimiento y desarrollo profesional del investigador (Buela-Casal y Sierra, 2007; Delgado-López-Cózar, 2010). 


La ANEP, constituida en 1986, se encarga de la “evaluación científico-técnica de las unidades, equipos humanos y las propuestas de investigación para participar en los programas y proyectos del Plan Nacional de I+D+i” (ANEP, 2012, parr. 3). Este Plan permite a los científicos españoles conseguir financiación para llevar a cabo sus proyectos de investigación. La asignación de recursos se basa fundamentalmente en la calidad del curriculum vitae del investigador principal, medida por el número de publicaciones internacionales presentes en Web of Science (WoS) y el factor de impacto de las mismas (Jiménez-Contreras y otros, 2011). 


Desde 1989, la CNEAI “realiza la evaluación de la actividad investigadora de los profesores universitarios y del personal de las escalas científicas del CSIC, con el objeto de que les sea reconocido un complemento de productividad (sexenio)” (CNEAI, 2012, parr. 1). Para la concesión de sexenios, la CNEAI prima las publicaciones de calidad recogidas en el Journal Citation Reports (JCR) del Science Citation Index –SCI y, Social Sciences Citation Index –SSCI-, las revistas incluidas en el Art & Humanities Citation Index -A&HCI- y en otras bases de datos de calidad en cada una de las disciplinas correspondientes (BOE nº 288, 30/11/2011). 


En el año 2002, se crea la ANECA con el objetivo de evaluar las actividades docentes e investigadoras de los solicitantes para el acceso a las figuras, tanto de Profesor Universitario Contratado (Programa PEP), como de Funcionarios Docentes Universitarios (Programa ACADEMIA). En ambos programas destaca el peso de la actividad investigadora, que supone el 60% de la puntuación total en el caso de Profesores Contratados Doctores y Profesores Ayudantes Doctores, el 55% en la acreditación para el cuerpo de Catedráticos, y el 50% para los Profesores Titulares. En todos los casos, se valoran preferentemente los artículos publicados en revistas de reconocido prestigio, específicamente aquellas que ocupen posiciones relevantes en el JCR (ANECA, 2007, 2008, 2012).


Esta política evaluativa ha ejercido un impacto en el incremento y difusión internacional de la producción científica española a lo largo de la década de los noventa (véase Jiménez y otros, 2003). Dicho aumento se ha mantenido en años sucesivos debido fundamentalmente a la adecuación de los investigadores y de las revistas científicas españolas al patrón internacional (Buela-Casal y otros, 2011; Delgado-López-Cózar, 2010; Delgado-López-Cózar y otros, 2009 ; Olivas-Ávila y otros, 2010; Torres-Salinas y otros, 2011; Vargas-Quesada y otros, 2008). En este sentido, el crecimiento medio anual de la producción científica española indizada en WoS (1981-2007) ha sido del 9%, mientras que el incremento medio mundial se ha situado en el 3% (Testa, 2008). Este crecimiento ha venido acompañado por una mayor presencia de revistas españolas en el JCR (FECYT, 2011; Pérez-Andrés y otros, 2006), y del empleo del inglés, en detrimento del español, como idioma de comunicación científica (Bordons, 2004; Delgado-López-Cózar, 2010). 


En relación a este punto, las recomendaciones de estas agencias para la obtención de una evaluación positiva consisten en publicar en revistas de alta exigencia, como son las revistas indexadas en el JCR. En este sentido, se expresan autoridades como la del ex Coordinador General de la CNEAI Antonio Guillamón Fernández (2011) y del Coordinador de la Unidad de Evaluación del Profesorado de la ANECA José Luis Castillo Gimeno (2012). Estas opiniones están avaladas por las actualizaciones introducidas por la CNEAI y la ANECA en la normativa evaluadora que priman la publicación en revistas del JCR (ANECA, 2012; BOE nº 288, 30/11/2011).


Sin embargo, la adopción de criterios internacionales de evaluación basados en la WoS ha sido objeto de numerosas críticas fundamentadas en sesgos bien conocidos, como la inclinación por las Ciencias Físico-Naturales en perjuicio de las Ciencias Sociales y, especialmente, de las Humanidades (Delgado-López-Cózar y otros, 2005; Delgado-López-Cózar y otros, 2009; Pérez-Andrés y otros, 2006). La exigua representación de las Ciencias Sociales y Humanidades queda patente en la información publicada por Thomson-Reuters (2011); así, la inclusión de revistas en WoS alcanza el 11,6% en Arte y Humanidades (1228 revistas), el 20,5% en Ciencias Sociales (2169 revistas) y el 67,9% restante en Ciencia y Tecnología (7181 revistas). 


En el JCR del año 2010 se incluyen 121 revistas españolas, lo que supone algo más del 1% del total de revistas y menos del 0,5% en el caso de revistas de Ciencias Sociales (FECYT 2011). La presencia de revistas españolas en WoS hasta el año 2005 es todavía menor (Rodríguez-Yunta, 2010, 2011). Para contrarrestar este sesgo, se han desarrollado una serie de medidas encaminadas a la creación de herramientas de evaluación sobre la calidad de las publicaciones científicas en Ciencias Sociales y Humanidades a nivel nacional (DICE, IN-RECS, IN-RECJ, IN-RECH, RESH y CIRC), europeo (ERIH) y latinoamericano (LATINDEX y REDALYC), y se han implementado políticas para la mejora de la calidad de las revistas científicas españolas (convocatorias FECYT de evaluación de la calidad editorial y científica de las revistas científicas españolas http://evaluacionarce.fecyt.es/Publico/index.aspx. -las revistas que obtienen el Sello de Calidad FECYT son remitidas a WoS y Scopus para su valoración-) e iberoamericanas (talleres LATINDEX para editores de revistas http://www.latindex.unam.mx/documentos/tall.html, metodología REDALYC para la valoración de revistas científicas http://redalyc.uaemex.mx/media/principal/proyecto/metvalref.html#, y metodología SciELO para la diseminación y evaluación de la investigación http://www.scielo.org/php/index.php?lang=es). A la escasa presencia de revistas españolas en JCR, hay que añadir la poca cobertura dada a la ciencia publicada en un idioma distinto del inglés, de tal forma que menos de un 1% de los artículos indexados en WoS están escritos en español (Bordons, 2004). A pesar de las críticas, la implantación de políticas de evaluación asentadas en criterios internacionales ha coadyuvado a mejorar la calidad y visibilidad de la investigación nacional, y por añadidura la de los canales nacionales de difusión de esta investigación, que cada vez están más presentes en el JCR.


El objetivo general de este trabajo es analizar la evolución del número de revistas españolas de Ciencias Sociales indexadas en JCR durante el periodo 2006-2010, de modo que se pueda comprobar si la política evaluativa española ha contribuido a la mejora de la calidad y visibilidad de las revistas, medida a través de su indexación en el JCR. Asimismo, se analiza la evolución de las revistas hispanoamericanas para facilitar la comparación de los datos obtenidos y para dar a conocer el conjunto de revistas a la comunidad investigadora de habla hispana (véase Apéndice A). Como objetivos específicos se plantean: (a) el estudio de la distribución por países, cuartiles y temática del conjunto de revistas; (b) la evolución del factor de impacto de las principales revistas; y (c) la influencia del idioma de publicación en el número de citas internacionales recibidas. En relación con estos objetivos, se discuten los criterios aplicados por las agencias españolas en la evaluación de las Ciencias Sociales y Humanidades. 


En este trabajo se expone que la implantación de una política evaluativa sustentada en indicadores internacionales ha contribuido a mejorar la calidad y visibilidad de las revistas españolas, medida a través de su indexación en el JCR. Para comprobar esta relación se ha realizado un análisis descriptivo de las revistas españolas de Ciencias Sociales presentes en el JCR durante el quinquenio 2006-2010. Además, se han comparado los datos obtenidos por estas revistas con los alcanzados por las revistas de otros países hispanoamericanos en el mismo periodo. De manera específica, se ha cuantificado su presencia en la edición de Ciencias Sociales del JCR de 2010, y su distribución por cuartiles; se han analizado por áreas temáticas; y, por último, se ha estudiado la evolución del factor de impacto de las revistas más destacadas en cada campo y la influencia del idioma de publicación en el número de citas recibidas.


Los resultados muestran un incremento de un 2500% en el número de publicaciones españolas en la edición de Ciencias Sociales del JCR para el quinquenio de análisis. Además, el 58% de las revistas hispanohablantes indexadas en el año 2010 son españolas. Esto supone que la visibilidad de las publicaciones científicas españolas ha aumentado considerablemente. En este sentido, podría afirmarse que la política evaluativa española ha obtenido importantes resultados en el incremento de la producción científica de los investigadores en revistas internacionales desde su implantación en la década de los noventa. Sin embargo, los resultados de esta política en la mejora de la calidad y difusión internacional de las revistas españolas, medida a través de su indexación en el JCR, se han retrasado hasta el año 2007, momento a partir del cual se aprecia un incremento significativo del número de revistas indexadas. Asimismo, es muy probable que, en los próximos años, el número de revistas siga aumentado por dos razones: la labor de la FECYT (Coslado, Báez y Lacunza, 2010), LATINDEX (Flores, Penkova y Román, 2009), REDALYC (Aguado y Rogel, 2006) y SciELO (García-Testal, 2000) en la mejora de la calidad de las publicaciones científicas, y la irrupción de herramientas de evaluación competidoras como Scopus (Elsevier), Google Scholar Citation y Microsoft Academic Search, que fuerzan la expansión de Thomson-Reuters a países y áreas infrarrepresentadas en sus productos. 


El análisis de la distribución de las revistas por cuartiles revela que el 95% de las revistas se ubican en los dos últimos cuartiles. Esta situación podría cambiar debido, en primer lugar, al crecimiento del número de revistas y a la tendencia de las REH a citarse entre sí (Torres-Salinas y otros, 2009), y, en segundo lugar, a una mayor colaboración entre los autores de países de habla hispana, que repercutiría en el número de citas recibidas y en la visibilidad de la investigación (De Filippo y otros, 2008). Hay que destacar que solo se encuentran revistas de Psicología y Economía en el segundo cuartil, lo que refleja que los investigadores y revistas de estas disciplinas se han integrado con mayor rapidez y con notable éxito en la corriente principal de la ciencia.


El estudio del impacto revela que en la mayoría de las categorías temáticas el primer dato de impacto se ha obtenido en el año 2010. Esta situación invita a pensar que en años venideros se podrían ocasionar más cambios en las primeras posiciones del ranking, por la probable aparición de nuevas revistas con altas tasas de citación. 


En cuanto al idioma de publicación, el inglés se acepta en 9 de las 13 revistas de mayor impacto, aunque la REDC y Comunicar especifican su preferencia por el español, y REIS informa de que los artículos en inglés solo se publicarán en la versión electrónica de la revista, mientras que su versión en español se editará también en papel. En Economía, Psicología y Lingüística los artículos más citados para un año concreto se han publicado en inglés. Además, la revista SERIEs-Journal of the Spanish Economic Association, seguramente con el objetivo de evitar la fuga de buenos trabajos de investigación a revistas foráneas, solo publica trabajos en lengua inglesa. En este sentido, Delgado-Lopez-Cózar (2010) advierte que se está produciendo una emigración de valiosos trabajos de investigación a revistas extranjeras en detrimento de las españolas y, como consecuencia, asistimos a un progresivo abandono del español como idioma de comunicación científica. Por otro lado, Rodríguez-Yunta (2010) afirma que no existe una relación directa entre la utilización de la lengua inglesa y la aceptación de una REH en la WoS. De esta manera, podría concluirse que son necesarios más estudios que permitan determinar el peso del idioma de publicación en el impacto de las REH, y que una mejora del impacto podría derivarse de la publicación de documentos bilingües en español-inglés y de una mayor colaboración con autores anglosajones.


El análisis de la normativa de la ANEP, CNEAI y ANECA en Ciencias Sociales revela que en la valoración de las Ciencias Sociales se especifica como criterio la publicación en revistas del JCR, mientras que este requisito no se menciona expresamente en la valoración de las Humanidades. Esta omisión podría deberse a la inexistencia de una edición del A&HCI-JCR, que se podría justificar por la tendencia de los investigadores de este área a publicar en el ámbito nacional, en monografías y en lengua vernácula (Archambault y Larivière, 2010; RIN, 2009).


En cuanto a la valoración del medio de difusión, la normativa establece la siguiente jerarquización: en primer lugar, se destacan las publicaciones en revistas indexadas en los repertorios internacionales (fundamentalmente JCR y, en menor medida, Scopus), en segundo lugar, en los repertorios nacionales (IN-RECS, IN-RECJ…) y, en tercer lugar, como libros y capítulos. Esta diferente valoración del medio de difusión podría estar motivada por la mayor dificultad a la hora de diferenciar la naturaleza investigadora de un libro que, sin embargo, se sobrentiende en un artículo publicado en una revista indexada. La nueva normativa ANECA (2012) así parece indicarlo: “Para poder ser valorados, los libros y capítulos de libros deben reflejar claramente que son fruto de la investigación o de la reflexión bien documentada” (p. 50). En el mismo sentido, la Convocatoria de la CNEAI especifica para los campos 9, 10 y 11 (Derecho y Jurisprudencia, Historia y Expresión Artística y Filosofía, Filología y Lingüística) que los libros y capítulos de libros: “Deberán reflejar claramente que son fruto de la investigación o de la reflexión documentada” (BOE nº 288, p. 127456-127458). Además, la falta de herramientas de evaluación de la calidad de los libros y capítulos, así como de las editoriales científicas, contribuye a que la evaluación de estas tipologías se asiente en criterios subjetivos como el prestigio. Para objetivar esta evaluación se están desarrollando investigaciones que permitirán distinguir a las editoriales que gozan de mayor reconocimiento por parte de los investigadores españoles. Destacan las llevadas a cabo por Elea Giménez Toledo y Carlos Tejada Artigas, y cuyos primeros resultados han sido publicados en 2012 para el campo de la Comunicación, Biblioteconomía y Documentación. 


Un aspecto de especial relevancia son las modificaciones introducidas en la normativa, que revelan una mayor exigencia en los requisitos para superar el proceso de evaluación. Así, la Resolución de 23 de noviembre de 2010 de la CNEAI establece lo siguiente: “Con carácter orientador, se considera que para obtener una evaluación positiva en las áreas de Psicología al menos dos de los artículos deben estar publicados en revistas que cumplan los criterios de apartado 3.b” –es decir, JCR- “(…) y uno de ellos en una revista de impacto medio o alto” (BOE nº 297, 07/12/2010, p. 101666). En el caso de la ANECA la nueva normativa para el programa ACADEMIA establece que el número mínimo de publicaciones para obtener la puntuación máxima en el apartado de investigación en Humanidades pasa de 30 (ANECA, 2008) a 32 (ANECA 2012) en el caso de los catedráticos y de 15 a 16 para los titulares. En Ciencias Sociales se ha mantenido el número de publicaciones en 16 para catedráticos y en 8 para titulares, pero se ha modificado la siguiente frase: “la publicación de un mínimo de 16 artículos en revistas recogidas en los índices mencionados anteriormente, de las cuales un porcentaje significativo deben corresponder a revistas indexadas con un índice de calidad relativa [sic.]” (ANECA, 2008, p.18). Por esta otra: “un mínimo de 16 artículos en revistas recogidas en los índices que se mencionan en el anexo I ‘Indicios de calidad’, de las cuales un porcentaje significativo deben corresponder a revistas indexadas del JCR” (ANECA, 2012, p. 64). La misma modificación se aplica a los aspirantes a profesor titular.


Una de las conclusiones de este trabajo es que la normativa evaluadora revela una voluntad de internacionalización en la evaluación de las Ciencias Sociales y, en menor medida, de las Humanidades, que se asemeja con la empleada en la evaluación de las Ciencias Físico-Naturales. En este entorno competitivo, donde la presión por publicar en revistas de calidad es una realidad cada día más agobiante, puede resultar de utilidad la consulta del Apéndice A para identificar las REH indexadas en el JCR. Además, los investigadores pueden conocer el número de citas recibidas por una revista en un periodo determinado a través de la consulta en WoS mediante la opción Cited Reference Search, y utilizar este dato como indicador adelantado del impacto. Los investigadores también pueden conocer la evolución del impacto de una revista en los últimos cinco años mediante la opción Impact Factor Trend del JCR, y la rapidez media con que se citan los artículos publicados en una revista consultando en el JCR el índice de inmediatez. 


Por último, sería recomendable que los editores de REH de Ciencias Sociales y Humanidades iniciaran, si no lo han hecho ya, un procedimiento de mejora de la visibilidad, difusión, calidad editorial, informativa y científica de sus revistas con el objetivo de figurar, en una primera fase, en las bases de datos especializadas más prestigiosas a nivel nacional (DIALNET, ISOC, CLASE, HUMANINDEX, PERIODICA, SciELO...) e internacional (ERIC, Historical Abstracts, MLA, PsycINFO, Sociological Abstracts, etc.), así como en los listados utilizados en la evaluación nacional de la investigación (DICE, IN-RECS, IN-RECJ, IN-RECH, RESH, CIRC, LATINDEX, REDALYC), y, en una segunda fase, en los listados de Thomson-Reuters (JCR – SCI, JCR- SSCI y A&HCI) y Elsevier (Scimago Journal & Country Rank - Scopus). Asimismo, sería aconsejable que las editoriales españolas aumentasen la transparencia de sus procesos de selección, revisión y publicación de monografías. En esta labor, que beneficia a todos los investigadores que utilizan el español como vehículo de transmisión del conocimiento, pueden recibir asesoramiento por parte del CSIC, FECYT, LATINDEX, REDALYC, y también por el CAICYT en Argentina, el CNPq en Brasil, el Instituto Colciencias en Colombia, el CONACYT en México, el CONICYT en Chile o el FONACIT en Venezuela.