ESTUDIOS / RESEARCH STUDIES

EVOLUCIÓN DE LAS REVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES EN EL JOURNAL CITATION REPORTS (2006-2010) Y SU VALORACIÓN COMO INDICIO DE CALIDAD EN LA NORMATIVA EVALUADORA ESPAÑOLA

Alexis Moreno-Pulido*, M. Ángeles López-González*, Fernando Rubio-Garay*, Luis Ángel Saúl*, Ángeles Sánchez-Elvira-Paniagua*

* Universidad Nacional de Educación a Distancia (UNED). Madrid, España

Correos-e: axmoreno@pas.uned.es; malopez@madrid.uned.es; feruga@psi.uned.es; lasaul@psi.uned.es; asanchez-elvira@psi.uned.es

SPANISH SOCIAL SCIENCE JOURNALS IN JOURNAL CITATION REPORTS (2006-2010) AND ITS EVALUATION AS AN INDICATION OF QUALITY IN THE SPANISH SCIENTIFIC PERFORMANCE ASSESSMENT RULES

CONTENIDOS

1. INTRODUCCIÓN
 Top

El establecimiento de una política evaluativa sustentada en indicadores internacionales por parte de las agencias de evaluación españolas –Agencia Nacional de Evaluación y Prospectiva (ANEP), Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI) y Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA)–, ha condicionado la orientación, incrementado el rigor metodológico y contribuido a la internacionalización de la investigación nacional (Buela-Casal, 2007aBuela-Casal, G. (2007a). Consideraciones metodológicas sobre el procedimiento de acreditación y del concurso de acceso a cuerpos de funcionarios docentes universitarios. Revista Electrónica de Metodología Aplicada, 12 (2), pp. 1-14., 2007bBuela-Casal, G. (2007b). Reflexiones sobre el sistema de acreditación del profesorado funcionario de Universidad en España. Psicothema, 19 (3), pp. 473-482. Disponible en: http://www.psicothema.com/psicothema.asp?id=3388 [08/03/2012].; Delgado-López-Cózar, 2010Delgado-López-Cózar, E. (2010). Claroscuros en la evaluación científica en España. Boletín Medes: Medicina en Español, 10 (4), pp. 25-29., 2011Delgado-López-Cózar, E. (2011). La evaluación de la actividad investigadora en Ciencias Humanidades y en Ciencias Sociales en España: principios y procedimientos. En Nuñez Delgado, M. P.; Rieda, J. (coords.), La investigación en Didáctica de la Lengua y la Literatura: situación y perspectivas de futuro. XII Congreso Internacional de la Sociedad Española de Didáctica de la Lengua y la Literatura. Madrid, España: SEDLL. pp. 67-95.; Fernández-Esquinas, y otros, 2011Fernández-Esquinas, M.; Díaz-Catalán, C.; Ramos-Vielba, I. (2011). Evaluación y política científica en España: el origen y la implantación de las prácticas de evaluación científica en el sistema público de I+D (1975-1994). En: González de la Fe, T.; López Peláez, A. (eds.), Innovación, conocimiento científico y cambio social. Madrid, España: Centro de Investigaciones Sociológicas. pp. 93-130.; Sierra, y otros, 2009Sierra, J. C.; Buela-Casal, G.; Bermúdez, M. P.; Santos-Iglesias, P. (2009). Diferencias por sexo en los criterios y estándares de productividad científica y docente en profesores funcionarios en España. Psicothema, 21 (1), pp. 124-132. Disponible en: http://www.psicothema.com/psicothema.asp?id=3605 [08/03/2012].; Torres-Albero y otros, 2011Torres-Albero, C.; Fernández-Esquinas, M.; Rey-Rocha, J.; Martín-Sempere, M. J. (2011). Dissemination practices in the Spanish research system: scientists trapped in a goldencage. Public Understanding of Science, 20 (1), pp. 12-25. DOI: 10.1177/0963662510382361.). Además, se han establecido unos requisitos mínimos de evaluación que reducen la arbitrariedad y normalizan el reconocimiento y desarrollo profesional del investigador (Buela-Casal y Sierra, 2007Buela-Casal, G.; Sierra, J. C. (2007). Criterios, indicadores y estándares para la acreditación de profesores titulares y catedráticos de Universidad. Psicothema, 19 (4), pp. 537-551. Disponible en: http://www.psicothema.com/psicothema.asp?id=3395 [08/03/2012].; Delgado-López-Cózar, 2010Delgado-López-Cózar, E. (2010). Claroscuros en la evaluación científica en España. Boletín Medes: Medicina en Español, 10 (4), pp. 25-29.).


La ANEP, constituida en 1986, se encarga de la “evaluación científico-técnica de las unidades, equipos humanos y las propuestas de investigación para participar en los programas y proyectos del Plan Nacional de I+D+i” (ANEP, 2012Agencia Nacional de Evaluación y Prospectiva (ANEP) (2012). Disponible en: http://www.idi.mineco.gob.es/portal/site/MICINN/menuitem.29451c2ac1391f1febebed1001432ea0/?vgnextoid=3cb39bc1fccf4210VgnVCM1000001d04140aRCRD [08/03/2012]., parr. 3). Este Plan permite a los científicos españoles conseguir financiación para llevar a cabo sus proyectos de investigación. La asignación de recursos se basa fundamentalmente en la calidad del curriculum vitae del investigador principal, medida por el número de publicaciones internacionales presentes en Web of Science (WoS) y el factor de impacto de las mismas (Jiménez-Contreras y otros, 2011Jiménez-Contreras, E.; Robinson-García, N.; Cabezas-Clavijo, A. (2011). Productividad e impacto de los investigadores españoles: umbrales de referencia por áreas científicas. Revista Española de Documentación Científica, 34 (4), pp. 505-526. DOI: 10.3989/redc.2011.4.828.). 


Desde 1989, la CNEAI “realiza la evaluación de la actividad investigadora de los profesores universitarios y del personal de las escalas científicas del CSIC, con el objeto de que les sea reconocido un complemento de productividad (sexenio)” (CNEAI, 2012, parr. 1). Para la concesión de sexenios, la CNEAI prima las publicaciones de calidad recogidas en el Journal Citation Reports (JCR) del Science Citation Index –SCI y, Social Sciences Citation Index –SSCI-, las revistas incluidas en el Art & Humanities Citation Index -A&HCI- y en otras bases de datos de calidad en cada una de las disciplinas correspondientes (BOE nº 288, 30/11/2011BOE (2011). Resolución de 23 de noviembre de 2011, de la Presidencia de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se establecen los criterios específicos en cada uno de los campos de evaluación. BOE nº 288 (30 noviembre 2011). 127448-127461.). 


En el año 2002, se crea la ANECA con el objetivo de evaluar las actividades docentes e investigadoras de los solicitantes para el acceso a las figuras, tanto de Profesor Universitario Contratado (Programa PEP), como de Funcionarios Docentes Universitarios (Programa ACADEMIA). En ambos programas destaca el peso de la actividad investigadora, que supone el 60% de la puntuación total en el caso de Profesores Contratados Doctores y Profesores Ayudantes Doctores, el 55% en la acreditación para el cuerpo de Catedráticos, y el 50% para los Profesores Titulares. En todos los casos, se valoran preferentemente los artículos publicados en revistas de reconocido prestigio, específicamente aquellas que ocupen posiciones relevantes en el JCR (ANECA, 2007Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) (2007). Principios y orientaciones para la aplicación de los criterios de evaluación: programa PEP. Disponible en: http://www.aneca.es/content/download/11202/122982/file/pep_criterios_070515.pdf [08/03/2012]., 2008Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) (2008). Principios y orientaciones para la aplicación de los criterios de evaluación: programa ACADEMIA. Disponible en: http://www.aneca.es/content/download/10527/118089/version/1/file/academia_14_ppiosyorientaciones.pdf [08/03/2012]., 2012Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) (2012). Principios y orientaciones 2.0: programa ACADEMIA. Disponible en: http://www.aneca.es/content/download/12213/141983/file/ppiosyorientaciones2.0_120222.pdf [08/03/2012].).


Esta política evaluativa ha ejercido un impacto en el incremento y difusión internacional de la producción científica española a lo largo de la década de los noventa (véase Jiménez y otros, 2003Jiménez Contreras, E.; Moya Anegón, F.; Delgado López-Cózar, E. (2003). The evolution of research activity in Spain. The impact of the National Commission for the Evaluation of Research Activity (CNEAI). Research Policy, 32 (1), pp. 123-142.). Dicho aumento se ha mantenido en años sucesivos debido fundamentalmente a la adecuación de los investigadores y de las revistas científicas españolas al patrón internacional (Buela-Casal y otros, 2011Buela-Casal, G.; Bermúdez, M. P.; Sierra, J. C.; Quevedo-Blasco, R.; Castro, A. (2011). Ranking de 2010 en investigación de las universidades públicas españolas. Psicothema, 23 (4), pp. 527-536. Disponible en: http://www.psicothema.es/psicothema.asp?id=3918.; Delgado-López-Cózar, 2010Delgado-López-Cózar, E. (2010). Claroscuros en la evaluación científica en España. Boletín Medes: Medicina en Español, 10 (4), pp. 25-29.; Delgado-López-Cózar y otros, 2009Delgado-López-Cózar, E.; Jiménez-Contreras, E.; Ruiz-Pérez, R. (2009). España y los 25 grandes de la ciencia mundial en cifras (1992-2008). El Profesional de la Información, 18 (1), pp. 81-86. ; Olivas-Ávila y otros, 2010Olivas-Ávila, J. A.; Musi-Lechuga, B. (2010). Análisis de la producción de los profesores funcionarios de Psicología en España en artículos de revistas de la Web of Science. Psicothema, 22 (4), pp. 909-916. Disponible en: http://www.psicothema.com/psicothema.asp?id=3819.; Torres-Salinas y otros, 2011Torres-Salinas, D.; Delgado-López-Cózar, E.; García-Moreno-Torres, J.; Herrera, F. (2011). Rankings ISI de las universidades españolas según campos científicos: descripción y resultados. El Profesional de la Información, 20 (1), pp. 111-122. DOI: 10.3145/epi.2011.ene.14.; Vargas-Quesada y otros, 2008Vargas-Quesada, B.; Moya-Anegón, F.; Chinchilla-Rodríguez, Z.; Corera-Álvarez, E.; Guerrero-Bote, V. (2008). Evolución de la estructura científica española: ISI Web of Science 1990-2005. El profesional de la información, 17 (1), pp. 22-37. DOI: 10.3145/epi.2008.ene.03.). En este sentido, el crecimiento medio anual de la producción científica española indizada en WoS (1981-2007) ha sido del 9%, mientras que el incremento medio mundial se ha situado en el 3% (Testa, 2008Testa, J. (2008). The Journal Selection Process. Spanish Research in Web of Science. Disponible en: www.slideshare.net [08/03/2012].). Este crecimiento ha venido acompañado por una mayor presencia de revistas españolas en el JCR (FECYT, 2011Fundación Española para la Ciencia y la Tecnología (FECYT) (2011). Análisis de la presencia de las revistas científicas españolas en el JRC de 2010. Disponible en: http://www.accesowok.fecyt.es/wp-content/uploads/2011/08/2011_07_27RevEspanolasJCR2010.pdf [08/03/2012].; Pérez-Andrés y otros, 2006Pérez-Andrés, C.; Delgado-López-Cózar, E.; Jiménez-Contreras, E. (2006). La Revista española de salud pública ingresa en el Social Science Citation Index de Thomson Scientific. Revista española de salud pública, 80 (4), pp. 293-302.), y del empleo del inglés, en detrimento del español, como idioma de comunicación científica (Bordons, 2004Bordons, M. (2004). Hacia el reconocimiento internacional de las publicaciones científicas españolas. Revista española de cardiología, 57 (9), pp. 799-802.; Delgado-López-Cózar, 2010Delgado-López-Cózar, E. (2010). Claroscuros en la evaluación científica en España. Boletín Medes: Medicina en Español, 10 (4), pp. 25-29.). 


En relación a este punto, las recomendaciones de estas agencias para la obtención de una evaluación positiva consisten en publicar en revistas de alta exigencia, como son las revistas indexadas en el JCR. En este sentido, se expresan autoridades como la del ex Coordinador General de la CNEAI Antonio Guillamón Fernández (2011Guillamón, A. (2011). La CNEAI y la evaluación del profesorado universitario. Seminario Técnico sobre Evaluación de la Investigación celebrado el 19 de diciembre en la Sala Andrés Bello de la Facultad de Ingeniería de la UNED. Madrid, España.) y del Coordinador de la Unidad de Evaluación del Profesorado de la ANECA José Luis Castillo Gimeno (2012Castillo, J. L. (2012). La ANECA y la acreditación del profesor universitario. Seminarios Técnicos sobre Evaluación y Acreditación del Profesorado celebrado el 24 de enero en el salón de actos de la Facultad de Psicología de la UNED. Madrid, España. Disponible en: http://teleuned.uned.es/teleuned2001/html/ [08/03/2012].). Estas opiniones están avaladas por las actualizaciones introducidas por la CNEAI y la ANECA en la normativa evaluadora que priman la publicación en revistas del JCR (ANECA, 2012Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) (2012). Principios y orientaciones 2.0: programa ACADEMIA. Disponible en: http://www.aneca.es/content/download/12213/141983/file/ppiosyorientaciones2.0_120222.pdf [08/03/2012].; BOE nº 288, 30/11/2011BOE (2011). Resolución de 23 de noviembre de 2011, de la Presidencia de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se establecen los criterios específicos en cada uno de los campos de evaluación. BOE nº 288 (30 noviembre 2011). 127448-127461.).


Sin embargo, la adopción de criterios internacionales de evaluación basados en la WoS ha sido objeto de numerosas críticas fundamentadas en sesgos bien conocidos, como la inclinación por las Ciencias Físico-Naturales en perjuicio de las Ciencias Sociales y, especialmente, de las Humanidades (Delgado-López-Cózar y otros, 2005Delgado-López-Cózar, E.; Jiménez-Contreras, E.; Ruiz-Pérez, R.; López Herrera, A. G.; Gacto Colorado, M. J.; Torres Salinas, D.; Moneda Corrochano, M.; Ruiz Baños, R.; Pérez Ortega, J. M.; Bailón Moreno, R.; Poyatos Huertas, E.; Rodríguez Gálvez, M. J. (2005). INRECS: Índice de impacto de las revistas españolas de ciencias sociales. Biblio 3W, Revista Bibliográfica de Geografía y Ciencias Sociales, 10 (574). Disponible en: http://www.ub.edu/geocrit/b3w-574.htm [08/03/2012].; Delgado-López-Cózar y otros, 2009Delgado-López-Cózar, E.; Jiménez-Contreras, E.; Ruiz-Pérez, R. (2009). España y los 25 grandes de la ciencia mundial en cifras (1992-2008). El Profesional de la Información, 18 (1), pp. 81-86.; Pérez-Andrés y otros, 2006Pérez-Andrés, C.; Delgado-López-Cózar, E.; Jiménez-Contreras, E. (2006). La Revista española de salud pública ingresa en el Social Science Citation Index de Thomson Scientific. Revista española de salud pública, 80 (4), pp. 293-302.). La exigua representación de las Ciencias Sociales y Humanidades queda patente en la información publicada por Thomson-Reuters (2011Thompson-Reuters (2011). Web of Knowledge: guía de uso. Disponible en http://www.accesowok.fecyt.es/wp-content/uploads/2011/10/Nuevo_manual_combinado_de_uso_de_las_bases_de_datos.pdf [08/03/2012].); así, la inclusión de revistas en WoS alcanza el 11,6% en Arte y Humanidades (1228 revistas), el 20,5% en Ciencias Sociales (2169 revistas) y el 67,9% restante en Ciencia y Tecnología (7181 revistas). 


En el JCR del año 2010 se incluyen 121 revistas españolas, lo que supone algo más del 1% del total de revistas y menos del 0,5% en el caso de revistas de Ciencias Sociales (FECYT 2011Fundación Española para la Ciencia y la Tecnología (FECYT) (2011). Análisis de la presencia de las revistas científicas españolas en el JRC de 2010. Disponible en: http://www.accesowok.fecyt.es/wp-content/uploads/2011/08/2011_07_27RevEspanolasJCR2010.pdf [08/03/2012].). La presencia de revistas españolas en WoS hasta el año 2005 es todavía menor (Rodríguez-Yunta, 2010Rodríguez-Yunta, L. (2010). Las revistas iberoamericanas en Web of Science y Scopus: visibilidad internacional e indicadores de calidad. Memoria del VII Seminario Hispano-Mexicano de Investigación en Bibliotecología y Documentación. México DF, México. pp. 347-363., 2011Rodríguez-Yunta, L. (2011). La alegría va por barrios: revistas españolas como publicaciones fuente en la Web of Science. Anuario ThinkEPI, 5, pp. 187-191.). Para contrarrestar este sesgo, se han desarrollado una serie de medidas encaminadas a la creación de herramientas de evaluación sobre la calidad de las publicaciones científicas en Ciencias Sociales y Humanidades a nivel nacional (DICE, IN-RECS, IN-RECJ, IN-RECH, RESH y CIRC), europeo (ERIH) y latinoamericano (LATINDEX y REDALYC), y se han implementado políticas para la mejora de la calidad de las revistas científicas españolas (convocatorias FECYT de evaluación de la calidad editorial y científica de las revistas científicas españolas http://evaluacionarce.fecyt.es/Publico/index.aspx -las revistas que obtienen el Sello de Calidad FECYT son remitidas a WoS y Scopus para su valoración-) e iberoamericanas (talleres LATINDEX para editores de revistas http://www.latindex.unam.mx/documentos/tall.html, metodología REDALYC para la valoración de revistas científicas http://redalyc.uaemex.mx/media/principal/proyecto/metvalref.html# y metodología SciELO para la diseminación y evaluación de la investigación http://www.scielo.org/php/index.php?lang=es). A la escasa presencia de revistas españolas en JCR, hay que añadir la poca cobertura dada a la ciencia publicada en un idioma distinto del inglés, de tal forma que menos de un 1% de los artículos indexados en WoS están escritos en español (Bordons, 2004Bordons, M. (2004). Hacia el reconocimiento internacional de las publicaciones científicas españolas. Revista española de cardiología, 57 (9), pp. 799-802.). A pesar de las críticas, la implantación de políticas de evaluación asentadas en criterios internacionales ha coadyuvado a mejorar la calidad y visibilidad de la investigación nacional, y por añadidura la de los canales nacionales de difusión de esta investigación, que cada vez están más presentes en el JCR.


2. OBJETIVOS Top

El objetivo general de este trabajo es analizar la evolución del número de revistas españolas de Ciencias Sociales indexadas en JCR durante el periodo 2006-2010, de modo que se pueda comprobar si la política evaluativa española ha contribuido a la mejora de la calidad y visibilidad de las revistas, medida a través de su indexación en el JCR. Asimismo, se analiza la evolución de las revistas hispanoamericanas para facilitar la comparación de los datos obtenidos y para dar a conocer el conjunto de revistas a la comunidad investigadora de habla hispana (véase Apéndice A). Como objetivos específicos se plantean: (a) el estudio de la distribución por países, cuartiles y temática del conjunto de revistas; (b) la evolución del factor de impacto de las principales revistas; y (c) la influencia del idioma de publicación en el número de citas internacionales recibidas. En relación con estos objetivos, se discuten los criterios aplicados por las agencias españolas en la evaluación de las Ciencias Sociales y Humanidades. 


3. METODOLOGÍA
 Top

3.1 Unidad de análisis y materiales


En este estudio descriptivo de análisis de documentos, se analizaron las revistas españolas de Ciencias Sociales indexadas en la edición de Ciencias Sociales del JCR en el periodo 2006-2010. Asimismo, se han comparado los datos obtenidos con los alcanzados por otros países hispanoamericanos en el mismo periodo. Específicamente, se examinó la distribución por países, cuartiles y áreas temáticas de las revistas presentes en la edición de 2010 (véase Apéndice A). Además, se seleccionaron las revistas de mayor impacto de cada área temática, se estudió la evolución del impacto y los idiomas de publicación aceptados. Por último, se identificó el idioma de publicación del artículo más citado y el número de citas recibidas.


3.2 Procedimiento


El procedimiento de búsqueda y análisis de revistas y documentos siguió la metodología empleada por Saúl y otros (2012Saúl, L. A.; López-González, M. A.; Moreno-Pulido, A.; Feixas, G.; Corbella, S.; Compañ, V. (2012). Bibliometric review of the Repertory Grid Technique: 1998-2007. Journal of Constructivist Psychology, 25 (2), pp. 112-131. DOI: 10.1080/10720537.2012.651065.). La identificación de revistas se llevó a cabo mediante la opción de “búsqueda por países” (Country/Territory) de la edición de Ciencias Sociales del JCR. Para localizar los artículos más citados se realizaron búsquedas por el título de cada revista y el año de publicación en Cited Reference Search (“Búsqueda por referencia citada”) de WoS. La búsqueda se circunscribió a aquellas publicaciones científicas comprendidas entre los años 2006-2010 y se realizó en la segunda semana de febrero de 2012. 


Además, se ha revisado la normativa de la ANEP, CNEAI y ANECA en Ciencias Sociales para comprobar si estas agencias exigen como requisito para una evaluación positiva la publicación en revistas del JCR y se detallan los criterios específicos de cada una de ellas. 


3.3 Indicadores analizados


Indicadores cuantitativos: evolución temporal del número de revistas por países, distribución temática y número de citas de los artículos más citados.


Indicadores de calidad: factor de impacto, posición de la revista y cuartil en el que se ubica.


4. RESULTADOS Top

4.1 Evolución del número de revistas


El análisis de la evolución de las revistas indexadas en el JCR durante el quinquenio 2006-2010 muestra un crecimiento significativo en el caso de España y de Chile, con incrementos del 2500% y del 1000% respectivamente. Además, la presencia de revistas españolas e hispanoamericanas (REH) en la edición de Ciencias Sociales del JCR se ha incrementado en un 800% con respecto al inicio del período de estudio (ver tabla I). 


En el año 2006 estaban indexadas en el JCR las siguientes revistas: las españolas European Journal of Psychiatry y Psicothema; las mexicanas Política y Gobierno, Revista Mexicana de Psicología, Salud Mental, Salud Pública de México y Trimestre Económico; la chilena EURE; la colombiana Revista Latinoamericana de Psicología; y la argentina Desarrollo Económico.


4.2 Distribución de las revistas por cuartiles y países (para el año 2010)


El análisis de la distribución de revistas por cuartiles pone de manifiesto que no figura ninguna revista en el cuartil de mayor impacto o primer cuartil; el 5% de las revistas se encontraron en el segundo cuartil, el 15% en el tercer cuartil y el 80% en el cuarto cuartil. 


Cuando se tiene en consideración la suma total de cuartiles, se recupera un número mayor que el total de revistas. Esto se explica porque algunas revistas están indexadas en más de una categoría del JCR y, en ocasiones, estas pertenecen a distintos cuartiles, por lo que existe un conjunto de revistas que se contabilizan en más de una ocasión. Por ejemplo, la revista Comunicar está clasificada en el cuarto cuartil de la categoría Communication y en el tercer cuartil de la categoría Education & Educational Research.


Los resultados de la distribución de las revistas por países muestran que en el año 2010 tan solo España y Colombia cuentan con revistas situadas en el segundo cuartil (véase tabla II). Además, en este cuartil únicamente se hallaron revistas de Psicología (4) y de Economía (1). Todas las revistas de Argentina y Venezuela se ubican en el último cuartil. 


En la tabla III se presenta la evolución por cuartiles de las 5 revistas que en el año 2010 estaban posicionadas en el segundo cuartil. En esta tabla se advierte que Estudios de Psicología y Universitas Psycologica consiguen su primer factor de impacto en el año 2010 y se sitúan directamente en una posición destacada del ranking. Las revistas Anales de Psicología y Spanish Economic Review muestran una evolución ascendente, mientras que la revista International Journal of Clinical and Health Psychology (IJCHP) ha descendido del primer al segundo cuartil.


4.3 Clasificación temática


Con respecto a la clasificación temática, en la tabla IV se puede observar que Economía y Psicología son las dos áreas de las Ciencias Sociales con más revistas de impacto internacional; entre ambas suman el 40% del total de revistas españolas. Otras categorías destacables son Geografía e Historia, y Lingüística, con el 21% del total de revistas españolas.


4.4 Evolución del factor de impacto


En la Figura 1 se presentan las revistas que mayor impacto han tenido en el año 2010 en cada área temática y una evolución de su impacto en el JCR en el periodo de estudio (2006-2010). Hay que destacar que los únicos países que cuentan con revistas entre las de mayor impacto son España, Chile y México. En este sentido, hay que reseñar la primacía de España en casi todas las áreas, a excepción de Derecho y Políticas, donde sobresale Chile, y en la categoría Multidisciplinar en la que México se perfila como el país dominante.


El estudio del impacto muestra como tan solo en Economía y Psicología existen revistas con factor de impacto en al menos tres años consecutivos. Además, en 9 de las 13 categorías temáticas la revista de mayor impacto es de nueva incorporación, es decir, el primer factor de impacto se ha calculado para el año 2010.


Figura 1. Distribución de las revistas en función del Factor de Impacto que han tenido desde su indexación en el JCR hasta la actualidad [Descargar tamaño completo]

4.5 Análisis de citación e idioma de publicación


En la tabla V se muestra el artículo que más citas ha recibido en cada una de las 13 revistas con mayor factor de impacto. Tal y como se observa en dicha tabla, las revistas Adicciones, Ibérica, IJCHP y Spanish Economic Review cuentan, al menos, con un artículo escrito en lengua inglesa que ha sido el más citado en un año concreto. Por otro lado, las revistas Ibérica, Adicciones y Revista de Ciencia Política cuentan con un artículo bilingüe (español-inglés) entre los más citados. Además, en la revista IJCHP los artículos más citados entre 2006-2008 se han publicado en inglés.

4.6 Análisis de la normativa evaluadora española

El análisis de la normativa de la ANEP, CNEAI y ANECA pone de manifiesto que, en la valoración de las Ciencias Sociales, se especifica como criterio la publicación en revistas del JCR.

Se presenta a continuación una breve descripción de los criterios aplicados en la evaluación de las Ciencias Sociales por la ANEP, CNEAI y ANECA. Un análisis pormenorizado de los procedimientos empleados por estas instituciones puede verse en Delgado-López-Cózar (2011Delgado-López-Cózar, E. (2011). La evaluación de la actividad investigadora en Ciencias Humanidades y en Ciencias Sociales en España: principios y procedimientos. En Nuñez Delgado, M. P.; Rieda, J. (coords.), La investigación en Didáctica de la Lengua y la Literatura: situación y perspectivas de futuro. XII Congreso Internacional de la Sociedad Española de Didáctica de la Lengua y la Literatura. Madrid, España: SEDLL. pp. 67-95.). También se ha incluido la normativa correspondiente al campo de Humanidades.

Criterios ANEP

Las recomendaciones para el campo de las Ciencias Sociales (disponibles en la web de la ANEP (http://www.idi.mineco.gob.es/stfls/MICINN/Investigacion/FICHEROS/2007-criterios-evaluacion-ccss3.pdf) detallan que, para que una publicación sea considerada de calidad, ha de tener impacto; posteriormente se detalla que, para publicaciones periódicas, el listado de referencia es el elaborado por el Institute for Scientific Information (ISI) (ahora Thomson-Reuters), es decir el JCR.

En la documentación para el campo de Humanidades (http://www.idi.mineco.gob.es/stfls/MICINN/Investigacion/FICHEROS/2007-criterios-hh.pdf) se establecen con claridad las actividades científicas objeto de evaluación, y el porcentaje asignado a cada una de ellas. En este caso se otorga un 65% del total a los resultados de investigación (libros y artículos).


Criterios CNEAI

Los campos 7 al 11 de la convocatoria de la CNEAI corresponden a Ciencias Sociales y Humanidades. En la tabla VI se detalla la mención al JCR o a los índices de citas SSCI y AHCI.


Criterios ANECA: programa ACADEMIA

En cuanto a los artículos científicos se realiza una distinción basada en si la revista está o no indexada en el JCR o en otros índices de referencia en cada especialidad.


Ciencias Sociales y Jurídicas: en el Anexo II de la nueva normativa (ANECA, 2012Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) (2012). Principios y orientaciones 2.0: programa ACADEMIA. Disponible en: http://www.aneca.es/content/download/12213/141983/file/ppiosyorientaciones2.0_120222.pdf [08/03/2012].) se especifica que, para obtener la puntuación máxima en Ciencias Sociales, se precisa de un mínimo de 16 artículos en el caso de catedráticos y 8 para titulares, de los cuales un porcentaje significativo deben estar publicados en revistas del JCR

En el caso de las Ciencias Jurídicas se precisa de un mínimo de 10 artículos y 3 monografías de prestigio en el caso de catedráticos, y de 6 artículos y 2 monografías de prestigio para titulares, pero no se hace mención al JCR.


En Artes y Humanidades se mencionan los índices de citas A&HCI y SSCI. En este campo, tal y como establece el Anexo II (ANECA, 2012Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) (2012). Principios y orientaciones 2.0: programa ACADEMIA. Disponible en: http://www.aneca.es/content/download/12213/141983/file/ppiosyorientaciones2.0_120222.pdf [08/03/2012].), se realiza una evaluación conjunta de los artículos y monografías especializadas. Para obtener la puntuación máxima se demanda un mínimo de 32 publicaciones para catedráticos y de 16 en titulares.


5. DISCUSIÓN Y CONCLUSIONES Top

En este trabajo se expone que la implantación de una política evaluativa sustentada en indicadores internacionales ha contribuido a mejorar la calidad y visibilidad de las revistas españolas, medida a través de su indexación en el JCR. Para comprobar esta relación se ha realizado un análisis descriptivo de las revistas españolas de Ciencias Sociales presentes en el JCR durante el quinquenio 2006-2010. Además, se han comparado los datos obtenidos por estas revistas con los alcanzados por las revistas de otros países hispanoamericanos en el mismo periodo. De manera específica, se ha cuantificado su presencia en la edición de Ciencias Sociales del JCR de 2010, y su distribución por cuartiles; se han analizado por áreas temáticas; y, por último, se ha estudiado la evolución del factor de impacto de las revistas más destacadas en cada campo y la influencia del idioma de publicación en el número de citas recibidas.


Los resultados muestran un incremento de un 2500% en el número de publicaciones españolas en la edición de Ciencias Sociales del JCR para el quinquenio de análisis. Además, el 58% de las revistas hispanohablantes indexadas en el año 2010 son españolas. Esto supone que la visibilidad de las publicaciones científicas españolas ha aumentado considerablemente. En este sentido, podría afirmarse que la política evaluativa española ha obtenido importantes resultados en el incremento de la producción científica de los investigadores en revistas internacionales desde su implantación en la década de los noventa. Sin embargo, los resultados de esta política en la mejora de la calidad y difusión internacional de las revistas españolas, medida a través de su indexación en el JCR, se han retrasado hasta el año 2007, momento a partir del cual se aprecia un incremento significativo del número de revistas indexadas. Asimismo, es muy probable que, en los próximos años, el número de revistas siga aumentado por dos razones: la labor de la FECYT (Coslado, Báez y Lacunza, 2010Coslado, M. A.; Báez, J. M.; Lacunza, I. (2010). Descripción y análisis del proceso de evaluación de la calidad de las revistas científicas españolas llevado a cabo por FECYT en el año 2008. Revista Española de Documentación Científica, 33 (3), pp. 481-495. DOI: 10.3989/redc.2010.3.738.), LATINDEX (Flores, Penkova y Román, 2009Flores, A. M.; Penkova, S.; Román Román, A. (2009). Once años de LATINDEX: una experiencia al servicio de las publicaciones científicas iberoamericanas. Simbiosis, 6 (1). Disponible en: http://egcti.upr.edu/images/stories2/artsp6109.pdf [08/03/2012].), REDALYC (Aguado y Rogel, 2006Aguado López, E.; Rogel Salazar, R. (2006). Redalyc: Red de Revistas Científicas de América Latina, el Caribe, España y Portugal: un balance a tres años de camino. En: Babini, D.; Fraga, J. (eds.), Edición Electrónica, Bibliotecas Virtuales y Portales para las Ciencias Sociales en América Latina y el Caribe. Buenos Aires, Argentina: CLACSO.) y SciELO (García-Testal, 2000García-Testal, C. (2000). Scielo: Scientific electronic library online. El profesional de la información, 9 (12), pp. 20-26.) en la mejora de la calidad de las publicaciones científicas, y la irrupción de herramientas de evaluación competidoras como Scopus (Elsevier), Google Scholar Citation y Microsoft Academic Search, que fuerzan la expansión de Thomson-Reuters a países y áreas infrarrepresentadas en sus productos. 


El análisis de la distribución de las revistas por cuartiles revela que el 95% de las revistas se ubican en los dos últimos cuartiles. Esta situación podría cambiar debido, en primer lugar, al crecimiento del número de revistas y a la tendencia de las REH a citarse entre sí (Torres-Salinas y otros, 2009Torres-Salinas, D.; Delgado-López-Cózar, E.; Jiménez-Contreras, E. (2009). Redes de citación de las revistas españolas de Ciencias Sociales 1994-2006. Revista Española de Documentación Científica, 32 (2), pp. 34-50. DOI: 10.3989/redc.2009.2.686.), y, en segundo lugar, a una mayor colaboración entre los autores de países de habla hispana, que repercutiría en el número de citas recibidas y en la visibilidad de la investigación (De Filippo y otros, 2008De Filippo, D.; Morillo, F.; Fernández, M. T. (2008). Indicadores de colaboración científica del CSIC con Latinoamérica en bases de datos internacionales. Revista Española de Documentación Científica, 31 (1), pp. 66-84. DOI: 10.3989/redc.2008.v31.i1.413.). Hay que destacar que solo se encuentran revistas de Psicología y Economía en el segundo cuartil, lo que refleja que los investigadores y revistas de estas disciplinas se han integrado con mayor rapidez y con notable éxito en la corriente principal de la ciencia.


El estudio del impacto revela que en la mayoría de las categorías temáticas el primer dato de impacto se ha obtenido en el año 2010. Esta situación invita a pensar que en años venideros se podrían ocasionar más cambios en las primeras posiciones del ranking, por la probable aparición de nuevas revistas con altas tasas de citación. 


En cuanto al idioma de publicación, el inglés se acepta en 9 de las 13 revistas de mayor impacto, aunque la REDC y Comunicar especifican su preferencia por el español, y REIS informa de que los artículos en inglés solo se publicarán en la versión electrónica de la revista, mientras que su versión en español se editará también en papel. En Economía, Psicología y Lingüística los artículos más citados para un año concreto se han publicado en inglés. Además, la revista SERIEs-Journal of the Spanish Economic Association, seguramente con el objetivo de evitar la fuga de buenos trabajos de investigación a revistas foráneas, solo publica trabajos en lengua inglesa. En este sentido, Delgado-Lopez-Cózar (2010Delgado-López-Cózar, E. (2010). Claroscuros en la evaluación científica en España. Boletín Medes: Medicina en Español, 10 (4), pp. 25-29.) advierte que se está produciendo una emigración de valiosos trabajos de investigación a revistas extranjeras en detrimento de las españolas y, como consecuencia, asistimos a un progresivo abandono del español como idioma de comunicación científica. Por otro lado, Rodríguez-Yunta (2010Rodríguez-Yunta, L. (2010). Las revistas iberoamericanas en Web of Science y Scopus: visibilidad internacional e indicadores de calidad. Memoria del VII Seminario Hispano-Mexicano de Investigación en Bibliotecología y Documentación. México DF, México. pp. 347-363.) afirma que no existe una relación directa entre la utilización de la lengua inglesa y la aceptación de una REH en la WoS. De esta manera, podría concluirse que son necesarios más estudios que permitan determinar el peso del idioma de publicación en el impacto de las REH, y que una mejora del impacto podría derivarse de la publicación de documentos bilingües en español-inglés y de una mayor colaboración con autores anglosajones.


El análisis de la normativa de la ANEP, CNEAI y ANECA en Ciencias Sociales revela que en la valoración de las Ciencias Sociales se especifica como criterio la publicación en revistas del JCR, mientras que este requisito no se menciona expresamente en la valoración de las Humanidades. Esta omisión podría deberse a la inexistencia de una edición del A&HCI-JCR, que se podría justificar por la tendencia de los investigadores de este área a publicar en el ámbito nacional, en monografías y en lengua vernácula (Archambault y Larivière, 2010Archambault, E.; Larivière, V. (2010). The limits of bibliometrics for the analysis of the social sciences and humanities literature. En: World Social Science Report Knowledge Divides. Paris, Francia: Unesco.; RIN, 2009Research Information Network (RIN) (2009). Communicating knowledge: How and why UK researchers publish and disseminate their findings. Disponible en: http://www.rin.ac.uk/system/files/attachments/Communicating-knowledge-report.pdf [08/03/2012].).


En cuanto a la valoración del medio de difusión, la normativa establece la siguiente jerarquización: en primer lugar, se destacan las publicaciones en revistas indexadas en los repertorios internacionales (fundamentalmente JCR y, en menor medida, Scopus), en segundo lugar, en los repertorios nacionales (IN-RECS, IN-RECJ…) y, en tercer lugar, como libros y capítulos. Esta diferente valoración del medio de difusión podría estar motivada por la mayor dificultad a la hora de diferenciar la naturaleza investigadora de un libro que, sin embargo, se sobrentiende en un artículo publicado en una revista indexada. La nueva normativa ANECA (2012Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) (2012). Principios y orientaciones 2.0: programa ACADEMIA. Disponible en: http://www.aneca.es/content/download/12213/141983/file/ppiosyorientaciones2.0_120222.pdf [08/03/2012].) así parece indicarlo: “Para poder ser valorados, los libros y capítulos de libros deben reflejar claramente que son fruto de la investigación o de la reflexión bien documentada” (p. 50). En el mismo sentido, la Convocatoria de la CNEAI especifica para los campos 9, 10 y 11 (Derecho y Jurisprudencia, Historia y Expresión Artística y Filosofía, Filología y Lingüística) que los libros y capítulos de libros: “Deberán reflejar claramente que son fruto de la investigación o de la reflexión documentada” (BOE nº 288, p. 127456-127458). Además, la falta de herramientas de evaluación de la calidad de los libros y capítulos, así como de las editoriales científicas, contribuye a que la evaluación de estas tipologías se asiente en criterios subjetivos como el prestigio. Para objetivar esta evaluación se están desarrollando investigaciones que permitirán distinguir a las editoriales que gozan de mayor reconocimiento por parte de los investigadores españoles. Destacan las llevadas a cabo por Elea Giménez Toledo y Carlos Tejada Artigas, y cuyos primeros resultados han sido publicados en 2012Giménez-Toledo, E.; Tejada-Artigas, C. (2012). Valoración de editoriales especializadas en Comunicación, Biblioteconomía y Documentación: encuesta a profesores e investigadores. El profesional de la información, 21 (1), pp. 50-62. DOI 10.3145/epi.2012.ene.07. para el campo de la Comunicación, Biblioteconomía y Documentación. 


Un aspecto de especial relevancia son las modificaciones introducidas en la normativa, que revelan una mayor exigencia en los requisitos para superar el proceso de evaluación. Así, la Resolución de 23 de noviembre de 2010 de la CNEAI establece lo siguiente: “Con carácter orientador, se considera que para obtener una evaluación positiva en las áreas de Psicología al menos dos de los artículos deben estar publicados en revistas que cumplan los criterios de apartado 3.b” –es decir, JCR- “(…) y uno de ellos en una revista de impacto medio o alto” (BOE nº 297, 07/12/2010BOE (2010). Resolución de 23 de noviembre de 2010, de la Presidencia de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se establece un nuevo campo relativo a la transferencia de conocimiento e innovación y se actualizan los criterios específicos en cada uno de los campos de evaluación. BOE nº 297 (07 diciembre 2010). 101663-101666., p. 101666). En el caso de la ANECA la nueva normativa para el programa ACADEMIA establece que el número mínimo de publicaciones para obtener la puntuación máxima en el apartado de investigación en Humanidades pasa de 30 (ANECA, 2008Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) (2008). Principios y orientaciones para la aplicación de los criterios de evaluación: programa ACADEMIA. Disponible en: http://www.aneca.es/content/download/10527/118089/version/1/file/academia_14_ppiosyorientaciones.pdf [08/03/2012].) a 32 (ANECA 2012Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) (2012). Principios y orientaciones 2.0: programa ACADEMIA. Disponible en: http://www.aneca.es/content/download/12213/141983/file/ppiosyorientaciones2.0_120222.pdf [08/03/2012].) en el caso de los catedráticos y de 15 a 16 para los titulares. En Ciencias Sociales se ha mantenido el número de publicaciones en 16 para catedráticos y en 8 para titulares, pero se ha modificado la siguiente frase: “la publicación de un mínimo de 16 artículos en revistas recogidas en los índices mencionados anteriormente, de las cuales un porcentaje significativo deben corresponder a revistas indexadas con un índice de calidad relativa [sic.]” (ANECA, 2008Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) (2008). Principios y orientaciones para la aplicación de los criterios de evaluación: programa ACADEMIA. Disponible en: http://www.aneca.es/content/download/10527/118089/version/1/file/academia_14_ppiosyorientaciones.pdf [08/03/2012]., p.18). Por esta otra: “un mínimo de 16 artículos en revistas recogidas en los índices que se mencionan en el anexo I ‘Indicios de calidad’, de las cuales un porcentaje significativo deben corresponder a revistas indexadas del JCR” (ANECA, 2012Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) (2012). Principios y orientaciones 2.0: programa ACADEMIA. Disponible en: http://www.aneca.es/content/download/12213/141983/file/ppiosyorientaciones2.0_120222.pdf [08/03/2012]., p. 64). La misma modificación se aplica a los aspirantes a profesor titular.


Una de las conclusiones de este trabajo es que la normativa evaluadora revela una voluntad de internacionalización en la evaluación de las Ciencias Sociales y, en menor medida, de las Humanidades, que se asemeja con la empleada en la evaluación de las Ciencias Físico-Naturales. En este entorno competitivo, donde la presión por publicar en revistas de calidad es una realidad cada día más agobiante, puede resultar de utilidad la consulta del Apéndice A para identificar las REH indexadas en el JCR. Además, los investigadores pueden conocer el número de citas recibidas por una revista en un periodo determinado a través de la consulta en WoS mediante la opción Cited Reference Search, y utilizar este dato como indicador adelantado del impacto. Los investigadores también pueden conocer la evolución del impacto de una revista en los últimos cinco años mediante la opción Impact Factor Trend del JCR, y la rapidez media con que se citan los artículos publicados en una revista consultando en el JCR el índice de inmediatez. 


Por último, sería recomendable que los editores de REH de Ciencias Sociales y Humanidades iniciaran, si no lo han hecho ya, un procedimiento de mejora de la visibilidad, difusión, calidad editorial, informativa y científica de sus revistas con el objetivo de figurar, en una primera fase, en las bases de datos especializadas más prestigiosas a nivel nacional (DIALNET, ISOC, CLASE, HUMANINDEX, PERIODICA, SciELO...) e internacional (ERIC, Historical Abstracts, MLA, PsycINFO, Sociological Abstracts, etc.), así como en los listados utilizados en la evaluación nacional de la investigación (DICE, IN-RECS, IN-RECJ, IN-RECH, RESH, CIRC, LATINDEX, REDALYC), y, en una segunda fase, en los listados de Thomson-Reuters (JCR – SCI, JCR- SSCI y A&HCI) y Elsevier (Scimago Journal & Country Rank - Scopus). Asimismo, sería aconsejable que las editoriales españolas aumentasen la transparencia de sus procesos de selección, revisión y publicación de monografías. En esta labor, que beneficia a todos los investigadores que utilizan el español como vehículo de transmisión del conocimiento, pueden recibir asesoramiento por parte del CSIC, FECYT, LATINDEX, REDALYC, y también por el CAICYT en Argentina, el CNPq en Brasil, el Instituto Colciencias en Colombia, el CONACYT en México, el CONICYT en Chile o el FONACIT en Venezuela.

6. BIBLIOGRAFÍATop