ESTUDIOS / RESEARCH STUDIES

EL EUROPEAN REFERENCE INDEX FOR THE HUMANITIES (ERIH) COMO CRITERIO DE CALIDAD DE LAS REVISTAS ACADÉMICAS: ANÁLISIS DE LA LISTA REVISADA DE EDUCACIÓN

Francisco M. Aliaga*, Gonzalo Almerich*, Jesús M. Suárez-Rodríguez*

* Universidad de Valencia. Departamento de Métodos de Investigación y Diagnóstico en Educación, Valencia

Correos-e: Francisco.Aliaga@uv.es, Gonzalo.Almerich@uv.es, Jesus.M.Rodriguez@uv.es

 

RESUMEN

El European Reference Index for the Humanities (ERIH) se ha propuesto (y reconocido oficialmente en nuestro país) como una alternativa europea al predominio de índices y bases de datos que presentan un conocido sesgo anglosajón. Se pretende con ello dar una mayor visibilidad a la investigación europea en Humanidades y en algunas Ciencias Sociales. Se espera cubrir mejor la diversidad cultural y lingüística del viejo continente. Analizamos algunas de las circunstancias que determinan los resultados obtenidos en la lista recientemente actualizada de ERIH (‘revisada’), haciendo especial hincapié en el ámbito educativo. Los resultados muestran la necesidad de mejorar los criterios de entrada en el índice (exhaustividad y calidad) si ERIH quiere alcanzar sus objetivos.

THE EUROPEAN REFERENCE INDEX FOR THE HUMANITIES (ERIH) AS A QUALITY CRITERION OF ACADEMIC JOURNALS: AN ANALYSIS OF THE REVISED LIST ON EDUCATION

ABSTRACT

The European Reference Index for the Humanities (ERIH) has been proposed (and officially recognized in our country) as a European alternative to the dominant indices that have a known Anglo-Saxon bias. The aim is to raise the visibility of European research in the Humanities and in various areas of the Social Sciences, in order to improve coverage of the cultural and linguistic diversity of our continent. We analyze some of the circumstances affecting the results of the recently updated list of ERIH (´revised´), with special emphasis on the field of education. The results demonstrate the need to improve the criteria for entry into the index (completeness and quality) if ERIH is to achieve its goals.

Recibido: 25-10-2011; 2ª versión: 24-07-2012; Aceptado: 23-11-2012.

Cómo citar este artículo / Citation: Aliaga, F. M.; Almerich, G.; Suárez-Rodríguez, J. M. (2013). El European Reference Index for the Humanities (ERIH) como criterio de calidad de las revistas académicas: análisis de la lista revisada de educación. Rev. Esp. Doc. Cient., 36 (2): en008, doi: http://dx.doi.org/10.3989/redc.2013.2.901.

PALABRAS CLAVE: Revistas académicas; publicación académica; comunicación científica; calidad.

KEYWORDS: Academic journals; academic publication; scientific communication; quality.

Copyright: © 2013 CSIC. Este es un artículo de acceso abierto distribuido bajo los términos de la licencia Creative Commons Attribution-Non Commercial (by-nc) Spain 3.0.

CONTENIDOS

RESUMEN
ABSTRACT
1. INTRODUCCIÓN

2. OBJETIVO DEL ESTUDIO

3. RESULTADOS

4. CONCLUSIONES

5. BIBLIOGRAFÍA

 

1. INTRODUCCIÓN
 Top

En la actualidad, una de las temáticas más importantes que afecta a la universidad es la calidad y su apreciación. En la evaluación de la calidad de la universidad una parte importante de la misma se centra en la valoración de la actividad investigadora, ya sea del profesorado o de las propias instituciones. Tómese como ejemplo la valoración de la actividad investigadora del profesorado (sexenios); la valoración para la acreditación en distintas figuras docentes por parte de la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) o de las agencias autonómicas; o los rankings de las universidades, ya sea desde un punto de vista nacional (Buela-Casal y otros, 2011Buela-Casal, G.; Bermúdez, M. P.; Sierra, J. C.; Quevedo-Blasco, R.; Castro, A.; Guillén-Riquelme, A. (2011). Ranking de 2010 en producción y productividad en investigación de las universidades públicas españolas. Psicothema, 23 (4), pp. 527-536.) o internacional (SIR World Report 2010 del grupo Scimago; Academic Ranking of World Universities del Institute of Higher Education, Shangai Jiao Tong University).


Para realizar tales evaluaciones de la productividad investigadora se utilizan distintas bases de datos, aunque fundamentalmente se atiende a las bases de datos de la Web of Science (WoS) del grupo empresarial norteamericano Thomson-Reuters (Science Citation Index- SCI-, Arts & Humanities Citation Index –AHCI- y Social Sciences Citation Index –SSCI). También, aunque a nivel menor, se utiliza una segunda base de datos, Scopus, de procedencia holandesa y más reciente en su nacimiento (2004). Por ejemplo, en la acreditación del profesorado se utilizan preferentemente los artículos publicados en el Journal Citation Reports (JRC) y, consiguientemente, en la WoS, si bien en los indicios de acreditación de la rama de conocimiento de Ciencias Sociales y Jurídicas se considera como un indicador menor de calidad de los artículos el que estén publicados en la base de datos Scopus (ANECA, 2012Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) (2012). Programa ACADEMIA. Principios y orientaciones 2.0. Disponible en: http://www.aneca.es/content/download/12212/141975/file/ppiosyorientaciones2.0_120222.pdf). En ambas bases de datos se integran diversas ramas del conocimiento, si bien el porcentaje de cobertura del ámbito de las Ciencias Naturales es superior a las Ciencias Sociales y Humanas, pese a que en 2009 ambas bases incrementaron el número de estas revistas en un 22%, por parte de WoS, y un 39%, por parte de Scopus (Hicks y Wang, 2011Hicks, D.; Wang, J. (2011). Coverage and Overlap of the New Social Sciences and Humanities Journal Lists. Journal of the American Society for Information Science and Technology, 62 (2), pp. 284-294.).


Por otra parte, la visibilidad e internacionalidad de las revistas es esencial, pues en la valoración de la investigación suele tomarse como uno de los principales indicadores (Delgado López-Cózar y otros, 2006Delgado López-Cózar, E.; Ruiz-Pérez, R.; Jiménez-Contreras, E. (2006). La edición de revistas científicas: directrices, criterios y modelos de evaluación. Madrid: Fundación Española para la Ciencia y la Tecnología. Consultado en http://recyt.fecyt.es/documentos/Fecyt.pdf [5-07-2012].; Román, 2001Román, A. (coord.) (2001). La edición de revistas científicas. Guía de buenos usos [en línea]. Madrid: CINDOC-CSIC. Consultado en http://digital.csic.es/bitstream/10261/4347/1/R-21.pdf [Fecha de consulta: 14/07/2012].). Sin embargo, como apuntan Vorndran y Botte (2008Vorndran, A.; Botte, A. (2008). An Analysis and evaluation of existing methods and indicators for quality assessment of scientific publications. European Educational Research Quality Indicators. Consultado el 10-07-2012 en http://www.eerqi.eu/sites/default/files/Analysis_and_evaluation_of_existing_methods_and_indicators.pdf.) o Román-Román y Giménez-Toledo (2010Román-Román, A.; Giménez-Toledo, E. (2010). Cómo valorar la internacionalidad de las revistas de Ciencias Humanas y su categorización en ERIH. Revista Española de Documentación Científica, 33 (3), pp. 341-377.), la internacionalidad de las revistas en el ámbito de las Humanidades y las Ciencias Sociales no es siempre evidente, ya que su cobertura en las bases de datos está limitada tanto en WoS como en Scopus (Hicks y Wang, 2011Hicks, D.; Wang, J. (2011). Coverage and Overlap of the New Social Sciences and Humanities Journal Lists. Journal of the American Society for Information Science and Technology, 62 (2), pp. 284-294.). Además, se ha de reseñar que la valoración de las mismas no es un asunto fácil, a pesar de que se han realizado diversos intentos (Buela-Casal y otros 2006Buela-Casal, G.; Perakakis, P.; Taylor, M.; Checa, P. (2006). Measuring internationality: Reflections and perspectives on academic journals. Scientometrics, 67 (1), pp. 45-65.; Aliaga y Suárez Rodríguez, 2007Aliaga, F. M.; Suárez-Rodríguez, J. M. (2007). Internacionalidad de las revistas académicas: Estudio de caso con RELIEVE. RELIEVE, 13 (1). Disponible en: http://www.uv.es/RELIEVE/v13n1/RELIEVEv13n1_0.htm. [19-09-2011].). Por otra parte, la internacionalidad muchas veces se vincula al hecho de que las revistas estén o no presentes en distintas bases de datos, si bien el concepto de internacionalidad es en sí mismo difícil de definir, sobre todo en el ámbito de las Ciencias Sociales y Humanidades, dado el enfoque específico y diferencial sobre una determinada sociedad o cultura que caracteriza habitualmente a estas disciplinas.


Por ello, y como complemento a las dos anteriores bases, se han buscado y propuesto distintas alternativas para incrementar el nivel de visibilidad de las revistas de Ciencias Sociales y Humanas. A nivel nacional se han propuesto diversos índices y bases, tales como DICE (Difusión y Calidad Editorial de las Revistas Españolas de Humanidades y Ciencias Sociales y Jurídicas), RESH (Revistas Españolas de Ciencias Sociales y Humanidades), INRECS (Índice de impacto de revistas españolas de Ciencias Sociales) e INRECH (Índice de impacto de revistas españolas de Ciencias Humanas). A nivel europeo, la European Science Fondation (ESF) ha propuesto una base para las Humanidades y Ciencias Sociales el European Reference Index for the Humanities (ERIH).


 

European Reference Index for the Humanities: Proceso de creación de la nueva lista


La fundación European Science Fondation (ESF) nació en 1974 como un intento de dar un impulso a la cooperación pan-europea en el ámbito de la investigación científica (ESF, 2010bESF (2010b). Standing Committee for the Humanities (SCH) Self-Evaluation Report. Disponible en http://www.esf.org/research-areas/humanities.html [20-09-2011].). Legalmente se trata de una Organización No Gubernamental (ONG) en la que se agrupan diversas ‘organizaciones miembro’ vinculadas con la gestión o la coordinación de la investigación científica de diversos países europeos, así como academias científicas de distinto tipo. Como organización, la ESF es independiente de estructuras políticas nacionales o internacionales (ESF, 2011aESF (2011a). What is the European Science Foundation?. Consultado en http://www.esf.org/about-esf/what-is-the-european-science-foundation.html [20-09-2011].), aunque tiene una fuerte carga institucional.


En el ámbito de las humanidades la ESF ha emprendido un ambicioso programa para combatir la escasa visibilidad internacional de las investigaciones europeas en humanidades. Esta baja visibilidad puede estar relacionada con los problemas anteriormente aludidos de las dos principales bases de datos (WoS y Scopus) y su tradicional carácter marcadamente anglosajón, así como que se han desarrollado fundamentalmente a partir del modelo de las ciencias naturales (ESF, 2009ESF (2009). Increasing visibility for a multifaceted Humanities research in Europe- the ERIH approach. Disponible en http://www.esf.org/index.php?eID=tx_nawsecuredl&u=0&file=fileadmin/be_user/research_areas/HUM/Documents/NETWORKS/ERIH_presentation2009.pdf&t=1306926438&hash=02356a85ba8ddd4b569e4cbbc404880d [20-09-2011].). Por ello el Comité Permanente de Humanidades (Standing Committee for the Humanities) de la ESF se propuso (ESF, 2009ESF (2009). Increasing visibility for a multifaceted Humanities research in Europe- the ERIH approach. Disponible en http://www.esf.org/index.php?eID=tx_nawsecuredl&u=0&file=fileadmin/be_user/research_areas/HUM/Documents/NETWORKS/ERIH_presentation2009.pdf&t=1306926438&hash=02356a85ba8ddd4b569e4cbbc404880d [20-09-2011].) elaborar un índice de referencia europeo y centrado en las humanidades, el European Reference Index for the Humanities (ERIH), que pudiera recoger la diversidad cultural europea y dar mayor visibilidad y proyección a la investigación en Humanidades (y, como veremos, algunas Ciencias Sociales como la Psicología o las Ciencias de la Educación).


Se crearon (ESF, 2010aESF (2010a). European Reference Index for the Humanities (ERIH) Report 2008-2009. http://www.esf.org/index.php?eID=tx_nawsecuredl&u=0&file=fileadmin/be_user/research_areas/HUM/Documents/NETWORKS/ERIH_Report_2008_2009.pdf&t=1339936056&hash=b77345e49bc41e91c0dd7046134909176a580b5a [15-09-2011].) diversos paneles de expertos, uno para cada una de las disciplinas, que constaban de entre cuatro y ocho miembros (el de educación, en concreto, ha contado con cuatro). Ellos se encargaron de evaluar las revistas que les eran sugeridas por los representantes de los distintos organismos miembros de la ESF. Según se indica en la ESF (2011bESF (2011b). ERIH Expert Panels. Disponible en http://www.esf.org/research-areas/humanities/erih-european-reference-index-for-the-humanities/erih-governance/erih-expert-panels.html .), los miembros de los paneles son designados por el Comité Directivo del ERIH y se forman con profesores universitarios que no son profesionales del mundo editorial o bibliotecarios, para mantener el nivel más alto de la garantía de calidad de la revisión por pares, así como se señala que se han tenido en cuenta las áreas geográficas y lingüísticas de Europa. 


Una vez recogidas las propuestas de diversos países a través de vías exclusivamente institucionales (Pontille y Torny, 2010Pontille, D.; Torny, D. (2010). The Controversial Policies of Journal Ratings: Evaluating Social Sciences and Humanities. Research Evaluation, 19 (5), pp. 347-360. DOI: 10.3152/095820210X12809191250889 .), lo que podría no recoger adecuadamente la valoración de los investigadores, el primer resultado práctico de todo el proceso fue la publicación, entre finales de 2007 y principios de 2008, de las listas iniciales de ERIH, en las que se incluían las revistas que había pasado la revisión de los respectivos paneles de expertos.


A fin de completar el listado de revistas se abrió de manera casi inmediata (en parte, debido a las críticas recibidas –Howard, 2008Howard, J. (2008). New Ratings of Humanities Journals do more than Rank -They Rankle. The Chronicle of Higher Education, 55 (7). pA10. 10 October.) un nuevo turno de evaluación de revistas que ha culminado con la publicación, a principios del mes de mayo de 2011, de las ‘listas revisadas de ERIH 2011’. Para ello los propios editores pudieron sugerir sus publicaciones y se renovaron los distintos paneles de expertos (ESF, 2010aESF (2010a). European Reference Index for the Humanities (ERIH) Report 2008-2009. http://www.esf.org/index.php?eID=tx_nawsecuredl&u=0&file=fileadmin/be_user/research_areas/HUM/Documents/NETWORKS/ERIH_Report_2008_2009.pdf&t=1339936056&hash=b77345e49bc41e91c0dd7046134909176a580b5a [15-09-2011].).


Se ha hecho un especial hincapié en corregir algunos malentendidos (e interpretaciones incorrectas) que se habían realizado a partir de los listados iniciales de ERIH. Como se señala en el “Prefacio” (http://www.esf.org/?id=8389), en el listado inicial se habían creado tres categorías diferentes, (A, B y C). Sin embargo, la diferencia entre esas categorías “no es de calidad, sino de tipo, aunque la nomenclatura resultó en el malentendido de que el orden era cualitativamente jerárquico”. Para corregir este problema se han renombrado las categorías, que ahora distinguen entre revistas nacionales (NAT) e internacionales, que a su vez, dependiendo de su influencia y su ámbito de interés, se subdividen entre INT1 (alta influencia en muchos ámbitos de todo el mundo) e INT2 (visibilidad e influencia ‘significativa’ en varios campos y diversos países’). En este último caso sí parece mantenerse una cierta jerarquía, aunque hay que tener en cuenta que, en el caso de la Humanidades y de las Ciencias Sociales, dirigirse a un grupo de países concretos (los hispanoamericanos, pongamos por caso) realmente sólo indica una mayor especialización y no una menor calidad o influencia.


Se puede comprobar la trascendencia práctica que tuvo ERIH desde casi sus inicios recordando que desde el año 2008 la CNEAI declaró que, como indicio de calidad para el campo 7 “Ciencias Sociales, Políticas, del Comportamiento y de la Educación”, “Podrán considerarse también los artículos publicados en revistas listadas en otras bases de datos nacionales o internacionales, (por ejemplo, ERIH, (…)”. Un año antes (recién publicadas las primeras listas) ya se había utilizado este mismo criterio para el Campo 11 “Filosofía, Filología y Lingüística”. Por tanto, aparecer en dicho listado de ERIH se convertía, oficialmente, en un aval a la calidad de una publicación periódica.


 

2. OBJETIVO DEL ESTUDIO
 Top

El propósito de este estudio es analizar la nueva base ERIH, centrándose en concreto en un ámbito particular, el educativo, que puede servir de ejemplo para comprender la construcción y evolución de dicho Índice. Creemos que la importancia del análisis es relevante, dada la utilización que se hace de la base ERIH en la valoración de la actividad investigadora.


 

3. RESULTADOS
 Top

Las listas revisadas de ERIH 2011


En primer lugar, en este apartado nuestro propósito es ver qué importancia relativa ocupa el ámbito educativo en el ERIH. Dicho índice cubre quince disciplinas distintas -ver Tabla I-.


Tabla I. Clasificación y cobertura de ERIH
Disciplina Número de revistas Porcentaje

Antropología

244

6,8

Estudios de género

116

3,2

Filosofía

360

10,0

Filosofía de la ciencia

86

2,4

Historia

991

27,5

Lingüística

541

15,0

Musicología

161

4,5

Pedagogía e investigación educativa

518

14,4

Psicología

589

16,3

Total revistas

3606

Como se puede apreciar en la Tabla I, los porcentajes son bastante desiguales, pues va desde el 27,5% en la disciplina de Historia al 2,4% de la disciplina de Filosofía de la Ciencia. En relación con el campo de la educación, la disciplina denominada de “Pedagogía e investigación educativa” representa el 14,4% de las revistas, lo que supone la tercera disciplina con mayor peso dentro de todas las revistas que constituyen la base.


 

Las listas revisadas de ERIH 2011 y el ámbito educativo


En el campo de “Discipline” de ERIH, aparecen hasta quince categorías diferentes. Filtrando por la categoría “Pedagogical and Educational Research” (la que recoge las publicaciones de Ciencias de la Educación”) se encuentra un total de 518 publicaciones seriadas, de las cuales sólo 25 son revistas españolas (aparece otra revista publicada en español, la ‘Revista Latinoamericana de Investigación en Matemática Educativa – Relime’, pero que se publica en México).


En la lista inicial de 2007 de la categoría “Pedagogical and Educational Research”, 16 revistas ya formaban parte de ERIH –ver Tabla II- incorporándose 9 revistas al “Listado revisado de ERIH”, lo que supone un 36% de las revistas españolas del listado actual.


Tabla II. Revistas españolas de la ‘Disciplina’ “Pedagogical and Educational Research”
ISSN Título de la revista Categoría 2007 Categoría 2011

1133-9837

Alambique. Didáctica de las ciencias experimentales

NAT

INT2

0210-5934

Bordón

INT2

INT2

1134-3478

Comunicar Latin American Scientific Journal of communication and Education

Ausente

INT2

1697-3127

Con-ciencia social

NAT

NAT

1135-6405

Cultura y Educación

Ausente

NAT

1130-0531

Didactica (Lengua y Literatura)

Ausente

INT2

1139-613X

Educación XX1

Ausente

NAT

1576 -5199

Educación y Futuro

Ausente

NAT

1887-1542

ELearning Papers

Ausente

INT2

0212-4521

Enseñanza de las ciencias

INT2

INT2

0212-0267

Historia de la educación

INT2

INT2

1133-9810

Íber. Didáctica de las Ciencias Sociales, Geografía e Historia

NAT

NAT

1139-1723

Pedagogía Social. Revista Interuniversitaria

NAT

NAT

1134-4032

RELIEVE

Ausente

NAT

0210-9581

Revista de ciencias de la educación

NAT

NAT

1130-2496

Revista complutense de la educación

NAT

NAT

0034-8082

Revista de Educación (Madrid)

INT2

INT2

1698-7454

Revista Electrónica Complutense de Investigación en Educación Musical

Ausente

NAT

1139-7853

Revista Española de orientación y psicopedagogia

INT2

NAT

1137-8654

Revista Española de Educación Comparada (REEC)

NAT

NAT

0034-9461

Revista Española de Pedagogia

INT2

NAT

0212-4068

RIE. Revista de investigación educativa

NAT

NAT

0214-7351

Temps d’Educació

NAT

NAT

1130-3743

Teoría de la Educación. Revista Interuniversitaria

NAT

NAT

1133-9829

Textos. Didáctica de la lengua y la literatura

Ausente

NAT

Fuente: ERIH revised lists 2011

Como se puede calcular fácilmente, apenas un exiguo 4,8% de las publicaciones de la categoría “Pedagogical and Educational Research” se ocupan de la producción española de esta especialidad (un 5% si añadiésemos la revista mexicana). Este raquítico porcentaje podría estar señalando una muy escasa visibilidad de la investigación educativa española, pero también podría estar indicando un escaso conocimiento (y hasta poco interés) en la realidad española por parte de los paneles de expertos que han realizado ERIH, al menos en el ámbito de educación. De hecho, esas 25 revistas apenas suponen un 15% de las 166 publicaciones seriadas españolas de educación recogidas en la edición de 2010 (publicada en 2011) de InRECS o el 12,82% de las 195 publicaciones si se atiende a la última revisión del RESH (publicada en 2011), lo que ciertamente deja fuera una gran parte de la edición científica de nuestro país sobre el tema.


Para explorar esta última posibilidad se ha revisado la procedencia del grupo de expertos que han realizado el análisis y valoración de las revistas europeas de la categoría “Pedagogical and Educational Research” desde su creación. El resultado puede verse en la Tabla III.


Tabla III. Integrantes de los paneles ERIH de la especialidad “Pedagogical and Educational Research”
Época Miembros País de origen

Panel inicial

(2005–mediados 2008)

Erno Lehtinen (Chair)

Filip Dochy

Karen Jensen

António Sampaio Nóvoa

Finlandia

Bélgica

Noruega

Portugal

Panel actual

Ingrid Carlgren (Chair)

Filip Dochy

Sari Lindblom-Ylänne

Ulrich Teichler

Suecia

Bélgica

Finlandia

Alemania

Como se puede observar en la Tabla III, hay una desproporción muy acusada de los paneles a favor de miembros procedentes de países escandinavos (50%), lo que tiene una muy escasa vinculación tanto con su peso demográfico como con el de su producción científica o representatividad. Un 25% de ambos paneles procedía de Bélgica (el único miembro que ha repetido en ambos equipos). Por último, sólo hay un miembro de países de idioma latino o del sur de Europa, un portugués. Se da el caso de que dicho integrante ha sido sustituido por un alemán en el panel actual. La ausencia de miembros procedentes de una parte relevante de los diferentes ámbitos culturales europeos no es precisamente el mejor procedimiento para recoger toda la variedad social y lingüística que compone Europa, máxime cuando ERIH se presenta como un intento de “resaltar la enorme cantidad de investigación de clase mundial publicada por investigadores de humanidades en lenguajes europeos” (Prefacio, vid. supr.).


La eventual influencia que el origen de los miembros de los paneles pueda tener sobre el resultado de la lista ERIH, al menos en lo referente al ámbito educativo, tiene su reflejo en el hecho de que aparecen más revistas portuguesas (7) que italianas (4), a pesar de que Italia quintuplica el peso demográfico de Portugal y multiplica por 10 su potencia económica (tamaño del PIB). También es relevante el hecho de que aparecen en el listado revisado ERIH de educación el triple de revistas canadienses o más del doble australianas que italianas, lo cual es muy llamativo para un índice que nace con vocación de fomentar, valorar y difundir la investigación europea. Suecia y Finlandia, países escandinavos de tamaño moderado, pero con una gran representación en el Comité de educación, empatan en número de revistas del listado ERIH con Italia.


Otro indicio bastante negativo sobre la adecuación de la representatividad de la lista revisada de ERIH podemos hallarlo al revisar los países que no aportan ni una sola revista a la versión revisada de 2011. Así, están excluidos países como Austria, Ucrania, Letonia, Estonia, Lituania, Eslovaquia, Eslovenia, Serbia (Croacia, a la que más que duplica en peso demográfico, sí aporta 4 revistas). Parece evidente que todavía el carácter pan-europeo del índice deja algunas áreas culturales importantes sin cubrir adecuadamente.


Existen otros datos que ponen en duda la exhaustividad y representatividad de la lista ERIH, al menos por lo que hace referencia a educación. Por un lado tanto Francia como Alemania son superadas en número de revistas aportadas al Índice por España. Holanda prácticamente duplica, ella sola, a la suma de Alemania y Francia. Es cierto que algunas potentes multinacionales de la edición científica están radicadas en los Países Bajos, pero no es menos cierto que ni el potencial económico ni el demográfico ni el investigador avalan, ni remotamente, esa desproporción.


Parece evidente, a la vista de estos resultados, que el procedimiento de selección de revistas no ha sido adecuadamente planificado. De hecho, se ha dejado a la iniciativa puntual, casi anecdótica, de algunos individuos que ostentaban la representación de algunas instituciones nacionales (Lituania, por ejemplo, que tiene tantas ‘Organizaciones Miembro’ de ESF como España, no ha incluido ninguna revista en el listado) y a la voluntad de los editores. El reconocimiento oficial dado en España al listado de ERIH puede haber fomentado el gran interés de los responsables de las publicaciones periódicas por formar parte de dicho índice Europeo.


En cualquier caso, los desequilibrios por países que se han mostrado deben ser corregidos en próximas rondas de actualización si se desea que ERIH llegue a ser un índice europeo representativo, comprehensivo y coherente.


 

Revistas españolas de educación en ERIH


A fin de comprobar la validez de ERIH como criterio de calidad de las publicaciones periódicas españolas se ha procedido a realizar un análisis de validez concurrente. Para ello se compara (ver Tabla IV) el listado con otros indicadores del mismo constructo, tales como el listado de revistas españolas que se encuentran incluidas en la categoría “Education & educational research” en JCR de 2011, con el de las revistas incluidas en el primer cuartil de In-RECS, tanto para el último lustro como la última década, que son los que muestran mayor estabilidad, y la valoración de la difusión internacional de la base de datos DICE.


Tabla IV. Revistas incluidas en distintos ‘índices de calidad’
Revistas Inrecs 2000-2009 Inrecs 2005-2009 JCR 2011 ERIH educación DICE

Alambique. Didáctica de las Ciencias Experimentales

1,5

Apunts. Educación Física y Deportes

3

Articles de Didactica de la Llengua i de la Literatura

1,5

Aula Abierta. Revista del Instituto de Ciencias de la Educación de la Universidad de Oviedo

4,5

Bordón

7,5

C&E. Cultura y Educación

19,5

Comunicar. Revista de Medios de Comunicación y Educación

42,35

Con-ciencia social

Coneixement i Societat: Revista d´Universitats, Recerca i Societat de la Informació

1,5

Contextos Educativos

4,5

Cuadernos de Pedagogía

4,5

Didactica (Lengua y Literatura)

10,5

Didáctica de las Ciencias Experimentales y Sociales

1,5

Educación y Futuro

4,5

Educación XX1: Revista de la Facultad de Educación

22,5

Educar

10,5

ELearning Papers

Electronic Journal of Research in Educational Psychology

27

Enseñanza de las Ciencias. Revista de Investigación y Experiencias Didácticas

13,5

ESE. Estudios sobre Educación

22,5

Historia de la educación

6

Iber. Didáctica de las Ciencias Sociales, Geografía e Historia

4,5

Intangible Capital

Interactive Educational Multimedia

1,5

Infancia y aprendizaje*

34,5

Investigación en la Escuela

3

Pedagogía Social. Revista Interuniversitaria

4,5

Profesorado. Revista de Currículum y Formación del Profesorado

13,5

RELIEVE: Revista Electrónica de Investigación y Evaluación Educativa

25,5

Revista de Ciencias de la Educación (Madrid)

11,25

Revista Complutense de Educación

16

Revista de Educación (Madrid)

21

Revista de investigación en educación

4,5

Revista de Logopedia, Foniatría y Audiología

13,5

Revista de Psicodidáctica**

22,5

Revista de Universidad y Sociedad del Conocimiento, RUSC

10,5

Revista Electrónica Complutense de Investigación en Educación Musical

4,85

Revista Electrónica de Enseñanza de las Ciencias

4,5

Revista Española de Educación Comparada (REEC)

4,5

Revista Española de Orientación y Psicopedagogía

4,5

Revista Española de Pedagogía

28,5

Revista Iberoamericana de Educación (Versión impresa)

13,5

Revista Interuniversitaria de Formación del Profesorado

10,5

RIE. Revista de Investigación Educativa

4,5

Siglo Cero

1,5

Teoría de la Educación. Revista Interuniversitaria

25,5

Temps d'Educació

9

Textos de Didáctica de la Lengua y de la Literatura

1,5

* Esta revista se encuentra en las categorías del JCR de Psychology, Educational y Psychology, Developmental.
** Esta revista se encuentra en las categoría del JCR de Psychology, Educational.

Como se puede apreciar en la Tabla IV, seis de las revistas que aparecen en el listado ERIH de educación revisado en 2011 aparecen en los cuatro indicadores de calidad, mientras que 10 revistas aparecen en otros dos indicadores más. Sin embargo, hay seis revistas que aparecen en ese listado de ERIH revisado de educación que no están presentes en ninguno de los otros indicadores. 


Respecto a la relación entre la pertenencia al listado ERIH revisado y la valoración de la difusión internacional de la base DICE, como se puede observar en la tabla IV, en conjunto se puede apuntar que existen algunas revistas con una alta valoración que no se encuentran incluidas en el listado actual de ERIH (p.e. ESE. Estudios sobre Educación) y algunas con una valoración menor que sí se hallan incluidas (p.e. Textos de Didáctica de la Lengua y de la Literatura). Para comprobar la relación entre ambos índices se ha procedido a realizar un análisis de regresión logística, siendo la variable dependiente la pertenencia al listado y la variable independiente la valoración en la base de datos DICE. Según se aprecia en los resultados –ver Tabla V, Tabla VI, Tabla VII y Tabla VIII- no se ha hallado una asociación entre ambos indicadores, dado que el modelo no es significativo.


Todo ello denota que si bien en bastantes casos ERIH confirma una calidad acreditada por otras fuentes, una cuarta parte (un 24%, para ser exactos) de las revistas que aparecen en su lista no cumplen con los criterios de calidad exigidos por las otras fuentes. De hecho, algunas de esas revistas ni siquiera aparecen en el catálogo Latindex. Ello denota que se necesitan criterios de entrada en la lista más rigurosos que los actualmente existentes si ERIH quiere convertirse, de verdad, en un índice de referencia a nivel europeo.


Tabla V. Pruebas omnibus sobre los coeficientes del modelo
Chi cuadrado gl Sig.

Paso

,673 1 ,412

Bloque

,673 1 ,412

Modelo

,673 1 ,412
Tabla VI. Resumen del modelo
-2 log de la verosimilitud R cuadrado de Cox y Snell R cuadrado de Nagelkerke
65,511 ,015 ,020
Tabla VII. Clasificación

Observado

Pronosticado

ERIH

Porcentaje correcto

No

ERIH

No

11

10

52,4

10

14

58,3

Porcentaje global

55,6

Tabla VIII. Variables en la ecuación
B E.T. Wald gl Sig. Exp(B)

DICE

,025

,031

,650

1

,420

1,025

Constante

-,147

,456

,104

1

,747

,863

 

4. CONCLUSIONES
 Top

ERIH es la plasmación práctica de un intento de construir un índice de referencia europeo que supere las limitaciones culturales y los sesgos de las principales bases de datos, mayoritariamente orientadas hacia las ciencias naturales y centradas en el mundo anglosajón. En este sentido se trata de una iniciativa loable que pretende superar las limitaciones de esos indicadores, y en parte remediar la buena infraestructura bibliométrica que requieren las evaluaciones de la investigación (Hicks y Wang, 2011Hicks, D.; Wang, J. (2011). Coverage and Overlap of the New Social Sciences and Humanities Journal Lists. Journal of the American Society for Information Science and Technology, 62 (2), pp. 284-294.).


Respecto al procedimiento elegido para la construcción de los listados son, a nuestro entender, varios los errores que se han cometido. No se ha optado por una perspectiva empírica (índices de citaciones) o de análisis de criterios de calidad editorial, sino más bien por análisis de reputación, exigiendo el cumplimiento de unos pocos criterios formales. Además, en estos momentos, con la cantidad de información disponible, se trata de un acercamiento alternativo, pero menos fundamentado que la medición del impacto de las publicaciones o la revisión de criterios de calidad cumplidos. Utilizar sólo unas valoraciones subjetivas únicamente tendría sentido si se recogiera, con suficiente amplitud, la opinión de la comunidad académica, fundamentalmente la europea. En cierto modo, son críticas sobre la metodología de confección de ERIH que Román-Román y Giménez-Toledo (2010Román-Román, A.; Giménez-Toledo, E. (2010). Cómo valorar la internacionalidad de las revistas de Ciencias Humanas y su categorización en ERIH. Revista Española de Documentación Científica, 33 (3), pp. 341-377.) ya han apuntado.


Como se ha podido comprobar, ni las limitaciones de tamaño y de heterogeneidad de los paneles de expertos que han construido ERIH, ni el procedimiento de inclusión de revistas, permiten tomar sus resultados, al menos todavía, como una muestra suficientemente representativa de la opinión de la comunidad académica y científica europea. Por una parte, no se han explicitado los procedimientos de creación de los paneles pero es evidente, dado su tamaño, que su representatividad estaba claramente limitada en un entorno cultural tan variado como el europeo. Ha de tenerse en cuenta que la metodología de paneles de expertos requiere (The Royal Society of Canada, 1998The Royal Society of Canada (1998). Expert panels: manual of procedural guidelines. Consultado en http://ec.europa.eu/europeaid/evaluation/methodology/examples/lib_too_pan_one_en.pdf en 10-6-2012.) dos elementos claves: la composición y el equilibrio, es decir, que se procure la necesaria variedad de puntos de vista y se eviten los sesgos. Tampoco se ha informado de la toma de precauciones para el cumplimiento de estos dos requisitos, lo que podría ser una fuente de sesgos en los resultados obtenidos por el panel. Por otra parte, los resultados sobre la relación entre la valoración internacional del DICE y el nuevo listado del ERIH no son significativos, resultados similares a los encontrados por Román-Román y Giménez-Toledo (2010Román-Román, A.; Giménez-Toledo, E. (2010). Cómo valorar la internacionalidad de las revistas de Ciencias Humanas y su categorización en ERIH. Revista Española de Documentación Científica, 33 (3), pp. 341-377.). Esto apunta que el listado del ERIH no ha sido exhaustivo en su confección.


Serán necesarias, como poco, nuevas fases de actualización, así como la exigencia de mayores criterios de calidad en la aceptación de revistas. Como muestra del escaso nivel de exigencia y supervisión diremos, a modo de ejemplo, que el listado “actualizado” de 2011 incluye, al menos, una revista española de educación que dejó de publicarse en 2008. Sin el adecuado desarrollo de esos requisitos de calidad, ERIH sufre el riesgo de quedar solamente como la opinión de un grupo muy restringido de expertos que no conocen bien la enorme variedad cultural, lingüística y nacional de la investigación europea en Humanidades y Ciencias Sociales.


 

7. BIBLIOGRAFÍATop

Aliaga, F. M.; Suárez-Rodríguez, J. M. (2007). Internacionalidad de las revistas académicas: Estudio de caso con RELIEVE. RELIEVE, 13 (1). Disponible en: http://www.uv.es/RELIEVE/v13n1/RELIEVEv13n1_0.htm. [19-09-2011].
Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) (2012). Programa ACADEMIA. Principios y orientaciones 2.0. Disponible en: http://www.aneca.es/content/download/12212/141975/file/ppiosyorientaciones2.0_120222.pdf.
Buela-Casal, G.; Bermúdez, M. P.; Sierra, J. C.; Quevedo-Blasco, R.; Castro, A.; Guillén-Riquelme, A. (2011). Ranking de 2010 en producción y productividad en investigación de las universidades públicas españolas. Psicothema, 23 (4), pp. 527-536.
Buela-Casal, G.; Perakakis, P.; Taylor, M.; Checa, P. (2006). Measuring internationality: Reflections and perspectives on academic journals. Scientometrics, 67 (1), pp. 45-65.
Delgado López-Cózar, E.; Ruiz-Pérez, R.; Jiménez-Contreras, E. (2006). La edición de revistas científicas: directrices, criterios y modelos de evaluación. Madrid: Fundación Española para la Ciencia y la Tecnología. Consultado en http://recyt.fecyt.es/documentos/Fecyt.pdf [5-07-2012].
ESF (2009). Increasing visibility for a multifaceted Humanities research in Europe- the ERIH approach. Disponible en http://www.esf.org/index.php?eID=tx_nawsecuredl&u=0&file=fileadmin/be_user/research_areas/HUM/Documents/NETWORKS/ERIH_presentation2009.pdf&t=1306926438&hash=02356a85ba8ddd4b569e4cbbc404880d [20-09-2011].
ESF (2010a). European Reference Index for the Humanities (ERIH) Report 2008-2009.
http://www.esf.org/index.php?eID=tx_nawsecuredl&u=0&file=fileadmin/be_user/research_areas/HUM/Documents/NETWORKS/ERIH_Report_2008_2009.pdf&t=1339936056&hash=b77345e49bc41e91c0dd7046134909176a580b5a [15-09-2011].
ESF (2010b). Standing Committee for the Humanities (SCH) Self-Evaluation Report. Disponible en http://www.esf.org/research-areas/humanities.html [20-09-2011].
ESF (2011a). What is the European Science Foundation?. Consultado en http://www.esf.org/about-esf/what-is-the-european-science-foundation.html [20-09-2011].
ESF (2011b). ERIH Expert Panels. Disponible en http://www.esf.org/research-areas/humanities/erih-european-reference-index-for-the-humanities/erih-governance/erih-expert-panels.html .
Howard, J. (2008). New Ratings of Humanities Journals do more than Rank -They Rankle. The Chronicle of Higher Education, 55 (7). pA10. 10 October.
Hicks, D.; Wang, J. (2011). Coverage and Overlap of the New Social Sciences and Humanities Journal Lists. Journal of the American Society for Information Science and Technology, 62 (2), pp. 284-294.
Pontille, D.; Torny, D. (2010). The Controversial Policies of Journal Ratings: Evaluating Social Sciences and Humanities. Research Evaluation, 19 (5), pp. 347-360. DOI: 10.3152/095820210X12809191250889 .
Presidencia de la Comisión Nacional Evaluadora de la Actividad Investigadora (2008). RESOLUCION de 11 de noviembre de 2008, por la que se establecen los criterios específicos en cada uno de los campos de evaluación. Publicado en: BOE número 282 de 22/11/2008, páginas 46906 a 46914. http://www.boe.es/boe/dias/2007/11/21/pdfs/A47613-47619.pdf [19-09-2011].
Presidencia de la Comisión Nacional Evaluadora de la Actividad Investigadora (2007). RESOLUCIÓN de 6 de noviembre de 2007, por la que se establecen los criterios específicos en cada uno de los campos de evaluación. Publicado en: BOE número 279 de 21/11/2007, páginas 47613 a 47619. http://www.boe.es/boe/dias/2008/11/22/pdfs/A46906-46914.pdf [21-09-2011].
Román, A. (coord.) (2001). La edición de revistas científicas. Guía de buenos usos [en línea]. Madrid: CINDOC-CSIC. Consultado en http://digital.csic.es/bitstream/10261/4347/1/R-21.pdf [Fecha de consulta: 14/07/2012].
Román-Román, A.; Giménez-Toledo, E. (2010). Cómo valorar la internacionalidad de las revistas de Ciencias Humanas y su categorización en ERIH. Revista Española de Documentación Científica, 33 (3), pp. 341-377.
The Royal Society of Canada (1998). Expert panels: manual of procedural guidelines. Consultado en http://ec.europa.eu/europeaid/evaluation/methodology/examples/lib_too_pan_one_en.pdf en 10-6-2012.
Vorndran, A.; Botte, A. (2008). An Analysis and evaluation of existing methods and indicators for quality assessment of scientific publications. European Educational Research Quality Indicators. Consultado el 10-07-2012 en http://www.eerqi.eu/sites/default/files/Analysis_and_evaluation_of_existing_methods_and_indicators.pdf.