La fundación European Science Fondation (ESF) nació en 1974 como un intento de dar un impulso a la cooperación pan-europea en el ámbito de la investigación científica (ESF, 2010b). Legalmente se trata de una Organización No Gubernamental (ONG) en la que se agrupan diversas ‘organizaciones miembro’ vinculadas con la gestión o la coordinación de la investigación científica de diversos países europeos, así como academias científicas de distinto tipo. Como organización, la ESF es independiente de estructuras políticas nacionales o internacionales (ESF, 2011a), aunque tiene una fuerte carga institucional.


En el ámbito de las humanidades la ESF ha emprendido un ambicioso programa para combatir la escasa visibilidad internacional de las investigaciones europeas en humanidades. Esta baja visibilidad puede estar relacionada con los problemas anteriormente aludidos de las dos principales bases de datos (WoS y Scopus) y su tradicional carácter marcadamente anglosajón, así como que se han desarrollado fundamentalmente a partir del modelo de las ciencias naturales (ESF, 2009). Por ello el Comité Permanente de Humanidades (Standing Committee for the Humanities) de la ESF se propuso (ESF, 2009) elaborar un índice de referencia europeo y centrado en las humanidades, el European Reference Index for the Humanities (ERIH), que pudiera recoger la diversidad cultural europea y dar mayor visibilidad y proyección a la investigación en Humanidades (y, como veremos, algunas Ciencias Sociales como la Psicología o las Ciencias de la Educación).


Se crearon (ESF, 2010a) diversos paneles de expertos, uno para cada una de las disciplinas, que constaban de entre cuatro y ocho miembros (el de educación, en concreto, ha contado con cuatro). Ellos se encargaron de evaluar las revistas que les eran sugeridas por los representantes de los distintos organismos miembros de la ESF. Según se indica en la ESF (2011b), los miembros de los paneles son designados por el Comité Directivo del ERIH y se forman con profesores universitarios que no son profesionales del mundo editorial o bibliotecarios, para mantener el nivel más alto de la garantía de calidad de la revisión por pares, así como se señala que se han tenido en cuenta las áreas geográficas y lingüísticas de Europa. 


Una vez recogidas las propuestas de diversos países a través de vías exclusivamente institucionales (Pontille y Torny, 2010), lo que podría no recoger adecuadamente la valoración de los investigadores, el primer resultado práctico de todo el proceso fue la publicación, entre finales de 2007 y principios de 2008, de las listas iniciales de ERIH, en las que se incluían las revistas que había pasado la revisión de los respectivos paneles de expertos.


A fin de completar el listado de revistas se abrió de manera casi inmediata (en parte, debido a las críticas recibidas –Howard, 2008) un nuevo turno de evaluación de revistas que ha culminado con la publicación, a principios del mes de mayo de 2011, de las ‘listas revisadas de ERIH 2011’. Para ello los propios editores pudieron sugerir sus publicaciones y se renovaron los distintos paneles de expertos (ESF, 2010a).


Se ha hecho un especial hincapié en corregir algunos malentendidos (e interpretaciones incorrectas) que se habían realizado a partir de los listados iniciales de ERIH. Como se señala en el “Prefacio” (http://www.esf.org/?id=8389), en el listado inicial se habían creado tres categorías diferentes, (A, B y C). Sin embargo, la diferencia entre esas categorías “no es de calidad, sino de tipo, aunque la nomenclatura resultó en el malentendido de que el orden era cualitativamente jerárquico”. Para corregir este problema se han renombrado las categorías, que ahora distinguen entre revistas nacionales (NAT) e internacionales, que a su vez, dependiendo de su influencia y su ámbito de interés, se subdividen entre INT1 (alta influencia en muchos ámbitos de todo el mundo) e INT2 (visibilidad e influencia ‘significativa’ en varios campos y diversos países’). En este último caso sí parece mantenerse una cierta jerarquía, aunque hay que tener en cuenta que, en el caso de la Humanidades y de las Ciencias Sociales, dirigirse a un grupo de países concretos (los hispanoamericanos, pongamos por caso) realmente sólo indica una mayor especialización y no una menor calidad o influencia.


Se puede comprobar la trascendencia práctica que tuvo ERIH desde casi sus inicios recordando que desde el año 2008 la CNEAI declaró que, como indicio de calidad para el campo 7 “Ciencias Sociales, Políticas, del Comportamiento y de la Educación”, “Podrán considerarse también los artículos publicados en revistas listadas en otras bases de datos nacionales o internacionales, (por ejemplo, ERIH, (…)”. Un año antes (recién publicadas las primeras listas) ya se había utilizado este mismo criterio para el Campo 11 “Filosofía, Filología y Lingüística”. Por tanto, aparecer en dicho listado de ERIH se convertía, oficialmente, en un aval a la calidad de una publicación periódica.


En primer lugar, en este apartado nuestro propósito es ver qué importancia relativa ocupa el ámbito educativo en el ERIH. Dicho índice cubre quince disciplinas distintas -ver Tabla I-.


Como se puede apreciar en la tabla I, los porcentajes son bastante desiguales, pues va desde el 27,5% en la disciplina de Historia al 2,4% de la disciplina de Filosofía de la Ciencia. En relación con el campo de la educación, la disciplina denominada de “Pedagogía e investigación educativa” representa el 14,4% de las revistas, lo que supone la tercera disciplina con mayor peso dentro de todas las revistas que constituyen la base.


En el campo de “Discipline” de ERIH, aparecen hasta quince categorías diferentes. Filtrando por la categoría “Pedagogical and Educational Research” (la que recoge las publicaciones de Ciencias de la Educación”) se encuentra un total de 518 publicaciones seriadas, de las cuales sólo 25 son revistas españolas (aparece otra revista publicada en español, la ‘Revista Latinoamericana de Investigación en Matemática Educativa – Relime’, pero que se publica en México).


En la lista inicial de 2007 de la categoría “Pedagogical and Educational Research”, 16 revistas ya formaban parte de ERIH –ver Tabla II- incorporándose 9 revistas al “Listado revisado de ERIH”, lo que supone un 36% de las revistas españolas del listado actual.


Como se puede calcular fácilmente, apenas un exiguo 4,8% de las publicaciones de la categoría “Pedagogical and Educational Research” se ocupan de la producción española de esta especialidad (un 5% si añadiésemos la revista mexicana). Este raquítico porcentaje podría estar señalando una muy escasa visibilidad de la investigación educativa española, pero también podría estar indicando un escaso conocimiento (y hasta poco interés) en la realidad española por parte de los paneles de expertos que han realizado ERIH, al menos en el ámbito de educación. De hecho, esas 25 revistas apenas suponen un 15% de las 166 publicaciones seriadas españolas de educación recogidas en la edición de 2010 (publicada en 2011) de InRECS o el 12,82% de las 195 publicaciones si se atiende a la última revisión del RESH (publicada en 2011), lo que ciertamente deja fuera una gran parte de la edición científica de nuestro país sobre el tema.


Para explorar esta última posibilidad se ha revisado la procedencia del grupo de expertos que han realizado el análisis y valoración de las revistas europeas de la categoría “Pedagogical and Educational Research” desde su creación. El resultado puede verse en la Tabla III.


Como se puede observar en la Tabla III, hay una desproporción muy acusada de los paneles a favor de miembros procedentes de países escandinavos (50%), lo que tiene una muy escasa vinculación tanto con su peso demográfico como con el de su producción científica o representatividad. Un 25% de ambos paneles procedía de Bélgica (el único miembro que ha repetido en ambos equipos). Por último, sólo hay un miembro de países de idioma latino o del sur de Europa, un portugués. Se da el caso de que dicho integrante ha sido sustituido por un alemán en el panel actual. La ausencia de miembros procedentes de una parte relevante de los diferentes ámbitos culturales europeos no es precisamente el mejor procedimiento para recoger toda la variedad social y lingüística que compone Europa, máxime cuando ERIH se presenta como un intento de “resaltar la enorme cantidad de investigación de clase mundial publicada por investigadores de humanidades en lenguajes europeos” (Prefacio, vid. supr.).


La eventual influencia que el origen de los miembros de los paneles pueda tener sobre el resultado de la lista ERIH, al menos en lo referente al ámbito educativo, tiene su reflejo en el hecho de que aparecen más revistas portuguesas (7) que italianas (4), a pesar de que Italia quintuplica el peso demográfico de Portugal y multiplica por 10 su potencia económica (tamaño del PIB). También es relevante el hecho de que aparecen en el listado revisado ERIH de educación el triple de revistas canadienses o más del doble australianas que italianas, lo cual es muy llamativo para un índice que nace con vocación de fomentar, valorar y difundir la investigación europea. Suecia y Finlandia, países escandinavos de tamaño moderado, pero con una gran representación en el Comité de educación, empatan en número de revistas del listado ERIH con Italia.


Otro indicio bastante negativo sobre la adecuación de la representatividad de la lista revisada de ERIH podemos hallarlo al revisar los países que no aportan ni una sola revista a la versión revisada de 2011. Así, están excluidos países como Austria, Ucrania, Letonia, Estonia, Lituania, Eslovaquia, Eslovenia, Serbia (Croacia, a la que más que duplica en peso demográfico, sí aporta 4 revistas). Parece evidente que todavía el carácter pan-europeo del índice deja algunas áreas culturales importantes sin cubrir adecuadamente.


Existen otros datos que ponen en duda la exhaustividad y representatividad de la lista ERIH, al menos por lo que hace referencia a educación. Por un lado tanto Francia como Alemania son superadas en número de revistas aportadas al Índice por España. Holanda prácticamente duplica, ella sola, a la suma de Alemania y Francia. Es cierto que algunas potentes multinacionales de la edición científica están radicadas en los Países Bajos, pero no es menos cierto que ni el potencial económico ni el demográfico ni el investigador avalan, ni remotamente, esa desproporción.


Parece evidente, a la vista de estos resultados, que el procedimiento de selección de revistas no ha sido adecuadamente planificado. De hecho, se ha dejado a la iniciativa puntual, casi anecdótica, de algunos individuos que ostentaban la representación de algunas instituciones nacionales (Lituania, por ejemplo, que tiene tantas ‘Organizaciones Miembro’ de ESF como España, no ha incluido ninguna revista en el listado) y a la voluntad de los editores. El reconocimiento oficial dado en España al listado de ERIH puede haber fomentado el gran interés de los responsables de las publicaciones periódicas por formar parte de dicho índice Europeo.


En cualquier caso, los desequilibrios por países que se han mostrado deben ser corregidos en próximas rondas de actualización si se desea que ERIH llegue a ser un índice europeo representativo, comprehensivo y coherente.


A fin de comprobar la validez de ERIH como criterio de calidad de las publicaciones periódicas españolas se ha procedido a realizar un análisis de validez concurrente. Para ello se compara (ver Tabla IV) el listado con otros indicadores del mismo constructo, tales como el listado de revistas españolas que se encuentran incluidas en la categoría “Education & educational research” en JCR de 2011, con el de las revistas incluidas en el primer cuartil de In-RECS, tanto para el último lustro como la última década, que son los que muestran mayor estabilidad, y la valoración de la difusión internacional de la base de datos DICE.


Como se puede apreciar en la Tabla IV, seis de las revistas que aparecen en el listado ERIH de educación revisado en 2011 aparecen en los cuatro indicadores de calidad, mientras que 10 revistas aparecen en otros dos indicadores más. Sin embargo, hay seis revistas que aparecen en ese listado de ERIH revisado de educación que no están presentes en ninguno de los otros indicadores. 


Respecto a la relación entre la pertenencia al listado ERIH revisado y la valoración de la difusión internacional de la base DICE, como se puede observar en la tabla IV, en conjunto se puede apuntar que existen algunas revistas con una alta valoración que no se encuentran incluidas en el listado actual de ERIH (p.e. ESE. Estudios sobre Educación) y algunas con una valoración menor que sí se hallan incluidas (p.e. Textos de Didáctica de la Lengua y de la Literatura). Para comprobar la relación entre ambos índices se ha procedido a realizar un análisis de regresión logística, siendo la variable dependiente la pertenencia al listado y la variable independiente la valoración en la base de datos DICE. Según se aprecia en los resultados –ver Tabla V, Tabla VI, Tabla VII y Tabla VIII- no se ha hallado una asociación entre ambos indicadores, dado que el modelo no es significativo.


Todo ello denota que si bien en bastantes casos ERIH confirma una calidad acreditada por otras fuentes, una cuarta parte (un 24%, para ser exactos) de las revistas que aparecen en su lista no cumplen con los criterios de calidad exigidos por las otras fuentes. De hecho, algunas de esas revistas ni siquiera aparecen en el catálogo Latindex. Ello denota que se necesitan criterios de entrada en la lista más rigurosos que los actualmente existentes si ERIH quiere convertirse, de verdad, en un índice de referencia a nivel europeo.