ESTUDIOS / RESEARCH STUDIES

REVISTAS IBEROAMERICANAS DE EDUCACIÓN EN SCIELO CITATION INDEX Y EMERGING SOURCE CITATION INDEX

Rafael Repiso*, Evaristo Jiménez-Contreras**, Ignacio Aguaded***

*Universidad Internacional de La Rioja (UNIR). Grupo de investigación EC3 & EC3metrics

Correo-e: rafael.repiso@gmail.com | ORCID iD: http://orcid.org/0000-0002-2803-7505

**Universidad de Granada. Grupo de investigación EC3 & EC3metrics

Correo-e: evaristo@ugr.es | ORCID iD: http://orcid.org/0000-0001-5668-7057

***Universidad de Huelva. Grupo Ágora

Correo-e: aguaded@uhu.es | ORCID iD: http://orcid.org/0000-0002-0229-1118

IBERO-AMERICAN EDUCATION JOURNALS ON EMERGING SOURCE CITATION INDEX AND SCIELO CITATION INDEX

CONTENIDOS

1. INTRODUCCIÓN Top

La base de datos Web of Science (WoS) se creó en la década de los años 60 del pasado siglo, gracias al incipiente uso de los computadores en la gestión de la información, con el objetivo de analizar y controlar la producción de aquellas revistas que lideraban la innovación científica. Con este fin, su creador, Eugene Garfield, adaptó las propuestas de S.C.Bradford (Bookstein, 1994Bookstein, A. (1994). Towards a multi-disciplinary Bradford law. Scientometrics, 30 (1), 353-361. https://doi.org/10.1007/BF02017233.) y profundizó en el uso de las citas como factor para determinar el valor de los artículos científicos y las revistas que los contienen, desarrollando varios indicadores de medición, entre ellos el Impact Factor (Garfield, 1996Garfield, E. (1996). How can impact factors be improved?. BMJ, 313 (7054), 411-413., 1999Garfield, E. (1999). Journal Impact Factor: a brief review. CMAJ, 161, 979-980., 2006Garfield, E. (2006). The History and Meaning of the Journal Impact Factor. JAMA, 295 (1), 90-94. https://doi.org/10.1001/jama.295.1.90.) que ha cambiado la forma de medir la calidad de las revistas, aunque el sistema empleado no esté libre de detractores (Rogers, 2002Rogers, L. F. (2002). Impact factor: The number game. AJR Am. J. Roentgenol, 178 (3), 541-542. https://doi.org/10.2214/ajr.178.3.1780541.; Saha y otros, 2003Saha, S.; Saint, S.; Christakis, D. A. (2003). Impact factor: a valid measure of journal quality?. Journal of the Medical Library Association: JMLA, 91 (1), 42-46. http://www.pubmedcentral.nih.gov/articlerender.fcgi?artid=141186&tool=pmcentrez&rendertype=abstrac.; The PLoS Medicine Editors, 2006The PLoS Medicine Editors (2006). The impact factor game. Plos Med, 3 (6), e291. http://doi.org/10.1371/journal.pmed.0030291.).

La gran aportación de Eugene Garfield fue crear un método científico que permitiese cuantificar la repercusión de los artículos publicados en una revista científica (y por tanto a la propia revista). Con anterioridad a la creación del Institute for Scientific Information y de su principal producto el Science Citation Index (más tarde rebautizado como WoS) y sus indicadores, la calidad de las revistas científicas se medía en relación a aspectos difícilmente objetivables como eran el prestigio de la editorial que respaldaba la publicación, o el de los científicos que publicaban en la revista, o quienes formaban el comité editorial de la revista, así como la presencia de la publicación en revistas de resúmenes.

Con la progresiva aceptación por parte de la comunidad científica de las ventajas y validez de WoS, este producto científico y sus bases de datos de revistas (Science Citation Index, Social Sciences Citation Index y Arts & Humanities Citation Index) se convirtieron pronto en la fuente para múltiples estudios para caracterizar la ciencia global, con aplicaciones muy diversas, desde la simple selección para la compra de colecciones en el contexto de las bibliotecas (Saha y otros, 2003Saha, S.; Saint, S.; Christakis, D. A. (2003). Impact factor: a valid measure of journal quality?. Journal of the Medical Library Association: JMLA, 91 (1), 42-46. http://www.pubmedcentral.nih.gov/articlerender.fcgi?artid=141186&tool=pmcentrez&rendertype=abstrac.) hasta servir como principal indicador para la evaluación científica, aplicada a diferentes niveles: micro (personas), meso (universidades) y macro (países). Por tanto, las características y composición de esta base de datos, ha tenido y tiene una gran repercusión mundial, especialmente en lo que concierne a las políticas científicas nacionales e internacionales.

Quizás el gran problema de WoS y de la comunidad científica era que éste ocupaba una posición monopolística muy influyente que se prolongó durante décadas, hasta que, en el año 2004, la editorial Elsevier hacía público un producto análogo: Scopus (Burnham, 2006Burnham, J. F. (2006). Scopus database: a review. Biomedical Digital Libraries, 3 (1). http://doi.org/10.1186/1742-5581-3-1.). Scopus se presentaba como un producto de similares características con una diferencia fundamental, nacía como un producto europeo, incorporaba un mayor número de revistas y cubría mejor regiones periféricas, como Iberoamérica, que en WoS se encontraban prácticamente ausentes, reduciendo el fuerte sesgo anglo-norteamericano de esta base de datos. Con la ayuda de productos basados en Scopus como el Scimago Journal Ranks o el Scimago Institutions Ranks, promovidos por el grupo Scimago (Bornmann y otros, 2012Bornmann, L.; Anegón, F. de M.; Leydesdorff, L. (2012). The new excellence indicator in the world report of the SCImago Institutions Rankings 2011. Journal of Informetrics, 6 (2), 333-335. https://doi.org/10.1016/j.joi.2011.11.006.), Scopus comienza a hacerse con un hueco en mercados emergentes, puesto que cuenta con una mayor capacidad para representar a los países periféricos. Comienza entonces la batalla por la cobertura científica.

La existencia de un rival estimuló a WoS a incrementar el número de revistas de sus bases de datos principales. Como ejemplo, España que pasa de tener 43 revistas en los Journal Citation Reports en el año 2007 a 125 en el año 2010 y 181 en la actualidad. Pero el crecimiento de WoS estaba restringido por los criterios de indexación, limitándose a revistas que ya habían demostrado un impacto significativo en su área científica. Es por ello que Thomson Reuters plantea otra estrategia, crear nuevas bases de datos de revistas que permitiesen incrementar su cobertura geográfica sin comprometer el elitismo de sus tres bases de datos clásicas. Es, en este contexto de ampliación, donde surgen las bases de datos objeto de este análisis, SciELO Citation Index (SciELO-CI) y Emerging Source Citation Index (ESCI). En el caso de Iberoamérica, la aparición de estos productos trata de compensar dos de las principales carencias de WoS frente a su rival Scopus, la baja cobertura en revistas regionales más allá del mundo anglosajón y más específicamente la fuerte presencia de revistas latinoamericanas en Scopus (Miguel, 2011Miguel, S. (2011). Revistas y producción científica de América Latina y el Caribe: su visibilidad en SciELO, RedALyC y SCOPUS. Revista Interamericana de Bibliotecología, 34 (2), 187-199.; Santa y Herrero-Solana, 2010Santa, S.; Herrero-Solana, V. (2010). Cobertura de la ciencia de América Latina y el Caribe en Scopus vs web of science. Investigación Bibliotecológica, 24 (52), 13-27. https://doi.org/10.22201/iibi.0187358xp.2010.52.27451.) que, desde el comienzo incorporó cientos de revistas, aunque un porcentaje significativo de ellas se sitúe en las últimas posiciones según impacto. Esta competencia entre gigantes editoriales acaba de dar una vuelta más, de consecuencias por ahora imprevisibles, con la adquisición de la división científica de Thomson por Clarivate.

SciELO Citation Index, una base de datos de revistas latinoamericanas, caribeñas y sudafricanas

En primer lugar, hay que indicar que SciELO Citation Index es una base de datos regional incluida en WoS desde el año 2014; no obstante, esta base de datos no es propiedad de Thomson Reuters, sino que ha sido creada y alimentada a partir de una base de datos externa ya existente, SciELO, y que, además, el producto original posee muchas más revistas de las que se encuentran indexadas en WoS.

SciELO nace en el año 1997 como un proyecto piloto con 10 revistas brasileñas y auspiciado por una serie de demandas nacionales encaminadas a visibilizar la producción científica de revistas periféricas que representaban, para los países implicados en el proyecto, una gran parte de sus resultados de investigación (García-Testal, 2000García Testal, C. (2000). Recursos informativos en las redes Scielo: Scientific electronic library online. El Profesional de La Información, 9 (12), 20-26. http://www.elprofesionaldelainformacion.com/contenidos/2000/diciembre/3.pdf.). El proyecto es el resultado de la colaboración entre la Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP) y el Centro Latino-Americano y del Caribe de Información en Ciencias de la Salud (BIREME) (Packer, 1998Packer, A. L. (1998). SciELO: uma metodologia para publicação eletrônica. Ciência Da Informação, 27 (2), 109-121. https://doi.org/10.1590/S0100-19651998000200002.).

Una vez que el proyecto se prueba con éxito, empieza a aumentar sus colecciones incluyendo a otros países, a través de una apuesta internacional clara; no es casualidad que sus siglas deriven de un título inglés (Scientific Electronic Library Online), lo que desde el primer momento declara que es una plataforma para hacer visible en el panorama internacional, eminentemente anglosajón, la producción científica de los países de América Latina, El Caribe y Sudáfrica. De hecho, el primer beneficio innegable de este producto es que, aumenta la visibilidad y difusión de sus revistas, lo que ha tenido su repercusión en las revistas de SciELO que están en las bases de datos “core” de WoS (SCI, SSCI y A&HCI), aumentando su impacto (Alonso y Fernández, 2002Alonso, W. J.; Fernández, E. (2002). Regional network raises profile of local journals. Nature, 415, 471-472. https://doi.org/10.1038/415471c.).

El plan de crecimiento de SciELO se ha basado en la incorporación de proyectos de ámbito geográfico, lo que ha permitido que en 2016 existan 14 colecciones geográficas (Argentina, Brasil, Chile, Colombia, Costa Rica, Cuba, España, México, Perú, Portugal, Sudáfrica, Uruguay y Venezuela). Igualmente, SciELO presenta otros proyectos como la colección de tesis doctorales (limitadas a Brasil), o las colecciones temáticas de Salud Pública o Ciencias Sociales, ésta última limitada de momento a revistas de Ciencias Sociales de Argentina, Bolivia, Brasil, Chile, Paraguay y Uruguay. Hay que destacar que en estos momentos (finales de 2016) se está desarrollando la incorporación de un nuevo proyecto regional (Paraguay).

El modelo de gestión de SciELO se coordina desde la colección SciELO-Brasil que se responsabiliza de las cuestiones técnicas y de la evaluación del sistema, pero se estructura en torno a colecciones que son las que aportan las revistas. Estas colecciones regionales o temáticas son responsabilidad de una o varias instituciones nacionales de referencia en investigación y comunicación científica, aunque coordinada solamente por una, en el caso de España: el Instituto de Salud Carlos III lo que ha determinado la orientación hacia la salud de la colección española. Estas entidades coordinadoras son responsables de la operación de su colección de revistas (hospedaje, gestión) bajo el modelo SciELO (Packer y otros, 2006Packer, A. L.; Prat, A. M.; Luccisano, A.; Montanari, F.; Santos, S.; Meneghini, R. (2006). El modelo SciELO de publicación científica de calidad en acceso abierto. En: Babini, D.; Fraga, J. (eds.), Edición electrónica, bibliotecas virtuales y portales para las ciencias sociales en América Latina y El Caribe (pp. 191-208). Consejo Latinoamericano de Ciencias Sociales; Buenos Aires.), modelo caracterizado especialmente por el marcado semántico que permite la interoperabilidad entre los trabajos y las diferentes bases de datos (Aguillo, 2014Aguillo, I. F. (2014). Políticas de información y publicación científica. El Profesional de La Información, 23 (2), 113-118. https://doi.org/10.3145/epi.2014.mar.02.). No obstante, el desarrollo de las colecciones es asistido por un comité consultivo con presencia de agentes externos. Con este modelo de gestión, el sistema reparte sus cargas de trabajo a través de las instituciones nacionales, aunque es SciELO-Brasil quien coordina los principales procesos.

En lo que atañe a las revistas españolas que se encuentran indexadas en SciELO, lo fueron a raíz de un acuerdo firmado en 1999 entre la Organización Panamericana de la Salud y el Instituto de Salud Carlos III y ejecutado por BIREME y la Biblioteca Nacional de Ciencias de la Salud (BNCS) de España (Fraga Medín y otros, 2006Fraga Medín, C. A.; Bojo Canales, C.; Hernández Villegas, S. (2006). Pasado, presente y futuro del proyecto Scielo en España. El Profesional de La Información, 15 (1), 23-28. http://www.elprofesionaldelainformacion.com/contenidos/2006/enero/4.pdf.) respectivamente. El proyecto SciELO España comenzaría a estar operativo a finales del año 2001 y se limitó desde su origen a revistas biosanitarias (http://SciELO.isciii.es). En la actualidad (año 2016) hay 44 revistas españolas indexadas en SciELO a través de SciELO-España, aunque podrían ser 61 si no fuese porque en 16 años 17 de estas revistas han causado baja en el proyecto.

Al problema de no saber qué impacto tienen estas nuevas revistas se suma otro que parte de las propias características de SciELO, y es la representatividad real que esta base de datos tiene sobre las revistas de la región (Iberoamérica, El Caribe y Sudáfrica), lo que plantea la pregunta de hasta qué punto esta base de datos es representativa de la región y qué sesgos introduce o, dicho de otra manera, si se han criticado los sesgos de cobertura WoS (Delgado y Repiso, 2013Delgado, E.; Repiso, R. (2013). The Impact of Scientific Journals of Communication: Comparing Google Scholar Metrics, Web of Science and Scopus. Comunicar, 26 (41), 45-52. http://doi.org/10.3916/C41-2013-04.), la incorporación de SciELO bien puede introducir otros no previstos. Otro aspecto clave de la importancia de SciELO-CI es su futuro como herramienta de evaluación (Aguillo, 2014Aguillo, I. F. (2014). Políticas de información y publicación científica. El Profesional de La Información, 23 (2), 113-118. https://doi.org/10.3145/epi.2014.mar.02.); en palabras de uno de los responsables de SciELO, Abel Packer, esta herramienta “deberá ser considerada como referencia por las agencias de apoyo a la investigación y comunicación científica” (Packer, 2014Packer, A. L. (2014). SciELO Citation Index en el Web of Science. SciELO en Perspectiva. http://blog.scielo.org/es/2014/02/28/scielo-citation-index-en-el-web-of-science/#.VM3vF2iG_MI.). Sin embargo, este desiderátum, explicable por la importancia que otorga a los productos que se benefician de esta condición de herramientas evaluadoras, sólo es asumible en la medida en que se contraste su utilidad y se eliminen eventuales sesgos.

La incorporación de SciELO-CI pretendía en palabras de Thomson Reuters obtener una visión global más completa mediante el descubrimiento de nuevo conocimientos a partir de la investigación en América Latina, España, Portugal, el Caribe y Sudáfrica. Esta decisión forma parte de una estrategia más global como es la de abrir una puerta a la integración de bases de datos regionales de revistas científicas (SciELO Citation Index, Japanese Periodical Index, Russian Citation Index, Indian Citation Index) (Chavarro, 2013Chavarro, D. (2013). ¿Son los sistemas de indexación y resumen un indicador de la buena calidad editorial de las revistas académicas?. IX Congreso Iberoamericano de Indicadores de Ciencia y Tecnología (pp. 1-14). RICYT; Bogotá.).

Por otro lado, Thomson ha puesto en marcha otra vía para el ingreso a la base de datos que posibilita la entrada individual de revistas.

Emerging Source Citation Index. Las revistas en estado transitorio

Emerging Source Citation Index es la última incorporación (noviembre de 2015) en la familia de bases de datos que componen WoS. Realmente no es un producto nuevo, sino que es la puesta en valor de algo que ya existía, una base de datos donde se evaluaban las revistas que querían ingresar, al objeto de ser indexadas en los principales productos Science Citation Index, Social Sciences Citation Index y Arts & Humanities Citation Index. Este producto que antes era de uso interno de los analistas de WoS ahora se hace público, por lo que aumenta la fiabilidad y transparencia de la indexación en sus productos core, además de aumentar considerablemente la cobertura de la base de datos sin necesidad de justificar tan exhaustivamente la calidad de estas revistas.

ESCI no responde por tanto a criterios geográficos concretos, como sí sucede con SciELO-CI y otras bases de datos añadidas recientemente a WoS (Japanese Periodical Index, Russian Citation Index, Indian Citation Index), sino que en cierta manera las complementa, permitiendo la descripción cover to cover a cualquier revista a solicitud de ésta. Para ello la revista debe cumplir con unos criterios formales mínimos:

• Sistema de evaluación Peer Review.

• Adscripción a prácticas éticas.

• Interés temático y existencia de una audiencia clara.

• Revistas digitales.

• Revistas que utilicen sistemas de gestión de artículos compatibles (PDF/XMLS).

No obstante, otros indicadores como el impacto, la cobertura de la región o la temática son también tenidos en cuenta para al final ser incluidos. Los encargados de decidir qué revistas pasan a ser indexadas en ESCI son técnicos regionales, por lo que hay un factor subjetivo en las decisiones. Sin embargo, si el objetivo real es evaluar el impacto de las revistas para entrar en Web of Science, es lógico que al comienzo de la selección del grupo de análisis los elementos de evaluación sean algo más laxos y arbitrarios, siempre y cuando se tienda a la búsqueda de un número exhaustivo por incluir como es el caso. ESCI es una buena oportunidad para eliminar la baja cobertura que las bases de datos comerciales otorgan a América Latina y que ha sido denunciada públicamente (Alperin, 2014Alperin, J. P. (2014). South America: Citation databases omit local journals. Nature, 511 (7508), 155. JOUR. https://doi.org/10.1038/511155c.), así como a otras regiones sub-representadas y con una producción científica emergente.

En definitiva, ESCI es un producto que permite competir a WoS con Scopus con cierta ventaja “Thomson apuesta por un producto segmentado por calidades sin renunciar a ampliar la cobertura en múltiples direcciones, todo ello sin que repercuta negativamente en los valores de índices históricos (A&HCI, SSCI, SCI): la selección, el prestigio y la exclusividad” (Repiso y Torres-Salinas, 2016Repiso, R.; Torres-Salinas, D. (2016). Características e implicaciones de la base de datos Emerging Source Citation Index (Thomson Reuters): las revistas en estado transitorio. Anuario ThinkEPI, (10), 234-236. https://doi.org/10.3145/thinkepi.2016.46.).

Una vez que las revistas “crucen” una de estas dos puertas, sea ESCI, sea SciELO, sus datos estarán disponibles para el análisis en InCites, y aquellas que demuestren el impacto suficiente pasarán posteriormente a ser indexadas en las bases de datos de los Journal Citation Reports; sin embargo, de momento no se realizarán métricas de revistas sobre estos productos, aunque evidentemente la empresa procesa los datos para la evaluación interna primero y eventualmente para su publicación cuando así lo decida.

Las revistas Iberoamericanas de Educación como objeto de estudio

Las revistas de Educación son un objeto idóneo de estudio por varios motivos. En primer lugar, por su importancia y el significado que supone su estudio. En regiones emergentes, como lo es Iberoamérica, la Educación es motor de desarrollo y es por ello fundamental que la propia región desarrolle investigaciones sobre sus problemáticas particulares, a riesgo de aplicar soluciones externas a problemas internos. Otro aspecto clave es el tamaño de las poblaciones: Educación es una de las áreas con mayor producción científica en Ciencias Sociales, no es casual que la segunda categoría de ESCI con un mayor número de revistas sea «Education & Educational Research». Las carreras de Magisterio y Pedagogía suelen ser comunes a todas las universidades y por tanto cuentan con uno de los claustros universitarios de mayor volumen en Iberoamérica y teóricamente con un elevado número de investigadores, hecho que ha permitido la proliferación de revistas de este campo en toda Iberoamérica, por lo que nos encontramos con una suficiente masa crítica para ser analizada cuantitativamente.

Otro aspecto importante es que los estudios bibliométricos están muy asentados en el área de Educación, e Iberoamérica no es una excepción, tanto los aplicados a revistas, como a otro tipo de soportes documentales como congresos o tesis; lo que refleja una preocupación activa por los vehículos de difusión del conocimiento en el campo reconociendo su valor para el mismo. No obstante, sí hay que indicar que normalmente los estudios bibliométricos de revistas de Educación en Iberoamérica han estado aplicados a casos concretos: países como México (Díaz Barriga, 1991Díaz Barriga, A. (1991). Las revistas de educación en México, una aproximación analítica. Revista de La Educación Superior, 2 (78), 47-57.), Argentina (Palamidessi y Devetac, 2007Palamidessi, M.; Devetac, R. (2007). Las revistas académicas del campo de la Educación (Argentina, 1990-2002). Archivos de Ciencias de La Educación, 1 (1), 131-158.) o España (Bueno Sánchez, 2001Bueno Sánchez, Á. (2001). Evaluación de revistas científicas españolas del campo de la educación: el caso de la revista de investigación educativa "RIE" (1983-2000). Universidad de Granada; Granada.; García Sánchez y otros, 2005García Sánchez, J. N.; Rodríguez Pérez, C.; González Sánchez, L. (2005). Valoración de la difusión en doce revistas de educación en español: Análisis del factor de impacto y otros índices bibliométricos. Aula Abierta, 85, 3-44. http://dialnet.unirioja.es/servlet/articulo?codigo=2044856.; Ruiz-Corbella y otros, 2014Ruiz-Corbella, M.; Galán, A.; Diestro, A. (2014). Las revistas científicas de Educación en España: evolución y perspectivas de futuro . Relieve. Revista Electrónica de Investigación y Evaluación Educativa, 20 (2). http://doi.org/10.7203/relieve.20.2.4361.). En ningún caso parece que se ha estudiado el constructo educativo iberoamericano, pese a la cohesión interna y externa de sus comunidades científicas y a pesar de que en otras áreas afines como Psicología sí que se ha llevado a cabo (Zych y Buela-Casal, 2010Zych, I.; Buela-Casal, G. (2010). Internacionalidad de las revistas de psicología multidisciplinar editadas en Iberoamérica e incluidas en la Web of Science. Universitas Psychologica, 9 (1), 27-34.).

En este contexto, además, debemos recordar también que la base de datos ESCI ha sido incluida por CNEAI (Comisión Nacional Evaluadora de la Actividad Investigadora) en las convocatorias de sexenios del año 2016 (Ministerio de Educación Cultura y Deporte, 2016Ministerio de Educación Cultura y Deporte (2016). Resolución de 24 de noviembre de 2016, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios específicos aprobados para cada uno de los campos de evaluación. Boletín Oficial del Estado, núm. 286, de 26 de noviembre de 2016, pp. 82964-82983. Boletín Oficial del Estado; España.) como criterio de calidad y de igual manera, en los nuevos criterios de calidad de revistas en ANECA (Agencia Nacional de Evaluación de la Calidad y Acreditación) para titulares y catedráticos (ANECA, 2016ANECA (2016). Méritos para obtener calificación "A" en la evaluación de la actividad investigadora en solicitudes de acreditación para titular de universidad, a los efectos de lo previsto en el Art.13.2 del RD 1312/2007, modificado por el RD 415/2015. Madrid.), también se ha incluido este producto. De hecho, ANECA equipara el valor de las revistas ESCI con el de las revistas Scopus de tercer cuartil. Si a esto le añadimos que tanto CNEAI como ANECA han empezado a eliminar de sus criterios productos tradiciones como ERIH, DICE, la familia IN-RECS y Latindex, tenemos un panorama en el que esta base de datos secundaria de Web of Science está tomando un gran valor y apenas existen estudios sobre ella.

2. OBJETIVOS Top

El objetivo general de este trabajo es caracterizar las revistas iberoamericanas de Educación indexadas en las nuevas bases de datos de Web of Science, más concretamente en SciELO-CI y ESCI. El análisis se centra en dos aspectos fundamentales; la representatividad y visibilidad de las revistas y los aspectos editoriales y productivos. El presente estudio pretende responder a las preguntas: ¿qué representación ofrecen las revistas de Educación de SciELO-CI y ESCI sobre la región? ¿Qué presencia tiene este conjunto en bases de datos científicas? Y ¿Cómo son y en qué se diferencian formalmente entre sí, y en relación a las revistas referentes del área, las revistas de Educación indexadas en los Journal Citation Reports?

3. MATERIAL Y MÉTODOS Top

El presente trabajo es un análisis bibliométrico de las revistas iberoamericanas de Educación indexadas en las bases de datos de WoS, SciELO-CI y ESCI. Entendiéndose “iberoamericanos” por aquellos países que integran la Península Ibérica, así como aquellos países americanos que fueron colonizados por éstos y tienen el castellano o el portugués como idiomas oficiales. Más específicamente, se estudian las revistas iberoamericanas indexadas en las categorías «Education & Education and Research», «Education, Scientific Disciplines» y «Special Education» de ambas bases de datos, en total 124 revistas (año 2016). Hay que indicar que no todas las revistas de la base de datos SciELO están indexadas en SciELO-CI, por lo que este estudio se limita a las revistas presentes en la base de datos Web of Science.

3.1. Muestra

Para la identificación de las revistas de Educación de ESCI se recurrió al master list de WoS (noviembre de 2016), identificándose 94 revistas. Ante la ausencia de un listado oficial de revistas de SciELO-CI, la caracterización de sus revistas de Educación se realizó mediante una búsqueda de todos los artículos publicados en los años 2015 y 2016 en SciELO-CI en las categorías de Educación anteriormente descritas, identificándose un total de 32 revistas.

3.2. Procedimiento

Se han analizado los aspectos recogidos en la tabla I: representatividad, visibilidad, distribución por países, tipología institucional, periodicidad, antigüedad y producción.

Tabla I. Elementos analizados en las revistas de Educación Iberoamericanas de SciELO y ESCI [Descargar tamaño completo]

4. RESULTADOS Top

La presencia de revistas de Educación iberoamericanas en bases de datos de revistas plantea un nuevo panorama con la inclusión de SciELO-CI y ESCI. En la actualidad, y debido a su exhaustividad es Latindex, que incluye todo tipo de revistas, el producto que mayor número de revistas de Educación iberoamericanas incluye con 1138 revistas; no obstante, este producto no indexa los artículos. Si nos centramos en las bases de datos que dan información sobre contenidos en el conjunto de productos estudiados (Figura 1), se aprecia cómo es Google Scholar la base de datos que mayor número de revistas incluye, seguida de SciELO-CI y ESCI que aportan a WoS 125 revistas, llegando prácticamente a duplicar a su rival Scopus. Redalyc indexa 99 revistas de Educación iberoamericanas, un 10% del total de sus revistas. En definitiva, podemos decir que, en la actualidad, WoS analiza 133 revistas científicas de Educación (sumando todos sus productos, hay una revista duplicada “Avalaiçao” que se encuentra en SSCI y SciELO-CI), mientras que su rival Scopus algo menos de la mitad.

Figura 1. Presencia de revistas iberoamericanas de Educación en bases de datos científicas [Descargar tamaño completo]

Analizando la presencia de las revistas del conjunto SciELO-CI+ESCI en bases de datos de referencia (Figura 2) encontramos que Latindex es la que mayor cobertura brinda, tanto para las revistas ESCI como las SciELO; Le sigue Ulrichs rozando el 80%. La presencia en GSM muestra una pauta diferenciada, ya que las revistas indexadas en SciELO-CI sí se encuentran bien representadas (93,8%), mientras que sólo el 51,1% de las revistas indexadas en ESCI están presentes en esta base datos. Dialnet registra una representación del conjunto reducida e irregular, las revistas de SciELO-CI, mayoritariamente latinoamericanas se encuentran en una proporción baja mientras que la presencia revistas de ESCI, donde las revistas españolas encabezan el listado, es algo superior. Lo inverso sucede con Redalyc y Scopus, que son las bases de datos con peor representación del conjunto, es decir, mayor presencia de SciELO-CI, en estas bases de datos, que de revistas ESCI.

Figura 2. Presencia de las revistas iberoamericanas de Educación de Emerging Source Citation Index y SciELO Citation Index en otras bases de datos de revistas [Descargar tamaño completo]

La distribución comparada por países de las revistas indexadas en SciELO-CI y ESCI (Figura 3) muestra como ESCI presenta una cobertura más exhaustiva por países. SciELO-CI, aun representando un menor número de revistas y países, presenta, sin embargo, mayor cobertura para Brasil y México. Esta desigualdad es especialmente significativa en el caso de España, donde sólo se registra una revista indexada en SciELO-CI mientras que ESCI incluye 44 revistas españolas. Asimismo, países como Argentina, Venezuela, Costa Rica y Perú solamente aparecen indexadas en ESCI.

Figura 3. Distribución por países de revistas iberoamericanas de Educación en Emerging Source Citation Index y SciELO Citation Index (2015) [Descargar tamaño completo]

Un aspecto en el que prácticamente coinciden las revistas de SciELO-CI y ESCI es la naturaleza de sus editores (Figura 4). La mayor parte de las revistas de investigación en Educación iberoamericanas provienen de instituciones educativas, mayoritariamente son editadas por universidades. En cambio, son minoría las instituciones de investigación. Hay que destacar la ausencia de revistas de Educación editadas por instituciones privadas indexadas en SciELO-CI.

Figura 4. Naturaleza de los editores de revistas de Educación Iberoamericanas en Emerging Source Citation Index y SciELO Citation Index [Descargar tamaño completo]

Otro aspecto indicativo y característico de las revistas iberoamericanas es su periodicidad. Si estudiamos este aspecto de las revistas de Educación iberoamericanas en las bases de datos de WoS y lo comparamos con las de la categoría «Education and Educational Research» (Social Sciences Citation Index) (Tabla II), comprobamos grandes diferencias con el grupo de revistas élite que se resume en una frase: las revistas iberoamericanas tienen periodicidades mucho más bajas. La periodicidad más común en el grupo de revistas ESCI es semestral, mientras que en el grupo de revistas de SciELO-CI es cuatrimestral. Por otra parte, también destaca el alto número de revistas anuales en ESCI, cuando no existen en SciELO-CI y sólo una de las revistas estudiadas de Social Sciences Citation Index presenta esta periodicidad. Hay que reseñar especialmente que las revistas de SciELO-CI y ESCI no presentan periodicidades superiores a la trimestral como sí sucede en las revistas de Educación de Social Sciences Citation Index. En general, podemos afirmar que las revistas que menos ejemplares publican al año son las de ESCI, mientras que las revistas de Social Sciences Citation Index son aquéllas que tienen frecuencias de publicación más altas.

Tabla II. Periodicidad de las revistas iberoamericanas de Educación en Emerging Source Citation Index y SciELO Citation Index en comparación con las revistas de la categoría «Education & Educational Research» de Social Sciences Citation Index [Descargar tamaño completo]

Otro aspecto que permite perfilar las diferencias de los grupos de revistas de Educación en las diferentes bases de datos de WoS es la antigüedad de las revistas (Figura 5). Claramente las revistas élite (Social Sciences Citation Index) son también las revistas con mayor antigüedad, con una media de 38 años. En cambio, la media de edad en las revistas de SciELO-CI es de 22 años y en las revistas ESCI de 12 años. La base de datos ESCI es la que indexa revistas más jóvenes, incluso con tan sólo un año de antigüedad (5 revistas).

Figura 5. Antigüedad de las revistas de Educación iberoamericanas de SciELO Citation Index y Emerging Source Citation Index en comparación con las revistas de Educación de Social Sciences Citation Index [Descargar tamaño completo]

Si analizamos a los diferentes conjuntos por su producción medida en el número de artículos publicados en 2015 (Figura 6), detectamos, al igual que sucede con la antigüedad de las revistas, una diferencia fundamental: las revistas de la categoría «Education & Educational Research» de WoS son las que publican más artículos en contraposición con las revistas de ESCI; en una posición intermedia se encuentran las revistas de SciELO-CI. Hay que indicar que una revista de ESCI publicó más de 120 artículos, debido a que ese año editó tres números extraordinarios (actas de congresos), por lo que este elevado número no es significativo. Otro aspecto importante a destacar es que, en ESCI, la mediana queda por debajo de los 20 artículos, lo que explica la baja presencia de estas revistas en GSM (esta base de datos sólo indexa revistas que en los últimos cinco años tengan 100 artículos publicados). En general se aprecia una relación entre la antigüedad y la producción (Figuras 5 y 6), las revistas con mayor recorrido suelen publicar más artículos y más frecuentemente.

Figura 6. Producción de artículos por parte de las revistas de Educación de Social Sciences Citation Index y las revistas de Educación iberoamericanas de SciELO Citation Index y Emerging Source Citation Index (2015) [Descargar tamaño completo]

5. CONCLUSIONES Top

Con la incorporación de las bases de datos SciELO-CI y ESCI, WoS se sitúa frente a Scopus como un producto científico más completo para cubrir las revistas de Educación iberoamericanas (Repiso y Torres-Salinas, 2016Repiso, R.; Torres-Salinas, D. (2016). Características e implicaciones de la base de datos Emerging Source Citation Index (Thomson Reuters): las revistas en estado transitorio. Anuario ThinkEPI, (10), 234-236. https://doi.org/10.3145/thinkepi.2016.46.), ofrece casi el doble de revistas que Scopus. La única ventaja que actualmente conserva Scopus es que, de momento, las revistas indexadas en SciELO-CI y ESCI no generan métricas, por lo que no se puede realizar una aproximación al impacto de sus revistas, a diferencia de Scopus que sí calcula sus indicadores (SJR, IPP y SNIP) a todas las revistas indexadas, lo que permite estudiarlas de forma contextualizada y por categorías en el Scimago Journals Ranks.

GSM, pese a registrar un mayor número de revistas de Educación que WoS y Scopus, se muestra ineficiente en las revistas iberoamericanas debido a la incapacidad que tiene de registrar un buen número de éstas por las limitaciones técnicas de la propia base de datos: un significativo volumen de revistas iberoamericanas de Educación no llega a producir 100 artículos en los últimos 5 años, debido a dos factores: baja producción y baja periodicidad (anuales semestrales) y juventud de las revistas, muchas revistas no alcanzan aún una antigüedad de 5 años, por lo que no poseen el número mínimo de artículos publicados que exige GSM para proceder a la indización. Dicho de otra forma, las restricciones formales de GSM excluyen a una importante población del ámbito iberoamericano.

Estudiando el solapamiento de las revistas de Educación iberoamericanas de las bases de datos SciELO-CI y ESCI con Scopus, se constata que éste es bajo en contra lo que cabría esperar. De las 114 revistas indexadas en estos productos, sólo 20 de ellas se encuentran en Scopus, lo que demuestra que los criterios de inclusión de revistas de ambos productos difieren. En cambio, todas las revistas de Educación iberoamericanas indexadas en Social Sciences Citation Index se encuentran en Scopus. Es decir, la inclusión de una revista en Scopus parece haber estado muy influida por su presencia anterior en WoS, pero no al revés.

Los criterios de selección e inclusión de ESCI, SciELO-CI y Scopus no parecen ser del todo claros, lo que genera un alto grado de incertidumbre sobre la calidad atribuida a las revistas de estos conjuntos. También cabe hacer una predicción a la vista de los datos: cabría esperar que las revistas indexadas en el último producto de WoS, ESCI, tengan facilidades para entrar en Scopus.

SciELO Citation Index a pesar de su origen se muestra como un producto con una representatividad sobre Iberoamérica pobre y sesgada. Sólo cubre revistas de educación de 9 países de los 12 posibles. Sólo aparece una revista española y ésta es realmente del área de Ciencias de la Salud. Existe un sesgo evidente hacia las revistas brasileñas que representan casi la mitad del conjunto de revistas de Educación de SciELO-CI (46%). Este sesgo se explica porque el origen de la base de datos es Brasil, hecho que revela una representatividad deficiente del producto frente al resto de países que pretende también representar. SciELO-CI se muestra por tanto como un producto poco útil para Iberoamérica desde este punto de vista y dentro de WoS debe ser completado con otras bases de datos como ESCI o las prioritarias Social Sciences Citation Index y Science Citation Index, donde por cierto, España tiene una representatividad muy superior al resto de países iberoamericanos.

WoS indiza más revistas de Educación iberoamericanas que su rival Scopus, sin embargo, de poco le servirá si estos datos no son utilizados para generar indicadores bibliométricos. A los países iberoamericanos les interesa especialmente que los productos para evaluar revistas y regiones incluyan sus revistas más destacadas. “La evaluación e indexación de las revistas vernáculas” [en este caso la mayoría de las revistas estudiadas lo son] “tiene su eco en los rankings de universidades internacionales” (Ishikawa, 2014Ishikawa, M. (2014). Ranking Regime and the Future of Vernacular Scholarship Mayumi Ishikawa Osaka University Japan Citation. Education Policy Analysis Archive, 22 (30), 1-22.), donde claramente predominan las universidades anglosajonas con honrosas excepciones. Como ejemplo, las agencias de evaluación científicas españolas (CNEAI y ANECA) valoran la presencia de una revista en los Journal Citation Reports de WoS como el principal mérito para juzgar la calidad de un artículo (junto a las citas), y la presencia en otras bases de datos como Scopus o como mérito secundario que podría ser equiparable (Ministerio de Educación Cultura y Deporte, 2016Ministerio de Educación Cultura y Deporte (2016). Resolución de 24 de noviembre de 2016, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios específicos aprobados para cada uno de los campos de evaluación. Boletín Oficial del Estado, núm. 286, de 26 de noviembre de 2016, pp. 82964-82983. Boletín Oficial del Estado; España.). Para los sistemas evaluativos, es fundamental la existencia de estudios sobre las características, criterios y calidad de los sistemas de indexación de revistas. Las propias asociaciones científicas exigen a los organismos de evaluación valoraciones públicas y claras sobre las bases de datos de indexación de revistas (Galán, 2014Galán, A. (2014). Evaluación de la producción científica en educación. ¿Una nueva crisis?. Bordón. Revista de Pedagogía, 66 (2). http://doi.org/10.13042/Bordon.2014.66200.). Aunque este año ANECA y CNEAI se han pronunciado sobre el valor de ESCI (ANECA, 2016ANECA (2016). Méritos para obtener calificación "A" en la evaluación de la actividad investigadora en solicitudes de acreditación para titular de universidad, a los efectos de lo previsto en el Art.13.2 del RD 1312/2007, modificado por el RD 415/2015. Madrid.; Ministerio de Educación Cultura y Deporte, 2016Ministerio de Educación Cultura y Deporte (2016). Resolución de 24 de noviembre de 2016, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios específicos aprobados para cada uno de los campos de evaluación. Boletín Oficial del Estado, núm. 286, de 26 de noviembre de 2016, pp. 82964-82983. Boletín Oficial del Estado; España.), sin embargo obvian el valor SciELO-CI, cuando es otro camino alternativo para las revistas latinoamericanas para ser incluidas en los Journal Citation Reports.

Thomson Reuters realiza una afirmación parcial que no se ajusta totalmente a la realidad al indicar que con la indexación de SciELO-CI se mejoraría la representación de revistas en su área (Iberoamérica, El Caribe o Sudáfrica), sobre todo porque, por las razones comentadas anteriormente relativas a quienes son los responsables de la colección en España, automáticamente quedan descartadas las revistas españolas de áreas ajenas a Ciencias de la Salud. Por ejemplo, en el área de Ciencias Sociales, las revistas españolas tradicionalmente han sido referentes en Iberoamérica, demostrando tener un mayor impacto en la comunidad, sólo hay que ver el número de revistas JCR de Educación españolas. SciELO-CI pierde, por tanto, utilidad como producto al limitar el acceso sólo a las revistas españolas de biomedicina, obviando el resto de áreas en las que España también destaca, hecho que no sucede en ningún otro país del mundo SciELO.

Con estos resultados, si SciELO-CI aspira a ser un producto de la región latinoamericana, tal y como preconiza Thomson Reuters e incluso llegar a ser una referencia válida para las agencias de evaluación como reclaman sus creadores (Packer, 2014Packer, A. L. (2014). SciELO Citation Index en el Web of Science. SciELO en Perspectiva. http://blog.scielo.org/es/2014/02/28/scielo-citation-index-en-el-web-of-science/#.VM3vF2iG_MI.), se deben buscar fórmulas para incluir a las revistas de primer orden latinoamericanas, sin importar su procedencia y crear procesos de inclusión igualitarios para las revistas de segundo orden. La creación de un producto latinoamericano debe responder a perspectivas globales, las políticas de admisión, descentralizadas y coordinadas nacionalmente, se muestran poco eficientes en este tipo de proyectos y derivan en resultados desiguales y arbitrarios, como son la sobre-representación de Brasil, la infra-representación de España y la omisión de revistas locales no vinculadas al proyecto SciELO que serían merecedoras de su incorporación.

Las revistas iberoamericanas con mayor reconocimiento son producidas mayoritariamente en el contexto de instituciones educativas, hecho ya observado por otros estudios (Delgado, 2014Delgado, J. E. (2014). Revistas Científicas de Universidades de Chile, Colombia y Venezuela: Actores y Roles. Education Policy Analysis Archives, 22 (34), 1-22.; Fischman y otros, 2011Fischman, G. E.; Alperin, J. P.; Willinsky, J. (2011). Visibility and Quality in Spanish- Language Latin American Scholarly Publishing. Information Technologies and International Development, 6 (4), 1-21.), que demuestra que el modelo de edición científica iberoamericano dista mucho de parecerse al anglosajón, y explica en parte la ausencia y mala adaptación de estas revistas a productos que están hechos en origen para revistas anglosajonas. El problema de la investigación Iberoamérica considerada en la periferia científica (Jiménez-Contreras, 1992Jiménez-Contreras, E. (1992). Las revistas científicas: el centro y la periferia. Revista Española de Documentación Científica, 15 (2), 174-182. Recuperado de http://eprints.rclis.org/13025/1/Jimenez-Contreras,_E_Las_revistas_cientificas_el_centro_y_la_periferia.pdf.) no sólo depende de las características de sus investigadores sino que engloba a todo el sistema productivo incluyendo los sistemas propios de divulgación científica, revistas y editoriales.

La periodicidad se puede entender desde el punto de vista de la profesionalización de la comunicación científica. Las revistas de Educación de Social Sciences Citation Index pertenecen en un gran número a editoriales científicas profesionales y consolidadas, a diferencia de las revistas de SciELO-CI y ESCI de Educación que pertenecen mayoritariamente a centros educativos, es decir, están inmersas en un sistema muy diferente donde la prioridad no es la edición científica. Esta falta de compromiso por parte de las editoriales nos lleva a tener sistemas de edición científica que en la mayoría de los casos son muy dependientes de los editores, por lo que tienen energías contadas, se muestran incapaces de llevar a cabo procesos rápidos y en masa, dando lugar a revistas con periodicidades bajas y con una producción de artículos inferior al resto. En definitiva, las revistas iberoamericanas deben profesionalizar sus procesos para tratar de igualarse a los de las revistas referentes del área, que son atendidas por editoriales científicas, internacionales en su mayoría.

Otro aspecto muy interesante es la antigüedad de las revistas. Mientras que las revistas de referencia tienen un gran recorrido, y son famosas en muchos casos por haber sido durante mucho tiempo las únicas del área, las revistas iberoamericanas de Educación son relativamente jóvenes. Las revistas de SciELO-CI pertenecen al conjunto de revistas que aparecieron en los años noventa, y que, pocos años después de nacer, tuvieron que hacer la migración al formato digital, mientras que las revistas ESCI en su gran mayoría son nativas digitales, creadas en el nuevo milenio, incluso hay cinco revistas de Educación que, con tan sólo un año de edad, han sido indexadas, lo que deja bien claro que los procesos de selección de Thomson Reuters han sido especialmente “inclusivos”, pues una revista con un año apenas cuenta con información que permita que sea evaluada en profundidad.

La producción de artículos es otro aspecto fundamental y diferenciador entre las revistas científicas consolidadas y las emergentes. Las revistas de las bases de datos Science Citation Index publican 43 artículos en promedio por año, frente a los 35 de las revistas de SciELO-CI y los 24 de las revistas ESCI. Las revistas consolidadas publican más artículos por dos razones: porque reciben más manuscritos y porque tienen capacidad para evaluar y editar una mayor cantidad de documentos. En cambio, las revistas emergentes tienen unos recursos y un prestigio mucho más limitados.

6. RECOMENDACIONES FINALES Top

Aprovechamos estas líneas finales para realizar un llamamiento a las autoridades científicas iberoamericanas (España incluida) que deben comprender que la creación, gestión y mejora de las revistas científicas es un esfuerzo científico, social e institucional (Díaz y otros, 2001Díaz, M.; Asensio, B.; Llorente, G. A.; Moreno, E.; Montori, A.; Palomares, F.; Tellería, J. L. (2001). El futuro de las revistas científicas españolas: un esfuerzo científico, social e institucional. Revista Española de Documentacion Cientifica, 24 (3), 306-314. http://doi.org/10.3989/redc.2001.v24.i3.61.) que repercute sin duda en los autores que publican en ellas y en las comunidades a quienes sirven; por tanto, las revistas deben ser un elemento prioritario en las estrategias encaminadas a aumentar la cantidad y calidad de la investigación en los diferentes países. Las buenas revistas mejoran la marca de las universidades que las editan y el prestigio de la investigación nacional. Hasta la fecha, la mayor parte de los esfuerzos en Iberoamérica son sostenidos por el personal que compone el equipo editorial (Delgado, 2014Delgado, J. E. (2014). Revistas Científicas de Universidades de Chile, Colombia y Venezuela: Actores y Roles. Education Policy Analysis Archives, 22 (34), 1-22.), de esta forma, las revistas iberoamericanas son comparadas y compiten con revistas que pertenecen a editoriales científicas consolidadas, a universidades como Cambridge, Chicago u Oxford, donde la edición científica es un objetivo primordial, o a asociaciones científicas internacionales que no escatiman recursos para la creación y edición de revistas. El incremento de la presencia de revistas iberoamericanas en WoS es una oportunidad para la investigación iberoamericana que debe ser respaldada por las autoridades políticas, porque si no, se corre el riesgo de que, como sucede hasta ahora, nuestros mejores artículos acaben publicados en revistas anglosajonas y nuestros investigadores viren sus temáticas hacia la investigación y desarrollo de otras regiones menos necesitadas que la propia.

7. REFERENCIASTop