La práctica habitual en la evaluación de la investigación en las áreas de Ciencias y Ciencias Sociales es el análisis cuantitativo a través de los artículos producidos y de las citas que reciben estos. Sin embargo, en Humanidades no hay consenso respecto a esta metodología. Más aún, este sistema de evaluación es una práctica poco habitual y, con frecuencia, denostada. Esta situación ha generado grandes diferencias en las políticas evaluativas entre las Humanidades y el resto de áreas. Incluso existe un hermetismo preocupante acerca de la repercusión de los trabajos de investigación y sus medios de comunicación científica. No obstante, la valoración de resultados (publicaciones) es ineludible en el mundo académico actual. Por eso, cuando no hay procesos evaluativos objetivos, transparentes y replicables se ha de recurrir a otros alternativos. Uno de ellos es el prestigio; otro, la presencia (o no) de las publicaciones resultantes en bases de datos como Web of Science (WoS). En este caso, además, sin que se diferencie entre la calidad y singularidad de sus tipos (revistas, editoriales y colecciones de libros).

La necesidad ha impulsado iniciativas para resolver esta situación. La más interesante la llevó a cabo el Institute for Scientific Information (ISI) al crear la base de datos Arts & Humanities Citation Index (A&HCI), que junto al Science Citation Index (SCI) y el Social Sciences Citation Index (SSCI) abordaron la indexación de la élite de revistas científicas en sus respectivas áreas. La gran aportación de Eugene Garfield “fue crear un método científico que permitiese cuantificar la repercusión de los artículos publicados en una revista científica (y por tanto a la propia revista)” (Repiso y otros, 2017).

El mismo Garfield (1977), un año antes de la publicación del primer índice A&HCI, justificaba las limitaciones del producto, aunque las suponía superables en un cierto plazo de tiempo: “But in the arts and humanities the advantages over traditional indexing methods are possibly more significant than in the sciences due to the vagueness of many titles and the kinds of abstract concepts involved” (Garfield, 1977). Con todo, el proyecto aspiraba a resolver el problema de la evaluación en el campo de las artes y las humanidades. Sin embargo, en la actualidad, persisten dificultades ya superadas hace décadas en Ciencias y Ciencias Sociales. La debilidad esencial del índice A&HCI es doble. De una parte, la opacidad casi absoluta en los criterios de selección de las revistas indexadas. Por otra, el principio de falsa homogeneidad que se aplica, ya que todas las publicaciones incluidas en el índice se consideran de igual calidad en la práctica.

Las revistas recogidas en A&HCI llegaron a casi un millar en su primer año (Garfield, 1979a). Desde el principio se detectaron problemas que cuestionaban la fiabilidad de los resultados. Por ejemplo, en la misma génesis del proyecto no hubo criterios claros en la selección de publicaciones. Este aspecto es crítico porque el proceso selectivo imponía unas determinaciones que afectaban a los resultados. Precisamente una recriminación habitual a A&HCI es su sesgo geográfico e idiomático. El problema es real y ya preocupó desde sus orígenes (Garfield, 1979b). De hecho, las Humanidades se diferenciaron así de los otros índices del ISI y quedaron fuera del Journal Citation Reports (JCR). En fin, aunque Garfield (1982a) veía ventajas en la aplicación de métricas cuantitativas en Arts & Humanities Citation Index, no se ha llegado a realizar hasta la fecha.

Garfield se encontró además con un problema estadístico básico: no consiguió la masa crítica de citas necesaria para que los resultados fueran consistentes. Esta limitación se explicaba por las características propias de las publicaciones del área de Humanidades. Por ejemplo: predominio de citas de libros (en algunos casos los mismos con diferentes ediciones); citas implícitas; referencias a obras no publicadas (pintura, composiciones musicales, representaciones escénicas, películas...) (Garfield, 1982b); tendencias temáticas en la investigación muy dispersas (lo que hace que las obras tarden años en citarse) y un promedio de citas menor que en las áreas de Ciencias y Ciencias Sociales.

A pesar de todos estos problemas Elsevier, con su base de datos Scopus (un producto homólogo de WoS), comenzó en 2004 a calcular métricas para las revistas de Humanidades. Estableció además criterios para jerarquizar la importancia y utilidad de sus publicaciones, aunque la especificidad de estos impide una comparación automática entre las dos bases de datos en el área de Artes y Humanidades. En consecuencia, se puso de manifiesto que no todas las revistas eran ni valían lo mismo y que, de hecho, entre ellas existen diferencias significativas. Otra iniciativa muy importante surgió en 2012: Google Scholar empezó a evaluar revistas mediante Google Scholar Metrics, aunque el producto no discrimina áreas y utiliza el índice H5 como criterio clasificatorio (Delgado y Repiso, 2013).

El número de revistas académicas en todas las áreas de conocimiento ha sufrido un crecimiento tal que WoS y Scopus han tenido que incrementar las que indexan para que la muestra resultara significativa. A pesar de ello muchas quedan siempre fuera, corriéndose el riesgo de excluir títulos relevantes. Para paliar este problema, en 2015, WoS creó una nueva base de datos, el Emerging Sources Citation Index (ESCI). Las revistas incluidas en esta base de datos son candidatas para alcanzar los índices de la core collection1. A las publicaciones incluidas se les exige revisión por pares de los artículos, ajustarse a una guía ética, reunir ciertos requisitos técnicos para ser analizadas por Clarivate Analytics, tener información bibliográfica en inglés y ser demandadas en la comunidad académica de WoS. Al igual que a las de A&HCI, no se les calcula el Factor de Impacto, aunque sus citas sí se tienen en cuenta para la elaboración del JCR.

Las revistas incluidas en A&HCI están clasificadas en 28 categorías. Este trabajo se centra únicamente en la de “Film, Radio & Television”, que se creó en 1974 con 17 revistas, aunque en la actualidad cuenta con 31. La misma categoría en ESCI incluye otras 33 publicaciones. El resultado es que WoS casi ha cuadruplicado las revistas de esta categoría desde su creación. La categoría tiene además un interés adicional en este caso: su proximidad temática a la de Comunicación y un cierto carácter mixto (Humanidades y Ciencias Sociales). Es además una categoría que está fuertemente vinculada con las tecnologías informativas, siempre en constante cambio (el cine, la radio, la televisión), por lo que se le presupone una obsolescencia mayor que el promedio de Humanidades, lo que justifica en parte el uso adecuado de criterios de valoración de las revistas ISI, especialmente el índice de impacto.

Se pretende aplicar a las revistas incluidas en WoS (tanto las de A&HCI como las de ESCI) correspondientes a la categoría “Film, Radio & Television” y para el año 2017 un análisis bibliométrico que permita, como objetivo principal, obtener el factor de impacto de cada una de ellas. Se tendrán en cuenta, además, otras variables para describir este corpus, como la periodicidad, la nacionalidad de las publicaciones y centros de origen de los autores, o la red de citaciones entre las revistas. Los rasgos sobre los que se focalizará la atención serán las desviaciones que puedan suponer un estancamiento en la actualización de los listados y la presunta predilección hacia las revistas del ámbito anglosajón.

Este trabajo emula el Factor de Impacto para las revistas de la categoría “Film, Radio & Television” de Web of Science (tanto para A&HCI como ESCI) siguiendo lo efectuado por Repiso (2019). Pero primero, se realiza un estudio comparativo del Factor de Impacto A&HCI en “Film, Radio & Television” utilizando tres ventanas diferentes de citación (dos, tres y cinco años) para comprobar la validez del uso del tradicional Factor de Impacto (dos años) y así poder comparar las categorías de A&HCI y ESCI. El atender la categoría señalada tanto en A&HCI como en ESCI permitirá efectuar a su vez un análisis comparativo entre ambas. Al corpus resultante se ha añadido la revista Fotocinema, que aparece incluida en WoS en la categoría “Humanities, Multidisciplinary” cuando claramente es una revista sobre cine. El total de revistas analizadas es de 64 (31 indexadas en A&HCI y 33 en ESCI).

Además del Factor de Impacto, se analiza también la nacionalidad de las revistas, lengua de publicación, periodicidad y tipologías de los documentos que se publican en ambas categorías. Para la visualización de los datos se ha usado Tableau (Murray y Chabot, 2013).

Además de estas características, se han investigado las nacionalidades de las publicaciones. Estas, a su vez, se han puesto en relación con las de los autores (se ha asumido como tales los países a los que pertenecen los centros de investigación de los académicos). Para una mejor visualización de los resultados, se ha procedido a su representación gráfica mediante un diagrama de Sankey (Bogart, 2017), lo que ayuda a desentrañar la complejidad de las redes generadas en torno a estas variables.

Otro aspecto interesante para entender el comportamiento de las revistas de la categoría “Film, Radio & Television” de WoS ha sido el profundizar en la red de citaciones entre las publicaciones, para dilucidar si existe una citación real entre ellas y demostrar si forman realmente un núcleo sólido en esta área.

Y, por último, se ha realizado un ranking siguiendo el Factor de Impacto de las publicaciones. Además, se han agrupado en cuartiles. Para distinguir el origen de las revistas se ha sombreado en amarillo las pertenecientes a A&HCI y en gris las de ESCI. La relevancia de esta herramienta reside en la utilidad que ofrece a los miles de investigadores que publican en revistas de esta área, así como a sus editores y responsables de políticas científicas ya que les ofrece información válida sobre la importancia de las publicaciones de su campo de trabajo que será muy útil en la toma de decisiones. Además, gracias al ranking, se pone en relación las revistas del área de ESCI con las de A&HCI, lo que permite conocer mejor cuáles del primer grupo están en disposición de pertenecer al segundo atendiendo a su comportamiento bibliométrico. Pretendemos pues, mediante este ranking, ofrecer información veraz sobre la relevancia de las publicaciones de la categoría “Film, Radio & Television” ante la falta de transparencia de Clarivate Analytics tanto en los criterios de selección de las revistas como en el comportamiento de las mismas. Ver tabla I.

Un aspecto que debe destacarse es que muchos de los trabajos estudiados no presentan la nacionalidad de los centros productores. Las revistas italianas, francesas, australianas y croatas son las que más veces omiten este dato en WoS (Tabla II).

El primer aspecto que resalta del análisis de la categoría “Film, Radio & Television” es la nacionalidad de las revistas. Tres cuartas partes del total (74,6%) corresponden al Reino Unido y Estados Unidos, lo que indica un profundo sesgo geográfico e idiomático, aunque sin llegar a los límites del Book Citation Index, donde el 96% de los registros son en inglés (Torres-Salinas y otros, 2014). Del resto, 4 publicaciones más son también del ámbito anglosajón (Canadá con 3 y Australia con 1). El segundo grupo está conformado por revistas europeas. España, con 4 publicaciones, es la tercera nacionalidad más representada en WoS. El resto son Francia (2 revistas) y Croacia, Italia y Polonia (una por cada país). Respecto al resto de áreas geográficas solo encontramos a Argentina (con 2 publicaciones) y a India (con 1 revista), lo que apunta a un claro sesgo etnocéntrico en la selección de las publicaciones incluidas en WoS.

Tras analizar la periodicidad de las revistas (Figura 1), podemos observar cómo el listado de las revistas de A&HCI tienden a una mayor frecuencia de publicación (mediana trimestral, frente las de ESCI, con mediana Semestral).

También se aprecian diferencias entre ambas bases de datos (Figura 2) en función del tipo de trabajo predominante en cada una (años 2015 y 2016). A&HCI destaca por un elevado número de trabajos. La explicación de esta superioridad es sencilla: como la frecuencia en la publicación es mayor en ésta (y además incluye dos revistas más), también la cantidad de trabajos publicados es mayor (7.544 frente a 1.670). Otro aspecto de desigualdad destacado es la proporción que dentro de cada uno de los grupos (A&HCI y ESCI) supone cada tipo de texto. Lo primero es la propia diversidad tipológica: 17 categorías frente a 12. Si todas las revistas pertenecen a la misma categoría (“Film, Radio & Television”), los tipos de documentos deberían ser muy similares (aunque variara la proporción). Las categorías de textos del grupo A&HCI que no están presentes en los de ESCI son: Letter, Theater Review, Bibliography, Proceedings papers, Music performances Review y Record Review. Son mayoritariamente (excepto Letter) textos característicos del ámbito de las artes o vinculados a lo performativo: tienen menos vinculación con la radio y televisión como medios de comunicación. Pueden relacionarse también con enfoques más clásicos en los estudios sobre todo de cine. De hecho las tres primeras revistas de ESCI por índice de impacto se dedican a televisión y entre las de A&HCI en el mismo cuartil sólo encontramos dos, una de ellas dedicada a la historia en general de la radio, cine y televisión.

Dentro de esta diversidad es interesante la importancia de las film reviews en la categoría “Film, Radio & Television” de WoS: constituyen un 27,4% de los documentos indexados frente al 32,2% de los artículos, siguiendo la tendencia de otras categorías de A&HCI como puede ser “Dance” (Ho y Ho, 2015). Más interesante aún son estas diferencias si se atiende a cada base de datos. Las críticas de películas ocupan un primer puesto muy destacado en las publicaciones de A&HCI, mientras que en las de ESCI se sitúan en el cuarto lugar. En cambio, en las de ESCI la primera posición corresponde a los artículos. Les siguen las reseñas de libros y los editoriales.

La nacionalidad de las publicaciones ha sido otro de los aspectos que ha devuelto resultados muy reveladores en torno al comportamiento bibliométrico de estas bases de datos. El análisis (Figura 3) muestra una dependencia notable entre la nacionalidad de la publicación y la de los centros de los investigadores que publican en ella. Es palpable en el caso de Estados Unidos: más de la mitad de los autores publica en sus propias revistas y la otra parte mayoritaria lo hace en las británicas. Es palpable, pues, que la potencia estadounidense en la generación de resultados de investigación supera ampliamente las posibilidades de difusión de sus propias ventanas. Recíprocamente, podría decirse que las revistas del Reino Unido son las de mayor amplitud internacional si se atiende a la nacionalidad de los autores que publican en ellas. La menor apertura internacional se observa en las revistas españolas y argentinas. En ambas, la mayoría de los trabajos pertenecen a autores pertenecientes a centros de sendos países.

Esta dependencia generalizada invita a pensar en una falta de internacionalización en las publicaciones, sólo mitigada en el caso de las revistas anglosajonas, cuya publicación en inglés -así como otras lenguas romances- favorece el que participen autores de diversas partes del mundo, contribuyendo a la diversificación geográfica. Es, asimismo, reseñable el intercambio entre autores y publicaciones de Estados Unidos y Reino Unido, por compartir un mismo idioma y poseer además una tradición cultural y académica común.

Este trabajo aporta información cuantitativa relevante para valorar las revistas del área “Film, Radio & Television” y, de manera relacionada, para los trabajos que en ellas se publican. Por primera vez se estudian estas revistas desde el punto de vista cuantitativo con datos sobre su producción, internacionalidad, cohesión e impacto. En términos generales se presenta un grupo de revistas muy heterodoxo, mal conectado entre sí, con un gran sesgo hacia el mundo anglosajón. No debe olvidarse el hecho de que Web of Science es un producto anglosajón e incluye un grupo de revistas sin impacto científico.

Otro aspecto relevante a resaltar es que muchos de los trabajos estudiados no tienen registrada la nacionalidad de los centros de adscripción de los autores. Este aspecto resulta extraño, puesto que uno de los requisitos para entrar en WoS es la identificación del nombre y dirección postal de los autores. Esto impide realizar estudios rigurosos con estas revistas y pone en cuestión la coherencia del producto, ya que se exige a las nuevas revistas información que no aportan muchas de las ya indexadas. Es decir, se deben matizar los resultados de los trabajos bibliométricos que utilizan esta categoría, como los producidos por Romo-Fernández y Gómez-Crisóstomo (Gómez-Crisóstomo, 2017; Gómez-Crisóstomo y Romo-Fernández, 2017; Romo-Fernández, 2018).

Las revistas de A&HCI registran una mayor periodicidad que las de ESCI. Cabe esperar, por tanto, una mayor productividad de las primeras, como efectivamente se ha podido confirmar. Una periodicidad más corta se asocia a una mayor capacidad y eficiencia para evaluar y editar trabajos, así como a procesos profesionales. En las revistas “amateur”, sin embargo, es habitual encontrar periodos de publicación más amplios. De igual forma, cabe señalar que las revistas mejor posicionadas son las que atraen más trabajos.

Entre las tipologías documentales, los Film Reviews son más numerosos en las revistas de A&HCI que en ESCI. Estas últimas apenas registran en dos años 32 documentos frente a los 2494 de A&HCI. Este es un buen indicador para diferenciar los perfiles de las revistas en ambos grupos. Las revistas A&HCI muestran mayoritariamente más heterogeneidad en los documentos que publican. Las indexadas en ESCI tienen, normalmente, un perfil más homogéneo, concretamente de carácter académico y más próximo al área de Comunicación.

El análisis por países evidencia una altísima concentración de revistas anglosajonas. Se produce, por tanto, un sesgo evidente en cuanto al ámbito geográfico (países) y cultural (por idiomas). Esta concentración es aún mayor en A&HCI que en el ranking que se ofrece aquí (con una ocupación casi absoluta en los dos primeros cuartiles por revistas del ámbito anglosajón e idioma inglés). En definitiva, estamos ante la sobrerrepresentación de Estados Unidos y Reino Unido en A&HCI y ESCI, una práctica habitual en Web of Science como ya constataron Archambault y Gagné (2004) en general, y para el área de las Ciencias sociales y las Humanidades en concreto, y de forma aún más acusada, Delgado y Repiso (2013). Lo mismo podría decirse del sesgo idiomático hacia el inglés, algo que sigue la tónica habitual de WoS como analizaron Ho y Ho (2015), quienes demostraron que el 93% de los artículos de la categoría “Dance”, de A&HCI, fueron publicados en este idioma. Este fenómeno ha sido también puesto en evidencia en varios estudios acerca de la presencia en WoS de las Ciencias Sociales y Humanidades de varios países europeos (diferentes de Reino Unido e Irlanda). Esta baja representación de trabajos en idiomas diferentes del inglés ha provocado una tendencia creciente al uso del inglés en las publicaciones no anglosajonas en pos de una mejor recepción y consecuente citación en WoS (Engels y otros, 2012; Ossenblok y otros, 2012; Kulczycki y otros, 2017; Kulczycki y otros, 2018).

Es cierto que en esta tendencia sobre la categoría “Film, Radio & Television” debe influir el enorme peso en la escena internacional de las industrias de cine y televisión anglosajonas. También que este tipo de estudios académicos sean más recurrentes y cuenten con una mayor tradición en estos países. Pero a pesar de ello, este comportamiento ha de calificarse de anómalo. Primero, porque la televisión nació y se desarrolló durante decenios como un servicio (o negocio) de ámbito específicamente nacional, propio de cada país, algo que además ha sido especialmente pronunciado en Europa, Asia y Oceanía (Bignell, 2008; Cigognetti y otros, 2009). Lo mismo, o incluso más, debe afirmarse sobre la radio. En segundo lugar, y como consecuencia de lo anterior, la reflexión y la investigación sobre estas áreas exigiría una mayor presencia de experiencias que excedan las anglosajonas. Esto es algo obvio: las realidades televisivas y radiofónicas de cada país son la materia prima a la que se enfrentan los investigadores. En un segundo plano, no por ello menos importante, estaría la dimensión internacional de los medios. Por tanto, a la vista de numerosos factores bibliométricos, industriales y académicos varios que se han analizado aquí, se debería contemplar la necesidad de paliar el déficit en la pluralidad de nacionalidades de la categoría “Film, Radio & Television” con la inclusión de revistas pertenecientes a otros países.

Es muy llamativo que la mayoría de revistas que ocupan el cuarto cuartil tengan un Factor de Impacto igual a 0. Este hecho pone de manifiesto las serias limitaciones que tienen, a la vista de los resultados, los criterios de selección que se han utilizado hasta ahora. Si el fenómeno es grave en ESCI, más aún lo es en A&HCI por las consecuencias que tiene en muchos procesos de evaluación académica de todo el mundo. Habría que replantear una metodología de selección mas cuidadosa que lleve a cabo la elección de revistas a partir de la valoración de su comportamiento en cuanto a su citación. Es preciso abordar una renovación de las publicaciones incluidas en la core collection o, al menos, una evaluación que permitiera que las revistas de ESCI con impacto sustituyeran a las de A&HCI con impacto 0. Es especialmente interesante el hecho de que en el último cuartil, 9 de las 16 revistas pertenezcan a A&HCI, frente a las 7 de ESCI. Clarivate Analytics debería ser más clara al explicar los criterios que, como se demuestra en este trabajo, son ajenos al comportamiento bibliométrico de las revistas.

Teóricamente, la selección en la categoría “Film, Radio & Television” por ser más rigurosa habría incluido las publicaciones más señeras. Eso debería suponer que estas se citarían frecuentemente entre sí por ser referentes del área. Al menos algunos artículos debieran haberse constituido en referencia ineludible para los estudios en este campo. Pero se observa una dispersión notable. No existe un núcleo sólido, lo que evidencia falta de cohesión entre las revistas. En cualquier caso, hay mayor citación de, y entre, las revistas A&HCI. Es llamativo también que las revistas de un mismo país (o que publiquen en un mismo idioma distinto del inglés) no intercambien citas. El caso de las españolas es paradigmático. Todo ello refuerza la idea de falta de coherencia de las revistas de la categoría.

El análisis del último cuartil induce a pensar que el deseo de incrementar la diversidad de países y lenguas presentes ha llevado a una decisión poco meditada: una publicación para el continente asiático, otra para Oceanía y 2 para el subcontinente sudamericano. Los resultados de estas dos últimas publicaciones, en Q4 y sin impacto, sostienen este supuesto. En el caso de España se agrava, porque la única revista sobre cine en A&HCI no tiene ninguna cita, mientras que otras de temática similar con mayor impacto se mantienen aún en ESCI.

WoS muestra un comportamiento anómalo en la composición de su categoría “Film, Radio & Television”. Aunque su Q1 y Q2 muestran un rendimiento notable, la selección de revistas tiene un fuerte sesgo anglosajón (por países y cultura). Si WoS acepta las críticas por su escasa diversidad geográfica y quiere resolverlo, habrá de trabajar una mejor fórmula para conformar sus criterios de selección. Y en ella, el factor de impacto no podrá faltar como indicador agregado destacado en la toma de decisiones.

En definitiva, este trabajo pone al descubierto la heterogeneidad de las revistas del área de “Film, Radio & Television” de Web of Science. Permite valorarlas con mayor precisión, según su impacto en la comunidad y plantea dudas sobre los criterios de inclusión de Clarivate Analytics para esta categoría. No se entiende cómo existen revistas indexadas que no cumplen con un requisito como la afiliación y dirección de los autores, que se incluye como indispensable para postular a la base de datos. Igualmente, se muestra un sesgo muy marcado hacia las revistas anglosajonas. No quedan claros los criterios de inclusión de revistas de la “periferia” científica ni se explica la presencia de revistas en A&HCI sin ninguna cita, lo que supone su expulsión entre las indexadas en JCR. Como ejemplo, es llamativo que la única revista española sobre Cine en A&HCI (L´Atalante) tenga impacto 0, mientras existan otras de la misma temática en ESCI con un impacto mayor.