La larga crisis económica que ha sufrido de manera especial España ha puesto sobre la mesa la necesidad de evaluar con mayor rigor el rendimiento de las instituciones científicas de nuestro país. Precisamente porque vivimos tiempos de crisis y recortes, resulta imperativo asegurar que los fondos dedicados a la ciencia se invierten adecuadamente y logran los objetivos que justifican su atribución. En este sentido, uno de los parámetros más frecuentemente empleados en la evaluación de la ciencia es la publicación en revistas de reconocido impacto científico. Pero, ¿cómo medir este impacto para no perjudicar a unos campos frente a otros a la hora de asignar estos recursos?


En la actualidad se utilizan frecuentemente dos familias de indicadores de impacto para revistas científicas. La primera de ellas es la de los índices de impacto, que consideran un promedio de citas por publicación para un censo y ventana de citación prefijados de antemano (Garfield, 1972). En este grupo entrarían, entre otros, los factores de impacto a dos y cinco años de la base de datos Journal Citation Reports (JCR) de Thomson-Reuters (Althouse y otros, 2009; Bensman, 2007; Bergstrom, 2007; Bornmann y Daniel, 2008; Moed y otros, 2012), el factor de impacto máximo (Dorta-González y Dorta-González, 2013c) y los índices de impacto SJR (González-Pereira y otros, 2009) y SNIP de la base de datos Scopus de Elsevier.

La segunda de estas familias de indicadores de impacto para revistas científicas es la de los índices h (Hirsch, 2005), que consideran aquel valor entero máximo h para el que se puede afirmar que existen h publicaciones con h o más citas, todo ello dentro de algún arco temporal fijado previamente. Este indicador h estima el número de trabajos importantes publicados por una revista, incrementando la exigencia a la vez que aumenta su valor. Se trata de un indicador robusto que considera al mismo tiempo aspectos cuantitativos y cualitativos o de visibilidad. No obstante, aunque este indicador ha demostrado su utilidad para detectar las revistas más destacadas en un área, existen evidencias empíricas de que no discrimina entre las situadas en niveles intermedios, y penaliza a las revistas selectivas frente a las grandes productoras (Costas y Bordons, 2007a,b; Dorta-González y Dorta-González, 2011; Egghe, 2013).

Ambas familias de indicadores son útiles para comparar revistas del mismo campo. Sin embargo, no lo son tanto a la hora de comparar revistas de diferentes campos científicos (Van Raan y otros, 2010; Wagner y otros, 2011). En este sentido, existen patrones estadísticos que permiten su normalización. El promedio de referencias se ha empleado frecuentemente en la literatura en dicha normalización (Moed, 2010; Zitt y Small, 2008). Sin embargo, este promedio no se encuentra entre los estadísticos que explican en mayor medida la variabilidad de los indicadores (Dorta-González y Dorta-González, 2013a, 2013b).

Tradicionalmente, la normalización también se ha basado en algún sistema de clasificación de revistas. Este es el caso, por ejemplo, de las categorías de revistas JCR (Egghe y Rousseau, 2002) y de los indicadores normalizados según dichas clasificaciones como son la posición normalizada del factor de impacto (Bordons y Barrigón, 1992) y el cuartil al que pertenece cada revista cuando se ordenan de forma decreciente según su factor de impacto. Sin embargo, la delimitación de los campos científicos, o sus especialidades, es un problema no resuelto convenientemente en la bibliometría, ya que estas delimitaciones son difusas en cada momento y se desarrollan dinámicamente en el tiempo (Leydesdorff, 2012). Como alternativa, se ha propuesto la idea de normalización por la fuente. En esta aproximación, la normalización se realiza en función de las revistas citantes (Dorta-González y otros, 2014; Leydesdorff y Bornmann, 2011).

Las dos familias de indicadores más empleados en la evaluación de revistas (factor de impacto e índice h) dependen fuertemente del campo científico, lo que las hace no comparables entre disciplinas. Además, el índice h también depende del tamaño de la revista, mientras que el factor de impacto no es consistente ante la presencia de un pequeño número de artículos muy citados. Estas limitaciones a la hora de comparar revistas de diferentes tamaños y campos, hace necesario considerar otros indicadores de impacto para revistas, que permitan realizar comparaciones entre campos, que no dependan del tamaño de la revista y que sean al mismo tiempo consistentes en el sentido indicado anteriormente (Waltman y Van Eck, 2013).

Una alternativa para esta cuestión consiste en utilizar como indicador el porcentaje de artículos altamente citados dentro de la revista, considerando el término artículo en sentido amplio, para englobar las cuatro tipologías documentales que conforman los “documentos citables” en la base de datos JCR (artículos, revisiones, actas y notas de investigación). Al tratarse de un porcentaje, es un valor relativo, por lo que el indicador no depende del tamaño de la revista. La alta citación se determina comparando con el resto de artículos del mismo campo y año, a nivel internacional, por lo que este indicador tampoco depende del campo. Además, es consistente porque la inclusión de un nuevo artículo muy citado no afecta significativamente al valor del indicador.

En este trabajo se compara empíricamente este indicador con el factor de impacto JCR (a dos años) y el índice h (a cinco años), y se analizan diferentes arcos temporales y cotas para que un documento pueda ser considerado altamente citado en comparación con otros del mismo año y campo, a nivel internacional. 


Los trabajos más citados son aquellos que han recibido un número de citas igual o superior que las del percentil q para su campo y año de publicación. Este valor q se puede fijar en el percentil que se desee, no obstante, en este trabajo por razones metodológicas las cotas se han fijado en el 1%, 10% y 20%.

Conocido el número de citas mínimas necesarias para pertenecer al colectivo de artículos más citados en su campo y año de publicación (Figura 2), se puede determinar cuántos cumplen este requisito en cada una de las revistas de cada campo. Este dato se pone en relación con el total de artículos publicados ese año por la revista (consultar Anexo en la siguiente url: https://goo.gl/2Gwaw6), obteniendo así un indicador de impacto de la producción científica en dicha revista.

Dado que el número total de citas de un artículo es un valor que va creciendo a lo largo del tiempo, resulta necesario fijar un horizonte temporal para su observación. En este trabajo se presentan los resultados fijando tres horizontes temporales que abarcan un total de 3, 4 y 5 años de duración.

Se denota por (ppub_q_t)^j_y al indicador de impacto que mide, para la revista j y el año y, el porcentaje de artículos dentro del q% de los más citados considerando un arco temporal de t años. Esto es, para un año determinado y revista, el indicador ppub_q_t compara las citas de los documentos publicados en dicha revista en el periodo [y-t+1,y] con las del resto de documentos del mismo campo y año en la base de datos, determinando qué porcentaje de ellos entran dentro del q% de los más citados.

Por ejemplo,

(ppub_20_5)^REDC₂₀₁₂

indica, para la revista REDC y el año 2012, el porcentaje de artículos dentro del 20% de los más citados considerando un arco temporal de 5 años. Esto es, compara las citas de los documentos publicados por REDC en el periodo 2008-2012 con las del resto de documentos del mismo campo y periodo en la base de datos JCR, determinando qué porcentaje de ellos entran dentro del 20% de los más citados.

En este trabajo se compara empíricamente este indicador con el factor de impacto (a dos años) y el índice h (a cinco años), y se analizan diferentes arcos temporales y cotas para que un documento pueda ser considerado altamente citado en comparación con otros del mismo año y campo, a nivel internacional. Se han considerado 150 revistas de 3 campos científicos diferentes. Para cada una de ellas se ha determinado el porcentaje de artículos altamente citados atendiendo a tres cotas diferentes (1%, 10% y 20%) y tres arcos temporales (2008-2012, 2009-2012, 2010-2012). La cota q% determina el número de publicaciones dentro del percentil de citación q, esto es, el número de publicaciones dentro del q% de las más citadas a nivel internacional dentro de su mismo campo y año.

Se comparan, por tanto, nueve indicadores (3 cotas x 3 arcos) con el índice h de 2012 (con un arco de 5 años) y el factor de impacto a dos años (JIF) de 2012 (que emplea información relativa a un arco de tres años). Se trata de identificar cuál de ellos es “mejor” a la hora de comparar revistas de diferentes campos científicos. Esta mejora viene dada por una mayor proximidad de la distribución de datos de la variable entre los diferentes campos científicos analizados.



La clasificación de revistas en Web of Science de Thomson Reuters (12.000 revistas) se basa en 251 categorías temáticas, que se agregan en 151 áreas científicas y que nuevamente son agregadas en 22 campos científicos. En este estudio se decidió trabajar a nivel de campo científico y seleccionar, del total de 22 campos que figuran en la base de datos, un total de 3 campos que difieren bastante en cuanto a sus perfiles de publicación y citación. Concretamente, se tomaron los campos de Economía y Empresa, Física y Matemáticas. Para cada uno de ellos se seleccionaron aleatoriamente un total de 50 revistas, de entre las 100 con mayor número de publicaciones durante los años 2008 a 2012.

Una vez seleccionadas las 150 revistas, se interrogaron las bases de datos de Thomson Reuters para recabar la siguiente información de cada una de ellas:

Con esta información se confeccionó la base de datos que se muestra en el Anexo (consultar la url: https://goo.gl/2Gwaw6) y que es la base de la metodología empleada en este trabajo.

Se decidió centrar el análisis en el periodo de tiempo más cercano a la actualidad que permitiera utilizar información fiable, teniendo en cuenta el lapso de tiempo que transcurre hasta que Thomson Reuters actualiza la información de las revistas que figuran en sus bases de datos y también la fecha de publicación del factor de impacto de las revistas. Todas las consultas fueron realizadas entre los meses de abril y mayo de 2014.



La Figura 1 muestra, a partir de la información recogida en la base de datos Web of Science, el promedio de citas por artículo en el periodo 2008-2012. El ratio de citación promedio es el cociente entre el número de citas y el número de artículos. Por ejemplo, el valor 6,19 en el campo Física en 2010 indica que, en promedio, las publicaciones de 2010 en el campo de Física han recibido un total de 6,19 citas en el periodo que va desde 2010 hasta 2012.

Como puede observarse, las diferencias de citación son muy importantes entre campos. Así, las citas promedio recibidas en Física son muy superiores a las de Economía y Empresa, y a su vez éstas lo son también respecto a las de Matemáticas.

Los percentiles de citas de la Figura 2 muestran el número mínimo de citas requeridas para alcanzar ciertos umbrales dentro de cada campo científico y año. Por ejemplo, en el caso de Física, un valor de 15 en el percentil 10 para 2010 indica que el 10% de los artículos más citados dentro del campo de Física han recibido como mínimo 15 citas durante el periodo 2010-12.

Como puede observarse, nuevamente existen diferencias muy importantes entre campos. Así, las citas requeridas en Física para encontrarse entre las publicaciones más citadas de su campo son muy superiores a las de Economía y Empresa, y éstas son en la mayor parte de los años analizados superiores a las requeridas en Matemáticas.

La Tabla I y Tabla II muestran los coeficientes de correlación de Pearson y Spearman entre los diferentes indicadores analizados, siendo todos ellos significativos al 99%. Hay que tener en cuenta que, en el caso de Spearman, existe una correlación perfecta cuando los dos indicadores están relacionados por alguna función monótona. Sin embargo, para que exista una correlación perfecta en el caso de Pearson, esta relación entre los dos indicadores ha de ser necesariamente a través de una función lineal. En este sentido, la correlación de Spearman es menos sensible que la de Pearson a los datos anormalmente pequeños o grandes que suelen encontrarse en las colas de este tipo de distribuciones de datos. Esto es debido a que los coeficientes de Spearman limitan dichos datos al valor de la posición que ocupan en el ranking.

Como puede observarse en las Tablas I y II, las correlaciones entre indicadores son en general bastante altas y, en general, no existen diferencias significativas entre campos. El indicador porcentaje de publicaciones altamente citadas, ppub_q_t, es consistente ante cambios en los parámetros empleados (q, t). Esto es así porque los valores de las correlaciones varían muy poco cuando se modifican tanto el percentil fijado, q, como el número de años considerados, t. Las correlaciones entre dos indicadores diferentes dentro de esta familia ppub están por encima de 0,90 en una gran parte de los casos. Sin embargo, en general, la correlaciones entre alguno de estos indicadores tanto con h como con el JIF son algo inferiores a las que se obtienen entre dos indicadores de la misma familia ppub. Parece, por tanto, que el indicador ppub aporta una dimensión algo diferente a la que muestran tanto h como JIF, y que además el indicador ppub es consistente en relación a cualquiera de sus parámetros de definición.

La Figura 3 ofrece una comparativa entre el indicador ppub_20_5 y el índice h a cinco años. Estos dos indicadores consideran los mismos años y tienen en cuenta todas las citas del periodo de cinco años analizados. Ambos indicadores son, en este sentido, comparables entre sí. Además de la estimación de la función de densidad de los datos, en cada representación se muestra también en trazo discontinuo la distribución normal. Como puede observarse, el porcentaje de artículos altamente citados produce distribuciones de datos más próximas entre campos y, por tanto, más comparables entre sí que el índice h.

Además, los tres campos presentan una distribución más similar a la normal, con pocas revistas con el 10% de artículos publicados durante 5 años que entren en el percentil 20 de citación; pocas revistas con el 90% de artículos altamente citados durante esos mismos años, y todo el abanico intermedio para la mayoría de ellas, con un promedio de 0,3.

De forma similar a la anterior, la Figura 4 ofrece una comparativa entre el indicador ppub_20_3 y el JIF del año 2012. Ambos indicadores consideran datos procedentes de los últimos tres años y son, en este sentido, comparables entre sí. Nuevamente, puede observarse que el porcentaje de artículos altamente citados produce distribuciones de datos más próximas entre campos y, por tanto, más comparables entre sí.

La Tabla III ofrece con más detalle una descriptiva de todos los indicadores analizados. Se han realizado contrastes de hipótesis para comprobar si se detectan diferencias estadísticamente significativas entre las medias de cada indicador en cada campo, así como para las varianzas, ajustando los niveles de significación según la corrección de Bonferroni por tratarse de comparaciones multigrupo. En general, puede observarse que la dispersión de los indicadores h y JIF difiere significativamente entre campos, mientras que la de la familia ppub se mantiene más estable entre ellos. En el caso de las medias, es el indicador h el único que presenta diferencias estadísticamente significativas entre campos.

La columna de valor mínimo evidencia que, en el campo de Matemáticas, la proporción mínima de artículos dentro del percentil 10 (20) de citación en las revistas seleccionadas es del 1% (2%), mientras que en el resto de campos esta proporción es siempre del 0%. Por tanto, en el campo de Matemáticas todas las revistas tienen en mayor o menor proporción artículos altamente citados, mientras que en el resto de campos, hay revistas que no publican artículos con este nivel de citación.

Por su parte, la columna de máximo evidencia la concentración de artículos de gran citación en las revistas. Se observa que este fenómeno es más habitual en el campo de Física, en donde algunas revistas tienen el 87% de sus artículos entre los más citados dentro del percentil 20 de citación para un arco de 3 años (ppub_20_3), frente al 78% de máximo en el campo de Economía y Empresa.

En cuanto a las dos últimas columnas de esta tabla, en general, se observa que al aumentar el arco temporal t se incrementa la asimetría y el apuntamiento de la función de densidad. Además, al reducirse el percentil de citación q aumenta también la asimetría y el apuntamiento. Estos datos parecen indicar una mejora en el comportamiento del indicador ppub_20_3 frente al resto de los indicadores de la familia y también frente a los clásicos h y JIF.

Finalmente, la Tabla IV muestra la amplitud del intervalo de variación de las medidas de tendencia central, variabilidad y forma para la variable ppub_q_t. En el caso de la media, la desviación típica, el mínimo y el máximo, dicha amplitud es mayor a medida que se incrementa el percentil de citación. Sin embargo, en el caso de la asimetría y la curtosis ocurre justo lo contrario, esto es, el rango de variación disminuye a medida que se incrementa el percentil de citación. Por tanto, para los parámetros analizados en esta aplicación empírica, aquel percentil de citación que produce distribuciones de datos más simétricas y con menor apuntamiento es q=20. Además, una vez fijado este valor, con t=3 se consigue un menor rango tanto para la media como para la desviación típica, el mínimo y el máximo. De estos datos parece deducirse, por tanto, que un 20% en el percentil de citación y una ventana de citación de tres años producen distribuciones de datos más comparables entre campos científicos.



Los indicadores h y JIF permiten realizar comparaciones del nivel de impacto científico de las publicaciones entre revistas de un mismo campo, pero no son herramientas válidas para sacar conclusiones acerca del impacto científico de las publicaciones de campos diferentes. Esto, en un momento de escasez de recursos económicos disponibles para la investigación, evidencia la necesidad de disponer de indicadores que permitan realizar comparaciones entre áreas y, por tanto, discriminar de forma objetiva sobre el impacto de las publicaciones con independencia del campo en el que se enmarquen.

La proporción de artículos altamente citados dentro de las revistas científicas (ppub_q_t) se evidencia como una alternativa para lograr tal fin, pues se trata de una medida relativa que carece de las limitaciones reconocidas en la literatura para los otros indicadores, como el tamaño de la revista o la sensibilidad a la muy alta citación de algún artículo. De hecho, permite conocer qué proporción de artículos con alta citación publica cada revista cada año, encontrándonos con revistas con un 0% de artículos altamente citados, frente a revistas con más del 90% de artículos altamente citados, lo que puede ser un claro indicador del impacto de una revista. La disyuntiva se encuentra en los límites que se pueden establecer para considerar que un artículo entre a formar parte del colectivo de los más citados y en el horizonte temporal que se considere para contabilizar el número de citas del mismo. No obstante, una vez tomadas estas decisiones, y manteniéndolas constantes para todos los campos, la comparabilidad es posible.

Tras haber analizado el comportamiento de nueve indicadores diferentes, en función del percentil de citación considerado como de excelencia (1%, 10% ó 20%) y el arco temporal en el que se contabiliza el número de citas (de 3 a 5 años), el indicador que parece homogeneizar mejor los campos es el que considera un arco temporal de 3 años y un nivel de citación del 20% (ppub_20_3). Este indicador tiene la limitación de otros indicadores en cuanto a la falta de inmediatez de obtención del mismo, no obstante, al igual que sucede con el JIF, se puede calcular transcurridos 3 años desde la publicación de una revista y, a diferencia de éste, proporciona información relevante a efectos de poder realizar comparaciones entre campos científicos.