NOTAS Y EXPERIENCIAS / NOTES AND EXPERIENCES

HÁBITOS DE PUBLICACIÓN Y CITACIÓN SEGÚN CAMPOS CIENTÍFICOS: PRINCIPALES DIFERENCIAS A PARTIR DE LAS REVISTAS JCR

Pablo Dorta-González*, María Isabel Dorta-González**

* Departamento de Métodos Cuantitativos en Economía y Gestión. Universidad de Las Palmas de Gran Canaria. Gran Canaria, España

** Departamento de Estadística, Investigación Operativa y Computación. Universidad de La Laguna. Tenerife, España

Correos-e: pdorta@dmc.ulpgc.es, isadorta@dmc.ull.es

HABITS OF PUBLICATION AND CITATION BY SCIENTIFIC FIELD: MAIN DIFFERENCES BASED ON JCR JOURNALS

CONTENIDOS

1. INTRODUCCIÓN Top

El Factor de Impacto (FI) publicado en el Journal Citation Reports (JCR) por Thomson Reuters se define como el número de las referencias promedio que recibe una revista en el año actual a los ‘ítems citables’ publicados en esa revista durante los dos años previos. Desde su presentación (Garfield, 1972Garfield, E. (1972). Citation analysis as a tool in journal evaluation. Science, 178 (4060), pp. 471-479.), el FI ha sido criticado por algunas decisiones arbitrarias en su formulación. En la literatura se han discutido aspectos como la definición de ‘ítems citables’ (artículos, notas científicas y revisiones), el hecho de centrarse en los dos años precedentes como parte representativa del frente de investigación, etc., (Bensman, 2007Bensman, S. J. (2007). Garfield and the impact factor. Annual Review of Information Science and Technology, 41 (1), pp. 93-155.), y se han sugerido numerosas modificaciones (Althouse y otros, 2009Althouse, B. M.; West, J. D.; Bergstrom, C. T.; Bergstrom, T. (2009). Differences in impact factor across fields and over time. Journal of the American Society for Information Science and Technology, 60 (1), pp. 27-34.). Como respuesta, Thomson Reuters incorporó el Five-year Impact Factor, el Eigenfactor Score y el Article Influence Score (Bergstrom, 2007Bergstrom, C. (2007). Eigenfactor: Measuring the value and prestige of scholarly journals. College and Research Libraries News, 68 (5), p. 314.) a las revistas JCR en su versión online en 2007. Para una revisión de los indicadores de impacto puede consultarse los trabajos de Bornmann y Daniel (2008Bornmann, L.; Daniel, H. D. (2008). What do citation counts measure? A review of studies on citing behaviour. Journal of Documentation, 64 (1), pp. 45-80.), Waltman y Van Eck (2010Waltman, L.; Van Eck, N. J. (2010). The relation between Eigenfactor, Audience Factor, and Influence Weight. Journal of the American Society for Information Science and Technology, 61 (7), pp. 1476-1486.). 


Estos indicadores no resuelven el problema que surge a la hora de comparar revistas de diferentes campos científicos. El origen de este problema proviene de la evaluación institucional (Leydesdorff y Opthof, 2010aLeydesdorff, L.; Opthof, T. (2010a). Normalization at the field level: Fractional counting of citations. Journal of Informetrics, 4 (4), pp. 644-646.; Opthof y Leydesdorff, 2010Opthof, T.; Leydesdorff, L. (2010). Caveats for the journal and field normalizations in the CWTS (“Leiden”) evaluations of research performance. Journal of Informetrics, 4 (3), pp. 423-430.; Van Raan y otros, 2010Van Raan, A. F. J.; Van Leeuwen, T. N.; Visser, M. S.; Van Eck, N. J.; Waltman, L. (2010). Rivals for the crown: Reply to Opthof and Leydesdorff. Journal of Informetrics, 4 (3), pp. 431-435.). La distribución de citas varía según los campos científicos y, en algunos casos, dentro de las especialidades de los campos (Dorta-González y Dorta-González, 2010Dorta-González, P.; Dorta-González, M.I. (2010). Indicador bibliométrico basado en el índice h. Revista Española de Documentación Científica, 33 (2), pp. 225-245., 2011aDorta-González, P.; Dorta-González, M. I. (2011a). Aplicación empírica de un indicador bibliométrico basado en el índice h. Cultura y Educación, 23 (2), pp. 297-313., 2011bDorta-González, P.; Dorta-González, M. I. (2011b). Central indexes to the citation distribution: A complement to the h-index. Scientometrics, 88 (3), pp. 729-745.). Sin embargo, los centros de investigación están integrados por investigadores de disciplinas muy diversas y tienen con frecuencia entre sus misiones el objetivo de integrar grupos multidisciplinares (Leydesdorff y Rafols, 2011Leydesdorff, L.; Rafols, I. (2011). Indicators of the interdisciplinarity of journals: Diversity, centrality, and citations. Journal of Informetrics, 5 (1), pp. 87-100.; Wagner y otros, 2011Wagner, C.; Roessner, J. D.; Bobb, K.; Klein, J.; Boyack, K.; Keyton, J.; Rafols, I.; Börner, K. (2011). Approaches to understanding and measuring interdisciplinary scientific research (IDR): A review of the literature. Journal of Informetrics, 5 (1), pp. 14-26.). 


La mayoría de los trabajos sobre clasificación de revistas en campos científicos se han centrado en la correlación entre los patrones de citación (Leydesdorff, 2006Leydesdorff, L. (2006). Can scientific journals be classified in terms of aggregated journal-journal citation relations using the Journal Citation Reports? Journal of the American Society for Information Science & Technology, 57 (5), pp. 601-613.; Rosvall y Bergstrom, 2008Rosvall, M.; Bergstrom, C. T. (2008). Maps of random walks on complex networks reveal community structure. Proceedings of the National Academy of Sciences, 105 (4), pp. 1118-1123., 2010Rosvall, M.; Bergstrom, C. T. (2010). Mapping change in large networks. PLoS ONE, 5 (1), e8694.). Índices como el JCR Subject Category List clasifican las revistas en diferentes grupos (Pudovkin y Garfield, 2002Pudovkin, A. I.; Garfield, E. (2002). Algorithmic procedure for finding semantically related journals. Journal of the American Society for Information Science and Technology, 53 (13), pp. 1113-1119.; Rafols y Leydesdorff, 2009Rafols, I.; Leydesdorff, L. (2009). Content-based and algorithmic classifications of journals: Perspectives on the dynamics of scientific communication and indexer effects. Journal of the American Society for Information Science and Technology, 60 (9), pp. 1823-1835.). En este sentido, Egghe y Rousseau (2002Egghe, L.; Rousseau, R. (2002). A general framework for relative impact indicators. Canadian Journal of Information and Library Science, 27 (1), pp. 29-48.) definen el Relative Impact Factor (RIF) de forma similar al FI, agregando todas las revistas de una categoría como una única meta-revista. Este indicador se denomina Aggregate Impact Factor en el JCR. 


Existen algunos patrones estadísticos propios de los campos. Garfield (1979aGarfield, E. (1979a). Citation indexing: Its theory and application in Science, Technology, and Humanities. New York: John Wiley., 1979bGarfield, E. (1979b). Is citation analysis a legitimate evaluation tool? Scientometrics, 1 (4), pp. 359-375.) propone el término ‘potencial de citación’, en base al número de referencias promedio, para justificar las diferencias sistemáticas entre campos científicos. Por ejemplo, en biomedicina son comunes los listados con más de cincuenta referencias, mientras que en matemáticas lo frecuente es incluir menos de veinte referencias. Estas diferencias se deben a las distintas culturas de citación y afectan significativamente al FI debido a que condicionan la probabilidad de ser citado. El recuento fraccional corrige estas diferencias en términos de las fuentes de las citas (Leydesdorff y Bornmann, 2011Leydesdorff, L.; Bornmann, L. (2011). How fractional counting of citations affects the Impact Factor: Normalization in terms of differences in citation potentials among fields of science. Journal of the American Society for Information Science & Technology, 62 (2), pp. 217-229.; Moed, 2010Moed, H. F. (2010). Measuring contextual citation impact of scientific journals. Journal of Informetrics, 4 (3), pp. 265-277.; Zitt y Small, 2008Zitt, M.; Small, H. (2008). Modifying the journal impact factor by fractional citation weighting: The audience factor. Journal of the American Society for Information Science and Technology, 59 (11), pp. 1856-1860.). Una cita, de un artículo citante que contiene n referencias, cuenta 1/n en el caso del recuento fraccional, mientras que vale 1 en el caso del recuento entero. 


Respecto a la normalización según la fuente, Zitt y Small (2008Zitt, M.; Small, H. (2008). Modifying the journal impact factor by fractional citation weighting: The audience factor. Journal of the American Society for Information Science and Technology, 59 (11), pp. 1856-1860.) proponen el Audience Factor (AF), dividiendo la media de las citas con recuento fraccional entre la media de todas las revistas incluidas en el Science Citation Index. De manera similar, Moed (2010Moed, H. F. (2010). Measuring contextual citation impact of scientific journals. Journal of Informetrics, 4 (3), pp. 265-277.) propone el cociente entre un FI modificado (para los tres años precedentes y una definición diferente de ítems citables) y la mediana de los potenciales de citación en la base de datos Scopus, denominando al ratio resultante como Source Normalized Impact per Paper (SNIP). Este indicador está actualmente en uso en la base de datos Scopus como una alternativa al FI (Leydesdorff y Opthof, 2010bLeydesdorff, L.; Opthof, T. (2010b). Scopus's source normalized impact per paper (SNIP) versus a journal impact factor based on fractional counting of citations. Journal of the American Society for Information Science and Technology, 61 (11), pp. 2365-2369.). El Scimago Journal Ranking (SJR) considera el prestigio de las revistas citantes (González-Pereira y otros, 2011González-Pereira, B.; Guerrero-Bote, V. P.; Moya-Anegón, F. (2011). A new approach to the metric of journals’ scientific prestige: The SJR indicator. Journal of Informetrics, 4 (3), pp. 379-391.), pero incluso siendo útil para la clasificación de las revistas, el valor del indicador es difícil de interpretar (Waltman y otros, 2011Waltman, L.; Yan, E. ; Van Eck, N. J. (2011). A recursive field-normalized bibliometric performance indicator: An application to the field of library and information science. Scientometrics, 89 (1), pp. 301-314.).


Otra fuente importante de varianza entre los campos es el canal de difusión de los resultados de la actividad investigadora. Por ejemplo, los investigadores de Ciencias Sociales y Humanidades publican más en libros que en revistas, y los investigadores de Ciencias de la Computación publican más en actas de congresos que en artículos de revistas. Las diferencias entre los campos se deben principalmente a la proporción de referencias JCR, frente a otras como libros, revistas no incluidas en el JCR, etc. (Althouse y otros, 2009Althouse, B. M.; West, J. D.; Bergstrom, C. T.; Bergstrom, T. (2009). Differences in impact factor across fields and over time. Journal of the American Society for Information Science and Technology, 60 (1), pp. 27-34.). 


Sin embargo, existen otras diferencias significativas entre campos, además de las indicadas anteriormente (número de referencias promedio y proporción de referencias JCR). En este trabajo se consideran tres nuevos factores: el índice de crecimiento del campo, la proporción de referencias JCR a la ventana de citación y la proporción entre ítems citados y citantes. Además, se presenta una descomposición del factor de impacto en estas cinco fuentes principales de varianza y se calculan para todas las categorías JCR, campos y áreas científicas considerados en las bases de datos de Thomson Reuters. 


De este trabajo se derivan dos conclusiones. La primera tiene que ver con el empleo de los indicadores de impacto. Los usuarios de este tipo de indicadores deberían conocer que su manejo no es algo trivial y que tendrían que ser aplicados por expertos capaces de detectar posibles sesgos, para no penalizar a aquellos investigadores que trabajan y publican en campos desfavorecidos por los indicadores de impacto. La segunda de las conclusiones tiene que ver con la necesidad de desarrollar nuevos indicadores normalizados que controlen las fuentes principales de varianza y sean capaces de producir medias similares entre grupos de revistas de campos diferentes.


2. DESCOMPOSICIÓN DEL FACTOR DE IMPACTO AGREGADO
 Top

2.1 Factor de Impacto de una revista


El impacto de una revista es una medida del número de veces que los artículos publicados en cierto periodo censal citan artículos publicados durante una ventana de citación previa. El Factor de Impacto (FI) proporcionado por Thomson Reuters utiliza un periodo censal de un año y una ventana de citación de dos años. 


Como un promedio, el cálculo del FI depende de dos elementos: el numerador es el número de citas en el año actual a cualquiera de los ítems publicados en la revista en los dos años previos, y el denominador es el número de ‘ítems citables’ publicados en esos dos años (Garfield, 1972Garfield, E. (1972). Citation analysis as a tool in journal evaluation. Science, 178 (4060), pp. 471-479.). Los ítems publicados en la revista incluyen los ‘ítems citables’ (artículos, notas de investigación y revisiones), pero también otros como cartas, correcciones, editoriales y noticias, entre otros.


Sean el número de ítems citables de la revista i en el año t, y el número de veces en el año t que los volúmenes de la revista i de los años t-1 y t-2 son citados por las revistas JCR. Entonces, el Factor de Impacto de la revista i en el año t es:


(1)

2.2 Factor de Impacto Agregado


Sea F el conjunto de todas las revistas de un determinado campo (categorías de revistas, campos o áreas de investigación). Denotando y , el Factor de Impacto Agregado (FIA) es el ratio entre las citas en el año t a ítems en cualquier revista del campo F en los años t-1, t-2, y el número de ítems citables publicados en los años t-1, t-2, es decir,


(2)

2.3 Componentes en el Factor de Impacto Agregado


El impacto agregado se puede descomponer en cinco variables independientes: es un indicador del crecimiento del campo, mientras que el resto () están relacionadas con los hábitos de citación en el campo.


• Ratio de crecimiento del campo: El crecimiento de un campo se puede deber a dos razones principales, la incorporación de nuevas revistas, y la publicación de ítems adicionales en las revistas ya incluidas. No obstante, un campo también puede decrecer. Esta variable influye en el impacto de un determinado año, dado que al tratarse de un promedio de citas, si se modifica el numerador (al cambiar el número de artículos en circulación también cambia el número de citas) y se mantiene constante el denominador (el número de artículos en los dos años previos) entonces el resultado del cociente se altera. 


Sea el ratio entre los ítems citables en el año t y aquellos que aparecen en la ventana de citación. Este indicador es una medida del crecimiento del campo. Téngase en cuenta que cuando Si , se produce un crecimiento del campo con respecto al número de ítems citables. En otro caso, , el campo se reduce. 


Por ejemplo, si un campo crece anualmente un 5%, entonces , , y De forma similar, si un campo crece anualmente un 10%, entonces . Otros ratios son: (20%), (50%) y (100%).


• Número de referencias promedio: Sea el total de referencias en las revistas del campo F en el año t. Entonces, es el número de referencias promedio en los ítems citables del campo F en el año t.


• Proporción de referencias JCR: Sea el número total de referencias (en los ítems del campo F en el año t) a revistas JCR, quedando excluidos los documentos de trabajo, las actas de congresos, los libros y las revistas no indexadas en el JCR. La proporción de referencias JCR viene dada por . Por ejemplo, si , la mitad de las referencias son ítem JCR.


• Proporción de referencias JCR en la ventana de citación: Sea el total de referencias JCR en la ventana de citación en el campo F. La proporción de referencias JCR en el año t en la ventana de citación se expresa como . Por ejemplo, si , una cuarta parte de las referencias JCR pertenecen a la ventana de citación.


• Proporción entre ítems citados y citantes en la ventana de citación: Si la mayoría de las citas a la revista i proceden de revistas del campo F, aunque algunas otras provienen de revistas de otros campos. Sea la proporción entre ítems citados y citantes en la ventana de citación. Si , las citas recibidas por el campo F son mayores que las producidas en ese campo (en la ventana de citación). En otro caso, , las citas recibidas en el campo F son menores que las producidas en ese campo. De esta manera, el indicador es una medida del intercambio de citas entre campos. Por ejemplo, si , el campo F recibe un 10% más de citas de las que produce.

2.4 Descomposición del impacto agregado en componentes


El Factor de Impacto Agregado del campo F se puede descomponer de la siguiente manera:


(3)

La demostración es directa teniendo en cuenta que puede expresarse como 


(4)

De esta manera, de las expresiones (2) y (4), se obtiene


3. APLICACIÓN EMPÍRICA
 Top

3.1 Materiales y Métodos


Los datos bibliométricos utilizados en la aplicación empírica se han obtenido de la versión online del Journal Citation Reports (JCR) durante la primera semana de Octubre de 2011. La base de datos JCR (proporcionada por Thomson Reuters, Philadelphia, USA) está disponible en la dirección web www.webofknowledge.com. 


Thomson Reuters asigna cada revista JCR a una o más categorías de acuerdo a sus revistas citantes y citadas (Pudovkin y Garfield, 2002Pudovkin, A. I.; Garfield, E. (2002). Algorithmic procedure for finding semantically related journals. Journal of the American Society for Information Science and Technology, 53 (13), pp. 1113-1119.). La edición de Ciencias 2010 contiene 8073 revistas clasificadas en 174 categorías, y la edición de Ciencias Sociales 2010 contiene 2731 revistas clasificadas en 56 categorías. 


Aunque la mayoría de las revistas JCR están incluidas únicamente en una edición, existen algunas incluidas en ambas. Este es el caso, por ejemplo, de nueve revistas incluidas en la categoría ‘Management’ de Ciencias Sociales y en la categoría ‘Operations Research and Management Science’ de Ciencias.


En este trabajo se consideran tres niveles de agregación de datos. El primer nivel se corresponde con las 230 categorías de revistas JCR. El segundo nivel de agregación corresponde a los 22 campos científicos y el tercer nivel a las 4 áreas científicas considerados en las bases de datos de Thomson Reuters.


3.2 Resultados y discusión


- Factor de Impacto Agregado de las categorías de revistas JCR


El Anexo 1 y la Figura 1 muestran el impacto agregado de las categorías de revistas JCR. El impacto agregado en Ciencias, 2.920, es un 58% mayor que en Ciencias Sociales, 1.848. Esto se debe a que, a pesar de que en promedio existe un 30% más de referencias en los artículos de Ciencias Sociales, una parte importante de éstas son ítems no incluidos en el JCR. En concreto, un 40% de las referencias en Ciencias Sociales son libros y revistas no indexadas en el JCR, mientras que en Ciencias este porcentaje es sólo del 20%.


Figura 1. Factor de Impacto Agregado de las categorías de revistas JCR (en orden decreciente) [Descargar tamaño completo]

El impacto varía considerablemente entre ediciones. El rango de variación en Ciencias oscila entre 0.207 y 9.707. Las categorías con mayor impacto están relacionadas con biomedicina, mientras que los menores impactos se obtienen en ingeniería y matemáticas. Con respecto a Ciencias Sociales, el rango de variación oscila entre 0.479 y 3.215. Las categorías con mayor impacto corresponden a psicología y algunas especialidades de economía como gestión y política sanitaria, mientras que los menores impactos se obtienen en categorías relacionadas con historia. La varianza del impacto es grande dentro de cada edición, en algunos casos incluso entre revistas de categorías relativamente próximas. Así, por ejemplo, el impacto de ‘Mathematical & Computational Biology’ es casi cuatro veces mayor que el de ‘Mathematics’. 


- Componentes de las categorías de revistas JCR 


El Anexo 1 muestra además las componentes de las categorías de revistas JCR. Existen diferencias significativas entre las categorías, especialmente entre categorías que pertenecen a ediciones diferentes. 


El ratio de crecimiento es 0.55 (7%) en Ciencias y 0.62 (16%) en Ciencias Sociales. Por tanto, la edición de Ciencias Sociales creció en el período 2008-2010 por encima del doble de la de Ciencias. Esto se debe a la importante incorporación en los últimos años de revistas en algunas categorías de Ciencias Sociales. 


El número de referencias promedio es 37.18 en Ciencias y 48.28 en Ciencias Sociales. Por lo tanto, una revista de una categoría de Ciencias Sociales tiene, en promedio, un 30% más de referencias que una revista de Ciencias. Sin embargo, la varianza dentro de las ediciones es grande. El rango de variación oscila entre 13.94 y 75.66. En general, los mayores listados de referencias corresponden a historia, y los más cortos a ingeniería y matemáticas.


La proporción de referencias JCR es 0.80 en Ciencias y 0.60 en Ciencias Sociales. Por lo tanto, una revista de una categoría de Ciencias Sociales tiene en promedio un 20% más de referencias que no figuran en el JCR. No obstante, la varianza dentro de las ediciones es grande. El rango de variación en Ciencias oscila entre 0.39 y 0.94. En general, las mayores proporciones se obtienen en física, biología y química, mientras que las menores corresponden a ingeniería y ciencias de la computación. En Ciencias Sociales el rango de variación oscila entre 0.30 y 0.87. Por lo general, las mayores proporciones corresponden a psicología y las menores a historia. 


La proporción de referencias JCR a la ventana de citación es 0.18 en Ciencias y 0.20 en Ciencias Sociales. Por tanto, una de cada cinco referencias JCR está, en promedio, en la ventana de citación. El rango de variación oscila entre 0.10 y 0.45. Curiosamente, algunas de las categorías con menores proporciones de referencias a ítems JCR tienen las mayores proporciones en la ventana de citación. Este hecho se explica porque en dichas categorías, por ejemplo las relacionadas con historia, las referencias más antiguas son libros y las más recientes son artículos. En áreas como matemáticas, sólo una de cada ocho referencias JCR corresponde a los dos años previos, en comparación con historia donde esta proporción es una de cada tres. 


En general, los mayores ratios entre ítems citados y citantes se obtienen en biomedicina, y los más bajos en historia y derecho. Sin embargo, se aprecia el caso excepcional de la categoría ‘Multidisciplinary Sciences’, donde más de la mitad de las citas provienen de otras categorías. En Ciencias Sociales, aquellas categorías que más citan ítems JCR (más próximas a categorías de Ciencias) reciben más citas de otras categorías, algunas de ellas de Ciencias.


Como puede observarse en la Tabla I, no existe correlación entre las componentes del impacto, por lo que éstas son independientes. Sólo existe correlación en Ciencias Sociales entre la proporción de referencias JCR y el ratio entre ítems citados y citantes. Así, las categorías que citan más ítems JCR (están más próximas a categorías de Ciencias) reciben más citas. 


En la Tabla I se muestran también los autovalores del Análisis de Componentes Principales (ACP). Esta descomposición en autovalores de la matriz de correlación permite identificar las causas de la variabilidad del conjunto de datos y ordenar dichos factores por importancia. El análisis muestra que las tres componentes principales que explican una mayor parte de la varianza en Ciencias son: la proporción de referencias JCR (36.55%), la proporción de referencias JCR a la ventana de citación (20.93%) y el ratio de crecimiento del campo (20.60%). Estas tres componentes explican conjuntamente el 78.08% de la varianza total. Por otro lado, en Ciencias Sociales son dos las componentes principales que explican la mayor parte de la varianza: la proporción de referencias JCR a la ventana de citación (57.79%) y el ratio entre ítems citados y citantes (23.50%). Estas dos componentes, de forma conjunta, explican el 81.29 % de la varianza total. Las componentes principales difieren entre ediciones. Esto es debido a que las Ciencias Sociales incluyen disciplinas tan heterogéneas en sus hábitos de publicación y citación como economía, psicología e historia, por ejemplo.


- Análisis Cluster de las categorías JCR 


La Tabla II muestra un Análisis Cluster de las categorías JCR según las componentes del impacto agregado. Se han considerado dos niveles de agrupamiento. El primer nivel lo configuran las categorías más cercanas en los hábitos de publicación y citación. El segundo nivel lo componen aquellas categorías que están relativamente próximas. A pesar de que algunos clusters contienen exclusivamente categorías de la misma edición (grupos 4 y 8), en la mayoría de los casos hay categorías de ambas ediciones. El 4% no pertenece a ningún cluster; éste es el caso de ‘Biology’, ‘Multidisciplinary Sciences’ y ‘History’.


Se aprecian dos clusters bastante grandes (grupos 5 y 6), con más del 25% de las categorías cada uno de ellos, que incluyen las ciencias físicas y de la vida (matemáticas, física, química, ingeniería y biomedicina). Los clusters 2 y 4 contienen aquellas áreas de ciencias sociales que usan en menor medida los métodos matemáticos (educación, sociología, lengua y derecho). 


Los clusters 1 y 7 incluyen, en general, las ciencias de la vida con un componente social más importante, y aquellas ciencias sociales que usan en mayor medida métodos matemáticos (psicología, economía y empresa). Sin embargo, existen importantes diferencias entre ambos clusters dado que no se agrupan conjuntamente en el segundo nivel. Además, ‘Economics’ está en el grupo 1 mientras que ‘Business’ y ‘Management’ están en el grupo 7, lo que pone de manifiesto la heterogeneidad de este campo (obsérvese también que ‘Business, Finance’ está en el grupo 6. Téngase en cuenta que S119 y SS30 ‘Nursing’ están en el mismo cluster y no hay diferencias significativas entre ellas que justifiquen la existencia de dos categorías similares en ambas ediciones. Algo similar ocurre con S79 y SS21 ‘History & Philosophy of Science’. 


Por último, las diferencias entre categorías dentro de la misma edición son, en algunos casos, mayores que las que existen entre algunas categorías de diferentes ediciones. Por ejemplo, ‘Gerontology’ y ‘Psychiatry’ están próximas a Ciencias, mientras que S79 ‘History & Philosophy of Science’ está próxima a Ciencias Sociales. 


- Agregación de datos en campos y áreas


La Tabla III muestra el impacto agregado y las componentes para los campos y áreas científicas de las bases de datos de Thomson Reuters. El tamaño de los campos es muy heterogéneo. Mientras que algunos están constituidos por una única categoría, otros incluyen más de 50. Los mayores impactos corresponden a ‘Multidisciplinary’ (9.747), ‘Molecular Biology & Genetics’ (5.083) y ‘Space Science’ (4.621). Los menores impactos se alcanzan en ‘Mathematics’ (1.345), ‘Computer Science’ (1.529) y ‘Economics & Business’ (1.642).


Los campos de mayor crecimiento son ‘Social Sciences, general’ (0.63) y ‘Economics & Business’ (0.62). El único que reduce su tamaño, con un ratio por debajo de 0.5, es ‘Space Science’ (0.47). Las mayores referencias promedio se producen en ‘Space Science’ (56.59) y ‘Molecular Biology & Genetics’ (51.64). Los menores promedios se obtienen en ‘Mathematics’ (25.75) y ‘Engineering’ (27.74). La mayor proporción de referencias JCR se alcanza en ‘Molecular Biology & Genetics’ (0.92) y las menores en ‘Social Sciences, general’ (0.61), ‘Computer Science’ (0.63) y ‘Economics & Business’ (0.66). La mayor proporción de ítems JCR a la ventana de citación se alcanza en ‘Space Science’ (0.24) y la menor en ‘Plant & Animal Science’ (0.14). Los mayores ratios entre ítems citados y citantes se obtienen en ‘Multidisciplinary’ (2.55) y ‘Molecular Biology & Genetics’ (1.06). Los menores ratios corresponden a ‘Social Sciences, general’ (0.49) y ‘Economics & Business’ (0.59).


Un Análisis Cluster ha determinado que ‘Multidisciplinary’ presenta componentes significativamente diferentes al resto, no pudiendo ser agrupado junto a ningún otro campo. Los campos ‘Economics & Business’ y ‘Social Sciences, general’ comparten un primer cluster mientras que los restantes 19 campos estarían asignados a un segundo cluster. 


La Figura 2 muestra las componentes para las áreas científicas. El área con mayor impacto agregado es ‘Life Sciences & Biomedicine’ y la componente más determinante sobre este valor es el número de referencias promedio. Social Sciences tiene el menor impacto agregado a pesar de contar con los mayores crecimientos y referencias promedio. El bajo impacto viene justificado por la pequeña proporción de referencias JCR y el bajo ratio entre ítems citados y citantes. Finalmente, ‘Technology’ tiene el segundo impacto agregado más pequeño a pesar de la mayor proporción de ítems JCR a la ventana de citación. 


Figura 2. Componentes del Factor de Impacto Agregado de las áreas Thomson Reuters [Descargar tamaño completo]

4. CONCLUSIONES
 Top

Los indicadores de impacto de las revistas no son comparables entre campos científicos debido a diferencias sistemáticas en el hábito de publicación y citación. Una descomposición del factor de impacto en cinco variables muestra que, para las categorías de revistas JCR, las variables que explican la mayor parte de la varianza no incluyen el número de referencias promedio. Sin embargo, éste es el factor que más frecuentemente se ha empleado en la literatura para justificar las diferencias entre los campos científicos y normalizar los factores de impacto. Por tanto, es necesario considerar algunas otras fuentes de varianza a la hora de normalizar los factores de impacto. 


De este trabajo se derivan dos tipos de recomendaciones. La primera tiene que ver con el empleo de los indicadores de impacto. Los usuarios de este tipo de indicadores, entre ellos las agencias de evaluación de la actividad científica (en España, ANECA, CNEAI y ANEP, entre otras), que los emplean a la hora de financiar y promocionar a los investigadores, deberían conocer que su manejo no es algo trivial y que tendrían que ser aplicados por expertos capaces de detectar posibles sesgos para no penalizar a aquellos investigadores que trabajan y publican en campos desfavorecidos por los indicadores de impacto. De esta forma, se evitarían posibles injusticias a la hora de comparar la trayectoria investigadora de científicos que trabajan en campos diferentes. 


La segunda de las recomendaciones tiene que ver con la necesidad de desarrollar nuevos indicadores normalizados que controlen las fuentes principales de varianza y sean capaces de producir medias similares entre grupos de revistas de campos diferentes. 


AGRADECIMIENTOS 
Top

Este trabajo ha sido financiado por el Ministerio de Ciencia y Tecnología a través del proyecto de investigación ECO2008-05589.


BIBLIOGRAFÍATop

ANEXO I: Factor de Impacto Agregado y componentes para las categorías de revistas JCR (S=Ciencias, SS= Ciencias Sociales, t=2010, - Dato no disponible)Top