ESTUDIOS / RESEARCH STUDIES

Análisis de la actividad científica de las universidades públicas españolas en el área de las tecnologías informáticas

Alfonso Ibáñez*, Concha Bielza*, Pedro Larrañaga*

* Universidad Politécnica de Madrid, Facultad de Informática, Departamento de Inteligencia Artificial, Computational Intelligence Group.

Correo-e: aibanez@fi.upm.es; mcbielza@fi.upm.es; pedro.larranaga@fi.upm.es

 

RESUMEN
La creciente competencia entre organismos científicos por los recursos limitados exige que los investigadores tengan que publicar con calidad y en cantidad. Ello ha provocado la aparición de herramientas a diferentes niveles para establecer qué instituciones son más influyentes en el mundo científico. Este análisis bibliométrico caracteriza la producción científica de las universidades españolas y sus profesores funcionarios en el área de las tecnologías informáticas, detectando tanto las fortalezas como las debilidades de los mismos a nivel nacional. Dicho análisis se realiza también por comunidades autónomas, universidades públicas, áreas de conocimiento y categoría profesional. Gracias a este análisis se consigue una visión global y detallada de la situación actual en el área de las tecnologías informáticas.

Analysis of scientific activity in Spanish public universities in the area of computer science

ABSTRACT
The increasing competition among scientific organizations for limited resources requires researchers to publish quality papers, causing the development of tools to establish the most influential institutions. This bibliometric analysis characterizes research activity of Spanish universities and their academic staff in the area of computer sciences, identifying both their strengths and weaknesses nationwide. The analysis is also performed by autonomous regions, public universities, subject areas and professional standing. Thanks to this analysis a comprehensive overview of the current situation in the area of computer sciences is achieved.

Recibido: 17-11-2011; 2ª versión: 29-2-2012; 3ª versión: 12-3-2012; Aceptado: 14-3-2012.

Cómo citar este artículo / Citation: Ibáñez, A.; Bielza, C.; Larrañaga, P. (2013). Análisis de la actividad científica de las universidades públicas españolas en el área de las tecnologías informáticas. Revista Española de Documentación Científica, 36(1):e002. http://dx.doi.org/10.3989/redc.2013.1.912

PALABRAS CLAVE: Análisis bibliométrico; universidades; profesores; tecnologías informáticas; España.

KEYWORDS: Bibliometric analysis; universities; professors; computer science; Spain.

Copyright: © 2013 CSIC. Este es un artículo de acceso abierto distribuido bajo los términos de la licencia Creative Commons Attribution-Non Commercial (by-nc) Spain 3.0.

CONTENIDOS

RESUMEN
ABSTRACT
1. INTRODUCCIÓN
2. METODOLOGÍA
3. RESULTADOS
4. DISCUSIÓN
5. CONCLUSIONES
6. AGRADECIMIENTOS
7. BIBLIOGRAFÍA

 

1. INTRODUCCIÓN Top

La productividad y visibilidad científica juegan un papel fundamental para medir la excelencia investigadora de un país. La creciente competencia exige a los investigadores producir y publicar con calidad y en cantidad para mantener o mejorar su posición profesional, obtener financiación, etc. Esto no ocurre sólo a nivel individual. Los organismos que agrupan a los investigadores como grupos de investigación, departamentos o universidades, ven mermados sus presupuestos y, por ende, sus posibilidades de crecimiento y captación de recursos si no demuestran un nivel de productividad suficiente.

La producción de la investigación española ha crecido exponencialmente en las últimas décadas. Las publicaciones españolas abarcan el 3,3% del total de las publicaciones almacenadas en la base de datos Web of Knowledge. Dicho porcentaje era bastante menor en el año 1963, cuando tan sólo abarcaba el 0,2% de las publicaciones. La calidad es más importante que la cantidad en términos de publicaciones científicas, y en este aspecto, la situación no es tan buena en España. Analizando la investigación mundial en todas las áreas en el periodo 2001-2011, España ocupa la 9ª posición en cuanto al número de publicaciones realizadas, la 11ª posición en citas recibidas, y la 34ª posición en citas por publicación.

España no mejora sus resultados en el área de las tecnologías informáticas (disciplina analizada en este estudio). En este caso, analizando el número de publicaciones realizadas, España ocupa la 10ª posición (11.804 publicaciones) por detrás de países como Estados Unidos (76.873), China (28.983), Alemania (20.007), Inglaterra (17.302), Francia (16.401), Corea del Sur (16.321), Japón (15.317), Canadá (13.610) e Italia (12.664). En cuanto al número de citas recibidas, España alcanza la 9ª posición (37.194) por detrás de Estados Unidos (506.496), Alemania (87.264), Inglaterra (85.686), China (72.244), Francia (63.166), Canadá (62.068), Japón (49.961) e Italia (44.645). Como se puede observar, los países que ocupan las primeras posiciones tanto en productividad como en visibilidad suelen ser prácticamente los mismos. Dependiendo del parámetro analizado pueden variar las posiciones entre ellos. Finalmente, España ocupa la 35ª posición en citas por publicación, obteniendo un valor de 3,15. Dicho valor es bastante inferior al conseguido por países como Suecia (9,38), Estados Unidos (6,59), Suiza (6,15), Dinamarca (5,52) e Israel (5,46). Los datos de este análisis se han obtenido del Essential Science Indicators perteneciente a la plataforma Web of Knowledge.

El análisis de la productividad científica es una de las cuestiones de política científica que mayor interés ha suscitado en los últimos años en España. Prueba de ello son las instituciones activas para la gestión de la producción científica y destacando entre ellas las agencias evaluadoras como la Agencia Nacional de Evaluación y Prospectiva (ANEP), Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI), Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA), así como las respectivas agencias autonómicas.

La productividad científica española ha sido analizada en distintas disciplinas como la medicina (Gómez Caridad y otros, 2004Gómez Caridad, I.; Fernández Muñoz, M.T.; Bordons, M.; Morillo, F. (2004). La producción científica española en Medicina en los años 1949-1999. Revista Clínica Española, vol. 204 (2), 75-88.), la filología española (Urbano y otros, 2005Urbano, C.; Borrego, A.; Brucart, J.M.; Cosculluela, A.; Somoza, M. (2005). Análisis bibliométrico de la bibliografía citada en estudios de filología española. Revista Española de Documentación Científica, vol. 28 (4), 439-461.), la educación multicultural (Vallejo Ruiz y otros, 2005Vallejo Ruiz, M.; Ocaña Fernández, A.; Bueno Sánchez, A.; Torralbo Rodríguez, M.; Fernández Cano, A. (2005). Producción científica sobre educación multicultural contenida en las bases de datos Social Sciences Citation Index y Arts & Humanities Citation Index (1956-2003). Revista Española de Documentación Científica, vol. 28 (2), 206-220.), las tecnologías de la información y de las comunicaciones (Rojo y Gómez, 2006Rojo, R.; Gómez, I. (2006). Analysis of the Spanish scientific and technological output in the ICT sector. Scientometrics, vol. 66 (1), 101-121.), la educación matemática (Vallejo Ruiz y otros, 2006Vallejo Ruiz, M.; Fernández Cano, A.; Torralbo Rodríguez, M. (2006). Patrones de citación en la investigación española en educación matemática. Revista Española de Documentación Científica, vol. 29 (3), 382-397.), la odontología (Medina Casaubón y otros, 2008Medina Casaubón, J.M.; Fernández Guerrero, I.M.; Gil Montoya, J.A.; Fernández Cano, A. (2008). La investigación odontológica española en la base Science Citation Index: Un estudio cienciométrico (1974-2006). Revista Española de Documentación Científica, vol. 31 (2), 169-189.), las ciencias sociales y humanas (Rodríguez Yunta y Abejón Peña, 2010Rodríguez Yunta, L.; Abejón Peña, T. (2010). El análisis bibliométrico de la producción española en Ciencias Sociales y Humanas. ¿Contamos con las fuentes necesarias? Revista Española de Documentación Científica, vol. 33 (1), 151-155.), la comunicación (López-Berna y otros, 2011López-Berna, S.; Papí-Gálvez, N.; Martín-Llaguno, M. (2011). Productividad científica en España sobre las profesiones de comunicación entre 1971 y 2009. Revista Española de Documentación Científica, vol. 34 (2), 212-231.), etc. Tomando como referencia los outputs de las distintas universidades españolas, varios estudios han analizado aspectos como la productividad y la visibilidad (Moya-Anegón y otros, 2007Moya-Anegón, F.; Chinchilla-Rodríguez, Z.; Corera-álvarez, E.; Gómez-Crisóstomo, M.; González-Molina, A.; Muñoz-Fernández, F.J. (2007). La productividad ISI de las universidades españolas (2000-2004). El profesional de la información, vol. 16 (4), 354-358.; Bordons y otros, 2010Bordons, M.; Sancho, R.; Morillo, F.; Gómez, I (2010). Perfil de actividad científica de las universidades españolas en cuatro áreas temáticas: un enfoque multifactorial. Revista Española de Documentación Científica, vol. 33 (1), 9-33.; Orduña-Malea y otros, 2010Orduña-Malea, E.; Serrano-Cobos, J.; Ontalba-Ruipérez, J.A.; Lloret-Romero, N. (2010). Presencia y visibilidad web de las universidades públicas españolas. Revista Española de Documentación Científica, vol. 33 (2), 246-278.), las patentes (González-Albo y Zulueta, 2007González-Albo, B.; Zulueta, M.A. (2007). Patentes domésticas de universidades españolas: Análisis bibliométrico. Revista Española de Documentación Científica, vol. 30 (1), 61-90.), las páginas web (Pinto y otros, 2004Pinto, M.; Alonso, J.L.; Cordón, J.A..; Fernández, V.; García, C.; García, J.; Gómez, C.; Zazo, A.F.; Doucet, A.V. (2004). Análisis cualitativo de la visibilidad de la investigación de las universidades españolas a través de sus páginas web. Revista Española de Documentación Científica, vol. 27 (3), 345-370.; Orduña-Malea y otros, 2009Orduña-Malea, E.; Serrano-Cobos, J.; Lloret-Romero, N. (2009). Las universidades públicas españolas en Google Scholar: presencia y evolución de su publicación académica web. El Profesional de la Información, vol. 18 (5), 493-500.), etc. Finalmente, otros estudios han analizado el perfil investigador de determinadas instituciones académicas, como por ejemplo, la Universidad Alcalá de Henares (Campanario y otros, 1998Campanario, J.M.; Cabos, W.; Hidalgo, M.A. (1998). El impacto de la producción científica de la Universidad de Alcalá de Henares. Revista Española de Documentación Científica, vol. 21 (4), 402-415.), Universidad de Granada (Moya-Anegón y otros, 2005Moya-Anegón, F.; Chinchilla-Rodríguez, Z.; Corera-álvarez, E.; Vargas-Quesada, B.; Muñoz-Fernández, F.; Herrero-Solana, V. (2005). Análisis de dominio institucional: La producción científica de la Universidad de Granada (SCI 1991-99). Revista Española de Documentación Científica, vol. 28 (2), 170-195.), Universidad Politécnica de Valencia (Alonso-Arroyo y otros, 2006Alonso-Arroyo, A.; Pulgarín, A.; Gil-Leiva, I. (2006). Análisis bibliométrico de la producción científica de la Universidad Politécnica de Valencia 1973-2001. Revista Española de Documentación Científica, vol. 29 (3), 345-363.), Universidad de Navarra (Torres-Salinas y otros, 2009Torres-Salinas, D.; Delgado-López-Cózar, E.; Jiménez-Contreras, E. (2009). Análisis de la producción de la Universidad de Navarra en revistas de Ciencias Sociales y Humanidades empleando rankings de revistas españolas y la Web of Science. Revista Española de Documentación Científica, vol. 32 (1), 22-39.) y Universidad de Málaga (Maz-Machado y otros, 2010Maz-Machado, A.; Torralbo-Rodríguez, M.; Vallejo-Ruiz, M.; Bracho-López, L. (2010). Análisis bibliométrico de la producción científica de la Universidad de Málaga en el Social Sciences Citation Index (1998-2007). Revista Española de Documentación Científica, vol. 33 (4), 582-599.), entre otros, así como el perfil investigador en distintas comunidades autónomas como Extremadura (Reyes-Barragán y otros, 2006Reyes-Barragán, M.J.; Guerrero-Bote, V.P.; Moya-Anegón, F. (2006). Proyección internacional de la investigación de Extremadura (1990-2002). Revista Española de Documentación Científica, vol. 29 (4), 525-550.) y Cataluña (Olmeda-Gómez y otros, 2008Olmeda-Gómez, C.; Ovalle-Parandones, M.A.; Perianes-Rodríguez, A.; Moya-Anegón, F. (2008). Impacto internacional de la investigación y la colaboración científica de las Universidades de Cataluña. 2000-2004. Revista Española de Documentación Científica, vol. 31 (4), 591-611.).

El sector de las tecnologías informáticas se ha señalado como uno de los principales motores de crecimiento económico en los últimos años, gracias al logro de grandes progresos y a la posibilidad de tender el puente necesario entre la universidad y el mundo empresarial. Varios trabajos han analizado dicho sector a nivel global (Goodrum y McCain, 2001Goodrum, A.A.; McCain, K.W.; Lawrence, S.; Giles, C.L. (2001). Scholarly publishing in the Internet age: A citation analysis of computer science literature. Information Processing & Management, vol. 37 (5), 661-675.; Guan y Ma, 2004Guan, J.C.; Ma, N. (2004). A comparative study of research performance in computer science. Scientometrics, vol. 61 (3), 339-359.; Biryukov y Dong, 2010Biryukov, M.; Dong, C.L. (2010). Analysis of computer science communities based on DBLP. Research and Advanced Technology for Digital Libraries. Lecture Notes in Computer Science, vol. 6273, 228-235.). Otros han analizado dicho sector en países concretos como China (He y Guan, 2008He, Y.; Guan, J.C. (2008). Contribution of Chinese publications in computer science: A case study on LNCS. Scientometrics, vol. 75 (3), 519-534.), Brasil (Wainer y otros, 2009Wainer, J.; Xavier, E.C.; Bezerra, F. (2009). Scientific production in computer science: A comparative study of Brazil and other countries. Scientometrics, vol. 81 (2), 535-547.) y Venezuela (Rojas-Sola y Jorda-Albinana, 2009Rojas-Sola, J.I.; Jorda-Albinana, B. (2009). Bibliometric analysis of Venezuelan publications in the computer sciences category of the JCR data base (1997-2007). Interciencia, vol. 34 (10), 689-695.), pero sin embargo, no conocemos ningún análisis sobre España.

El análisis del sector de las tecnologías informáticas en España nos posibilita comprobar el rendimiento de la actividad científica y su impacto en la sociedad. En este contexto, los análisis bibliométricos proporcionan información sobre el perfil investigador y las tendencias existentes en dicho sector. Los resultados de dicho análisis justifican ante la sociedad, entre otras cosas, las partidas presupuestarias de los organismos destinadas a este sector.

La finalidad de este artículo es describir, de una manera estructurada, la productividad científica y visibilidad internacional de las universidades públicas españolas, analizando sus profesores funcionarios (Catedrático de Universidad (CU), Titular de Universidad (TU), Catedrático de Escuela Universitaria (CEU), Titular de Escuela Universitaria (TEU)) adscritos a las áreas de conocimiento de Arquitectura y Tecnología de los Computadores (ATC), Ciencia de la Computación e Inteligencia Artificial (CCIA) o Lenguajes y Sistemas Informáticos (LSI), por medio de diversos parámetros. Los parámetros analizados son: productividad y visibilidad, número de autores en las publicaciones, tipo de publicación (revista o congreso), internacionalización de la autoría, categorías y factor de impacto de las revistas pertenecientes al Journal Citation Reports (recurso de evaluación de revistas que brinda información estadística basada en los datos de citas), así como, varios índices bibliométricos. Este trabajo muestra para cada parámetro analizado tanto su evolución temporal como su valor absoluto. Dicho análisis bibliométrico se realiza tanto a nivel nacional como por comunidades autónomas, universidades públicas, áreas de conocimiento y categorías profesionales. Gracias a este análisis se consigue una visión global y a la vez detallada de la situación actual en el área de tecnologías informáticas, que puede servir de ayuda a los gestores y administradores de política científica a la hora de tomar decisiones.

 

2. METODOLOGÍA Top

Para la realización de esta investigación se ha construido una base de datos donde se almacenan todas las publicaciones realizadas por todos los profesores analizados en el estudio. El periodo de tiempo analizado va desde el año 1973 (año de la publicación más antigua de los profesores analizados) hasta el 1 de enero de 2010. A continuación se muestran las fases llevadas a cabo para el desarrollo de la base de datos.

El primer paso fue solicitar al Ministerio de Educación una lista de los profesores funcionarios asociados a las áreas de ATC, CCIA y LSI que estaban activos a 1 de enero de 2010. Dicha lista contenía 2.004 profesores funcionarios, con información de su categoría profesional, área de conocimiento y universidad de pertenencia. El siguiente paso fue obtener la lista de publicaciones y citas recibidas para cada uno de los profesores funcionarios analizados. Para ello, se utilizaron las bases de datos de Web of Knowledge.

Web of Knowledge es la plataforma que reúne la literatura científica de mayor relevancia producida y publicada en el mundo en las distintas áreas de conocimiento y disciplinas (Garfield, 2003Garfield, E. (2003). The meaning of the Impact Factor. International Journal of Clinical and Health Psychology, vol. 3 (2), 363-369.). El prestigio asociado a Web of Knowledge tiene que ver esencialmente con los rigurosos criterios de selección (cumplimiento de los estándares de publicación, cobertura temática, representatividad internacional y análisis de citas) que aplican a las distintas revistas y conferencias (Ruiz-Pérez y otros, 2006Ruiz-Pérez, R.; Delgado-López-Cózar, E.; Jiménez-Contreras, E. (2006). Criterios del Institute for Scientific Information para la selección de revistas científicas. Su aplicación a las revistas españolas: Metodología e indicadores. International Journal of Clinical and Health Psychology, vol. 6 (2), 401-424.). Estos rigurosos procesos selectivos se encuentran sustentados en las propias leyes bibliométricas, donde se demuestra que la mejor ciencia se localiza en pequeños núcleos (Garfield, 1996Garfield, E. (1996). The significant scientific literature appears in a small core of journals. Scientist, vol. 10 (17), 13.). Dicha plataforma dispone de una base de datos especializada en comunicaciones de congresos (Conference Proceedings Citation Index) que almacena anualmente 400.000 publicaciones procedentes de más de 15.000 congresos distintos. Aunque dichas comunicaciones de congresos fueron introducidas aproximadamente en el año 2008, se incorporan desde finales de los años 80. Por otra parte, incorpora una de las bases de datos (Science Citation Index) de publicaciones en revistas con mayor prestigio mundial (incluye las publicaciones del Journal Citation Reports). Por lo tanto, Web of Knowledge no almacena toda la literatura científica, pero sí almacena aquella que realmente importa. Finalmente, esta plataforma es una de las principales herramientas utilizadas por la ANECA y CNEAI en la evaluación a nivel nacional (Ruiz-Pérez y otros, 2010Ruiz-Pérez, R.; Delgado-López-Cózar, E.; Jiménez-Contreras, E. (2010). Principios y criterios utilizados en España por la Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI) para la valoración de las publicaciones científicas: 1989-2009. Psicothema, vol. 22 (4), 898-908.), y en la elaboración de informes por organismos tales como: Unión Europea, National Science Foundation, National Institute of Science and Technology Policy de Japón, Jiao Tong University de Shanghai, entre otros.

Para la recuperación de los registros fuente se han realizado búsquedas por los nombres de autores a partir de la lista previamente mencionada (2.004 profesores). Tras los resultados iniciales proporcionados por Web of Knowledge, se realizó una depuración, de manera manual, sobre aquellos registros que no eran pertinentes. El primer paso fue filtrar las publicaciones de cada profesor por universidad. De esta manera, se eliminaron gran parte de publicaciones de autores con el mismo nombre y de distintas universidades. En esta fase se contemplaron diferentes variaciones en el nombre de las universidades españolas. Posteriormente, se eliminaron las publicaciones que no pertenecían a las revistas y congresos pertenecientes al área de tecnologías informáticas (computer science) según Web of Knowledge. De esta forma, se pudieron eliminar las publicaciones de autores con el mismo nombre y misma universidad, que trabajan en distintas disciplinas. Finalmente, se consultaron las páginas web personales de los profesores analizados, los directorios de publicaciones de sus respectivas instituciones y grupos de investigación, así como otras bases de datos (como por ejemplo, DBLP Computer Science Bibliography) para corroborar las publicaciones obtenidas y garantizar la fiabilidad de los resultados. Si existían incoherencias en el número de publicaciones obtenido en las distintas fuentes, debido principalmente a la utilización de nombres o apellidos compuestos, se volvía a realizar todo el proceso desde el inicio. Estas tareas fueron realizadas con mucha atención debido a los problemas existentes con los nombres de los autores españoles en distintas bases de datos (Ruiz-Pérez y otros, 2002Ruiz-Pérez, R.; Delgado-López-Cózar, E.; Jiménez-Contreras, E. (2002). Spanish personal name variations in national and international biomedical databases: Implications for information retrieval and bibliometric studies. Journal of the Medical Library Association, vol. 90 (4), 411-430. ).

Una vez finalizado el proceso de depuración, se generó una base de datos propia para almacenar toda la información y poder tratarla de manera exhaustiva. La información almacenada en cada registro de la base de datos fue: identificador del autor, área de conocimiento, categoría profesional, universidad de pertenencia, titulo del documento, año de publicación, tipo documental, nombre de la publicación, palabras clave, área de publicación, número de autores, afiliaciones participantes, número de referencias, número total de citas acumuladas y número de citas anuales desde 1973 hasta 2009, ambos incluidos.

Con el objetivo de estudiar la actividad científica a distintos niveles, se construyeron varias bases de datos para analizar los datos tanto a nivel nacional como por comunidades autónomas, universidades, categoría profesional y área de conocimiento. La base de datos a nivel nacional contiene las distintas publicaciones realizadas por los profesores analizados. En el resto de bases de datos (comunidades autónomas, universidades, categoría profesional y área de conocimiento) se produce un solapamiento de las publicaciones debido a la colaboración entre los profesores analizados. De esta forma, el registro de una determinada publicación firmada por profesores de la universidad A y la universidad B (ambas universidades españolas y pertenecientes a la misma comunidad autónoma), aparecerá en dos ocasiones en la base de datos de universidades, mientras que sólo aparecerá una vez en la base de datos de comunidades autónomas y en la base de datos a nivel nacional.

El último paso fue implementar un software para procesar la información almacenada y obtener los resultados que se muestran en este artículo. Este software calcula los valores relacionados con la productividad, visibilidad, colaboración, factor de impacto e índices bibliométricos tanto a nivel nacional como por comunidades autónomas, universidades públicas, áreas de conocimiento y categorías profesionales.

Los índices bibliométricos son medidas cuantitativas que comparan la actividad científica de los investigadores e instituciones en función de sus publicaciones. Consisten fundamentalmente en contar el número de publicaciones realizadas y el número de citas recibidas en las mismas. Estos índices se basan en la suposición de que las publicaciones más importantes e influyentes son más citadas que el resto de publicaciones. Los índices bibliométricos han recibido mucha atención por parte de la comunidad científica durante los últimos años, ya que numerosos organismos y comités los han utilizado, junto con otros parámetros, para conceder financiación, promocionar personal, etc. La mayor ventaja de estos índices es que pueden resumir la actividad científica en un solo número. Además, conforman un método objetivo y verificable, cuyos resultados son reproducibles. Estos métodos son aplicables a un gran volumen de datos y permiten testar la significatividad estadística de distintas hipótesis que se quieran verificar (Ibáñez y otros, 2011aIbáñez, A.; Larrañaga, P.; Bielza, C. (2011a). Using Bayesian networks to discover relationships between bibliometric indices. A case study of computer science and artificial intelligence journals. Scientometrics, vol. 89 (2), 523-551.). Entre los numerosos índices bibliométricos existentes se han seleccionado para este estudio aquellos que tienen una gran aceptación entre la comunidad científica y cuyos resultados son fácilmente interpretables.

El h-index (Hirsch, 2005Hirsch, J. (2005). hg-index: An index to quantify an individual’s scientific research output. Proceedings of the National Academy of Sciences, vol. 102 (46), 16569-16572.) combina la productividad y visibilidad de una institución en un único valor, identificando así, el núcleo más productivo de sus publicaciones en términos del número de citas recibidas. De las diferentes variantes del h-index, el g-index (Egghe, 2006Egghe, L. (2006). An improvement of the h-index: The g-index. ISSI Newsletter, vol. 2 (1), 8-9.) es la más conocida de todas. Dicho índice se presenta como una mejora al h-index, ya que mide el rendimiento global de las citas, analizando el peso de las citas recibidas en las publicaciones más citadas. Otra de las variantes más conocidas es el hg-index (Alonso y otros, 2010Alonso, S.; Cabrerizo, F.; Herrera-Viedma, E.; Herrera, F. (2010). hg-index: A new index to characterize the scientific output of researchers based on the h- and g-indices. Scientometrics, vol. 82 (2), 391-400.). El principal objetivo de este índice es tratar de fusionar los beneficios de los dos índices anteriores, al mismo tiempo que minimizar los inconvenientes de cada uno de ellos. Por otra parte, hpub-index, hcit-index y hh-index son ejemplos de índices sucesivos (Prathap, 2006Prathap, G. (2006). Hirsch-type indices for ranking institutions’ scientific research output. Current Science, vol. 91 (11), 1439-1439.; Schubert, 2007Schubert, A. (2007). Successive h-indices. Scientometrics, vol. 70 (1), 201-205.). Estos índices son medidas de segundo orden. Esto significa que para obtener los valores de dichos índices sobre cada institución es necesario calcular, previamente, los valores de los índices correspondientes a los investigadores que forman cada institución. De esta manera, hpub-index analiza la productividad de una institución por medio de las publicaciones asociadas a cada uno de sus investigadores, hcit-index analiza la visibilidad de una institución gracias al número de citas recibido por cada investigador, y finalmente, el hh-index muestra el valor del h-index de una institución por medio del h-index asociado a cada uno de los investigadores que forman la institución. Estos índices sucesivos ofrecen una visión integral del comportamiento de los investigadores que integran las instituciones dedicadas a la investigación y de su impacto sobre la comunidad científica (Arencibia-Jorge, 2009Arencibia-Jorge, R. (2009). Nuevos indicadores de rendimiento científico institucional basados en análisis de citas: los índices H sucesivos. Revista Española de Documentación Científica, vol. 32 (3), 101-106.).

En aras del principio de reproducibilidad, los siguientes puntos son explicaciones generales sobre el proceso de recogida de los datos:

 

3. RESULTADOS Top

En las siguientes secciones se muestran los principales resultados del análisis bibliométrico realizado. Este análisis está basado en un estudio más extenso de los mismos autores (Ibáñez y otros, 2011bIbáñez, A.; Bielza, C.; Larrañaga, P. (2011b). Productividad y Visibilidad Científica de los Profesores Funcionarios de las Universidades Públicas Españolas en el área de Tecnologías Informáticas. Madrid: Fundación General de la U.P.M..) que se puede consultar para obtener información adicional.

3.1. Resultados a nivel nacional

La Tabla I muestra la situación global en la que se encuentra la actividad científica de los profesores analizados, mientras que la Tabla II refleja su evolución durante el periodo 2000-2009.

La productividad científica de los profesores analizados se refleja en las 11.510 publicaciones distintas realizadas. Sobre el total de estas publicaciones, 4.233 (36,8%) son artículos de revistas y 7.277 (63,2%) son actas de congresos. Como se puede observar en la Tabla I, las publicaciones se realizan sobre todo en las categorías Theory and Methods y Artificial Intelligence, obteniendo 5.921 y 3.667 publicaciones, respectivamente. En cuanto a la colaboración, sólo 1.601 publicaciones (13,9%) han sido realizadas con algún organismo extranjero. Centrándonos en las revistas, se observa que la mayoría de los artículos publicados en el periodo 2000-2009 se realizaron en revistas del primer y segundo cuartil, obteniendo porcentajes del 30,5%, 27,5%, 27,3% y 14,7%, para los cuartiles Q1, Q2, Q3 y Q4, respectivamente.

Tabla I. Producción científica de los profesores funcionarios de las 48 universidades públicas españolas asociados a las áreas ATC, CCIA y LSI en el periodo 1973-2009
Productividad y visibilidad      
Número total de publicaciones realizadas: 11.510
Número total de citas recibidas por las publicaciones: 37.333
Número medio de citas recibidas por publicación: 3,24
Autoría de las publicaciones      
Número medio de autores por publicación: 3,54
Número medio de instituciones por publicación: 2,39
Categorías de publicación Publicaciones (P) * Citas (C) * Ratio (C/P)
Artificial Intelligence 3.667 15.907 4,34
Cybernetics 238 1.381 5,80
Hardware and Architecture 1.075 3.112 2,89
Information Systems 1.406 3.843 2,73
Interdisciplinary Applications 818 2.013 2,46
Software Engineering 1.632 3.943 2,42
Theory and Methods 5.921 15.481 2,61
Tipo de publicación Publicaciones (P) * Citas (C) * Ratio (C/P)
Artículos publicados en revistas 4.233 30.378 7,18
Actas publicadas de congresos 7.277 6.955 0,96
Colaboraciones Publicaciones (P) * Citas (C) * Ratio (C/P)
Publicaciones sin instituciones extranjeras 9.909 28.471 2,87
Publicaciones con instituciones extranjeras 1.601 8.862 5,54
Cuartiles de publicación      
976 artículos en revistas del Q1 879 artículos en revistas del Q2
875 artículos en revistas del Q3 471 artículos en revistas del Q4
Índices bibliométricos      
h-index = 63; g-index = 92; hg-index=76,13; hpub-index=46; hcit-index=122; hh-index=13
* Nótese que existe solapamiento entre las distintas categorías de publicación. Una publicación puede pertenecer a más de una categoría
al mismo tiempo. Por ese motivo la suma de las publicaciones y citas de todas las categorías no coincide con el número total de
publicaciones realizadas y el número total de citas recibidas, respectivamente.

La visibilidad científica a nivel nacional está representada por las 37.333 citas recibidas por las publicaciones realizadas, lo que representa una media de 3,24 citas en cada publicación. La categoría de publicación que más citas recibe es Artificial Intelligence (15.907), aunque las publicaciones de la categoría Cybernetics son las que reciben mayor número medio de citas (5,80). Con respecto al tipo de publicación, los artículos en revistas reciben en media 7,18 citas, mientras que las actas de congresos tan sólo reciben 0,96 citas. Finalmente, las publicaciones con colaboración internacional reciben mayor número medio de citas por publicación (5,54), que las publicaciones sin colaboración internacional (2,87).

En cuanto a los índices bibliométricos observamos que los valores obtenidos para h-index, g-index y hg-index son 63,92 y 76,13, respectivamente. Los valores de dichos índices combinan la productividad y visibilidad a nivel nacional. Por otra parte, los valores de hpub-index=46, hcit-index=122 y hh-index=13 indican, respectivamente, que 46 profesores tienen por lo menos 46 publicaciones, 122 profesores han recibido por lo menos 122 citas, y que 13 profesores tienen un h-index de al menos 13.

Por otra parte, en la Tabla II se puede observar que tanto la productividad como la visibilidad de los profesores analizados han aumentado significativamente a lo largo de los años, logrando un incremento del 347% y 1.053%, respectivamente, entre el año 2000 y el 2009. Con respecto al número medio de autores en las publicaciones se puede decir que ha aumentado de forma paulatina año a año, pasando de 3,12 en el año 2000 a 3,72 en el año 2009, mientras que el número medio de instituciones ha oscilado durante los años, obteniendo en el año 2000 valores muy similares a los del año 2009.

Tabla II. Evolución de la producción científica de los profesores funcionarios de las 48 universidades públicas españolas asociados a las áreas ATC, CCIA y LSI en el periodo 2000-2009
Productividad y visibilidad 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009
Publicaciones totales 424 480 589 996 1.001 1.100 1.224 1.300 1.337 1.471
Citas totales 662 997 1.251 1.876 2.389 2.990 3.595 4.418 6.136 6.971
Autoría de las publicaciones
Número medio de autores 3,12 3,20 3,37 3,53 3,58 3,62 3,64 3,69 3,74 3,72
Número medio de instituciones 2,35 2,45 2,52 2,57 2,60 2,53 2,55 2,30 2,30 2,37
Categorías de publicación* (número de publicaciones)
Artificial Intelligence 187 189 232 299 297 309 384 393 424 415
Cybernetics 4 10 15 12 19 10 40 25 17 29
Hardware and Architecture 37 58 71 58 77 73 105 100 148 111
Information Systems 43 81 79 92 101 105 122 168 184 211
Interdisciplinary Applications 15 27 24 44 54 68 53 117 104 148
Software Engineering 48 85 80 105 132 103 130 219 238 223
Theory and Methods 162 190 249 580 563 675 663 699 654 799
Tipo de publicación
Artículos en revistas 174 215 226 265 276 286 335 419 456 549
Actas de congresos 250 265 363 731 725 814 889 881 881 922
Citas en artículos 614 902 1.119 1.581 1.928 2.403 2.809 3.423 4.888 5.527
Citas en actas 48 95 132 295 461 587 786 995 1.248 1.444
Colaboración
Publicación nacional 377 423 506 827 856 896 1.011 1.174 1.201 1.328
Publicación internacional 47 57 83 169 145 204 213 126 136 143
Citas en public. nacional 529 777 974 1.432 1.821 2.276 2.748 3.341 4.659 5.306
Citas en public. internacional 133 220 277 444 586 714 847 1.077 1.477 1.665
Cuartiles de publicación
Publicaciones en revistas Q1 34 57 51 58 76 82 108 128 130 252
Publicaciones en revistas Q2 30 33 36 63 84 81 108 134 131 179
Publicaciones en revistas Q3 73 88 66 109 88 80 81 105 110 75
Publicaciones en revistas Q4 37 37 73 35 28 43 38 52 85 43
Índices bibliométricos
h-index 20 22 24 28 33 37 43 49 55 60
g-index 27 30 34 38 43 49 57 65 77 86
hg-index 23,2 25,7 28,6 32,6 37,7 42,6 49,5 56,4 65,1 71,8
* Nótese que existe solapamiento entre las distintas categorías de publicación. Una publicación puede pertenecer a más de una categoría
al mismo tiempo. Por ese motivo la suma de las publicaciones anuales de todas las categorías no coincide con el número total de
publicaciones realizadas anualmente.

En cuanto al tipo de publicación, hay que decir que se han publicado más actas de congresos que artículos en revistas en cada uno de los años analizados. Con respecto al número de citas recibidas, a pesar de publicarse menos artículos en revistas que actas de congresos, los artículos en revistas obtienen muchísimas más citas en cada uno de los años analizados. Tomando como ejemplo el año 2009, se observa que en ese año los artículos en revistas publicados con anterioridad recibieron un total de 5.527 citas, mientras que las actas de congreso recibieron 1.444 citas. La Figura 1 muestra la evolución del número medio de citas recibidas en función del tipo de publicación. Tomando como referencia el año 2000, se observa que los artículos publicados en ese año tienen de media 15,24 citas al final del proceso de recogida de datos, mientras que las actas publicadas en ese mismo año tienen de media 1,61 citas.

La Tabla III muestra el listado de las revistas y congresos con mayor número de publicaciones realizadas por los profesores analizados. Analizando el listado de revistas se observa que la revista en la que más publican los profesores analizados es Fuzzy Sets and Systems,logrando un total de 230 publicaciones. La evolución temporal de dicha revista muestra que en el año 2009 se realizaron 15 publicaciones en dicha revista, mientras que en la revista Expert Systems with Applications se realizaron 35 publicaciones. Por otra parte, los datos de la Tabla III reflejan que el congreso en el que más publican los profesores considerados es International Work-Conference on Artificial Neural Networks, logrando un total de 294 publicaciones. Analizando su evolución temporal se observa que en varios años (2000, 2002, 2004, 2006 y 2008) no hay publicaciones en dicha conferencia debido a que se trata de un congreso que se celebra cada dos años. Aún así, es el congreso en el que los profesores analizados publican más trabajos.

Figura 1. Evolución del número medio de citas recibidas por los artículos de revistas, por las actas de congresos y por el total de publicaciones realizadas

Evolución del número medio de citas recibidas por los artículos de revistas, por las actas de congresos y por el total de publicaciones realizadas

[Descargar tamaño completo]

 
Tabla III. Evolución de la producción científica en las revistas y congresos con más publicaciones de los profesores funcionarios de las 48 universidades públicas españolas en el periodo 2000-2009
Revistas
FSS - Fuzzy Sets and Systems
IJIS - International Journal of Intelligent Systems
PRL - Pattern Recognition Letters
ESA - Expert Systems with Applications
PR - Pattern Recognition
  Total 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009
FSS 230 14 15 7 14 16 11 5 16 13 15
IJIS 127 10 5 6 21 3 12 7 8 9 9
PRL 125 3 7 4 10 2 5 8 9 18 7
ESA 109 5 2 4 4 7 6 3 5 14 35
PR 102 6 3 9 10 6 5 13 4 8 7
Congresos
IWANN - International Work-Conference on Artificial Neural Networks
CLEF - Workshop of Cross-Language Evaluation Forum
IWINAC - Int. Work-Conference on the Interplay between Natural and Artificial Computation
ICCS - International Conference on Computational Science
ICCAST - International Conference on Computer Aided Systems Theory
  Total 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009
IWANN 294 0 4 0 72 0 56 0 43 0 105
CLEF 129 0 0 5 21 0 15 25 23 22 18
IWINAC 97 0 0 0 0 0 31 0 32 0 34
ICCS 86 0 0 11 11 0 11 23 4 15 11
ICCAST 83 0 0 0 0 0 32 0 34 0 17

Con respecto al número de artículos en revistas del Q1 y Q2, la Tabla II muestra que se ha incrementado notablemente en los últimos años. En el año 2000 se realizaron 34 y 30 publicaciones en el Q1 y Q2, respectivamente, mientras que en el año 2009, se realizaron 252 y 179 publicaciones, respectivamente.

La Figura 2 muestra la evolución del porcentaje de artículos en cada cuartil de publicación. Estos porcentajes están calculados respecto al resto de cuartiles de publicación. Tomando como referencia el Q1, se observa que el año 2009 es el año en el que mayor porcentaje de publicaciones se realizaron en dicho cuartil, mientras que el año 2002 fue el año en el que se publicó un mayor porcentaje de artículos en el Q4. Analizando la Figura 2 se observa que el porcentaje de publicaciones en Q1 y Q2 ha incrementado a lo largo de los años, mientras que el porcentaje de publicaciones en Q3 y Q4 ha disminuido.

Los cuartiles de publicación se calculan teniendo en cuenta el factor de impacto asociado a las revistas de publicación. La Figura 3 muestra el número de veces que se ha publicado en revistas con un determinado factor de impacto en el periodo 2000-2009. La distribución del factor de impacto es la siguiente: mínimo (0,000), percentil 25 (0,470), percentil 50 (0,799), percentil 75 (1,282) y máximo (7,400). Analizando dicha figura, se observa que 13 artículos distintos se han publicado en revistas con factor de impacto 0,00, mientras que un único artículo se ha publicado en una revista con factor de impacto 7,400. Por otra parte, el factor de impacto que más se repite es 2,596, que lo hace con una frecuencia de 35 veces. También hay que destacar los tres artículos que se publican en revistas con un factor de impacto de 5,960.

Finalmente, se observa en la Tabla II que los valores de los índices bibliométricos han ido aumentando a lo largo de los años. Así por ejemplo, en el año 2000 se tiene un h-index=20, mientras que en el año 2009 se tiene un h-index=60. Hay que mencionar que los valores de estos índices bibliométricos nunca disminuyen con el tiempo, por lo que es más importante analizar el incremento anual que existe entre los distintos años. Dicho incremento es más complicado de obtener a medida que se aumentan las cantidades. Así, es más fácil incrementar de 20 a 22, que de 22 a 24. Analizando el h-index se observa que a pesar de tener grandes valores en los últimos años, los mayores incrementos se producen en esos mismos años, logrando aumentos de 6 unidades en el h-index durante varios años consecutivos.

Figura 2. Evolución del porcentaje de artículos en cada cuartil de publicación

Evolución del porcentaje de artículos en cada cuartil de publicación

[Descargar tamaño completo]

 

Figura 3. Factor de impacto de las revistas asociadas a las publicaciones

Factor de impacto de las revistas asociadas a las publicaciones

[Descargar tamaño completo]

 

3.2. Resultados por comunidades autónomas

La Tabla IV muestra la producción científica analizada por las comunidades autónomas. Para cada comunidad autónoma se calcula el número de profesores (N), el número de publicaciones (P), el número de citas (C), el número de citas por publicación (C/P), el número de publicaciones por profesor (P/N), el número de citas por profesor (C/N), el porcentaje de publicaciones realizadas en revistas (REV), el porcentaje de publicaciones en revistas del primer cuartil (Q1), el porcentaje de las publicaciones que son en colaboración internacional (COL) y el valor del h-index (H).

De la lectura de la Tabla IV se desprenden los siguientes hechos:

Tabla IV. Producción científica analizada por comunidades autónomas
CCAA N P * C * C/P P/N C/N REV% Q1% COL% H
Andalucía 353 2.410 13.421 5,6 6,8 38,0 47,2 28,3 53,6 52
Aragón 38 165 508 3,1 4,3 13,4 36,4 37,0 42,4 11
Asturias 51 181 527 2,9 3,5 10,3 43,1 33,3 39,0 11
Canarias 75 213 229 1,1 2,8 3,1 22,1 21,6 28,3 8
Cantabria 13 117 350 3,0 9,0 26,9 43,6 24,2 64,3 11
C. León 73 274 554 2,0 3,8 7,6 31,4 29,6 42,3 12
C. Mancha 67 594 1.085 1,8 8,9 16,2 35,0 23,4 42,9 16
Cataluña 261 2.009 6.592 3,3 7,7 25,3 38,4 36,6 64,8 33
Extremadura 46 112 194 1,7 2,4 4,2 33,0 18,2 36,1 8
Galicia 94 539 1.275 2,4 5,7 13,6 37,7 36,5 32,9 15
Islas Baleares 47 204 766 3,8 4,3 16,3 50,5 29,9 40,0 14
La Rioja 6 21 56 2,7 3,5 9,3 38,1 0,0 54,5 5
Madrid 383 2.258 5.747 2,5 5,9 15,0 34,7 29,9 49,7 27
Murcia 61 303 706 2,3 5,0 11,6 39,6 36,2 28,1 12
Navarra 15 114 700 6,1 7,6 46,7 64,0 26,7 23,4 15
País Vasco 69 324 1.311 4,0 4,7 19,0 39,2 34,9 33,8 17
Valencia 352 1.929 5.098 2,6 5,5 14,5 29,5 31,8 70,9 28
* Nótese que existe solapamiento entre las distintas comunidades autónomas. Una publicación puede pertenecer a más de una
comunidad autónoma gracias a la colaboración entre autores de distintas comunidades autónomas.

3.3. Resultados por universidades

La Tabla V muestra la producción científica analizada por universidades. Para cada universidad se calculan los mismo parámetros que en la sección anterior: (P), (C), (C/P), (P/N), (C/N), (REV), (Q1), (COL) y (H).

De la lectura de la Tabla V se desprenden los siguientes hechos:

Tabla V. Producción científica analizada por universidades
Universidades N P* C* C/P P/N C/N REV% Q1% COL% H
A Coruña 45 325 484 1,5 7,2 10,8 29,8 28,2 25,2 11
Alcalá 41 112 193 1,7 2,7 4,7 53,6 26,5 57,1 7
Alicante 77 392 841 2,1 5,1 10,9 25,8 38,6 60,0 13
Almería 37 119 186 1,6 3,2 5,0 31,9 20,0 25,0 7
Aut. Barcelona 46 368 716 1,9 8,0 15,6 25,8 36,9 51,6 10
Aut. Madrid 27 253 773 3,1 9,4 28,6 37,9 44,0 58,8 12
Barcelona 7 52 74 1,4 7,4 10,6 48,1 52,6 19,3 4
Burgos 9 33 125 3,8 3,7 13,9 30,3 57,1 54,6 6
Cádiz 32 49 62 1,3 1,5 1,9 30,6 7,1 14,3 4
Cantabria 13 117 350 3,0 9,0 26,9 43,6 24,2 64,3 11
Carlos III 37 395 494 1,3 10,7 13,4 30,9 23,8 29,6 10
C. Mancha 67 594 1.085 1,8 8,9 16,2 35,0 23,4 42,9 16
Complutense 65 612 1.607 2,6 9,4 24,7 30,9 22,6 51,0 15
Córdoba 20 92 436 4,7 4,6 21,8 66,3 67,3 31,0 12
Extremadura 46 112 194 1,7 2,4 4,2 33,0 18,2 36,1 8
Girona 27 170 863 5,1 6,3 32,0 44,7 32,8 79,3 14
Granada 93 1.107 9.882 8,9 11,9 106,3 59,5 28,8 31,5 50
Huelva 8 17 38 2,2 2,1 4,8 35,3 20,0 0,0 4
Illes Balears 47 204 766 3,8 4,3 16,3 50,5 29,9 40,0 14
Jaén 27 156 1.483 9,5 5,8 54,9 50,6 24,6 21,8 17
Jaume I 58 375 971 2,6 6,5 16,7 32,5 26,4 61,1 15
La Laguna 17 116 156 1,3 6,8 9,2 24,1 4,0 32,1 6
La Rioja 6 21 56 2,7 3,5 9,3 38,1 0,0 54,6 5
Las Palmas GC 58 97 73 0,8 1,7 1,3 19,6 58,3 18,2 5
León 7 10 20 2,0 1,4 2,9 70,0 0,0 0,0 2
Lleida 12 70 106 1,5 5,8 8,8 24,3 43,7 25,0 6
Málaga 92 675 2.241 3,3 7,3 24,4 39,3 24,6 53,8 20
Miguel Hdez 7 39 57 1,5 5,6 8,1 23,1 33,3 3,0 4
Murcia 53 274 677 2,5 5,2 12,8 40,1 38,1 28,4 12
UNED 26 171 434 2,5 6,6 16,7 35,7 28,6 17,8 10
Oviedo 51 181 527 2,9 3,5 10,3 43,1 33,3 39,0 11
Pablo Olavide 3 52 135 2,6 17,3 45,0 32,7 17,6 18,4 6
País Vasco 69 324 1.311 4,0 4,7 19,0 39,2 34,9 32,9 17
Polit. Cartagena 8 30 29 1,0 3,8 3,6 36,7 27,3 18,2 3
Polit. Catalunya 143 1.175 4.169 3,5 8,2 29,2 41,5 34,6 60,5 29
Polit. Madrid 177 772 2.664 3,5 4,4 15,1 38,2 34,4 39,3 23
Polit. Valencia 175 1.081 3.226 3,0 6,2 18,4 28,7 30,0 56,5 25
Pompeu Fabra 3 18 103 5,7 6,0 34,3 94,4 30,0 83,3 5
Pública Navarra 15 114 700 6,1 7,6 46,7 64,0 26,7 23,9 15
Rey Juan Carlos 20 186 322 1,7 9,3 16,1 37,1 27,4 23,9 10
Rovira i Virgili 23 192 693 3,6 8,3 30,1 37,5 44,3 30,8 13
Salamanca 25 138 289 2,1 5,5 11,6 31,2 19,4 25,9 8
S. Compostela 29 210 802 3,8 7,2 27,7 50,9 40,6 19,6 13
Sevilla 41 283 651 2,3 6,9 15,9 30,7 18,2 58,5 13
Valéncia 35 115 418 3,6 3,3 11,9 53,0 45,4 37,5 11
Valladolid 32 108 172 1,6 3,4 5,4 28,7 40,7 40,4 7
Vigo 20 50 60 1,2 2,5 3,0 34,0 42,9 3,4 4
Zaragoza 38 165 508 3,1 4,3 13,4 36,4 37,0 42,4 11
* Nótese que existe solapamiento entre las distintas universidades. Una publicación puede pertenecer a más de una universidad por medio
de la colaboración entre autores de distintas universidades.

3.4. Resultados por áreas de conocimiento y categoría profesional

La Tabla VI analiza la producción científica por área de conocimiento (ATC, CCIA y LSI) y categoría profesional (CU, TU, CEU y TEU) de los profesores funcionarios.

Los profesores del área de LSI (el grupo más numeroso) son los que más publicaciones realizan, mientras que los de CCIA son los que reciben más citas. Además, los profesores del área de CCIA tienen de media 4,5 citas por publicación, frente a las 2,9 de los profesores de LSI, y 2,3 de los profesores de ATC. Los profesores de CCIA son también los que tienen mayor número de publicaciones por profesor (7,2) y mayor número de citas por profesor (32,7). Por otra parte, CCIA también es el área que tiene mayor porcentaje de sus publicaciones realizadas en revistas (47,0%), y al mismo tiempo, la que tiene un mayor porcentaje de publicaciones en revistas del primer cuartil (33,8%). Sin embargo, LSI es el área que tiene un mayor porcentaje de sus publicaciones realizadas en colaboración internacional (15,3%). Finalmente CCIA es el área que tiene mayor valor de h-index (56), frente al conseguido por LSI (43) y ATC (30).

Tabla VI. Producción científica analizada por área de conocimiento y categoría profesional
Áreas de conocimiento N P* C* C/P P/N C/N REV% Q1% COL% H
ATC 570 3.151 7.165 2,3 5,5 12,6 31,2 30,0 12,8 30
CCIA 586 4.222 19.181 4,5 7,2 32,7 47,0 33,8 13,2 56
LSI 848 5.049 14.744 2,9 6,0 17,4 33,3 26,5 15,3 43
Categoría Profesional
CU 280 5.722 26.213 4,6 20,4 93,6 42,6 30,6 15,3 61
TU 1.182 8.541 23.651 2,8 7,2 20,0 35,1 30,4 12,0 50
CEU 56 326 914 2,8 5,8 16,3 44,8 30,6 7,1 14
TEU 486 638 850 1,3 1,3 1,7 24,8 29,4 5,8 12
* Nótese que existe solapamiento entre las distintas áreas de conocimiento y categoría profesional. Una publicación puede pertenecer
a más de un área de conocimiento y categoría profesional mediante la colaboración entre autores de distintas áreas de conocimientos
y categorías. Por ese motivo la suma de las publicaciones y citas de todas las áreas de conocimiento y categorías profesionales no
coincide con el número total de publicaciones realizadas y número total de citas recibidas.

En cuanto a la categoría profesional, se observa que la mayoría de los profesores analizados son TU, lo que ayuda a que sea este colectivo el que tenga mayor número de publicaciones. Los CU, aún siendo 4 veces menos que los TU, obtienen mayor número de citas y obviamente mayor promedio de citas en sus publicaciones. Analizando los parámetros C/P, P/N y C/N se observa que los CU son el colectivo que tienen mayor número de citas por publicación (4,6), mayor número de publicaciones por profesor (20,4) y mayor número de citas por profesor (93,6). De gran interés es que los CEU sean los que tengan mayor porcentaje de publicaciones en revistas y los que, conjuntamente con los CU, tengan mayor porcentaje de publicaciones en revistas del primer cuartil. En cuanto a la colaboración internacional se observa que los CU realizan el 15,3% de sus publicaciones con alguna institución no española, mientras que los TU, CEU y TEU obtienen, respectivamente, 12,0%, 7,1% y 5,8%. Finalmente, los CU es el colectivo que tiene mayor valor de h-index (61), frente al conseguido por TU (50), CEU (14) y TEU (12).

Finalmente, la Figura 4 muestra todos los profesores funcionarios sobre los ejes de productividad (número de publicaciones realizadas) y visibilidad (número de citas recibidas). Analizando dicha figura, se observa que los profesores más destacados tanto en productividad como visibilidad son CU, y pertenecen tanto a las áreas de CCIA, como de ATC y LSI, aunque el área CCIA está más representada que las otras dos.

 

Figura 4. Representación de los profesores sobre los ejes de productividad y visibilidad

Representación de los profesores sobre los ejes de productividad y visibilidad

[Descargar tamaño completo]

 

 

4. DISCUSIÓN Top

El análisis bibliométrico realizado en este estudio pone de manifiesto la situación actual en el área de tecnologías informáticas en España. Dicho análisis puede ser considerado como una herramienta dirigida a los gestores y administradores de política científica, así como a rectores, decanos y directores de departamentos y grupos de investigación. Las aplicaciones de dicho análisis son variadas pero se puede utilizar principalmente para facilitar la toma de decisiones en temas de política científica (optimización de los limitados recursos económicos destinados a investigación, concesión de proyectos, promoción de personal, etc.), y por supuesto, como sistema de información que ofrece un estado actualizado de la actividad científica en el área de tecnologías informáticas en España.

Según los resultados de este análisis bibliométrico, los gestores y administradores de política científica a nivel nacional deberían potenciar aquellas disciplinas (por ejemplo, Cybernetics, Interdisciplinary Applications y Hardware and Architecture) que tienen poca presencia en cuanto al número de publicaciones realizadas. Por otra parte, un aspecto fundamental a mejorar es el número de citas por publicación. Como se ha dicho en la introducción, España desciende considerablemente a nivel mundial analizando dicho parámetro. El objetivo es mejorar la calidad de las publicaciones en lugar de incrementar la cantidad de las mismas. Otro factor importante es el porcentaje de publicaciones realizadas en revistas. Según los datos de este estudio, el 36,8% de las publicaciones son realizadas en revistas, mientras que el 63,2% son realizadas en congresos. La evaluación de los profesores universitarios e investigadores españoles en Informática se lleva a cabo, al igual que en el resto de disciplinas, según los criterios establecidos por la ANECA (o la CNEAI) en los cuales las publicaciones en revistas JCR son más valoradas que las publicaciones en congresos. Por éste y otros motivos (por ejemplo, reciben mayor número de citas), se deberían potenciar las publicaciones en revistas, especialmente aquellas de gran factor de impacto. Otro aspecto a tener en cuenta es la internacionalización de las publicaciones. Este estudio muestra que sólo el 13,9% de las publicaciones se han realizado con alguna institución extranjera. Este aspecto debe ser mejorado, ya que es conocido que las publicaciones realizadas en colaboración internacional suelen recibir más citas que las realizadas en colaboración nacional o sin colaboración (Abramo y otros, 2011Abramo, G.; D’Angelo, C.; Solazzi, M. (2011). The relationship between scientists’ research performance and the degree of internationalization of their research. Scientometrics, vol. 86 (3), 629-643.).

En cuanto a las comunidades autónomas, los gestores y administradores de cada comunidad deberían potenciar aquellos aspectos en los que su comunidad flaquee. Tomando como referencia el número total de publicaciones realizadas, observamos que las comunidades de La Rioja, Extremadura y Navarra, entre otras, deberían aumentar sus publicaciones, ya sea en revistas o en congresos. Del mismo modo, Navarra, Murcia y Canarias, entre otras, deberían potenciar sus publicaciones en colaboración internacional. Por otra parte, los rectores y decanos deberían tomar las medidas oportunas en función de los resultados obtenidos por sus universidades. Las universidades de Las Palmas de Gran Canaria, Politécnica de Cartagena y Vigo, entre otras, deberían mejorar el número de citas por publicación, mientras que las universidades de La Rioja, León y Cádiz, entre otras, deberían incrementar sus publicaciones en revistas de gran factor de impacto.

Como se ha mencionado anteriormente, este artículo ofrece un estado actualizado de la actividad científica en el área de tecnologías informáticas en España, permitiendo responder a preguntas concretas. En este sentido, podemos descubrir, por ejemplo, que los profesores pertenecientes a la universidad Pablo de Olavide son los que tienen más publicaciones por profesor, mientras que los profesores de la universidad de Granada son los que tienen más citas por profesor. Por otra parte, los profesores de Pompeu Fabra son aquellos que tienen un mayor porcentaje de sus publicaciones realizadas en revistas, y además, son los que tienen el mayor porcentaje de sus publicaciones en colaboración internacional. Por otra parte, se observa que los profesores de LSI son los que realizan el mayor porcentaje de las publicaciones de las universidades españolas. Sin embargo, los profesores asociados a CCIA son los que tiene mayor número de citas por publicación, mayor número de publicaciones por profesor, mayor número de citas por profesor y mayor porcentaje de publicaciones en revistas del primer cuartil.

Los resultados del análisis bibliométrico mostrado en este estudio se podrían asemejar a los obtenidos en otros estudios (Torres-Salinas y otros, 2011Torres-Salinas, D.; Moreno-Torres, J.G.; Robinson-García, N.; Delgado-López-Cózar, E.; Herrera, F. (2011). Rankings ISI de las universidades españolas según campos y disciplinas científicas (2ª ed. 2011). El Profesional de la Información, vol. 20 (6), 701-709.). Comparando nuestros valores con los obtenidos en la disciplina Informática del artículo mencionado, se comprueba que las posiciones de las universidades no varían significativamente en los distintos parámetros analizados allí (únicamente número de publicaciones, número de citas, número de citas por publicación, porcentaje de publicaciones en revistas del primer cuartil y h-index). Respecto al número de publicaciones, número de citas y valor del h-index se observa que, en ambos estudios, las primeras posiciones están ocupadas por Politécnica de Catalunya, Granada, Politécnica de Valencia, Politécnica de Madrid. En cuanto al número de citas por publicación encontramos que, en ambos estudios, aparecen Granada y Girona entre las primeras posiciones, mientras que en el porcentaje de publicaciones en revistas del primer cuartil aparecen Barcelona, Córdoba y Autónoma de Madrid en los primeros puestos. A pesar de estas semejanzas entre ambos estudios, existen diferencias en las posiciones de algunas universidades en los distintos parámetros analizados, ya que tanto el periodo estudiado como la población analizada no son exactamente los mismos. El periodo analizado en este artículo es 1973-2009, mientras que en Torres-Salinas y otros, 2011, el periodo analizado es 2001-2011. Por otra parte, este artículo toma como elemento base para la búsqueda de las publicaciones a los profesores funcionarios de las universidades españolas, mientras que en Torres-Salinas y otros, 2011, se utilizan como elemento base las distintas universidades españolas. Finalmente hay que mencionar que numerosas medidas bibliométricas de este estudio se analizan tanto a nivel nacional como por comunidades autónomas, universidades, áreas de conocimiento y categoría profesional de los investigadores, mientras que los resultados de Torres-Salinas y otros, 2011, sólo se analizan por universidades.

En el contexto internacional observamos que otros estudios que analizan el área de las tecnologías informáticas (He y Guan, 2008He, Y.; Guan, J.C. (2008). Contribution of Chinese publications in computer science: A case study on LNCS. Scientometrics, vol. 75 (3), 519-534.; Wainer y otros, 2009Wainer, J.; Xavier, E.C.; Bezerra, F. (2009). Scientific production in computer science: A comparative study of Brazil and other countries. Scientometrics, vol. 81 (2), 535-547.; Rojas-Sola y Jorda-Albinana, 2009Rojas-Sola, J.I.; Jorda-Albinana, B. (2009). Bibliometric analysis of Venezuelan publications in the computer sciences category of the JCR data base (1997-2007). Interciencia, vol. 34 (10), 689-695.), también muestran diferencias metodológicas respecto al presente artículo. Por una parte, He y Guan, 2008He, Y.; Guan, J.C. (2008). Contribution of Chinese publications in computer science: A case study on LNCS. Scientometrics, vol. 75 (3), 519-534., analizan las contribuciones de autores chinos centrándose únicamente en los congresos publicados en Lecture Notes in Computer Science durante el periodo 1997-2005. Por otra parte, Wainer y otros (2009Wainer, J.; Xavier, E.C.; Bezerra, F. (2009). Scientific production in computer science: A comparative study of Brazil and other countries. Scientometrics, vol. 81 (2), 535-547.) estudian la producción brasileña analizando las publicaciones en revistas y congresos desde 2001 hasta 2005. Finalmente, Rojas-Sola y Jorda-Albinana, 2009Rojas-Sola, J.I.; Jorda-Albinana, B. (2009). Bibliometric analysis of Venezuelan publications in the computer sciences category of the JCR data base (1997-2007). Interciencia, vol. 34 (10), 689-695., se centran en las publicaciones en revistas realizadas por investigadores venezolanos durante el periodo 1997-2007. Como se puede observar los principales aspectos diferenciadores son el periodo analizado y el tipo de registros almacenados. Dado que dichos aspectos son fundamentales en los análisis bibliométricos, los resultados mostrados en dichos estudios no son comparables con los nuestros. Aún así, podemos destacar algunos resultados importantes. Por un lado, se observa que las publicaciones españolas suelen realizarse, en mayor medida, en la categoría de Theory and Methods, mientras que las publicaciones brasileñas y venezolanas suelen realizarse, fundamentalmente, en la categoría Interdisciplinary Applications. Por otro lado, las publicaciones realizadas en Cybernetics son las que tienen menor porcentaje tanto en España, Brasil y Venezuela, logrando aproximadamente un 2% del total de las publicaciones. Finalmente, se observa que el perfil de publicación entre España y Venezuela es distinto, ya que las revistas que recogen mayor número de publicaciones de investigadores españoles son Fuzzy Sets and Systems, International Journal of Intelligent Systems y Pattern Recognition Letters, mientras que las revistas que recogen mayor número de publicaciones de investigadores venezolanos son Computer Aided Geometric Design, Communications in Mathematical and in Computer Chemistry y Mathematical and Computer Modelling.

5. CONCLUSIONES Top

A pesar de todas las limitaciones, los análisis bibliométricos de comunidades autónomas y universidades tienen cada vez mayor impacto. Dichos análisis pueden ayudar a las instituciones a compararse entre sí y como motivación para mejorar los resultados obtenidos.

En este informe se ha realizado un análisis bibliométrico que nos facilita una visión global y detallada de la producción científica de los profesores funcionarios adscritos a las áreas de conocimiento de ATC, CCIA y LSI en España.

Los principales resultados muestran que la productividad y visibilidad de los profesores funcionarios de las universidades españolas ha aumentado considerablemente en los últimos años. Dichos profesores tienden a publicar más en actas de congresos, a pesar de que éstas reciben menos citas que los artículos en revistas. Actualmente los artículos se consiguen publicar en revistas con mayor factor de impacto que hace varios años.

En cuanto a las universidades, hay que decir que cada una de ellas sigue un perfil de publicación diferente, cada una se especializa en unas áreas de publicación, tipo de publicación, tipo de colaboración, etc. A pesar de ello, varias universidades como Granada, Politécnica de Catalunya, Politécnica de Valencia, Politécnica de Madrid y Málaga, ocupan habitualmente las primeras posiciones en muchos de los rankings calculados.

Entre las áreas de conocimiento analizadas hay que destacar el área de CCIA, ya que los profesores funcionarios asociados a dicha área son los que tienen mayor número de citas por publicación, mayor número de publicaciones por profesor y mayor número de citas por profesor. Además, es el área con mayor valor de h-index, y mayor porcentaje de artículos en revistas del primer cuartil.

Con respecto a la categoría profesional se observa que los CU son los profesores que tienen mayor número de citas por publicación, mayor número de publicaciones por profesor y mayor número de citas por profesor. Al mismo tiempo, son los que realizan más publicaciones en colaboración internacional y los que más publican en revistas de gran factor de impacto.

Finalmente hay que mencionar que los resultados obtenidos en este análisis bibliométrico están ligados a la base de datos empleada para extraer los datos, aunque es conocido que hay muchas semejanzas entre las principales bases de datos (Bar-Ilan, 2008Bar-Ilan, J. (2008). Which h-index? A comparison of WoS, Scopus and Google Scholar. Scientometrics, vol. 74 (2), 257-271.; Archambault y otros, 2009Archambault, E.; Campbell, D.; Gingras, Y.; Larivière, V. (2009). Comparing bibliometric statistics obtained from the Web of Science and Scopus. Journal of the American Society for Information Science and Technology, vol. 60 (7), 1320-1326.).

 

6. AGRADECIMIENTOSTop

Este trabajo ha sido parcialmente subvencionado por el Ministerio español de Ciencia e Innovación, proyecto TIN2008-04528-E, TIN2010-20900-C04-04 y Consolider Ingenio 2010-CSD2007-00018.

 

7. BIBLIOGRAFíATop

Abramo, G.; D’Angelo, C.; Solazzi, M. (2011). The relationship between scientists’ research performance and the degree of internationalization of their research. Scientometrics, vol. 86 (3), 629-643.
Alonso, S.; Cabrerizo, F.; Herrera-Viedma, E.; Herrera, F. (2010). A new index to characterize the scientific output of researchers based on the h- and g-indices. Scientometrics, vol. 82 (2), 391-400.
Alonso-Arroyo, A.; Pulgarín, A.; Gil-Leiva, I. (2006). Análisis bibliométrico de la producción científica de la Universidad Politécnica de Valencia 1973-2001. Revista Española de Documentación Científica, vol. 29 (3), 345-363.
Archambault, E.; Campbell, D.; Gingras, Y.; Larivière, V. (2009). Comparing bibliometric statistics obtained from the Web of Science and Scopus. Journal of the American Society for Information Science and Technology, vol. 60 (7), 1320-1326.
Arencibia-Jorge, R. (2009). Nuevos indicadores de rendimiento científico institucional basados en análisis de citas: los índices H sucesivos. Revista Española de Documentación Científica, vol. 32 (3), 101-106.
Bar-Ilan, J. (2008). Which h-index? A comparison of WoS, Scopus and Google Scholar. Scientometrics, vol. 74 (2), 257-271.
Biryukov, M.; Dong, C.L. (2010). Analysis of computer science communities based on DBLP. Research and Advanced Technology for Digital Libraries. Lecture Notes in Computer Science, vol. 6273, 228-235.
Bordons, M.; Sancho, R.; Morillo, F.; Gómez, I (2010). Perfil de actividad científica de las universidades españolas en cuatro áreas temáticas: un enfoque multifactorial. Revista Española de Documentación Científica, vol. 33 (1), 9-33.
Campanario, J.M.; Cabos, W.; Hidalgo, M.A. (1998). El impacto de la producción científica de la Universidad de Alcalá de Henares. Revista Española de Documentación Científica, vol. 21 (4), 402-415.
Egghe, L. (2006). An improvement of the h-index: The g-index. ISSI Newsletter, vol. 2 (1), 8-9.
Franceschet, M. (2010). The role of conference publication in computer science: A bibliometric view. Communications of the ACM, vol. 53 (12), 129-132.
Garfield, E. (2003). The meaning of the Impact Factor. International Journal of Clinical and Health Psychology, vol. 3 (2), 363-369.
Garfield, E. (1996). The significant scientific literature appears in a small core of journals. Scientist, vol. 10 (17), 13.
Gómez Caridad, I.; Fernández Muñoz, M.T.; Bordons, M.; Morillo, F. (2004). La producción científica española en Medicina en los años 1949-1999. Revista Clínica Española, vol. 204 (2), 75-88.
González-Albo, B.; Zulueta, M.A. (2007). Patentes domésticas de universidades españolas: Análisis bibliométrico. Revista Española de Documentación Científica, vol. 30 (1), 61-90.
Goodrum, A.A.; McCain, K.W.; Lawrence, S.; Giles, C.L. (2001). Scholarly publishing in the Internet age: A citation analysis of computer science literature. Information Processing & Management, vol. 37 (5), 661-675.
Guan, J.C.; Ma, N. (2004). A comparative study of research performance in computer science. Scientometrics, vol. 61 (3), 339-359.
He, Y.; Guan, J.C. (2008). Contribution of Chinese publications in computer science: A case study on LNCS. Scientometrics, vol. 75 (3), 519-534.
Hirsch, J. (2005). hg-index: An index to quantify an individual’s scientific research output. Proceedings of the National Academy of Sciences, vol. 102 (46), 16569-16572.
Ibáñez, A.; Larrañaga, P.; Bielza, C. (2011a). Using Bayesian networks to discover relationships between bibliometric indices. A case study of computer science and artificial intelligence journals. Scientometrics, vol. 89 (2), 523-551.
Ibáñez, A.; Bielza, C.; Larrañaga, P. (2011b). Productividad y Visibilidad Científica de los Profesores Funcionarios de las Universidades Públicas Españolas en el área de Tecnologías Informáticas. Madrid: Fundación General de la U.P.M..
López-Berna, S.; Papí-Gálvez, N.; Martín-Llaguno, M. (2011). Productividad científica en España sobre las profesiones de comunicación entre 1971 y 2009. Revista Española de Documentación Científica, vol. 34 (2), 212-231.
Maz-Machado, A.; Torralbo-Rodríguez, M.; Vallejo-Ruiz, M.; Bracho-López, L. (2010). Análisis bibliométrico de la producción científica de la Universidad de Málaga en el Social Sciences Citation Index (1998-2007). Revista Española de Documentación Científica, vol. 33 (4), 582-599.
Medina Casaubón, J.M.; Fernández Guerrero, I.M.; Gil Montoya, J.A.; Fernández Cano, A. (2008). La investigación odontológica española en la base Science Citation Index: Un estudio cienciométrico (1974-2006). Revista Española de Documentación Científica, vol. 31 (2), 169-189.
Moya-Anegón, F.; Chinchilla-Rodríguez, Z.; Corera-álvarez, E.; Vargas-Quesada, B.; Muñoz-Fernández, F.; Herrero-Solana, V. (2005). Análisis de dominio institucional: La producción científica de la Universidad de Granada (SCI 1991-99). Revista Española de Documentación Científica, vol. 28 (2), 170-195.
Moya-Anegón, F.; Chinchilla-Rodríguez, Z.; Corera-álvarez, E.; Gómez-Crisóstomo, M.; González-Molina, A.; Muñoz-Fernández, F.J. (2007). La productividad ISI de las universidades españolas (2000-2004). El profesional de la información, vol. 16 (4), 354-358.
Olmeda-Gómez, C.; Ovalle-Parandones, M.A.; Perianes-Rodríguez, A.; Moya-Anegón, F. (2008). Impacto internacional de la investigación y la colaboración científica de las Universidades de Cataluña. 2000-2004. Revista Española de Documentación Científica, vol. 31 (4), 591-611.
Orduña-Malea, E.; Serrano-Cobos, J.; Lloret-Romero, N. (2009). Las universidades públicas españolas en Google Scholar: presencia y evolución de su publicación académica web. El Profesional de la Información, vol. 18 (5), 493-500.
Orduña-Malea, E.; Serrano-Cobos, J.; Ontalba-Ruipérez, J.A.; Lloret-Romero, N. (2010). Presencia y visibilidad web de las universidades públicas españolas. Revista Española de Documentación Científica, vol. 33 (2), 246-278.
Prathap, G. (2006). Hirsch-type indices for ranking institutions’ scientific research output. Current Science, vol. 91 (11), 1439-1439.
Pinto, M.; Alonso, J.L.; Cordón, J.A..; Fernández, V.; García, C.; García, J.; Gómez, C.; Zazo, A.F.; Doucet, A.V. (2004). Análisis cualitativo de la visibilidad de la investigación de las universidades españolas a través de sus páginas web. Revista Española de Documentación Científica, vol. 27 (3), 345-370.
Reyes-Barragán, M.J.; Guerrero-Bote, V.P.; Moya-Anegón, F. (2006). Proyección internacional de la investigación de Extremadura (1990-2002). Revista Española de Documentación Científica, vol. 29 (4), 525-550.
Rodríguez Yunta, L.; Abejón Peña, T. (2010). El análisis bibliométrico de la producción española en Ciencias Sociales y Humanas. ¿Contamos con las fuentes necesarias?. Revista Española de Documentación Científica, vol. 33 (1), 151-155.
Rojas-Sola, J.I.; Jorda-Albinana, B. (2009). Bibliometric analysis of Venezuelan publications in the computer sciences category of the JCR data base (1997-2007). Interciencia, vol. 34 (10), 689-695.
Rojo, R.; Gómez, I. (2006). Analysis of the Spanish scientific and technological output in the ICT sector. Scientometrics, vol. 66 (1), 101-121.
Ruiz-Pérez, R.; Delgado-López-Cózar, E.; Jiménez-Contreras, E. (2010). Principios y criterios utilizados en España por la Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI) para la valoración de las publicaciones científicas: 1989-2009. Psicothema, vol. 22 (4), 898-908.
Ruiz-Pérez, R.; Delgado-López-Cózar, E.; Jiménez-Contreras, E. (2006). Criterios del Institute for Scientific Information para la selección de revistas científicas. Su aplicación a las revistas españolas: Metodología e indicadores. International Journal of Clinical and Health Psychology, vol. 6 (2), 401-424.
Ruiz-Pérez, R.; Delgado-López-Cózar, E.; Jiménez-Contreras, E. (2002). Spanish personal name variations in national and international biomedical databases: Implications for information retrieval and bibliometric studies. Journal of the Medical Library Association, vol. 90 (4), 411-430.
Schubert, A. (2007). Successive h-indices. Scientometrics, vol. 70 (1), 201-205.
Torres-Salinas, D.; Moreno-Torres, J.G.; Robinson-García, N.; Delgado-López-Cózar, E.; Herrera, F. (2011). Rankings ISI de las universidades españolas según campos y disciplinas científicas (2ª ed. 2011). El Profesional de la Información, vol. 20 (6), 701-709.
Torres-Salinas, D.; Delgado-López-Cózar, E.; Jiménez-Contreras, E. (2009). Análisis de la producción de la Universidad de Navarra en revistas de Ciencias Sociales y Humanidades empleando rankings de revistas españolas y la Web of Science. Revista Española de Documentación Científica, vol. 32 (1), 22-39.
Urbano, C.; Borrego, A.; Brucart, J.M.; Cosculluela, A.; Somoza, M. (2005). Análisis bibliométrico de la bibliografía citada en estudios de filología española. Revista Española de Documentación Científica, vol. 28 (4), 439-461.
Vallejo Ruiz, M.; Ocaña Fernández, A.; Bueno Sánchez, A.; Torralbo Rodríguez, M.; Fernández Cano, A. (2005). Producción científica sobre educación multicultural contenida en las bases de datos Social Sciences Citation Index y Arts & Humanities Citation Index (1956-2003). Revista Española de Documentación Científica, vol. 28 (2), 206-220.
Vallejo Ruiz, M.; Fernández Cano, A.; Torralbo Rodríguez, M. (2006). Patrones de citación en la investigación española en educación matemática. Revista Española de Documentación Científica, vol. 29 (3), 382-397.
Wainer, J.; Xavier, E.C.; Bezerra, F. (2009). Scientific production in computer science: A comparative study of Brazil and other countries. Scientometrics, vol. 81 (2), 535-547.