La evaluación de la ciencia, basada en indicadores bibliométricos, se ha topado con el hecho de que la actividad científica no es uniforme; al contrario, existen diferentes maneras de llevar a cabo una investigación y cuyos resultados pueden ser transmitidos de diferentes formas. La ciencia básica está orientada a la publicación de resultados teóricos (i.e. artículos, libros, etc.) dirigidos a una audiencia especializada, mientras que las ciencias aplicadas desarrollan instrumentos y aplicaciones (i.e. patentes, modelos de utilidad, etc.) con un propósito económico o social (Gibbons y otros, 1994). Además, los investigadores también están inmersos en actividades de formación y divulgación que complementan su actividad científica, produciendo resultados orientados a un público más general (Kidd, 1988).

De este modo, esta gran variedad de resultados académicos también provocan que las citas provengan de diferentes entornos y sean generadas por múltiple razones. Así el impacto científico de un investigador depende de la línea de investigación que desarrolle, el tiempo que esté implicado en esos estudios, o el país donde desarrolle su actividad. Esto provoca serios problemas en la comparación de distintas trayectorias científicas provenientes de distintos entornos académicos, además de conocer qué condiciones influyen en el éxito de un investigador en términos bibliométricos. Más aún, es difícil entender cómo estos aspectos pueden favorecer el desarrollo de una carrera prometedora. A través del uso de árboles de decisión, este trabajo intenta explorar qué atributos caracterizan el impacto de un científico y por lo tanto diferenciar perfiles en procesos de evaluación.

Por otro lado, el impacto que estos productos tienen tanto en la comunidad científica como en la sociedad en general es muy diferente y, sobretodo, difícil de medir. Debido a esto, la bibliometría se está abriendo a nuevos indicadores (i.e. altmetricos, cibermetricos, etc.) y a nuevas fuentes de datos (i.e. redes sociales académicas, buscadores académicos, etc.) que amplíen el ámbito del impacto científico (Aguillo y otros, 2005; Piwowar, 2013). En este contexto, este estudio introduce el uso de Google Scholar Citations (GSC) como una nueva fuente abierta para explorar su idoneidad para análisis bibliométricos y su adaptación a la evaluación científica.

Unos de los propósitos iniciales de la bibliometría ha sido descubrir qué elementos influyen en la obtención de citas. Desde un primer momento ya se detectaron diferencias significativas en la distribución de citas por disciplinas, como causa de diferentes culturas científicas (Solla Price, 1970; Small y Griffith, 1974). Esto animó a diferentes estudios a explorar la razones detrás de estas diferencias y sus implicaciones para la evaluación científica (Kostoff, 1998). En este sentido, muchos artículos argumentaron que estas diferencias eran debidas a efectos de tamaño tal como número de publicaciones (Small y Crane, 1979; Schubert y Braun, 1986), referencias (Garfield, 1980) o grado de colaboración (Smart y Bayer, 1986). Recientemente, estos patrones de citación en disciplinas han sido estudiados desde un enfoque evolutivo. Radicchi y otros (2008) observaron que la evolución de las citas al nivel de artículo describe una distribución de carácter general siempre cuando estas son normalizadas por el promedio de citas en la disciplina. Althouse y otros (2009) analizaron la razón del incremento del factor de impacto en revistas y detectaron que esta se debía, en gran medida, a cambios en la longitud de la lista de referencias. Finalmente, Finardi (2014) apreció diferentes patrones de crecimiento en diferentes revistas desde la química a las ciencias sociales.

Pero, quizás, estas diferencias se aprecian mejor cuando el puesto académico de un investigador es considerado como un indicador de la madurez investigadora. Muchos trabajos han tratado estas diferencias principalmente con respecto a la producción científica (Long, 1978; Hancock y otros, 1992; Jacobs y Ingwersen, 2000); mientras que sólo unos cuantos han apuntado a la relación entre carrera y citaciones. Ventura y Mombrú (2006) testaron la actividad de Profesores y Profesores Asociados en Uruguay y detectaron que el puesto académico afectaba positivamente sus ratios de citas. Abramo y otros (2009), estudiando a 33.000 investigadores italianos, observaron que el impacto de estos se incrementaba a medida que conseguían mejores puestos académicos. Pagel y Hudetz (2011) obtuvieron resultados similares cuando analizaron el índice h de más de 1.600 anestesiólogos norteamericanos. Sin embargo, Aksnes y otros (2011) estudiaron 8.500 investigadores noruegos para extrañamente no encontrar diferencias significativas entre puestos académicos. Desde una óptica evolutiva, Penner y otros (2013) concluyeron que la actividad científica dependía enormemente del tiempo que los investigadores pasaban ocupando un puesto académico y que los primeros años eran cruciales para construir un futuro curriculum exitoso (Maranto y Streuly, 1994).

Por otro lado, la literatura sobre diferencias de género ha sido más prolífica. Muchos estudios han detectado variaciones en el número de artículos científicos (Kyvik y Teigen, 1996; Abramo y otros, 2009) y puestos académicos (Long, 2001) por parte de hombres y mujeres. Aunque estas diferencias no se observaron a la hora de conseguir citas (Ding y otros, 2006; Penas y Willett, 2006). Aksnes y otros (2011) sí detectaron diferencias de género pero esta vez fueron motivadas por factores de producción y ventajas acumulativas.

El lanzamiento de GSC en 2011 atrajo la atención de distintos investigadores con el fin de explorar el potencial de esta herramienta para la evaluación científica (Pitney y Gilson, 2012; Huang y Yuan, 2012). Ortega y Aguillo (2012) construyeron un Mapa de la Ciencia usando las etiquetas incluidas en cada perfil. Ellos también mapearon la red de colaboración entre países e instituciones usando la lista de co-autores incluida en cada perfil (Ortega y Aguillo, 2013). Por otro lado, Delgado López-Cózar y otros (2014) evidenciaron la posibilidad de manipular las puntuaciones bibliométricas dentro de los perfiles. Con respecto a Google Scholar, muchos trabajos han estudiado su cobertura en relación a otras bases de datos (Meho y Yang, 2007; Kousha y Thelwall, 2007). Chen (2010) describió su rápido crecimiento en relación a diversas bases de datos. Más recientemente, Orduña y Delgado López-Cózar (2014) detectaron que en menos de un año el índice h de todas las revistas en Google Scholar aumentó un 15%.

El propósito de este estudio es analizar la evolución de las citas recibidas por parte de más de 3.000 perfiles de GSC a partir de distintas muestras extraídas durante el periodo 2011-2013. Se pretende de esta forma describir qué factores (género, puesto y área de investigación) podrían influenciar en la evolución de estos indicadores bibliométricos. Este objetivo principal es detallado a través de diferentes preguntas:

Los árboles de decisión se usaron para encontrar qué tipo de perfiles consiguen mejores resultados en términos bibliométricos. Sin embargo, los resultados describen grupos con baja pureza porque las variables objeto (cuartiles de citas e índice h) no son enteramente categóricas por lo que sus valores no son exclusivos. Esto quiere decir que cualquier grupo (hombres, mujeres, profesores, ciencias sociales, etc.) puede tener miembros en los cuatro cuartiles. Así pues el objetivo de esta técnica en este estudio es sólo observar visualmente cómo el impacto científico se distribuye en función de puestos, género y áreas científicas, y no simplemente construir un modelo de clasificación con alta pureza y bajo riesgo. Debido a esto, los valores de riesgo son generalmente altos (riesgo>.5) y los grupos tienden a estar equilibrados. A pesar de esto, se consideró un p-valor>.005 para determinar cada rama con una aceptable significación estadística.

El uso de perfiles de Google Scholar Citations hace posible analizar directamente la actividad de los autores sin agrupar sus artículos, evitando los bien conocidos problemas de desambiguación y asignación de publicaciones (Wooding y otros, 2006; D’Angelo y otros, 2011). En el caso de este servicio, es el mismo autor el que crea el perfil, añadiendo, eliminando y uniendo sus publicaciones. Esto asegura una alta fiabilidad de los perfiles ya que estas publicaciones corresponden verdaderamente a dichos autores y no a otros con nombres similares. Otra ventaja es que estas publicaciones vienen de la base de datos de Google Scholar la cual está considerada el buscador científico más exhaustivo (Meho y Yang, 2007; Kousha y Thelwall, 2007). En consecuencia estos resultados son un reflejo amplio y completo del impacto científico de estos investigadores. Sin embargo, este servicio de perfiles presenta algunas limitaciones que deben ser tenidas en consideración. Por ejemplo, es posible que la información que muestren los perfiles no sea correcta o esté desactualizada. Este problema es mínimo, ya que precisamente el hecho de que el autor cree el perfil hace que esta información sea la más veraz posible. Otros estudios han informado sobre una proporción significativa de citas asignadas a artículos equivocados (Bar-Ilan, 2008; García-Pérez, 2010) lo cual podría alterar los indicadores bibliométricos de un perfil. En este estudio, estos errores fueron considerados un problema horizontal y por lo tanto estos influyen por igual a cada grupo estudiado (materias, puestos y género). Otro problema que sí podría introducir un sesgo en las muestras es que Google Scholar presenta una pobre cobertura de materiales previos a 1980 (Pauly y Stergiou, 2005). Esto podría afectar a autores veteranos, principalmente Profesores y Profesores Eméritos con una trayectoria anterior a 1980, lo cuales podrían verse infrarrepresentados. Aunque quizás el problema más serio pueda ser la posibilidad de manipular un perfil a través de la subida de falsos artículos llenos de autocitaciones a repositorios no supervisados (Delgado López-Cózar y otros, 2014). Sin embargo, se puede considerar que el número de perfiles manipulados podrían ser muy pequeño al ser estas actitudes de dudosa ética científica. Por ejemplo, en esta muestra, el mayor incremento de índice h de un autor es 51.6%, y sólo nueve investigadores incrementan su ratio de Cit./Art. por encima del 50% en dos años. Estos números no evidencian conductas no éticas y podemos afirmar que la manipulación de perfiles es un hecho excepcional. En general, el uso de perfiles de Google Scholar Citations puede ser considerada una herramienta recomendable para análisis bibliométricos al nivel de autor ya que permite de forma fácil y pormenorizada seguir la producción e impacto científico de un gran número de investigadores.

Antes de los resultados en sí, es interesante también apreciar la ausencia de mujeres en la muestra. Sólo el 14.8% de los autores son mujeres, un porcentaje inferior a otras estadísticas (20-25%) (NSF, 2013; Landivar, 2013). La razón de esta diferencia puede ser debido a la alta presencia de perfiles de países emergentes (Brazil, India) con un menor presencia de la mujer en actividades científicas (Larivière y otros, 2013). Esta menor presencia de mujeres podría infravalorar la importancia del género a la hora de diferenciar la actividad científica, pero anteriores resultados confirman que no existen diferencias significativas entre hombres y mujeres cuando son citados (Ding y otros, 2006; Penas y Willett, 2006).

Con respecto a las diferencias entre puestos académicos y grupos temáticos, los resultados muestran que el primer elemento para distinguir los resultados científicos es la escala académica. En este sentido, se podría afirmar que la carrera es el factor que más influye en el éxito bibliométrico de un autor (Penner y otros, 2013). Así, jóvenes investigadores con una carrera inicial describen resultados por debajo a investigadores consolidados con una larga carrera como son los Profesores y Profesores Eméritos. Estos resultados están en consonancia con análisis anteriores (Ventura y Mombrú, 2006; Abramo y otros, 2009; Pagel y Hudetz, 2011) y son explicados generalmente como un fenómenos de ventaja acumulativa (Cole and Cole, 1972; Long, 1978). Sin embargo, esta situación cambia cuando el crecimiento es considerado. En este caso, los Becarios pre-doctorales y Ayudantes de Investigación son aquellos que más incrementan sus curriculums, mientras que los Profesores mantienen estable sus perfiles con ligeros crecimientos. Este hecho puede ser un reflejo de un fenómeno evolutivo en el que pequeñas entidades crecen más rápido que las grandes (Gibrat, 1931), haciendo que muchos investigadores noveles desarrollen sus curriculums en sus fases tempranas, experimentando crecimiento iniciales de gran importancia que marcarán el futuro de su prestigio (Maranto y Streuly, 1994).


Los resultados señalan que el segundo factor en importancia para diferenciar el impacto científico de un investigador es la disciplina científica. En general, se aprecia que los investigadores de Arte y Humanidades y Ciencias Sociales tienen un menor impacto que investigadores de Ciencias de la Vida, la disciplina que más autores sitúa en Q1. Este resultado se ajusta a anteriores análisis donde las biociencias consiguen más citas por artículo que otras disciplinas (Radicchi y otros, 2008), y donde las humanidades son escasamente citadas (Althouse y otros, 2009). Sin embargo, en función de la evolución de los indicadores por áreas temáticas, se aprecia un patrón interesante. Cuando el modelo detecta grupos por afinidad temática en la categoría de Profesores-Profesores Eméritos, estos grupos describen una conducta similar, concluyendo que no existen diferencias significativas entre disciplinas dentro de esta categoría profesional. Lo que sugiere que los investigadores sénior ralentizan sus carreras independientemente de los campos de investigación. Sin embargo, los investigadores más jóvenes sí describen diferentes patrones de crecimiento en función del área de investigación. Así, investigadores noveles, especialmente Profesores Asistentes, de Arte y Humanidades y Ciencias Sociales experimentan mucho mayor incremento que sus colegas de Ciencias de la Vida y Ciencias de la Salud. Como en el caso de los puestos académicos, es posible que estas diferencias temáticas sean debidas a fenómenos de crecimiento donde los investigadores con una pequeña actividad incrementen más rápido su impacto científico que los autores con una gran producción. En cierto modo, se podría afirmar que los Profesores Asistentes de Ciencias de la Vida y Ciencias de la Salud consiguen la madurez científica más temprano que sus colegas de Arte y Humanidades y Ciencias Sociales; y la rápida ralentización en la actividad de los investigadores de Ciencias de la Vida y Ciencias de la Salud puede ser entendido como un signo de estabilidad, mientras que los Profesores Asistentes de Arte y Humanidades y Ciencias Sociales están aún desarrollando sus carreras (Smeby, 1998). En este sentido se podría sugerir que el esfuerzo en consolidar una carrera in Ciencias Sociales y Humanidades podría ser mayor que en el resto de áreas de investigación.

Los árboles de decisión han permitido concluir que el primer aspecto cualitativo que diferencia la actividad científica en términos de impacto es el puesto académico de un autor. Investigadores con una carrera establecida obtienen de este modo mejor impacto científico que los investigadores iniciados como consecuencia de una ventaja acumulativa. Esta influencia es también observada en función de disciplinas, detectando que los autores de ciencias de la vida consiguen más impacto que los investigadores de artes y humanidades. Sin embargo, los resultados no encuentran diferencias significativas entre hombres y mujeres en conseguir impacto.


Desde un punto de vista evolutivo, los árboles de decisión muestran que los investigadores jóvenes, principalmente de humanidades y ciencias sociales, incrementan sus curriculums más rápido que lo profesores sénior los cuales describen pequeños incrementos en todas las áreas estudiadas. Esto podría ser interpretado como un fenómeno de crecimiento en el que los investigadores noveles tienden a incrementar sus curricula en las fases iniciales de sus carreras para luego permanecer estables en su madurez.

Los árboles de decisión también han permitido agrupar y categorizar qué tipo de autores describen un mayor impacto científico considerando su género, puesto y disciplina tanto de una forma estática como longitudinal. Por lo tanto se puede concluir que esta herramienta de la minería de datos es recomendable para estudiar la influencia de varios aspectos cualitativos implicados en la actividad científica en relación con en el impacto y la producción, mostrando qué elementos de un perfil condicionan en mayor o menor manera una carrera prometedora.

Por último, Google Scholar Citations puede ser valorado como una apropiada herramienta bibliométrica porque facilita la construcción de exhaustivos y actualizados perfiles de autores con indicadores bibliométricos comparables entre sí. Sin embargo, se recomienda un proceso de limpieza previo de estos datos para evitar perfiles duplicados y manipulados, además de normalizar afiliaciones y nombres.