El número de citas de un artículo publicado con frecuencia es tomado como indicador de calidad para su evaluación (Torre-Espinosa y otros, 2019; González-Betancor y Dorta-González, 2015). Bornmann y otros. (2012) sugirieron que, cuando un artículo de un tema y antigüedad similar se cita con más frecuencia que otros, se concluye que tiene una calidad superior. A pesar de que se conoce que este no siempre es el caso puesto que existen otras razones por las que se puede citar un artículo como por ejemplo las auto-citas (Kacem y otros, 2020), el conteo de citas sigue siendo un indicador o medida rápida del desempeño de un investigador y sirve como un criterio para la asignación de fondos para investigación, premios, obtención de titularidad, entre otros avances importantes en el desarrollo profesional dentro de la academia (y otros, 2018; Gnewuch y Wohlrabem, 2017).

Existe un número importante de factores que afectan el número de citaciones de una publicación. Tahamtan y otros (2016), tras una revisión bibliográfica extensa, lograron resumir estos factores en tres categorías: (a) factores relacionados al artículo tales como su calidad, novedad, características de la disciplina, metodología, tipo de documento, diseño, características de los resultados, título, resumen y palabras clave, extensión y accesibilidad del artículo; (b) factores relacionados a la revista como prestigio y factor de impacto, idioma, temáticas, formato de publicación; y, (c) factores relacionados al autor como número de coautores, reputación del autor, rango académico, colaboraciones internacionales, país de origen del autor, su edad, género y raza, entre otros.

Stevens y otros (2019) partieron de este esquema para analizar por qué unos artículos se citan más que otros, en específico en revistas en el campo de la planificación urbana. Los autores encontraron que los factores significativos del número de citas fueron el factor de impacto de la revista, el número de citas pasadas que posee el autor, el tópico del artículo, y, artículos largos con resúmenes largos, mayor número de palabras clave y mayor número de referencias fueron determinantes significativos. Otro estudio realizado por Fiala y otros (2021) centró su atención específicamente en el efecto del título del artículo tipo pregunta sobre su número de citas en el campo de ciencias computacionales. Los hallazgos revelaron que los artículos cuyo título se planteó en forma de pregunta tuvieron un mayor número de citas que el resto de los artículos. Srisawad y Lertsittiphan (2022) analizaron la relación entre atributos de las referencias del artículo y el número de citas. Los autores encontraron que el número de referencias utilizadas son un factor correlacionado con el número de citas, esto podría incluso llevar a algunos autores a incluir más referencias de las necesarias.

El estudio de Qian y otros (2017) encontró que la clasificación de una publicación, el número de autores, el índice h máximo de todos los autores del artículo y el número promedio de artículos publicados en el número de revista tienen diferentes efectos en la tasa de citas. En artículos de economía, Gnewuch y Wohlrabem (2017) concluyeron que los artículos con títulos más cortos reportan mayor número de citas, mediante un análisis de regresión, los autores hallaron que una palabra adicional en el título reduce el número de citas, mientras, la inclusión de un signo de pregunta en el título tiene un efecto positivo, al igual que el número de páginas del artículo.

Por otro lado, Liskiewicz, y otros (2021) encontraron una correlación positiva entre el número de citas y la extensión del artículo. Además, los autores también reportaron que el número de autores, instituciones y países colaboradores impactan positivamente en la tasa de citas y contrario a previos estudios, la longitud del título no es un factor importante que influya en el número de citas de los artículos publicados. Hallazgos similares fueron reportados por Fox y otros (2016) quienes concluyeron que los artículos más largos, los que tienen más autores y los que citan más referencias son más citados. Un artículo más reciente, encontró que los artículos cuyo tiempo de aceptación fue más corto tuvieron mayor número de citas (Taskin y otros, 2022).

Así mismo, el número de palabras claves y los atributos de las palabras clave han resultado factores relevantes en algunos estudios. En la disciplina de economía, Yuret (2019) mostró que el rendimiento de citas de los artículos que usan distintas palabras clave es diferente, en particular, términos técnicos del campo de econometría reportaron un mayor número de citas. Un artículo previo del mismo autor reportó el mismo resultado en publicaciones de diferentes disciplinas, corroborando que, aquellos artículos que contienen palabras clave con terminología científica sofisticada atraen más citas, mientras que las publicaciones que contienen nombres de animales, nombres de países y conceptos matemáticos básicos atraen menos citas (Yuret, 2018).

Tras la revisión de literatura, el presente estudio tiene como objetivo analizar los factores que determinan el número de citas de artículos científicos publicados por investigadores de una universidad pública en Ecuador, con un énfasis especial en la colaboración internacional, el número y el género de los autores. Este estudio resulta de interés particular para universidades públicas y aquellas ubicadas en países donde la producción científica es significativamente menor a países de ingresos altos donde se generan al menos el 50% de artículos científicos (White, 2019), puesto que los hallazgos permiten comprender qué elementos son relevantes para mayor impacto en la ciencia generada en países latinos, así como también permitirá sustentar el valor de una producción científica más colaborativa y diversa. Para guiar la investigación se sustentan las siguientes hipótesis.

H1: Un mayor número de autores tiene un efecto positivo significativo sobre el número de citas del artículo

El número de autores como determinante del número de citas de un artículo es uno de los factores clasificados dentro de la categoría factores del autor de acuerdo con el estudio desarrollado por Tahamtan y otros (2016). Su efecto positivo se encuentra muy bien documentado en un número significativo de estudios (Liskiewicz y otros, 2021; Fox y otros, 2016; Qian y otros, 2017; Dion y otros, 2020; Gnewuch y Wohlrabe, 2017), este efecto se puede deber a que el número de autores es un indicador del grado de colaboración científica involucrada en el artículo, lo que a su vez refleja diversidad de disciplinas, países, y universidades, esto aumenta la probabilidad de mayor frecuencia de citas (Tahamtan y otros, 2016). Por el contrario, otros estudios (Onodera, N. y Yoshikane, 2015; Yu y otros, 2014; Stevens y otros, 2019) reportaron el número de autores como un predictor no significativo del número de citas.

H2: El género de los autores tiene un efecto significativo sobre el número de citas del artículo

Estudios recientes centrados en analizar si el género de los autores del artículo determina significativamente el número de citas reportan resultados no concluyentes. Aunque no existe una razón evidente para considerar que el género determine la calidad, y por ende la tasa de citas de un artículo, diferentes estudios en diferentes disciplinas como ciencias médicas y naturales (Beaudry y Larivière, 2016), ciencias políticas (Dion y otros, 2018; Dion y Mitchell, 2020), ecología (Cameron y otros, 2016; Fox y Paine, 2019), ciencias de la comunicación (Wang y otros, 2021), ciencias económicas y administrativas (Ferber y Brün, 2011; Maddi y Gingras, 2021) han reportado una brecha de género (Málaga-Sabogal y Sagasti, 2021) manifestada en un menor número de citas de artículos cuyo principal autor es mujer. La existencia de esta brecha de género en el número de citas, de acuerdo con Dion y otros (2018), puede verse relacionada a dos efectos: (a) Efecto “Mathew” que sucede cuando las redes de citas de las diferentes disciplinas están dominadas por hombres porque hay pocas mujeres dentro de esta disciplina para ser citadas; y, (b) Efecto “Matilde”, notado por primera vez por Rossiter (1993), sucede cuando las contribuciones de las mujeres son menos reconocidas o donde los hallazgos de la investigación de las mujeres se atribuyen a otros académicos masculinos. A pesar de dichos hallazgos, otros estudios han concluido que no existen diferencias en el número de citas entre artículos cuyo autor es hombre o mujer, este resultado también se reporta a través de diferentes disciplinas (Nielsen, 2017; Hamermesh, 2018; Lynn y otros, 2019; Stevens y otros, 2019) y, en particular, un estudio reciente de Wild y otros (2020) en Croacia, encontró que las mujeres recibían más citas que sus colegas hombres, y esto alrededor de diferentes facultades entre ciencia, tecnología, ingeniería y matemáticas (STEM) y no STEM. Un hallazgo similar fue reportado por Thelwall (2020) en un estudio llevado a cabo con datos de Australia, Canadá, Irlanda, Jamaica, Nueva Zelanda y Reino Unido, soportando la idea de que los desequilibrios de género en el impacto de las publicaciones parecen estar disminuyendo.

H3: La colaboración internacional de los autores tiene un efecto positivo significativo sobre el número de citas del artículo

Para establecer la colaboración internacional en este estudio se partió de la definición dada por Frenken y otros (2010) quienes la definen como la concurrencia de dos o más afiliaciones dentro del artículo. Al tratarse de colaboración internacional, las afiliaciones deberán corresponder a instituciones de dos o más países diferentes. Lopaciuk-Gonczaryk (2016) señalaron que la colaboración brinda oportunidades para compartir conocimientos y experiencias, utilizar la sinergia de manera efectiva y dividir tareas. Sin embargo, existen costos de transacción en términos de encontrar y evaluar coautores en una situación de información incompleta, costos de organización y coordinación de la cooperación, problemas de comunicación, compromisos requeridos y riesgos relacionados con el comportamiento oportunista entre autores. Este antecedente permite establecer razones por las cuales la relación entre la colaboración y la calidad de un artículo y por ende del número de citas, puede tener resultados diferentes. Por un lado, estudios han mostrado que artículos con colaboración internacional tiene mayor impacto porque su producción es de mayor calidad y prestigio (Falagas y otros, 2013; Ronda-Pupo, 2018; Yang y otros, 2020). De acuerdo con Adams y Gurney (2018) este efecto de mayor número de citas en artículos con mayor colaboración fue denominado como “impacto de citas bonus” y este efecto es mayor cuando se trata de colaboración internacional. Sin embargo, tras el análisis, el autor concluyó que este efecto puede ser específico y limitado, la ganancia en el impacto de las citas es diferente cuando se analiza colaboraciones de solo dos países y colaboraciones de varios países. Así mismo, el efecto varía dependiendo la disciplina del artículo (Didegah y Thelwall, 2013), el tipo de artículo y la nacionalidad o región del autor (Ronda-Pupo, 2017; Rousseau y Ding, 2016) y, en algunos casos no se han encontrado un efecto significativo (Antoniou y otros, 2015; Fu y Ho, 2018).

La información sobre producción científica utilizada para el análisis corresponde a la métrica de publicaciones realizadas por ESPOL, obtenida del portal de información bibliográfica SciVal, de la editorial Elsevier. La búsqueda de artículos científicos utilizó como criterios de búsqueda la filiación de los autores y el año de publicación de los artículos, con la finalidad de obtener toda la producción científica generada por ESPOL, en el periodo comprendido entre 2015-2019.

La consulta fue realizada en el mes de marzo del 2021 y se escogió como periodo de análisis 2015 a 2019 para tomar en consideración la producción científica más actual antes de pandemia para omitir efectos del confinamiento y los cambios en el sistema educativo posteriores. Los datos recopilados fueron procesados a través del software de análisis estadístico Stata, así como algoritmos procesados en Phyton. A continuación se analiza descriptivamente las principales variables de estudio y su evolución.

Para establecer los determinantes en el enfoque general se han considerado tres variables fundamentales: i) la antigüedad del documento, ii) la extensión del documento, iii) número de autores y iv) calidad de la revista. Estos factores, pueden estar intuitivamente relacionados con el número de citaciones de un documento. Por ejemplo, mientras más años este en difusión un documento, es más probable que tenga mayores visualizaciones y citas. También, si un documento es muy extenso, podría desincentivar (no necesariamente) la lectura de un documento. Por otro lado, aunque no está muy clara la relación del número de autores de un documento con el número de citas de este, existen variables asociadas como la red de contactos y la reputación de estos que podrían motivar a un mayor número de citaciones del documento. Así, el modelo propuesto, toma la siguiente forma:

donde y_i denota el número de citas del documento “i”, X_i es un vector de características propias del documento, en este caso: i) la antigüedad del documento, ii) la extensión del documento, iii) número de autores y iv) calidad de la revista donde fue publicado. Por último D_i es un vector de variables dummy para cada uno de los tipos de documento; μ_i es el término de error del modelo, asumido i.i.d.

Dentro de esta especificación, nos enfrentamos a un problema metodológico y es que la relación entre el número de citas y la calidad de la revista podrían sufrir de problemas de causalidad reversa, dicho de otra forma, el hecho de que un documento sea más citado que otro no es ortogonal a la calidad de la revista. Mientras mejor es la revista, potencialmente, los documentos van a tener más citas. De esta forma, plantear el modelo tal como está en (1) podría generar estimaciones sesgadas. Si bien es cierto que, eliminar problemas de endogeneidad no es una tarea sencilla y uno de los métodos más utilizados en enfoques metodológicos de MCO es el método de variables instrumentales; nuestra base de datos no cuenta con un instrumento relevante. Por este motivo recurrimos a un enfoque menos ortodoxo, mostramos evidencia para las características propias con y sin el efecto de la calidad de la revista; también este efecto lo aproximamos mediante dos recursos: i) el índice de citas promedio anual de la revista donde fue publicado el documento y ii) el cuartil que tiene la revista en el año de publicación.

Uno de los objetivos del presente estudio, es aportar a la discusión de las diferencias de género en las publicaciones científicas. El proceso de clasificación partió de la toma de los nombres de los autores aplicando web scraping en las páginas web de las revistas científicas de interés. El siguiente paso en el proceso fue la clasificación mediante la aplicación de un código de Machine Learning en Python. Finalmente, en los casos donde se presentaron inconsistencias (58 casos) en la clasificación del género se realizó una verificación manual. Esto último fue posible porque la mayoría de los autores en nuestra base de datos son de nombres con raíces derivadas del latín, no obstante, para los casos en otros idiomas que no sean en español o inglés se utilizaron diccionarios y librerías para categorizarlos. Una vez identificados se generaron tres variables dicotómicas para los casos en que los documentos habían sido realizados por un equipo conformado solo de hombres, solo de mujeres y para los equipos de autores que tuvieran el mismo número de hombres y mujeres.

Por último, planteamos un enfoque de colaboración en el que se establece el efecto de tener un autor internacional en el equipo de investigadores, pero desde una perspectiva geográfica. Por ejemplo, queremos determinar si existe alguna diferencia significativa entre tener un coautor de Europa versus uno de EE. UU. o Latinoamérica. También analizamos el efecto de tener al menos un participante internacional en el equipo y si tener diversidad geográfica influye en el desempeño y alcance del documento científico.

En el periodo 2015 – 2019, ESPOL ha realizado una contribución intelectual (CI) de 1374 documentos científicos. En 2015 se publicaron 140 artículos, en el año posterior, el número de CI aumentó en un 50.71%, llegando a realizarse 211 publicaciones. La Figura 1 muestra que entre los años 2017-2019 se concentra el 74,5 % del total de la producción científica; la mayor tasa de participación del periodo (27,9 %) se experimentó en el 2019.

Al realizar una clasificación por tipo de contribución intelectual (Figura 2), se observa que los artículos científicos (51,1 %) y los documentos de conferencias (44 %) constituyen a los principales resultados de la investigación científica por parte de esta Escuela Politécnica. El resto de la contribución de la investigación científica (4,9 %) se distribuyen en ocho tipos de publicaciones: artículos de prensa, capítulos de libros, editoriales, cartas, difusiones de conjuntos de datos para análisis, erratums, notas y revisiones.

Con respecto al nivel de visibilidad de la investigación producida en la ESPOL, durante el mismo periodo se registraron 6068 citas, los años con mayor participación son 2015 y 2016, entre los dos acumulan el 50.4 % del total de las citas registradas. La tasa de participación para los años posteriores se distribuye como sigue: i) 2017: 24,7% del total de citas; ii) 2018: 18,0 % y iii) 2019: 6,8%. Así mismo, el total de citas se distribuyen entre los principales productos científicos de la siguiente manera: artículos científicos (70,4 %), documentos de conferencias (19,4 %) y otros tipos (10,1 %). Se puede destacar que algunas contribuciones intelectuales a pesar de su baja participación tienen buenos resultados en términos de citas; tal es el caso de las revisiones bibliográficas (8 % de citas).

A nivel de facultades las contribuciones científicas se concentran principalmente en las facultades STEM (Science, Technology, Engineering and Mathematics o Ciencia, Tecnología, Ingeniería y Matemáticas). La Facultad de Ingeniería Eléctrica y Computación (FIEC) contribuyó en el periodo con 471 artículos científicos mismos que concentran el 26,9 % de las citas registradas en el periodo 2015 – 2019, siendo así la facultad con los porcentajes de participación más altos.

En segundo lugar, el nivel de participación de citas es para la Facultad de Ingenierías Mecánica y Ciencias de la Producción (FIMCP) con un 19,8 % del total de citas, seguido de la Facultad de Ciencias de la Vida (FCV) con el 15,7 %. El 37,6 % de la participación de citas restante se distribuye como se muestra en la Figura 3.

La participación medida a nivel de citas muestra que hay una gran concentración en el áreas STEM, seguido del área de Ciencias Sociales. Al revisar el alcance de las citas que tienen las CI de cada área de acuerdo con el tipo de publicación científica (Tabla 1) se puede apreciar que, 8 de las 9 facultades concentran el 70 % o más de la participación de citas en publicaciones artículos científicos. En el caso de FIEC, el tipo producto científico más citado son los artículos de conferencias con una tasa de participación del 58.8 %, mientras que, los artículos alcanzan el 38.3 %. En el caso de la Facultad de Arte, Diseño y Comunicación Audiovisual (FADCOM) las citas se concentran entre “Capítulos” (57.1 %) y Artículos de conferencias (42.9 %).

La tabla II describe la evolución de la producción de publicaciones académicas durante el período de 2015 a 2019, desglosada por facultades. En primer lugar, la Facultad de Ingeniería en Electricidad y Computación (FIEC) es la principal contribuyente en términos de publicaciones, con un total de 471 publicaciones a lo largo de estos cinco años. Seguida por la Facultad de Ciencias Naturales y Matemáticas (FCNM) con 171 publicaciones en total. Las facultades de Ciencias de la Vida (FCV) e Ingeniería en Mecánica y Ciencias de la Producción (FIMCP) también han demostrado un compromiso notable con la investigación, con 169 y 240 publicaciones respectivamente. Otras facultades como la Facultad de Arte, Diseño y Comunicación Audiovisual (FADCOM) y Escuela de Postgrados (ESPAE) exhiben un número relativamente menor de publicaciones en comparación con las demás facultades.

La Tabla III muestra la media obtenida por las facultades de ESPOL en SJR y CiteScore. Se observa que, durante el periodo de estudio, la media SJR de ESPAE y FIMCM están por encima de 1, seguido de la FICT (0.93), FCV (0.91), FIMCP (0.89). A nivel de CiteScore, la FIMCM tiene la media más alta con 4 puntos, seguido de FIMCP (3.8). En conjunto con la Tabla 1, se puede notar que las facultades con un alto número de publicaciones no siempre tienen la calidad más alta en términos de citas. Por ejemplo, FIEC lidera en número de publicaciones, pero su Media SJR y Media CiteScore no son los más altos. Esto puede indicar que, aunque la cantidad de publicaciones es alta, la calidad de estas en términos de citación es moderada.

A lo largo del periodo de estudio, ESPOL ha realizado colaboraciones internacionales en los diferentes productos académicos publicados. La participación de colaboradores internacionales se clasificó en las regiones: i) Europa, ii) Norte América, iii) América del Sur y iv) Otros. En el periodo de estudio, las colaboraciones con autores de América del Sur obtuvieron mayor alcance en el porcentaje de participación por números de cita.

La Tabla IV presenta los resultados del modelo estimado incluyendo los factores revisados en la literatura. Iniciando con los factores relacionados a la revista, el modelo general muestra que la calidad tiene un efecto positivo significativo sobre el número de citas del artículo, este resultado es consistente controlando por facultades. Además, este hallazgo coincide con la significancia de los estimadores que acompañan a los cuartiles de la revista, donde el coeficiente es negativo, significativo y mayor en términos absolutos conforme el cuartil de la revista se aleja respecto a la categoría base Q1. Dichos resultados sugieren que la calidad de la revista, medida como el cuartil al que pertenece, es un determinante significativo del número de citas del artículo. La variable estado de la revista reportó un valor negativo y significativo. Avanzando a factores relacionados al artículo, se encontró que la extensión del artículo no es un determinante significativo del número de citas después de controlar por facultad. Un segundo factor relacionado al artículo es el tipo de documento, los hallazgos muestran que el número de citas cambia de acuerdo con el formato del artículo. El número de citas aumenta significativamente cuando se trata de difusiones de conjuntos de datos para análsis y artículos con revisiones bibliográficas; diferente de las cartas al editor que disminuyen el número de citas en -6.31, incluyendo los controles por facultad este efecto es significativo al 1%. Así mismo, los artículos en formato capítulo de libro y de conferencia tiene un efecto negativo significativo de acuerdo con la especificación del modelo (2). El estimador que acompaña a la variable antigüedad tuvo el signo esperado y fue estadística significativa (p<0.01) a través de todas las especificaciones, revelando que los artículos más antiguos reportarán más citas. Por último, el estimador de la variable número de autores fue significativo (p<0.05) con un efecto positivo en el número de citas a través de todas las especificaciones presentadas a excepción de la especificación (5), dichos resultados dan soporte a la hipótesis una establecida en el estudio.

La Tabla V presenta los resultados para la especificación de modelos que contiene variables relacionadas al género de los autores. En estos resultados, persisten la significancia de las variables antigüedad del artículo y calidad de la revista. Así mismo, los estimadores que acompañan a las variables dummy que corresponden a formatos de documento revisión bibliográfica y difusiones de conjuntos de datos, corroboran el efecto positivo significativo sobre el número de citas. Respecto a la hipótesis uno, el número de autores se muestra como determinante positivo significativo sobre el número de citas tras controlar por facultad. Las estimaciones presentadas permiten obtener resultados para la hipótesis 2 respecto al género de los autores, los coeficientes revelan que los artículos escritos solo por hombres o solo por mujeres no reportan mayor o menor número de citas. Sin embargo, la variable dicotómica que determina si el artículo tiene un número igual de autores hombres y mujeres reportó un efecto negativo y significativo (p<0.05) y los resultados persisten tras controlar por facultad, lo mismo revela que, los artículos cuyo género de autores se encuentra balanceado reportan un menor número de citas.

La Tabla VI permite obtener resultados respecto a la hipótesis 3 del estudio. La especificación (2) reporta un efecto positivo significativo de la colaboración internacional sobre el número de citas del artículo. Al desagregar por región, se encontró que la variable colaboraciones internacionales con efecto positivo significativo corresponde a autores de regiones de Europa y América del Sur. Así mismo, las especificaciones presentadas permiten corroborar una vez más la aceptación de la hipótesis 1, dado que el estimador de la variable número de autores resultó significativo y positivo en todas las especificaciones, soportando la idea de que un mayor número de autores genera mayor número de citas. Por el contrario, respecto a la hipótesis 2, el estimador que acompaña a autor mujer, no permite establecer un efecto significativo sobre el número de citas del artículo, es decir, el género no tiene un efecto significativo sobre el número de citas. La extensión y antigüedad del artículo presentan resultados consistentes en todas las especificaciones, mostrando que los artículos más antiguos y de mayor extensión reportan mayor número de citas. Finalmente, los coeficientes relacionados al tipo de documento presentaron resultados iguales a los modelos estimados en las secciones anteriores, con efectos positivos en difusiones de conjuntos de datos para análisis y revisiones bibliográficas, y, efectos negativos en artículos tipo capítulo de libro, conferencia y editorial.