1. INTRODUCCIÓN

Citar y referenciar consiste en dar cuenta, dentro de un escrito, de las ideas “prestadas” de otros textos y autores (Castañeda, 2020Castañeda, F. (2020). Citas y referencias: Servicios, vicios y virtudes. En M. Amaya, M. Pérez, M. Romero, E. Suárez, y N. Vaughan (eds.), Manual de citas y referencias bibliográficas: Latino, APA, Chicago, IEEE, MLA, Vancouver (4.^a ed.), 11-23. Universidad de los Andes.; Chuliá y Agulló Pastor, 2012Chuliá, E., y Agulló Pastor, M.V. (2012). Cómo se hace un trabajo de investigación en ciencia política. Los Libros de la Catarata.). Esto se termina expresando como un conjunto de datos bibliográficos, o listado de obras, organizados sistemáticamente para facilitar la identificación de una obra que ha sido incluida como cita en el documento que se está elaborando (Patiño Díaz, 2013Patiño Díaz, G.A. (2013). Escritura y universidad: Guía para el trabajo académico (1. Ed.). Universidad de Rosario.; Piccolini, 2019Piccolini, P. (2019). De la idea al libro. Un manual para la gestión de proyectos editoriales (1^a ed.). Fondo de Cultura Económica.).¹En este artículo, los conceptos Referencias y Bibliografía, reconociendo sus diferencias, o su versión combinada como Referencias bibliográficas, se usarán indistintamente para dar cuenta de lo mismo: el bloque o sección que enlista las obras citadas que se ubica al final de un documento académico.

La importancia de la sección de referencias en la producción científica radica en la validación del conocimiento que ahí se consigna. Esto da la posibilidad de determinar antecedentes, líneas de coincidencia o desacuerdo entre autores, y posturas en una discusión epistemológica que se da al interior de una comunidad científica (Castañeda, 2020Castañeda, F. (2020). Citas y referencias: Servicios, vicios y virtudes. En M. Amaya, M. Pérez, M. Romero, E. Suárez, y N. Vaughan (eds.), Manual de citas y referencias bibliográficas: Latino, APA, Chicago, IEEE, MLA, Vancouver (4.^a ed.), 11-23. Universidad de los Andes.). Por tal razón, analizarlas abre una ventana que deja entrever flujos de comunicación entre investigadores y autores, tipos de documentos que se privilegian, y hasta particularidades de escritura y tendencias de publicación de un campo del conocimiento.

Este trabajo busca profundizar en las dinámicas de publicación científicas considerando la perspectiva de quien otorga la cita (citing-side), más allá de quien la recibe (cited-side). Entiende el número de referencias como un indicador que deviene del comportamiento citacional atravesado por las particularidades propias de cada campo del conocimiento en cuanto a las publicaciones académicas (Zitt, 2013Zitt, M. (2013). Variability of citation behavior between scientific fields and the normalization problem: The “citing-side” normalization in context. Collnet Journal of Scientometrics and Information Management, 7(1), 55-67. DOI: https://doi.org/10.1080/09737766.2013.802619), a la vez que varía entre los diferentes tipos de documentos que publican las revistas científicas y evoluciona a lo largo del tiempo.

Un importante antecedente a este estudio se encuentra en Nicolaisen y Frandsen (2021)Nicolaisen, J., y Frandsen, T.F. (2021). Number of references: A large-scale study of interval ratios. Scientometrics, 126(1), 259-285. DOI: https://doi.org/10.1007/s11192-020-03764-3., quienes llevan a cabo un análisis exploratorio sobre el desempeño del número de referencias en los artículos para identificar patrones en su evolución entre 1996 y 2019. Metodológicamente, el trabajo mencionado previamente plantea una mirada cuantitativa a partir de la generación agrupaciones los números de referencias por rangos de tal forma que se pueda identificar tendencias generales en la evolución temporal de esta variable y su similitudes o diferencias en siete campos científicos (Nicolaisen y Frandsen, 2021Nicolaisen, J., y Frandsen, T.F. (2021). Number of references: A large-scale study of interval ratios. Scientometrics, 126(1), 259-285. DOI: https://doi.org/10.1007/s11192-020-03764-3.).

En consecuencia con lo mencionado hasta el momento, la presente investigación se propuso hacer un análisis del volumen de referencias de 61.350 artículos incluidos en la colección de revistas colombianas de SciELO (siglas en inglés de Scientific Electronic Library Online).²SciELO es una biblioteca electrónica que sirve de modelo para la publicación de revistas científicas en línea en acceso abierto (Packer y otros, 2006). Para ello, se toma como fuente principal el reporte estadístico de Colombia alojado en la plataforma SciELO Analytics. El proyecto SciELO nace en Brasil en el año 1998 buscando aumentar la visibilidad, proporcionar indicadores bibliométricos y mejorar la calidad de las revistas científicas (Bojo-Canales y otros, 2021Bojo-Canales, C., Sanz-Lorente, M., y Sanz-Valero, J. (2021). Tendencias de las búsquedas de información sobre las colecciones SciELO, Redalyc y Dialnet realizadas a través de Google. Revista Española de Documentación Científica, 44(2), e294-e294. DOI: https://doi.org/10.3989/redc.2021.2.1765.; Parcker y otros, 2014Parcker, A.L., Cop, N., y Santos, S.M. (2014). La Red SciELO en Perspectiva. En A.L. Packer, N. Cop, A. Luccisano, A. Ramalho, y E. Spinak (eds.), SciELO – 15 Años de Acceso Abierto: Un estudio analítico sobre Acceso Abierto y comunicación científica (1.^a ed.), 41-66. UNESCO. DOI: https://doi.org/10.7476/9789233012370.; Vessuri y otros, 2014Vessuri, H., Guédon, J.C., y Cetto, A.M. (2014). Excellence or quality? Impact of the current competition regime on science and scientific publishing in Latin America and its implications for development. Current Sociology, 62(5), 647-665. DOI: https://doi.org/10.1177/0011392113512839.). De Brasil se fue expandiendo a otros países de la región, llegando hasta España, Portugal y Sudáfrica. Puntualmente, en Colombia está desde el 2004 (SciELO Colombia, 2018SciELO Colombia, C. (2018). Evolución y futuro de la colección SciELO Colombia. Scielo. Disponible en: https://www.scielo20.org/redescielo/wp-content/uploads/sites/2/2018/09/Informe-SciELO-Colombia.pdf.). Actualmente funciona como una red descentralizada de hemerotecas científicas que reúne 14 países y un número de revistas que asciende a 1.440, las cuales publican en acceso abierto 700.000 artículos, aproximadamente (Bojo-Canales y otros, 2021Bojo-Canales, C., Sanz-Lorente, M., y Sanz-Valero, J. (2021). Tendencias de las búsquedas de información sobre las colecciones SciELO, Redalyc y Dialnet realizadas a través de Google. Revista Española de Documentación Científica, 44(2), e294-e294. DOI: https://doi.org/10.3989/redc.2021.2.1765.).

Con la información recuperada de SciELO para Colombia se analiza la evolución del número de referencias en dos tipos de documentos: artículos de investigación (Research Article) y artículos de revisión (Review Article), en un periodo de dieciséis años (2004-2019). La asociación temática de las revistas sigue una clasificación acorde a las seis Grandes áreas del conocimiento de la Organización para la Cooperación y el Desarrollo Económicos (OCDE): Ciencias agrícolas, Ciencias de la medicina y de salud, Ciencias naturales, Ciencias sociales, Humanidades e Ingeniería y tecnología, ajustándose así a los parámetros del modelo de evaluación de revistas científicas colombianas de Publindex (Minciencias, 2022Minciencias. (2022). Modelo de clasificación de revistas científicas-Publindex 2022. Ministerio de Ciencia, Tecnología e Información (Minciencias), Dirección de Ciencia. Disponible en: https://minciencias.gov.co/sites/default/files/ckeditor_files/Modelo%20de%20clasificacion%20de%20revistas%20-%202022%20-%2025%20Nov%202022.pdf.).

Entre los principales hallazgos, se encuentra que la producción de artículos en todas las Grandes áreas ha tenido un crecimiento importante, al igual que el número de referencias.³Ver evolución del número de artículos y acumulado de referencias en SciELO Colombia por Grande área de la OCDE en la Figura 4 y 5 en el Apéndice de este artículo. Para el periodo de tiempo analizado, en comparación con los registros del primer año, estos valores se han multiplicado por 10 y 15, respectivamente. Con relación a la producción, esta evolución puede verse como producto de la ampliación en la cobertura comprendida en el número de revistas que hacen parte de la colección SciELO Colombia (ver Figura 6 en Apéndice), pero al observar el volumen de referencias, la anterior explicación parece no ser suficiente. Una mirada más detallada muestra particularidades que pueden estar vinculadas a las dinámicas de publicación en los campos del conocimiento asociables a las Grandes áreas de la OCDE, en donde parece consolidarse una práctica generalizable que se manifiesta en la inclusión de un mayor número de referencias por artículo (ver Figura 7 en Apéndice).

Para cumplir su propósito, este artículo se ha estructurado en seis partes iniciando por esta introducción. En la segunda parte se plantea una sucinta revisión de otros textos que abordan las prácticas de referenciación en la producción científico. En la tercera parte presenta la aproximación metodológica y la recolección de datos. En la cuarta y quinta parte se presentan los resultados de esta investigación y se analizan poniéndolos en discusión con la literatura en el tema. Finalmente, se cierra con conclusiones generales planteando los límites de este estudio y futuras líneas de trabajo.

2. LITERATURA

Para algunos investigadores, la construcción del bloque de Referencias Bibliográficas puede constituir un eslabón de menor grado de prioridad en los procesos de escritura académica. No obstante, es importante reconocer que, desde la misma fase de investigación, aparentemente una fase anterior al de escritura, se empieza a generar insumos documentables para ir afianzando ciertas ideas. Como en algunos casos el número de registros puede ser mayor o menor, surge una pregunta sobre la existencia de una cantidad óptima de citas y referencias en un texto, así como si hay proporciones determinadas según tipos de documentos que pueden ser citados y referenciados (Martín y Lafuente, 2017Martín, S.G., y Lafuente, V. (2017). Referencias bibliográficas: Indicadores para su evaluación en trabajos científicos. Investigación Bibliotecológica. Archivonomía, Bibliotecología e Información, 31(71), 151-180. DOI: https://doi.org/10.22201/iibi.0187358xp.2017.71.57814.).

A pesar de la ausencia de un número mágico de referencias sugerido para los artículos, y aunque ya a mediados de los sesenta del siglo pasado, el Institute for Scientific Information⁴El Institute for Scientific Information (ISI), actualmente Clarivate, desarrolló la base de datos bibliométrica Web of Science (antes conocida como Web of Knowledge). registraba un promedio de 15 referencias por artículo (de Solla Price, 1965de Solla Price, D.J. (1965). Networks of Scientific Papers: The pattern of bibliographic references indicates the nature of the scientific research front. Science, 149(3683), 510-515. DOI: https://doi.org/10.1126/science.149.3683.510.) o que el presente artículo registre un promedio de 38 referencias por artículo para SciELO-Colombia en 2019, se evidencian transformaciones en cómo se ha ido estructurando la comunicación científica que se manifiestan también por medio de las variaciones en las dinámicas de citación y referenciación en los artículos (Sánches y otros, 2018Sánchez-Gil, S., Gorraiz, J., y Melero-Fuentes, D. (2018). Reference density trends in the major disciplines. Journal of Informetrics, 12(1), 42-58. DOI: https://doi.org/10.1016/j.joi.2017.11.003.).

Reconocer esto supone incorporar el enfoque teórico funcionalista de la socióloga de la ciencia en los estudios cienciométricos (Vélez Cuartas, 2013), que privilegia estrategias de cuantificación de la información para desarrollar clasificaciones e identificar tendencias, y sus particularidades dependiendo de los campos de conocimiento y comunidades científicas. Lo anterior se sustenta, por un lado, en la idea de que el volumen de citas y referencias se corresponde con la existencia de distintas culturas de citación (Dorta-González y Dorta-González, 2013Dorta-González, P., y Dorta-González, M.I. (2013). Hábitos de publicación y citación según campos científicos: Principales diferencias a partir de las revistas JCR. Revista española de Documentación Científica, 36(4), en012. DOI: https://doi.org/10.3989/redc.2013.4.1003.); y por el otro, que estos cambios pueden originarse a partir de la emergencia de nuevas prácticas en la producción científica por determinados periodos de tiempo (Dorta-González y otros, 2015Dorta-González, P., Dorta-González, M.I., y Suárez-Vega, R. (2015). An approach to the author citation potential: Measures of scientific performance which are invariant across scientific fields. Scientometrics, 102(2), 1467-1496. DOI: https://doi.org/10.1007/s11192-014-1459-4.).

Esta variación temporal puede ser fruto de los aprendizajes adquiridos en la producción académica mediada, entre otros factores, por los procesos de evaluación de la producción científica que realizan entidades nacionales (ej. en Colombia Minciencias) o terceros actores internacionales (rankings internacionales como Times Higher Education (THE), Scimago Institutions Rankings (SIR), Webometrics, entre otros), o hasta la misma institución donde se labora. También puede atribuirse a que gran parte de esta valoración está determinada por el éxito de las publicaciones científicas medidas, principalmente, por su impacto citacional (Dávila, 2018Dávila, M. (2018). Rankings universitarios internacionales y conflictos por la regulación de la educación superior. Revista Iberoamericana de Ciencia, Tecnología y Sociedad - CTS, 13(37). http://ojs.revistacts.net/index.php/CTS/article/view/50.). Trabajos como el de Tahamtan y otros (2016)Tahamtan, I., Afshar, A.S., y Ahamdzadeh, K. (2016). Factors affecting number of citations: A comprehensive review of the literature. Scientometrics, 107(3), 1195-1225. DOI: https://doi.org/10.1007/s11192-016-1889-2 identifican asuntos a nivel de la estructura del artículo, características del autor, y elementos de las revistas, que a menudo actúan de forma sinérgica para impulsar este impacto.

Esta idea ha motivado estudios bibliométricos que buscan encontrar diferentes factores que se correlacionen positivamente con el número de citaciones que acumula un artículo a lo largo de un marco temporal determinado (Mammola y otros, 2021Mammola, S., Fontaneto, D., Martínez, A., y Chichorro, F. (2021). Impact of the reference list features on the number of citations. Scientometrics, 126(1), 785-799. DOI: https://doi.org/10.1007/s11192-020-03759-0.). Entre estos factores se encuentra una correlación de la calidad de la publicación y el volumen de ciencia que cita, es decir, con características puntuales de los listados de referencias.

Por ejemplo, el trabajo de Ahlgren y otros (2018)Ahlgren, P., Colliander, C., y Sjögårde, P. (2018) Exploring the relation between referencing practices and citation impact: A large-scale study based on Web of Science data. Journal of the Association for Information Science and Technology, 69(5), 728-743. DOI: https://doi.org/10.1002/asi.23986. plantea que los artículos con mayor número de referencias y mayor número de referencias a trabajos recientes, en promedio, tienden a acumular mayor número de citas en la base de Web of Science (WOS). Una posible explicación está en el supuesto que vincula a los artículos con mayor número de referencias y extensión en el número de páginas, con procesos de investigación de punta y de un nivel superior de profundidad y amplitud (Onodera y Yoshikane, 2015Onodera, N., y Yoshikane, F. (2015). Factors affecting citation rates of research articles: Factors Affecting Citation Rates of Research Articles. Journal of the Association for Information Science and Technology, 66(4), 739-764. DOI: https://doi.org/10.1002/asi.23209.). Lo que genera una suerte de efecto positivo en el número de citas que reciben, pues se le arroga una mayor posibilidad de constituir artículos que publican resultados relevantes (Ahlgren y otros, 2018Ahlgren, P., Colliander, C., y Sjögårde, P. (2018) Exploring the relation between referencing practices and citation impact: A large-scale study based on Web of Science data. Journal of the Association for Information Science and Technology, 69(5), 728-743. DOI: https://doi.org/10.1002/asi.23986.).

Este efecto positivo entre citas recibidas y el número de referencias ha suscitado diversos trabajos que buscan comprender su causa y plantean una interrogante sobre si esta relación es igual en todas las áreas de la ciencia (Abt y Garfield, 2002Abt, H.A., y Garfield, E. (2002) Is the relationship between numbers of references and paper lengths the same for all sciences? Journal of the American Society for Information Science and Technology, 53(13), 1106-1112. DOI: https://doi.org/10.1002/asi.10151.). Esto ha abierto una línea de trabajo que busca identificar patrones de comportamientos determinados por campos científicos llegando a poner se pone en juego una diversidad amplia de fuentes para la definición de áreas de conocimiento como Scimago Journal y Country Rank en Sánchez-Gil y otros (2018)Sánchez-Gil, S., Gorraiz, J., y Melero-Fuentes, D. (2018). Reference density trends in the major disciplines. Journal of Informetrics, 12(1), 42-58. DOI: https://doi.org/10.1016/j.joi.2017.11.003., Scopus en Nicolaisen y Frandsen (2021)Nicolaisen, J., y Frandsen, T.F. (2021). Number of references: A large-scale study of interval ratios. Scientometrics, 126(1), 259-285. DOI: https://doi.org/10.1007/s11192-020-03764-3., las Grandes áreas del conocimiento OCDE en Marx y Bornmann (2015)Marx, W., y Bornmann, L. (2015). On the causes of subject-specific citation rates in Web of Science. Scientometrics, 102(2), 1823-1827. DOI: https://doi.org/10.1007/s11192-014-1499-9. o las de WOS en Mammola y otros (2021)Mammola, S., Fontaneto, D., Martínez, A., y Chichorro, F. (2021). Impact of the reference list features on the number of citations. Scientometrics, 126(1), 785-799. DOI: https://doi.org/10.1007/s11192-020-03759-0.. Estos trabajos rastrean estas particularidades analizando la evolución de esta relación en periodos de entre 14 y 23 años.

A nivel global se puede advertir un mayor número de trabajos que retoman bases como Web of Science y Scopus, las cuales son justamente consideradas como las principales bases de datos de referencias bibliográficas que clasifican la producción científica a partir del cruce entre referencias y artículos (Gonzalez-Pardo y otros, 2020Gonzalez-Pardo, R., Repiso, R., y Arroyave-Cabrera, J. (2020). Revistas iberoamericanas de comunicación a través de las bases de datos Latindex, Dialnet, DOAJ, Scopus, AHCI, SSCI, REDIB, MIAR, ESCI y Google Scholar Metrics. Revista Española de Documentación Científica, 43(4), e276-e276. DOI: https://doi.org/10.3989/redc.2020.4.1732.). A nivel regional, si bien se reconoce la amplia y versátil producción de análisis bibliométricos de bases de revistas como Redalyc o SciELO, lamentablemente, no indagan a mayor profundidad sobre la relevancia de las referencias bibliográficas para dar cuenta de prácticas que se hayan ido regularizando en el ámbito académico. No obstante, cabe mencionar que la literatura que se encuentra que hace una mención al tema de las referencias bibliográficas, lo hacen desde una perspectiva de buenas prácticas y recomendaciones (Chuliá y Agulló Pastor, 2012Chuliá, E., y Agulló Pastor, M.V. (2012). Cómo se hace un trabajo de investigación en ciencia política. Los Libros de la Catarata.; Cisneros y Olave, 2019Cisneros, M., y Olave, G. (2019). Redacción y publicación de artículos científicos (2.^a ed.). Ecoe Ediciones.), o de la aplicación de los principales estándares de citación y referenciación científica a modos de manuales o guías (Amaya y otros, 2020Amaya, M., Pérez, M., Romero, M., Suárez, E., y Vaughan, N. (eds.). (2020). Manual de citas y referencias bibliográficas: Latino, APA, Chicago, IEEE, MLA, Vancouver (4.^a ed.). Universidad de los Andes.; Beltrán Vargas, 2017Beltrán Vargas, J.E. (2017). Manual de edición académica (1.^a ed.). Universidad de los Andes, Universidad Nacional de Colombia.; Patiño Díaz, 2013Patiño Díaz, G.A. (2013). Escritura y universidad: Guía para el trabajo académico (1. Ed.). Universidad de Rosario.).

La literatura que indaga sobre las implicaciones de las referencias bibliográficas en la producción científica tomando como foco de análisis un caso-país es aún incipiente. Se encuentra un artículo para el caso de Malasia que pone en duda la relación que garantiza que los listados largos de referencia tienen a producir mayor número de citas en los artículos de revisión, pero retomando la producción en WOS y su clasificación temática (Ale Ebrahim y otros, 2015Ale Ebrahim, N., Ebrahimian, H., Mousavi, M., y Tahriri, F. (2015). Does a Long Reference List Guarantee More Citations? Analysis of Malaysian Highly Cited and Review Papers. The International Journal of Management Science and Business Administration, 1(3), 6-16. DOI: https://doi.org/10.18775/ijmsba.1849-5664-5419.2014.13.1001.). Para el caso Colombiano y a nivel disciplinar, una perspectiva de análisis aún incipiente, se encuentra la conferencia de Gonzalez-Sanabria y otros (2019)Gonzalez-Sanabria, J.S., Gomez-Pradilla, C.A., Burgos-Pineda, D.A., y Castro-Romero, A. (2019). Behavior of the References Cited by the Colombian Engineering Scientific Journals. 2019 IEEE CHILEAN Conference on Electrical, Electronics Engineering, Information and Communication Technologies (CHILECON), 1-10. DOI: https://doi.org/10.1109/CHILECON47746.2019.8987491., quienes para el ámbito de la ingeniería hacen una revisión del listado de referencias en las revistas científicas del área, buscando evaluar elementos formales en ellas, como el uso de DOI y nivel de acceso a la completitud de los registros.

Una mirada crítica a la relación cita y referencia, más allá de indicar su relevancia tácita, indaga sobre la dimensión social y cognitiva del vínculo entre autores y textos. Leydesdorff y Amsterdamska (1990)Leydesdorff, L., y Amsterdamska, O. (1990). Dimensions of Citation Analysis. Science, Technology, & Human Values, 15(3), 305-335. DOI: https://doi.org/10.1177/016224399001500303. separan, analíticamente, al menos cuatro significados que subyacen en esta relación. Primero, entender las citas como resultado de un vínculo profesional entre autores (Professional relation); segundo, como llamado de atención a la interpretación determinada de un autor (Cognitive resource); tercero, como forma de reconocimiento a un texto (Reward); y cuarto, como alusión al diálogo entre textos (Discursiva relation).

Esta perspectiva abre el espectro a considerar otras variables que pueden constituir comportamientos estratégicos que inciden a la hora de citar y referenciar a un autor o un texto (Leydesdorff y Amsterdamska, 1990Leydesdorff, L., y Amsterdamska, O. (1990). Dimensions of Citation Analysis. Science, Technology, & Human Values, 15(3), 305-335. DOI: https://doi.org/10.1177/016224399001500303.). Y aunque constituyan malas prácticas y representen comportamiento no éticos en la comunicación científica, los cuatro significados mencionados anteriormente, también tienen un correlato asociable con, primero, la emergencia de carteles de citación entre autores (Fister Jr. y otros, 2016Fister Jr., I., Fister, I., y Perc, M. (2016). Toward the Discovery of Citation Cartels in Citation Networks. Frontiers in Physics, 4. DOI: https://doi.org/10.3389/fphy.2016.00049.), que se dan como expresión de dinámicas cerradas de citación en red; segundo, el auto-plagio (Lin, 2020Lin, W.Y.C. (2020). Self-plagiarism in academic journal articles: from the perspectives of international editors-in-chief in editorial and COPE case. Scientometrics, 123(1), 299-319. DOI: https://doi.org/10.1007/s11192-020-03373-0.), que tiene lugar cuando se incluyen referencias superfluas por el beneplácito a una relación jerárquica desigual, como la que se da entre un estudiante y su tutor; tercero, la auto-cita y la auto-referencia (Hyland, 2003Hyland, K. (2003). Self-citation and self-reference: Credibility and promotion in academic publication. Journal of the American Society for Information Science and Technology, 54(3), 251-259. DOI: https://doi.org/10.1002/asi.10204.), que persiguen manipular las mé­tricas de impacto citacional a su favor; y cuarto, la citación coercitiva (Wilhite et al., 2019Wilhite, A., Fong, E.A., y Wilhite, S. (2019). The influence of editorial decisions and the academic network on self-citations and journal impact factors. Research Policy, 48(6), 1513-1522. DOI: https://doi.org/10.1016/j.respol.2019.03.003), que aunque regularmente responde a presiones de los editores de revistas por incluir referencias de la revista misma, de igual forma podrían darse a nivel institucional buscando un beneficio reputacional o ventaja comparativa.

El presente artículo busca aportar a llenar este vacío expuesto y apoya la idea que rescata la pertinencia de continuar desarrollando estudios locales que propendan llamar el interés de la comunidad académica sobre las particulares en torno a la generación de nuevo conocimiento, para poder contrastarlos, no solo con otros análisis más amplios en cobertura geográfica o margen temporal, sino con otros casos-país que comparten problemas similares (Vélez-Cuartas y otros, 2016Vélez-Cuartas, G., Lucio-Arias, D., y Leydesdorff, L. (2016). Regional and global science: Publications from Latin America and the Caribbean in the SciELO Citation Index and the Web of Science. El Profesional de la Información, 25(1), 35-46. DOI: https://doi.org/10.3145/epi.2016.ene.05.).

3. MÉTODOS Y MATERIALES

Este estudio retoma la información sobre las temáticas de las revistas, así como el número de referencias por artículo de SciELO Analytics (https://analytics.scielo.org/), puntualmente, del reporte generado para Colombia. Por diversas razones, el trabajo de carpintería con los datos y la fase de escritura de este artículo se dio en diferentes momentos y con distintas intensidades. Durante mayo y agosto de 2021 se descargó y depuró el informe correspondiente al capítulo de SciELO Colombia. Entre febrero y abril de 2022 se realizaron las agrupaciones y graficaron sus evoluciones. Finalmente, entre enero y marzo de 2023 se analizaron los resultados y se terminaron de escribir los demás apartados del texto.⁵El autor descarta cualquier posibilidad de conflicto de intereses. Datos de referencia descargados desde: https://analytics.scielo.org/w/reports#colombia acceso, 6 de mayo de 2021.

Este estudio abarca un periodo de 16 años entre el 2004 y el 2019, y recurrió a las seis Grandes áreas del conocimiento de la Organización para la Cooperación y el Desarrollo Económicos (OCDE): Ciencias Agrícolas, Ciencias Médicas y de la Salud, Ciencias Naturales, Ciencias Sociales, Humanidades e Ingeniería y Tecnología, para agrupar temáticamente a las revistas. Esta decisión se toma con la intención de aportar insumos en los procesos de definición de políticas de medición y valoración de las revistas nacionales que últimamente han recurrido a estas categorías para establecer su clasificación temática (Minciencias, 2016Minciencias. (2016). Convocatoria para Indexación de Revistas Científicas Colombianas Especializadas-Publindex, 768. Programa de Oferta Institucional Minciencias. Disponible en: https://minciencias.gov.co/convocatorias/investigacion/convocatoria-para-indexacion-revistas-cientificas-colombianas, 2018Minciencias. (2018). Convocatoria para Indexación de Revistas Científicas Colombianas Especializadas-Publindex 2018, 830. Programa de Oferta Institucional Minciencias. Disponible en: https://minciencias.gov.co/convocatorias/investigacion/convocatoria-para-indexacion-revistas-cientificas-colombianas-0. y 2021Minciencias. (2021). Convocatoria para Indexación de Revistas Científicas Colombianas Especializadas-Publindex 2021, 910. Programa de Oferta Institucional Minciencias. Disponible en: https://minciencias.gov.co/convocatorias/fortalecimiento-capacidades-para-la-generacion-conocimiento/convocatoria-para-0.).

La selección del periodo toma como punto de partida la puesta en marcha de la colección SciELO Colombia en el 2004 (Parcker y otros, 2014Parcker, A.L., Cop, N., y Santos, S.M. (2014). La Red SciELO en Perspectiva. En A.L. Packer, N. Cop, A. Luccisano, A. Ramalho, y E. Spinak (eds.), SciELO – 15 Años de Acceso Abierto: Un estudio analítico sobre Acceso Abierto y comunicación científica (1.^a ed.), 41-66. UNESCO. DOI: https://doi.org/10.7476/9789233012370.), un año después de la creación del Sistema Nacional de Indexación y Homologación de Revistas Especializadas de CTeI en el 2003 (Minciencias, 2020cMinciencias. (2020c). Modelo de clasificación de revistas científicas-Publindex 2020. Ministerio de Ciencia, Tecnología e Información (Minciencias), Dirección de Generación de Conocimiento. Disponible en: https://minciencias.gov.co/sites/default/files/upload/convocatoria/modelo_de_clasificacion_de_revistas_-_publindex_2020.pdf.). Y establece el 2019 como año de cierre de la muestra para reducir la influencia que pudo haber tenido la pandemia por Covid-19 sobre la generación de nuevo conocimiento en el mundo, en la región y en Colombia, particularmente.⁶El primer caso confirmado de Covid-19 en Colombia se registró el 6 de marzo de 2020 (https://www.minsalud.gov.co/Paginas/Colombia-confirma-su-primer-caso-de-COVID-19.aspx).

La base datos de SciELO distingue entre documentos no citables (abstract, addendum, book-review, correction, editorial, letter, news, press-release y otros tipos no definidos) y citables (article-commentary, brief-report, case-report, rapid-communication, research-article y review-article). Este trabajo se enfoca en dos tipos de documentos citables: Artículo científico (research-article) y Artículo de revisión (review-articles), que agrupa el 95 % del total de referencias citadas en todo el periodo.⁷A partir de este momento, cuando se mencione la palabra artículo se estará haciendo referencia exclusivamente a estas dos tipologías indistintamente.

Si bien SciELO maneja una distribución temática propia, la agrupación de revistas en este trabajo retoma el modelo de Publindex⁸Publindex es el “sistema colombiano de clasificación de la calidad de las revistas científicas” (Minciencias, 2022) basado en las Grandes áreas de la OCDE planteadas para las publicaciones seriadas por el servicio de indexación y homologación de revistas colombianas. Para la asociación de cada revista a una de estas Grandes áreas se procedió de la siguiente manera y en el siguiente orden:

Como resultado de esta asociación temática se registran 224 revistas,⁹Ver evolución del número de revistas en SciELO Colombia por Grandes áreas de la OCDE en la Figura 6 en el Apéndice. que publican un total de 61.350 artículos en los que se incluyen hasta 1.983.030 fuentes en cada listado de Referencias bibliográficas (ver Tabla II). La grande área de Ciencias sociales reúne el mayor número revistas en esta base con 67 publicaciones periódicas, las cuales publican 13.778 artículos, tercer lugar en cuanto a la producción. Por otro lado, la grande área de Ciencias Médicas y de la Salud reúne 41 revistas, ocupando el tercer lugar en cuanto al número de revistas en la base, y publica 14.736 artículos que constituyen la mayor producción de las seis Grandes áreas de la OCDE. La grande área de Humanidades ocupa el segundo puesto en el número de revistas y artículos publicados, y el tercero en el número de referencias que aporta a la muestra.

A continuación, la Figura 1 presenta la distribución del número de artículos publicados según la agrupación por número de referencias de Nicolaisen y Frandsen (2021)Nicolaisen, J., y Frandsen, T.F. (2021). Number of references: A large-scale study of interval ratios. Scientometrics, 126(1), 259-285. DOI: https://doi.org/10.1007/s11192-020-03764-3. para el total de las seis Grandes áreas de conocimiento de la OCDE.

Una mirada general a la Figura 1 muestra, en grandes rasgos, un crecimiento generalizado en los artículos con más de 20 referencias durante los 16 años de observación. Al detallar la figura se advierte al menos 5 tendencias:

A partir de las tendencias anteriormente mencionadas, se propone una nueva agrupación con la intención de ofrecer una mejor visualización de la evolución del número de por Grandes áreas de conocimiento de la OCDE. Esta nueva distribución reúne los artículos en 5 grupos conforme a las tendencias descritas previamente. Como punto de partida están los artículos que acumulan entre 0 y 19 referencias; segundo los que suman entre 20 y 39 referencias; luego está el grupo de artículos que reúne entre 40 y 59 referencias; el cuarto segmento lo constituyen los artículos con 60 y 79 referencias; y, finalmente, los que ascienden a más de 80 referencias.

4. RESULTADOS

Este apartado toma la nueva agrupación mencionada para mostrar la evaluación global (ver Figura 2), es decir, sin discriminar su foco temático o campo científico, para luego graficar esta muestra conforme a los patrones de comportamiento que se da al interior de cada una de las seis Grandes áreas del conocimiento de la OCDE (ver Figura 3).

De manera general, se observa una significativa y constante reducción del grupo de 0-19 referencias, pasando de constituir el 47% del total de artículos en el 2004 hasta llegar a representar el 15% en el 2019.

El grupo de artículos con 20-39 referencias es el tipo preponderante. Este registra un leve pero constante crecimiento durante todo el periodo de análisis. Del 31% en el 2014 asciende al 47% en el 2019, y desde el 2008 supera a las demás agrupaciones tanto en valores absolutos como relativos. A partir del 2017 se observa una leve caída de solo dos puntos porcentuales entre 2017 y 2019.

Los artículos que reúnen entre 40-59 referencias también presentan una evolución positiva en la Figura 2. Desde el 2017 se convierte en el segundo grupo por número de referencias en artículos más frecuente de toda la colección de SciELO Colombia. Desde ese momento, supera al grupo que hasta el 2007 ostentó el primer lugar y entre el 2008-2016 el segundo.

Los dos siguientes grupos muestran un crecimiento tenue y constante en todo el periodo de observación. A lo largo del periodo, el grupo de 60-79 y el de más de 80 referencias mantuvieron el cuarto y quinto lugar, respectivamente. En el último lustro se empieza a registrar un pequeño crecimiento en la inclinación de la línea que representa los artículos con 60-79 referencias. Si bien esto genera un aumento levemente en la distancia entre ambas líneas, habría que continuar la observación incluyendo los siguientes años para ver si persiste en el tiempo. Lo que podría constituir un elemento a valorar en un próximo estudio.

Ahora, si se mira la Figura 3, una primera mirada da cuenta, en mayor o menor medida, de una correspondencia para cada uno de los grupos de referencia con los patrones globales planteados anteriormente. No obstante, sí se observan diferencias significativas en cada una de las Grandes áreas de la OCDE.

La reducción constante del grupo de artículos con 0-19 referencias es más pronunciada en las Humanidades, Ciencias Agrícolas e Ingeniería y Tecnología, que en las Ciencias Sociales, Naturales y Médicas y de la Salud. Únicamente en las Ciencias Naturales se registra un crecimiento importante de un año a otro, mientras que se registran otros menores en las otras áreas, principalmente en el primer quinquenio. Solo en las Ciencias Médicas y de la Salud esta evolución registra una tendencia clara y constante de caída año tras año.

El crecimiento del grupo de 20-39 referencias cuenta con una mayor inclinación en Ingeniería y Tecnología, y en las Ciencias Agrícolas y Humanidades. Esta pendiente se reduce en el caso de las Ciencias Médicas y de la Salud, que tiende a llegar a ser más plana en las Ciencias Naturales y Sociales.

La agrupación del 40-59 referencias por artículo muestra una evolución relativamente similar en cada una de las Grandes áreas con un ángulo de crecimiento moderado. A excepción de las Ciencias Médicas y de la Salud y las Ciencias Sociales cuyo crecimiento es constante desde el inicio, las otras Grandes áreas registran un inicio vertiginoso con un primer quinquenio inestable en la evolución, que en el caso de la Ingeniería y Tecnología se extiende hasta casi por un lustro más, antes de tomar la senda de un crecimiento leve, constante y menos volátil.

Las dos agrupaciones siguientes, el de 60-79 y el de más de 80 referencias por artículos, registran una evolución casi que paralela en todas las Grandes áreas. En las Ciencias Naturales, Sociales y en Humanidades, y desde el último tercio del periodo, el primer grupo de artículos pareciera alejarse, mientras que el segundo grupo se mantiene constante a un mismo nivel.

En línea con el párrafo anterior, una segunda mirada a las gráficas por Grande área de la OCDE advierte al menos dos comportamientos. Por un lado, se encuentran los artículos de las dos últimas agrupaciones que representan las publicaciones con los mayores números de referencias, ya que transitan a lo largo del periodo a un nivel menor al 12% sin mayores inversiones de lugares entre sí, más allá de los primeros 5 años en las Ciencias Agrícolas, Sociales y Humanidades. Por otro lado, se muestran los artículos en las primeras tres agrupaciones que tienden a superponerse en diferentes momentos, y en algunos casos más de una vez. Con respecto a esto se advierte a su vez tres patrones de evolución.

El primero asociado, puntualmente, con el Grande área de Ingeniería y Tecnología que registra la evolución menos congestionada en la que, el grupo de artículos con 20-39 referencias supera al primer grupo de 0-19 referencias en el 2014, sin volverse a topar entre sí en el camino. No obstante, el grupo tres con 40-59 referencias no registra el mismo grado de crecimiento que en las otras Grandes áreas de tal manera que no se intercepta con el grupo de referencias que viene en descenso desde el 2007. Esta evolución da cuenta de dinámicas particulares a esta Grande área con relación al número de referencias que se enlistan en los artículos, de tal suerte que cada vez es menos recurrente los artículos con más de 40 referencias, al igual que es menor el número de artículos por debajo de las 19 referencias.

Un segundo patrón se observa en las Ciencias Agrícolas y las Ciencias Médicas y de la Salud. Mientras la evolución del grupo 20-39 referencias deja en evidencia una clara trayectoria de crecimiento, el grupo de 0-19 referencias, al contrario, muestra un notable y continuo recorrido en descenso, perdiendo desde muy temprano el primer lugar y casi una década después el segundo lugar. El grupo de 40-50 referencias traza una ruta casi que paralela al grupo con mayor predominancia, aunque a un nivel inferior, logrando consolidarse como el segundo tipo de artículos hacia el final del periodo. A partir de lo anterior, queda en evidencia un proceso de afianzamiento de los artículos con 40-59 referencias, así como de una consolidación manifiesta de los artículos con 20-39 registros de referencias bibliográficas.

Finalmente, el tercer patrón se registra en las Ciencias Naturales, Sociales y Humanidades en el que los artículos que agrupan entre 20-39 referencias, en los primeros 5 años registran altibajos, pero a partir del 2009 la trayectoria se vuelve más plana que en los registros de las Grandes áreas previamente presentadas. La distancia de este grupo y el de las 40-59 referencias es mucho menor que las planteadas en el patrón anterior, llevando a acercarse al final del periodo. Esto podría dar cuenta de unas dinámicas de producción científica que tienden a girar, cada vez más, entre 20 y menos 60 referencias bibliográficas por artículo. Aquí, en las Ciencias Sociales se da el único caso donde el grupo de 0-19 referencias es superado por un tercer grupo, el de 60-79 registros bibliográficos. Esta es una señal que da cuenta de un camino hacia una posible futura desaparición de este tipo de artículos, lo que a su vez permite inferir que hay una preponderancia a configurar relativamente grandes bloques de referencias bibliográficas en esta Grande área del conocimiento.

5. DISCUSIÓN Y ANÁLISIS DE LOS RESULTADOS

En sintonía con los hallazgos de Nicolaisen y Frandsen (2021)Nicolaisen, J., y Frandsen, T.F. (2021). Number of references: A large-scale study of interval ratios. Scientometrics, 126(1), 259-285. DOI: https://doi.org/10.1007/s11192-020-03764-3., este estudio permite inferir que una de las principales causas del crecimiento del número de referencias por artículo puede encontrarse en la reducción sistemática de la proporción de artículos del grupo con el más bajo número de referencias, a la vez que aumenta la proporción de los artículos con un tamaño medio entre 20 y 59 referencias bibliográficas. Mientras que los artículos con los mayores volúmenes de referencias se mantienen mucho más estables a lo largo del tiempo en todas las áreas del conocimiento.

Estudios como el de Abt y Garfield (2002)Abt, H.A., y Garfield, E. (2002) Is the relationship between numbers of references and paper lengths the same for all sciences? Journal of the American Society for Information Science and Technology, 53(13), 1106-1112. DOI: https://doi.org/10.1002/asi.10151. llaman la atención sobre la correlación positiva existente entre el número de referencias de un artículo y la extensión del mismo. De tal manera que los artículos con pocos registros bibliográficos tienden a ser menos extensos en cuanto al número de páginas (o palabras) por artículo. En el caso contrario, artículos con mayor número de referencias tienden a ser más extensos. Aún reconociendo que las extensiones de los artículos tienden a encontrarse reglamentadas en las “Guía a los autores” de las revistas, y que puede variar dependiendo del tipo de documento, y que a su vez varían de acuerdo a cada campo y subcampo del conocimiento.

Otra explicación a los patrones que revela este estudio puede hallarse, como propone Bornmann y Mutz (2015)Bornmann, L., y Mutz, R. (2015). Growth rates of modern science: A bibliometric analysis based on the number of publications and cited references: Growth Rates of Modern Science: A Bibliometric Analysis Based on the Number of Publications and Cited References. Journal of the Association for Information Science and Technology, 66(11), 2215-2222. DOI: https://doi.org/10.1002/asi.23329., en una combinación de factores intrínsecos y extrínsecos a las prácticas preestablecidas de cómo se construye ciencia en cada área del saber, la cual es apropiada por parte de las y los investigadores, quienes a su vez son permeados tanto por aspectos sociales, históricos y psicológicos de su entorno académico y universitario como por las políticas nacionales en Ciencia, Tecnología e Innovación (CTI) y agendas globales como los Objetivos de Desarrollo Sostenible (ODS). Por ejemplo, aquí se podría ver la influencia de estas dinámicas a partir de establecimiento de definición de artículos y asociación a cierto número de referencias de las políticas nacionales, que determinar el número de referencias de los artículos de revisión a mínimo 50 registros (Colciencias, 2010Colciencias, D. de R. del C. (2010). Documento guía. Servicio permanente de indexación de revistas de Ciencia, Tecnología e Innovación colombianas (CÓDIGO: M304PR02G01). Colciencias. Disponible en: https://minciencias.gov.co/sites/default/files/upload/paginas/M304PR02G01-guiaserviciopermanente-indexacion.pdf.), lo que pudo generar una suerte de inercia a este tope en los otros tipos de documento, principalmente, los artículos científicos.

Las referencias también podrían ser motivo de un análisis de corte cualitativo (Mammola y otros, 2021Mammola, S., Fontaneto, D., Martínez, A., y Chichorro, F. (2021). Impact of the reference list features on the number of citations. Scientometrics, 126(1), 785-799. DOI: https://doi.org/10.1007/s11192-020-03759-0.), al valorar elementos como la antigüedad del documento citado, el idioma en el que fue escrito, la diversidad de formatos que son referenciados en las publicaciones (artículos, capítulo de libro, libro, página web, entre otros), hasta aproximarse a la calidad de la cita referenciada a partir de su fuente (revista, editorial, etc.), origen (país, institución o financiador), multiplicidad de saberes (especialidad disciplinar o diálogo intra-, multi- y transdisciplinar) y el nivel de experticia de los autores citados. Esta idea merecería de un trabajo posterior, en la medida en que se requiere un mayor nivel de detalles y calidad en el registro de cada referencia bibliográfica.

Finalmente, una perspectiva crítica sobre el aumento generalizado del número de referencias, principalmente en los artículos con 20-59 referencias, puede relacionarse con la importancia que ha ido ganando la cita como indicador de impacto. De tal manera que en este crecimiento puede entrever una suerte de normalización de ciertas malas prácticas en autores como la autocitación excesiva (Abadía, 2021Abadía, A.A. (2021). Los retos de la edición de una revista científica. Unas reflexiones o recomendaciones prácticas para no morir en el intento. En D.A. Garzón Forero; M.E. Jaramillo Cabanzo; S. Aparicio Camacho (eds.), Llegar a esos “otros”. Negociado los chistes internos de la academia (1.^a ed.), 237-274. Universidad del Rosario. DOI: https://doi.org/10.12804/urosario9789587847598.), la citación altamente endógena (Wallace y otros, 2012Wallace, M.L., Larivière, V., y Gingras, Y. (2012). A Small World of Citations? The Influence of Collaboration Networks on Citation Practices. PLoS ONE, 7(3), e33339. DOI: https://doi.org/10.1371/journal.pone.0033339.) o las citaciones espurias (Mehregan, 2022Mehregan, M. (2022). Scientific journals must be alert to potential manipulation in citations and referencing. Research Ethics, 18(2), 163-168. DOI: https://doi.org/10.1177/17470161211068745.), o no éticas que se manifiestan en la generación de carteles de citación, auto-plagio y la citación coercitiva a los autores, presentadas al principio del artículo.

De manera general, cabe mencionar que el impacto citacional ha concentrado el interés no solo a nivel de las revistas o individuos (autores), sino también a nivel institucional, pues no es difícil visualizar que a las autoridades y administradores, tanto centros y grupos de investigación como instituciones de educación superior, les disguste la mejoría reputacional y de imagen que acompaña obtener buenos resultados en los sistemas de evaluación internacional y nacional de investigación; por lo tanto, no es descabellado pensar que se generen acciones que busquen el mejoramiento continuo de esta posición comparativa (Vélez-Cuartas y otros, 2014Vélez-Cuartas, G., Gómez-Flórez, H., Úsuga-Ciro, A., y Vélez-Trujillo, M. (2014). Diversidad y reconocimiento de la producción académica en los sistemas de evaluación de la investigación en Colombia. Revista Española de Documentación Científica, 37(3), e056. DOI: https://doi.org/10.3989/redc.2014.3.1133.).

6. CONCLUSIONES

Este análisis de caso tomó como insumo la producción científica registrada en SciELO Colombia para el periodo entre 2004 y 2019, con la intención de identificar tendencias y patrones en las dinámicas de referenciación en las Grandes áreas del conocimiento definidas por las Organización para la Cooperación y el Desarrollo Económicos (OCDE).

De forma general, en todas las Grandes áreas se encontró que los tipos de documentos (artículos científicos y de revisión), que suman hasta 19 referencias bibliográficas reflejan una clara tendencia de caída. Si esta dinámica continúa este trayecto, en los próximos años no solo estaría llegando a ubicar unos niveles mucho menores comparativamente, sino también llegar a considerarse una práctica cada vez más de tipo excepcional y que tiende a desaparecer. Lo contrario ocurre en los dos grupos de artículos que agrupan entre 20 y 59 referencias, en el que no solo registran una evolución en crecimiento, sino que en varias Grandes áreas ya podría hablarse de una consolidación, al menos parar el grupo de 20-39 registros de bibliografía por artículo.

Los artículos con más de 60 referencias no logran consolidarse en las Grandes áreas del conocimiento ya que su recurrencia en los artículos es muy baja, aún con la leve inclinación de crecimiento en el último lustro. No obstante, cabe mencionar la excepción de las Ciencias Sociales donde el grupo de artículos con 60-79 referencias logra ubicarse en el tercer puesto al final del periodo estudiado.

Lo expuesto anteriormente da cuenta de una evolución en la que pareciera privilegiarse el aumentar la diversidad y el número de citas en los artículos, las cuales son respaldadas luego con un voluminoso bloque de referencias bibliográficas en contravía con una idea parsimoniosa y ciertamente moderada que tiende a limitarse a lo que realmente amerita ser citado.

Este crecimiento invita, entonces, a hacer un llamado a las consideraciones éticas del ejercicio investigativo, así como el de las revistas que publican estos trabajos, en tanto a evitar malas prácticas en el asunto. Por lo tanto, a la regla fundamental en el método en Descartes, haciendo alusión al epígrafe al inicio del artículo, además de “no omitir nada”, la ciencia contemporánea adicionaría: no dejar de citar y referenciar nada, conforme a los principios éticos en la publicación científica relacionadas a los derechos de autor y a su juicio propio como miembro de una comunidad académica cada vez más interconectada.