Evaluación de la investigación científica: mejorando las políticas científicas en Latinoamérica

Autores/as

DOI:

https://doi.org/10.3989/redc.2022.3.1879

Palabras clave:

Evaluación científica, evaluación de la investigación, indicadores de calidad, investigación científica, política científica, indicadores cienciométricos, cienciometría, impacto científico, impacto de la investigación

Resumen


Este artículo busca identificar criterios e indicadores de evaluación científica, que permitan mejorar la forma en que las agencias de financiación, las instituciones académicas y otros grupos evalúan la calidad e impacto de la investigación. Para ello, se realiza una revisión bibliográfica, basada en artículos sobre políticas de evaluación de la investigación científica y agendas internacionales implementadas en los últimos años (principalmente en el Reino Unido, Estados Unidos, Australia, China y Latinoamérica). Los resultados indican que no existe un solo método de evaluación científica, ya que ningún indicador es absoluto. Cada investigación posee actores distintos que deben ser considerados y se debe valorar la investigación en su contexto. Se recomienda un sistema de evaluación mixto, que incorpore criterios cuantitativos y cualitativos, pero que reconozca los límites y alcances de ambos y también de cada disciplina.

Descargas

Los datos de descargas todavía no están disponibles.

Citas

Aguado, E., y Becerril, A. (2020). El antiguo ecosistema de acceso abierto de América Latina podría ser quebrantado por las propuestas del Norte Global. Disponible en: https://blogs.lse.ac.uk/latamcaribbean/2020/01/21/el-antiguo-ecosistema-de-acceso-abierto-de-america-latina-podria-ser-quebrantado-por-las-propuestas-del-norte-global/

Aguillo, I. (2020) Altmetrics of the Open Access Institutional Repositories: a webometrics approach. Scientometrics, 123, 1181-1192. https://doi.org/10.1007/s11192-020-03424-6

Albornoz, M., Barrere, R., Castro, M., y Carullo, J. (2017). Manual Iberoamericano de Indicadores de Vinculación de la Universidad con el Entorno Socioeconómico. Manual de Valencia. Observatorio Iberoamericano de la Ciencia, la Tecnología y la Sociedad (OCTS-OEI) Red Iberoamericana de Indicadores de Ciencia y Tecnología (RICYT). Disponible en:http://www.ricyt.org/wp-content/uploads/2017/06/files_manual_vinculacion.pdf

Aliaga, F. M., Almerich, G., y Suárez-Rodríguez, J. M. (2013). El European Reference Index for the Humanities (ERIH) como criterio de calidad de las revistas académicas: análisis de la lista revisada de educación. Revista Española de Documentación Científica, 36(2), en008. https://doi.org/10.3989/redc.2013.2.901

Aljohani, N., Fayoumi, A., y Hassan, S. (2020). Bot prediction on social networks of Twitter in altmetrics using deep graph convolutional networks. Soft Computing, 24(15), 11109-11120. https://doi.org/10.1007/s00500-020-04689-y

Almind, T., y Ingwersen, P. (1997). Informetric analyses on the world wide web: methodological approaches to 'webometrics'. Journal of Documentation, 53(4), 404-426. https://doi.org/10.1108/EUM0000000007205

Alperin, J., y Fischman, G. (2015). Revistas científicas hechas en Latinoamérica. En Alperin, J., y Fischman, G. (Eds.), Hecho en Latinoamérica: acceso abierto, revistas académicas e innovaciones regionales (pp.107-116). CLACSO. Disponible en: http://biblioteca.clacso.edu.ar/clacso/se/20150722110704/HechoEnLatinoamerica.pdf

Alperin, J., y Rozemblum, C. (2017). La reinterpretación de visibilidad y calidad en las nuevas políticas de evaluación de revistas científicas. Revista Interamericana de Bibliotecología, 40(3), 231-241. https://doi.org/10.17533/udea.rib.v40n3a04

Álvarez-Bornstein, B., y Costas, R. (2018). Exploring the relationship between research funding and social media: disciplinary analysis of the distribution of funding acknowledgements and Twitter mention in scientific publications. Disponible en: https://openaccess.leidenuniv.nl/bitstream/handle/1887/65233/STI2018_paper_198.pdf?sequence=1

Araújo, R. (2020). Communities of attention networks: introducing qualitative and conversational perspectives for altmetrics. Scientometrics 124, 1793-1809. https://doi.org/10.1007/s11192-020-03566-7

Araújo, J., y Arencibia, R. (2002). Informetría, bibliometría y cienciometría: aspectos teórico-prácticos. ACIMED, 10(4), 5-6. Disponible en: https://pesquisa.bvsalud.org/portal/resource/pt/lil-354310

Arellano, A. (2000). La guerra entre ciencias exactas y humanidades en el fin de siglo: el escándalo Sokal y una propuesta pacificadora. CIENCIA ergo-sum, Revista Científica Multidisciplinaria de Prospectiva, 7(1), 56-66. Disponible en: https://www.redalyc.org/articulo.oa?id=10401707

Arévalo-Guízar, G., y Rueda-Beltrán, M. (2016). Las revistas académicas: entre la evaluación y el cumplimiento de su función social. RELIEVE, 22(1), art.1. https://doi.org/10.7203/relieve.22.1.8066

Arroyo, N., Ortega, J., Pareja, V., Prieto, J., y Aguillo, I. (2005). Cibermetría. Estado de la cuestión. 9asJornadas Españolas de Documentación. Disponible en: https://digital.csic.es/bitstream/10261/4296/1/R-17.pdf

Australian Research Council. (2018). Engagement and Impact Assessment 2018-19 National Report. Disponible en: https://dataportal.arc.gov.au/EI/NationalReport/2018/

Balbontín, R., Roeschmann, J., y Zahler, A. (2018). Ciencia, Tecnología e Innovación en Chile: Un Análisis Presupuestario. Disponible en: http://www.dipres.gob.cl/598/articles-171080_doc_pdf.pdf

Bannura, G. (2017). Publicación duplicada y autoplagio en publicaciones médicas. Revista Chilena de Cirugía, 69(1), 1-2. https://doi.org/10.1016/j.rchic.2016.11.009

Banshal, S., Singh, V., Muhuri, P., y Mayr, P. (2019). Disciplinary Variations in Altmetric Coverage of Scholarly Articles. arXiv preprint, 1870-1881. Disponible en: https://arxiv.org/abs/1910.04205

Becerril, A., Aguado, E., Batthyány, K., Melero, R., Beigel, F., Vélez Cuartas, G., Banzato, G., Rozemblum, C., Amescua, C., Gallardo, O., y Torres, J. (2018). AmeliCA: Una estructura sostenible e impulsada por la comunidad para el Conocimiento Abierto en América Latina y el Sur Global. Disponible en: http://sedici.unlp.edu.ar/handle/10915/90961

Berche, B., Holovatch, Y., Kenna, R., y Mryglod, O. (2016). Academic research groups: evaluation of their quality and quality of their evaluation. Journal of Physics: Conference Series, 681(1), 012004. Disponible en: https://iopscience.iop.org/article/10.1088/1742-6596/681/1/012004/pdf https://doi.org/10.1088/1742-6596/681/1/012004

Borrego, Á. (2014). Altmétricas para la evaluación de la investigación y el análisis de necesidades de información. El Profesional de la Información, 23(4), 352-357. https://doi.org/10.3145/epi.2014.jul.02

Bouchagiar, G. (2018). Privacy and Web 3.0: Implementing Trust and Learning from Social Networks. Review of European Studies, 10(4). https://doi.org/10.5539/res.v10n4p16

Caress, A. (2013). Public involvement and the REF impact agenda: Squaring the circle?. INVOLVE. Disponible en: https://www.invo.org.uk/public-involvement-and-the-ref-impact-agenda-squaring-the-circle/

Cetto, A., y Alonso, J. (2011). Calidad e Impacto de la revista Iberoamericana. México: Facultad de Ciencias. UNAM. Disponible en: https://inecol.repositorioinstitucional.mx/jspui/bitstream/1005/139/1/1437_2012-10007.pdf

CILAC. (2018). Declaración de Panamá sobre Ciencia Abierta. Disponible en: https://forocilac.org/declaracion-de-panama-sobre-ciencia-abierta/

Consejo Nacional de Ciencia, Tecnología, Conocimiento e Innovación para el Desarrollo (2019). Ciencia, Tecnología, Conocimiento e Innovación para Chile. Disponible en: https://www.opia.cl/601/articles-112265_archivo_01.pdf

Cortés, D. (2007). Medir la producción científica de los investigadores universitarios: la bibliometría y sus límites. Revista de la Educación Superior, 36(142), 43-65. Disponible en: http://www.scielo.org.mx/pdf/resu/v36n142/v36n142a3.pdf

Costa, H., Matias, M., y Schwarz, R. (2018). Institutos Nacionales de Ciencia y Tecnología del área de Ciencias Agrarias: estudio de la publicación científica, técnica y tecnológica (2013-2015). Biblios: Journal of Librarianship and Information Science, 0(68), 1-20. https://doi.org/10.5195/BIBLIOS.2017.390

Costas, R., Zahedi, Z., y Wouters, P. (2014). Do "Altmetrics" Correlate With Citations?. Journal of the Association for Information Science and Technology, 66: 2003-2019. https://doi.org/10.1002/asi.23309

European Commission. (2005). Mobilising the brainpower of Europe: Enabling universities to make their full contribution to the Lisbon strategy. Disponible en: http://aei.pitt.edu/42884/1/com2005_0152.pdf

Fang, Z., y Costas, R. (2020). Studying the accumulation velocity of altmetric data tracked by Altmetric.com. Scientometrics, 123, 1. https://doi.org/10.1007/s11192-020-03405-9

Gunn, A., y Mintrom, M. (2016). Evaluating the non-academic impact of academic research: design considerations. Journal of Higher Education. Policy and Management, 39(1), 20-30. https://doi.org/10.1080/1360080X.2016.1254429

Gunn, A., y Mintrom, M. (2016b). Higher education policy change in Europe: Academic research funding and the impact agenda. European Education, 48(4), 241-257. https://doi.org/10.1080/10564934.2016.1237703

Hallonsten, O. (2021). Stop evaluating science: A historical-sociological argument. Social Science Information, 60(1), 7-26. https://doi.org/10.1177/0539018421992204

Holbrook, J. (2017). The future of the impact agenda depends on the revaluation of academic freedom. Palgrave Communications, 3(39). https://doi.org/10.1057/s41599-017-0041-0

Jong, S., y Muhonen, R. (2020). Who benefits from ex ante societal impact evaluation in the European funding arena? A cross-country comparison of societal impact capacity in the social sciences and humanities. Research Evaluation, 29(1), 22-33. https://doi.org/10.1093/reseval/rvy036

Karmakar, M., Banshal, S., y Singh, V. (2020). Does presence of social media plugins in a journal website result in higher social media attention of its research publications?. Scientometrics 124, 2103-214. https://doi.org/10.1007/s11192-020-03574-7

Konkiel, S. (2020). Assessing the Impact and Quality of Research Data Using Altmetrics and Other Indicators. Scholarly Assessment Reports, 2(1), 13. https://doi.org/10.29024/sar.13

Kowaltowski, A., Silber, A., y Oliveira, M. (2021). Responsible Science Assessment: downplaying indexes, boosting quality. Anais da Academia Brasileira de Ciências, 93(1), 1-9. https://doi.org/10.1590/0001-3765202120191513 PMid:33624715

Larivière, V., Lozano, G., y Gingras, Y. (2014). Are elite journals declining?. Journal of the Association for Information Science and Technology, 65(4), 649-655. https://doi.org/10.1002/asi.23005

Latindex, Redalyc, Clacso, Ibict. (2018). Declaración de México a favor del ecosistema Latinoamericano de acceso abierto no comercial. Declaración conjunta latindex-redalyc-clacso-ibict sobre el uso de la licencia cc by-nc-sa para garantizar la protección de la producción académica y científica en acceso abierto. Andes, 29 (1). Disponible en: https://www.redalyc.org/jatsRepo/127/12755957014/index.html

Lazcano-Peña, D., Viedma, G., y Alcaino, T. (2019). Comunicación de la Ciencia desde la Mirada de los Investigadores Universitarios: entre el Indicador y la Vocación. Formación Universitaria, 12(6), 27-40. https://doi.org/10.4067/S0718-50062019000600027

López-Padilla, D., y García-Río, F., Alonso-Arroyo, A., Gallán, M., Maestú, L., Segrelles-Calvo, G., de Granda-Orive, J. (2020). Análisis de las métricas alternativas de Archivos de Bronconeumología durante el periodo 2014-2018. Archivos de Bronconeumología, 56(5), 298-305. https://doi.org/10.1016/j.arbres.2019.08.024 PMid:31753677

Maassen, P., y Stensaker, B. (2011). The knowledge triangle, European higher education policy logics and policy implications. Higher Education, 61, 757-769. https://doi.org/10.1007/s10734-010-9360-4

Martin, B. (2011). The Research Excellence Framework and the 'impact agenda': are we creating a Frankenstein monster?. Research Evaluation, 20(3), 247-254. https://doi.org/10.3152/095820211X13118583635693

Meyer, M. (2000) What is special about patent citations? Differences between scientific and patent citations. Scientometrics, 49(1), 93-123. Disponible en: https://link.springer.com/article/10.1023/A%3A1005613325648

Ministerio de Educación de la República Popular China. (2020). Algunas sugerencias sobre la regulación del uso del índice de artículos SCI en colegios y universidades para establecer una guía de evaluación correcta. Disponible en: http://www.moe.gov.cn/srcsite/A16/moe_784/202002/t20200223_423334.html

Miró, Ó., y Burbano, P. (2013). El factor de impacto, el índice h y otros indicadores bibliométricos. Anales del Sistema Sanitario de Navarra, 36(3), 371-377. https://doi.org/10.4321/S1137-66272013000300001 PMid:24406349

MoChridhe, R. (2020). The hidden language policy of China's research evaluation reform. Blog de la University of Westminster, Inglaterra, (6). Disponible en: http://blog.westminster.ac.uk/contemporarychina/the-hidden-language-policy-of-chinas-research-evaluation-reform/

Moriano, P., Ferrara, E., Flammini, A., y Menczer, F. (2014). Dissemination of scholarly literature in social media. Conference ACM Web of Science Conference Workshop Altmetrics.

Orduna-Malea, E., Thelwall, M., y Kousha, K. (2017). Web citations in patents: evidence of technological impact? Journal of the Association for Information Science and Technology, 68(8): 1967-1974. https://doi.org/10.1002/asi.23821

Ortega, J. (2020). Altmetrics data providers: A meta-analysis review of the coverage of metrics and publication. El Profesional de la Información, 29(1). https://doi.org/10.3145/epi.2020.ene.07

Pardal-Peláez, B. (2018). Declaración de San Francisco sobre la evaluación de la investigación. Revista ORL, 9(4), 295-299. Disponible en: https://dialnet.unirioja.es/servlet/articulo?codigo=6653270 https://doi.org/10.14201/orl.17845

Pedersen, D., Grønvad, J., y Hvidtfeldt, R. (2020). Methods for mapping the impact of social sciences and humanities-a literature review. Research Evaluation, 29(1), 4-21. https://doi.org/10.1093/reseval/rvz033

Priem, J., y Hemminger, B. (2010). Scientometrics 2.0: Toward new metrics of scholarly impact on the social Web. First Monday, 15(7). Disponible en: https://firstmonday.org/ojs/index.php/fm/article/view/2874/2570 https://doi.org/10.5210/fm.v15i7.2874

Ràfols, I. (2019). S&T indicators in the wild: Contextualization and participation for responsible metrics. Research Evaluation, 28(1), 7-22. https://doi.org/10.1093/reseval/rvy030

Rebora, G., y Turri, M. (2013). The UK and Italian research assessment exercises face to face. Research Policy, 42(9), 1657-1666. https://doi.org/10.1016/j.respol.2013.06.009

Rees, A. (2018). Patents: A new view of impact. Disponible en: https://www.altmetric.com/blog/patents-a-new-view-of-impact/

Reviglio, U., y Agosti, C. (2020). Thinking Outside the Black-Box: The Case for "Algorithmic Sovereignty". Social Media + Society, 1-12. https://doi.org/10.1177/2056305120915613

Robinson-García, N., Sugimoto, C., Murray, D., Yegros-Yegros, A., Larivière, V., y Costas, R. (2018). Scientific mobility indicators in practice: International mobility profiles at the country level. El Profesional de la Información, 27(3). https://doi.org/10.3145/epi.2018.may.05

Robinson-García, N., Torres-Salinas, D., Zahedi, Z., y Costas, R. (2014). Nuevos datos, nuevas posibilidades: Revelando el interior de Altmetric. com. El Profesional de la Información, 23(4), 359-366. Disponible en: http://www.elprofesionaldelainformacion.com/contenidos/2014/jul/03.pdf https://doi.org/10.3145/epi.2014.jul.03

Rodríguez-Bravo, B., y Nicholas, D. (2018). Reputación y comunicación científica: investigadores españoles en el inicio de su carrera. El Profesional de la Información, 28(2). https://doi.org/10.3145/epi.2019.mar.03

Sedighi, M. (2020), Evaluating the impact of research using the altmetrics approach (case study: the field of scientometrics). Global Knowledge, Memory and Communication, 69(4/5), 241-252. https://doi.org/10.1108/GKMC-02-2019-0013

Smith, K., Bandola-Gill, J., Meer, N., Stewart, E., y Watermeyer, R. (2020). The Impact Agenda: Controversies, Consequences and Challenges. Bristol, Reino Unido: Policy Press. Disponible en: https://policy.bristoluniversitypress.co.uk/the-impact-agenda https://doi.org/10.1332/policypress/9781447339854.001.0001

Spaapen, J., y Sivertsen, G. (2020). Assessing societal impact of SSH in an engaging world: focus on productive interaction, creative pathways and enhanced visibility of SSH research. Research Evaluation, 29(1), 1-3. https://doi.org/10.1093/reseval/rvz035

Thelwall, M. (2020). Measuring societal impacts of research with altmetrics? Common problems and mistakes. Journal of Economic Surveys. Special issue. https://doi.org/10.1111/joes.12381

Thelwall, M., Haustein, S., Larivière, V., y Sugimoto, C. (2013) Do Altmetrics Work? Twitter and Ten Other Social Web Services. PLoS ONE 8(5): e64841. https://doi.org/10.1371/journal.pone.0064841 PMid:23724101 PMCid:PMC3665624

Thelwall, M., y Kousha, K. (2015). Web indicators for research evaluation. Part 1: Citations and links to academic articles from the Web. El Profesional de la Información, 24(5), 587-606. https://doi.org/10.3145/epi.2015.sep.08

Tilley, H., Ball, L., y Cassidy, C. (2018). Research Excellence Framework (REF) Impact Toolkit. Overseas Development Institute.

Torres, D., y Cabezas, Á. (2013). D.3. Altmetrics: no todo lo que se puede contar, cuenta. El Profesional de la Información, 7, 114-117. Disponible en: https://recyt.fecyt.es/index.php/ThinkEPI/article/viewFile/30343/15939

Torres, D., Cabezas, Á., y Jiménez, E. (2013). Altmetrics: nuevos indicadores para la comunicación científica en la Web 2.0. Comunicar, 21(41), 53-60. https://www.redalyc.org/pdf/158/15828675007.pdf https://doi.org/10.3916/C41-2013-05

Vélez, G., Uribe-Tirado, A., Restrepo-Quintero, D., Ochoa-Gutierrez, J., Pallares, C., Gómez-Molina, H., Suárez-Tamayo, M., y Calle, J. (2019). Hacia un modelo de medición de la ciencia desde el Sur Global: métricas responsables. Palabra Clave, 8(2), e068. https://doi.org/10.24215/18539912e068

Volder, C. (2016). Métricas alternativas: ¿Una nueva forma de medir el impacto científico? Épocas. Disponible en: http://eprints.rclis.org/38818/1/metricas.pdf

Xie, Q., y Freeman, R. (2019). Bigger Than You Thought: China's Contribution to Scientific Publications and Its Impact on the Global Economy. China & World Economy, 27(1), 1-27. https://doi.org/10.1111/cwe.12265

Xu, X. (2020). Performing under 'the baton of administrative power'? Chinese academics' responses to incentives for international publications. Research Evaluation, 29(1), 87-99. https://doi.org/10.1093/reseval/rvz028

Yu, H., Cao, X., Xiao, T., y Yang, Z. (2020). How accurate are policy document mentions? A first look at the role of altmetrics database. Scientometrics, 125, 1517-1540. https://doi.org/10.1007/s11192-020-03558-7

Zahedi, Z., Fenner, M., y Costas, R. (2014). How consistent are altmetrics providers? Study of 1000 PLOS ONE publications using the PLOS ALM. Mendeley and Altmetric.com APIs. Altmetrics 14. Workshop at the Web Science Conference, Bloomington, USA.

Zhang, L., y Sivertsen, G. (2020). The new research assessment reform in China and its implementation. Scholarly Assessment Reports, 2(1). Disponible en: https://www.scholarlyassessmentreports.org/articles/10.29024/sar.15/ https://doi.org/10.29024/sar.15

Publicado

2022-07-06

Cómo citar

Arellano-Rojas, P. ., Calisto-Breiding, C. ., & Peña-Pallauta, P. . (2022). Evaluación de la investigación científica: mejorando las políticas científicas en Latinoamérica. Revista Española De Documentación Científica, 45(3), e336. https://doi.org/10.3989/redc.2022.3.1879

Número

Sección

Estudios