1. INTRODUCCIÓN
⌅La investigación científica se considera un elemento clave para mejorar el desempeño económico de las naciones, en consecuencia, evaluar la asignación de fondos públicos o comprobar la rentabilidad de las inversiones realizadas en esa área, se ha vuelto uno de los principales objetivos gubernamentales. Los tradicionales indicadores comerciales de impacto científico, antes altamente usados para estos fines, hoy son cuestionados debido a la lentitud de la recogida de datos, la baja visibilidad de la ciencia en español en ciertos índices internacionales, la homogeneización de las formas de valoración de la investigación (criterios únicos para todas las disciplinas) (Pedersen y otros, 2020Pedersen, D., Grønvad, J., y Hvidtfeldt, R. (2020). Methods for mapping the impact of social sciences and humanities-a literature review. Research Evaluation, 29(1), 4-21. DOI: https://doi.org/10.1093/reseval/rvz033 ) y la deshonestidad científica reflejada en el incremento de la publicación duplicada (múltiple o redundante), el autoplagio, la publicación salami (Bannura, 2017Bannura, G. (2017). Publicación duplicada y autoplagio en publicaciones médicas. Revista Chilena de Cirugía, 69(1), 1-2. DOI: https://dx.doi.org/10.1016/j.rchic.2016.11.009 ), el aumento del número de autores por artículo y la falsa autoría (Arévalo-Guízar y Rueda-Beltrán, 2016Arévalo-Guízar, G., y Rueda-Beltrán, M. (2016). Las revistas académicas: entre la evaluación y el cumplimiento de su función social. RELIEVE, 22(1), art.1. DOI: http://dx.doi.org/10.7203/relieve.22.1.8066 ). A estas problemáticas se suman las autocitas, las citas falsamente positivas (Miró y Burbano, 2013Miró, Ó., y Burbano, P. (2013). El factor de impacto, el índice h y otros indicadores bibliométricos. Anales del Sistema Sanitario de Navarra, 36(3), 371-377. DOI:https://dx.doi.org/10.4321/S1137-66272013000300001 ), la devaluación de las citas y la desvalorización de las revistas de elite tradicionales por el surgimiento de nuevas revistas de acceso abierto (Larivière y otros, 2014Larivière, V., Lozano, G., y Gingras, Y. (2014). Are elite journals declining?. Journal of the Association for Information Science and Technology, 65(4), 649-655. DOI: https://doi.org/10.1002/asi.23005 ). Adicionalmente, se alude a las pequeñas comunidades de investigación que representan dichos indicadores (Moriano y otros, 2014Moriano, P., Ferrara, E., Flammini, A., y Menczer, F. (2014). Dissemination of scholarly literature in social media. Conference ACM Web of Science Conference Workshop Altmetrics. DOI: https://doi.org/10.6084/m9.figshare.1035127.v1 ) y al bajo impacto y compromiso social de las investigaciones y de los investigadores respectivamente (Thelwall, 2020Thelwall, M. (2020). Measuring societal impacts of research with altmetrics? Common problems and mistakes. Journal of Economic Surveys. Special issue. DOI: https://doi.org/10.1111/joes.12381 ). Estos antecedentes demuestran que el concepto impacto va evolucionando, y que se requieren nuevos criterios para valorar y financiar la investigación científica (Holbrook, 2017Holbrook, J. (2017). The future of the impact agenda depends on the revaluation of academic freedom. Palgrave Communications, 3(39). DOI: https://doi.org/10.1057/s41599-017-0041-0 ).
Los primeros intentos por medir el impacto no académico se centraron en las citas de patentes, pero estas son irrelevantes para identificar los beneficios de la investigación en ámbitos no comerciales (Thelwall, 2020Thelwall, M. (2020). Measuring societal impacts of research with altmetrics? Common problems and mistakes. Journal of Economic Surveys. Special issue. DOI: https://doi.org/10.1111/joes.12381 ). Además, el uso irregular de las patentes dentro de la industria ha socavado su valor (Meyer, 2000Meyer, M. (2000) What is special about patent citations? Differences between scientific and patent citations. Scientometrics, 49(1), 93-123. Disponible en: https://link.springer.com/article/10.1023/A%3A1005613325648 ) suscitando en los años noventa el surgimiento de las primeras propuestas de estudios del ciberespacio (Arroyo-Vázquez y otros, 2005Arroyo, N., Ortega, J., Pareja, V., Prieto, J., y Aguillo, I. (2005). Cibermetría. Estado de la cuestión. 9asJornadas Españolas de Documentación. Disponible en: https://digital.csic.es/bitstream/10261/4296/1/R-17.pdf ), basadas en teorías y técnicas procedentes de la Infometría, disciplina instrumental de las Ciencias de la Información (Araújo y Arencibia, 2002Araújo, J., y Arencibia, R. (2002). Informetría, bibliometría y cienciometría: aspectos teórico-prácticos. ACIMED, 10(4), 5-6. Disponible en: https://pesquisa.bvsalud.org/portal/resource/pt/lil-354310 ) atribuida en 1979 a Otto Nacke (Cortés, 2007Cortés, D. (2007). Medir la producción científica de los investigadores universitarios: la bibliometría y sus límites. Revista de la Educación Superior, 36(142), 43-65. Disponible en: http://www.scielo.org.mx/pdf/resu/v36n142/v36n142a3.pdf ). En 1997, Almind e IngwersenAlmind, T., y Ingwersen, P. (1997). Informetric analyses on the world wide web: methodological approaches to ‘webometrics’. Journal of Documentation, 53(4), 404-426. DOI: https://doi.org/10.1108/EUM0000000007205 plantean por primera vez el término webometrics, definiendo una nueva forma de medir las redes de comunicación de la Word Wide Web, utilizando técnicas cuantitativas (reemplazando las citas tradicionales por páginas web). Más adelante, Priem y Hemminger (2010)Priem, J., y Hemminger, B. (2010). Scientometrics 2.0: Toward new metrics of scholarly impact on the social Web. First Monday, 15(7). Disponible en: https://firstmonday.org/ojs/index.php/fm/article/view/2874/2570 vinculando las herramientas de la web social con las disciplinas métricas de información, proponen el término Scientometrics 2.0, para denominar las métricas alternativas, actualmente conocidas como altmetrics o altmétricas, las cuales usan indicadores basados en las redes sociales para cuantificar el impacto de un trabajo académico (Robinson-García y otros, 2014Robinson-García, N., Torres-Salinas, D., Zahedi, Z., y Costas, R. (2014). Nuevos datos, nuevas posibilidades: Revelando el interior de Altmetric. com. El Profesional de la Información, 23(4), 359-366. Disponible en: http://www.elprofesionaldelainformacion.com/contenidos/2014/jul/03.pdf ), midiendo la atención que reciben revistas, autores y artículos según la interacción de la comunidad en la Web social: número de visualizaciones, descargas, reacciones en Facebook, menciones en blogs, Twitter, Wikipedia, gestores de referencias, marcadores (bookmarks), medios de comunicación, políticas públicas, patentes, etc. (Thelwall y otros, 2013Thelwall, M., Haustein, S., Larivière, V., y Sugimoto, C. (2013) Do Altmetrics Work? Twitter and Ten Other Social Web Services. PLoS ONE 8(5): e64841. DOI: https://doi.org/10.1371/journal.pone.0064841 ). El tiempo de captura de estos varía según las fuentes de datos, el tipo de documento, los campos temáticos y los temas de investigación, existiendo fuentes rápidas como redes sociales (Reddit, Twitter, Noticias, Facebook, Google+ y Blogs) y fuentes lentas como documentos de políticas y Wikipedia (Fang y Costas, 2020Fang, Z., y Costas, R. (2020). Studying the accumulation velocity of altmetric data tracked by Altmetric.com. Scientometrics, 123, 1. DOI: https://doi.org/10.1007/s11192-020-03405-9 ).
Autores como Priem y Hemminger (2010) Priem, J., y Hemminger, B. (2010). Scientometrics 2.0: Toward new metrics of scholarly impact on the social Web. First Monday, 15(7). Disponible en: https://firstmonday.org/ojs/index.php/fm/article/view/2874/2570 , Torres y otros (2013)Torres, D., Cabezas, Á., y Jiménez, E. (2013). Altmetrics: nuevos indicadores para la comunicación científica en la Web 2.0. Comunicar, 21(41), 53-60. https://www.redalyc.org/pdf/158/15828675007.pdf , y Volder (2016Volder, C. (2016). Métricas alternativas: ¿Una nueva forma de medir el impacto científico? Épocas. Disponible en: http://eprints.rclis.org/38818/1/metricas.pdf ), establecen que las ventajas de las altmetrics se asocian a su naturaleza abierta, a la rapidez con que se acumulan los datos (forjando nuevas formas de divulgación científica), a la diversidad de productos de investigación que se analizan y al aumento de la cobertura disciplinar. Sin embargo, Torres y Cabezas (2013)Torres, D., y Cabezas, Á. (2013). D.3. Altmetrics: no todo lo que se puede contar, cuenta. El Profesional de la Información, 7, 114-117. Disponible en: https://recyt.fecyt.es/index.php/ThinkEPI/article/viewFile/30343/15939 precisan que si bien son métricas que potencian la democratización de la ciencia, no provienen de fuentes de datos académicas o científicas, sino de plataformas que generan sus propias medidas y que vuelven difuso el uso de los diferentes indicadores altmétricos, ya que se desconoce hasta qué punto estos son equiparables y, por tanto, no se pueden jerarquizar ni clasificar. Además, la capacidad de identificar menciones de artículos es variada (y en algunos casos limitada), puesto que para acceder a la mayoría de las fuentes se requieren enlaces, identificadores únicos o una interfaz de programación y ninguno de estos métodos es totalmente preciso, lo que pone en duda la calidad de los datos (Zahedi y otros, 2014Zahedi, Z., Fenner, M., y Costas, R. (2014). How consistent are altmetrics providers? Study of 1000 PLOS ONE publications using the PLOS ALM. Mendeley and Altmetric.com APIs. Altmetrics 14. Workshop at the Web Science Conference, Bloomington, USA. DOI: https://doi.org/10.6084/m9.figshare.1041821.v2 ). Adicionalmente, se requieren varias etapas de análisis para la recolección de datos y una interpretación que considere quiénes y por qué están interactuando; para ello, es fundamental conocer las dinámicas de la actual Web 3.0, un entorno que agrega significado a los datos y que se basa en dos conceptos: el etiquetado semántico de recursos y el desarrollo de agentes inteligentes capaces de operar con esos recursos e inferir nuevos conocimientos de ellos (Bouchagiar, 2018Bouchagiar, G. (2018). Privacy and Web 3.0: Implementing Trust and Learning from Social Networks. Review of European Studies, 10(4). DOI: https://doi.org/10.5539/res.v10n4p16 ). Esto acrecienta las preocupaciones sobre la intervención de actores corporativos no estatales en redes sociales, que utilizan los datos personales y la atención de los usuarios en línea para crear algoritmos predictivos que persuadan abiertamente y manipulen encubiertamente a la comunidad (Reviglio y Agosti, 2020Reviglio, U., y Agosti, C. (2020). Thinking Outside the Black-Box: The Case for “Algorithmic Sovereignty”. Social Media + Society, 1-12. DOI: https://doi.org/10.1177/2056305120915613 ). Si bien los tweets se usan estratégicamente (activismo en línea) para movilizar comunidades (Araújo, 2020Araújo, R. (2020). Communities of attention networks: introducing qualitative and conversational perspectives for altmetrics. Scientometrics 124, 1793-1809. DOI: https://doi.org/10.1007/s11192-020-03566-7 ), Aljohani y otros (2020)Aljohani, N., Fayoumi, A., y Hassan, S. (2020). Bot prediction on social networks of Twitter in altmetrics using deep graph convolutional networks. Soft Computing, 24(15), 11109-11120. DOI: https://doi.org/10.1007/s00500-020-04689-y , alertan que la gran cantidad de información falsa que se difunde en redes sociales (campañas pagadas o bots), aumenta (infla) el número de recuentos y distorsiona los datos altmétricos. La baja en los recuentos por su parte, puede deberse a la falta de promoción de los contenidos (Aguillo, 2020Aguillo, I. (2020) Altmetrics of the Open Access Institutional Repositories: a webometrics approach. Scientometrics, 123, 1181-1192. DOI: https://doi.org/10.1007/s11192-020-03424-6 ).
Paralelamente, ha surgido interés por explorar la web y generar nuevos indicadores de impacto tecnológico; desde la webmetría y la altmetría se han propuesto métricas basadas en las citas de patentes, indicadores de relaciones recíprocas entre ciencia y tecnología. Aunque la información científica busca la divulgación de resultados y la información tecnológica procura secreto, el sigilo y las restricciones (Costa y otros, 2018Costa, H., Matias, M., y Schwarz, R. (2018). Institutos Nacionales de Ciencia y Tecnología del área de Ciencias Agrarias: estudio de la publicación científica, técnica y tecnológica (2013-2015). Biblios: Journal of Librarianship and Information Science, 0(68), 1-20. DOI: https://doi.org/10.5195/biblios.2017.390 ), son fuentes compatibles al momento del análisis de datos y permiten establecer un estado de la técnica global. Por consiguiente, las bases de datos de patentes podrían utilizarse para rastrear el valor comercial de la investigación, medir la influencia de la ciencia en las tecnologías e innovaciones emergentes y cuantificar la efectividad, impacto o beneficio económico de la inversión que se realiza en investigación, datos relevantes para las agencias financiadoras de la ciencia y la tecnología a nivel mundial. Igualmente, se deben considerar los obstáculos propios de este tipo de documentos; aun cuando son registros de fácil y libre acceso, su recuperación es compleja debido a los grandes volúmenes de información que se deben navegar, al aumento de la competencia empresarial (secreto industrial) y a la mercantilización del conocimiento (Thelwall y Kousha, 2015Thelwall, M., y Kousha, K. (2015). Web indicators for research evaluation. Part 1: Citations and links to academic articles from the Web. El Profesional de la Información, 24(5), 587-606. DOI: https://doi.org/10.3145/epi.2015.sep.08 ).
En cuanto a indicadores, las patentes citan constantemente páginas web como Wikipedia, Youtube, Internet Archive e incluso sitios de ciertos departamentos universitarios, como los de ingeniería y de ciencias de la computación, para contextualizar y justificar los problemas que abordan. Por lo tanto, contabilizar el número de patentes que cita el sitio web de una organización puede proporcionar evidencia de su capacidad o relevancia tecnológica (Orduna-Malea y otros, 2017Orduna-Malea, E., Thelwall, M., y Kousha, K. (2017). Web citations in patents: evidence of technological impact? Journal of the Association for Information Science and Technology, 68(8): 1967-1974. DOI: https://doi.org/10.1002/asi.23821 ); se genera así un indicador para clasificar las principales universidades a través del impacto de sus departamentos. Otra métrica se puede extraer de las patentes en línea indexadas por Google que citan un artículo académico determinado, indicador de impacto comercial que se puede generar mediante búsquedas y filtros automatizados o a través de los servicios basados en suscripción, como el Derwent World Patents Index (Thelwall, 2020Thelwall, M. (2020). Measuring societal impacts of research with altmetrics? Common problems and mistakes. Journal of Economic Surveys. Special issue. DOI: https://doi.org/10.1111/joes.12381 ). A pesar de que Google Patents no proporciona recuentos de citas para los artículos académicos citados por las patentes que indexa, esta plataforma puede usarse indirectamente para identificar citas de patentes, a través de los enlaces web. También se pueden rastrear menciones en programas de estudio, blogs de ciencia o presentaciones académicas. De este modo, las citas de patentes pueden proporcionar información valiosa sobre la utilidad comercial de la investigación académica en algunas áreas y las búsquedas de citas de Google Patents son una fuente gratuita de esta información. Sin embargo, el valor de las citas de patentes está lejos de ser universal porque las patentes no se utilizan en muchas áreas de la industria; además, la ausencia de menciones en patentes no es evidencia de que un artículo no haya tenido un valor comercial directo (Thelwall y Kousha, 2015Thelwall, M., y Kousha, K. (2015). Web indicators for research evaluation. Part 1: Citations and links to academic articles from the Web. El Profesional de la Información, 24(5), 587-606. DOI: https://doi.org/10.3145/epi.2015.sep.08 ). Por encima de estas disyuntivas, cabe considerar que en el año 2018 la plataforma Altmetric.com agregó un nuevo segmento (color naranja) en la rosquilla, el cual muestra el impacto de la investigación en las patentes, datos que permiten identificar en qué aplicaciones comerciales o innovaciones tecnológicas ha influido un estudio (Rees, 2018Rees, A. (2018). Patents: A new view of impact. Disponible en: https://www.altmetric.com/blog/patents-a-new-view-of-impact/ ), por lo tanto, son fuentes de datos que proyectan relevancia en el futuro.
Más allá de las fortalezas y debilidades de los tradicionales indicadores bibliométricos o de los nuevos indicadores altmétricos, existen interrogantes respecto a la relación entre impacto (popularidad) y calidad de la investigación científica. En este sentido, las altmetrics se plantean como herramientas útiles para jóvenes académicos, cuya limitada producción pueden visibilizar a través de redes sociales; se asegura incluso que tener buenas altmétricas, puede significar obtención de citas en el futuro (Rodríguez-Bravo y Nicholas, 2018Rodríguez-Bravo, B., y Nicholas, D. (2018). Reputación y comunicación científica: investigadores españoles en el inicio de su carrera. El Profesional de la Información, 28(2). DOI: https://doi.org//10.3145/epi.2019.mar.03 ). Sin embargo, la correlación entre altmetrics y citas es baja en múltiples casos de estudio (Costas y otros, 2014Costas, R., Zahedi, Z., y Wouters, P. (2014). Do “Altmetrics” Correlate With Citations?. Journal of the Association for Information Science and Technology, 66: 2003-2019. DOI: https://doi.org/10.1002/asi.23309 ; López-Padilla y otros, 2020López-Padilla, D., y García-Río, F., Alonso-Arroyo, A., Gallán, M., Maestú, L., Segrelles-Calvo, G., de Granda-Orive, J. (2020). Análisis de las métricas alternativas de Archivos de Bronconeumología durante el periodo 2014-2018. Archivos de Bronconeumología, 56(5), 298-305. DOI: https://doi.org/10.1016/j.arbres.2019.08.024 ; Sedighi, 2020Sedighi, M. (2020), Evaluating the impact of research using the altmetrics approach (case study: the field of scientometrics). Global Knowledge, Memory and Communication, 69(4/5), 241-252. DOI: https://doi.org/10.1108/GKMC-02-2019-0013 ), ya que ambas aportan diferentes datos. En cuanto a los documentos de política, las menciones falsamente positivas son escasas (Yu y otros, 2020Yu, H., Cao, X., Xiao, T., y Yang, Z. (2020). How accurate are policy document mentions? A first look at the role of altmetrics database. Scientometrics, 125, 1517-1540. DOI: https://doi.org/10.1007/s11192-020-03558-7 ), demostrando un buen nivel de captura de Altmetrics.com; otros proveedores como PlumX y Crossref Event Data, también poseen fortalezas: capturan eficientemente los lectores de Mendeley y las menciones en Wikipedia, respectivamente (Ortega, 2020Ortega, J. (2020). Altmetrics data providers: A meta-analysis review of the coverage of metrics and publication. El Profesional de la Información, 29(1). DOI: https://doi.org/10.3145/epi.2020.ene.07 ). Esto comprueba la capacidad de evaluación del impacto social, más no la capacidad de evaluación de la calidad científica que poseen. Si bien los artículos provenientes de revistas o repositorios cuyas plataformas han integrado complementos de redes sociales, reciben más atención y citas (Karmakar y otros, 2020Karmakar, M., Banshal, S., y Singh, V. (2020). Does presence of social media plugins in a journal website result in higher social media attention of its research publications?. Scientometrics 124, 2103-214. DOI: https://doi.org/10.1007/s11192-020-03574-7 ), esto no es sinónimo de excelencia, como sí lo es la originalidad, el rigor metodológico y la relevancia de los hallazgos del estudio. No obstante, la altmetría no busca sólo contabilizar menciones, sino proponer y comprender un nuevo espacio de interacción que aún requiere desarrollo y perfeccionamiento.
Surge así la necesidad de incorporar al proceso de evaluación científica, más y mejores indicadores a nivel cualitativo y cuantitativo (Kowaltowski y otros, 2021Kowaltowski, A., Silber, A., y Oliveira, M. (2021). Responsible Science Assessment: downplaying indexes, boosting quality. Anais da Academia Brasileira de Ciências, 93(1), 1-9. DOI: https://doi.org/10.1590/0001-3765202120191513 ), que provean información transparente sobre calidad e impacto y que consideren las variaciones disciplinarias al momento de crear pautas de evaluación. En este afán de reinventar la relación futura entre investigación y política, el presente estudio busca identificar nuevas formas y criterios de evaluación científica, que caractericen la calidad e impacto de la ciencia y que sirvan de base para la creación de una política científica integral y actualizada en Latinoamérica. En este sentido surgen varias preguntas: ¿Cómo mejorar la forma en que las agencias de financiación, las instituciones académicas y otros grupos evalúan la investigación científica? ¿Qué nuevos criterios o indicadores cualitativos y cuantitativos se pueden integrar para detectar la calidad e impacto de una investigación, de un investigador o grupo de investigación, de una disciplina y de una institución? Estas interrogantes, serán respondidas a continuación.
2. METODOLOGÍA (MÉTODOS, MATERIALES EMPLEADOS Y FUENTES)
⌅Se realiza un estudio cualitativo de tipo descriptivo que consta de tres fases: primero, una revisión bibliográfica en base a un corpus documental compuesto por artículos sobre políticas de evaluación científica, recuperados desde SciELO, Redalyc Scopus, SpringerLink, Science Direct y Oxford Academic (específicamente de la revista Research Evaluation) y por agendas implementadas a nivel internacional durante la última década (principalmente en el Reino Unido, Estados Unidos, Australia, China y Latinoamérica); dicha recopilación entrega información valiosa y actualizada respecto a las nuevas conceptualizaciones sobre calidad e impacto, como también experiencias desde distintos países, referentes a cambios concretos en las políticas científicas.
En la segunda fase, se establecen las categorías de análisis, basadas en los objetivos de investigación, vinculados a la caracterización de los criterios de evaluación científica:
-
Criterios cualitativos y cuantitativos de evaluación científica enfocados en investigadores (autores/as y grupos de investigación)
-
Criterios cualitativos y cuantitativos de evaluación científica enfocados en los productos de investigación (artículos y otros documentos científicos)
-
Criterios cualitativos y cuantitativos de evaluación científica enfocados en las distintas disciplinas
-
Criterios cualitativos y cuantitativos de evaluación científica enfocados en las instituciones.
Finalmente, en la tercera fase, a través del análisis de contenido cualitativo (interpretación objetiva), se examina el corpus documental, se identifican los modelos e iniciativas existentes actualmente y se infieren algunos cambios y propuestas a los actuales criterios de evaluación científica.
3. RESULTADOS Y DISCUSIÓN
⌅Los resultados establecen de forma unánime la necesidad de mejorar las políticas científicas para asegurar la continuidad de la ciencia, de lo contrario, la evaluación se convertirá en un proceso inútil y contraproducente (Hallonsten, 2021Hallonsten, O. (2021). Stop evaluating science: A historical-sociological argument. Social Science Information, 60(1), 7-26. DOI: https://doi.org/10.1177/0539018421992204 ), más aún si se sigue permitiendo que las valoraciones basadas en mediciones cuantitativas mermen el desarrollo de métodos para evaluar el impacto social desde enfoques más cualitativos e inclusivos (Spaapen y Sivertsen, 2020Spaapen, J., y Sivertsen, G. (2020). Assessing societal impact of SSH in an engaging world: focus on productive interaction, creative pathways and enhanced visibility of SSH research. Research Evaluation, 29(1), 1-3. DOI: https://doi-org.usm.idm.oclc.org/10.1093/reseval/rvz035 ).
3.1 Cambios en el modelo de evaluación científica
⌅Para mejorar la forma en que se evalúa la investigación científica, en el año 2012 un grupo de editores de revistas académicas emiten en Estados Unidos la Declaración de San Francisco sobre la Evaluación de la Investigación (Declaration on Research Assessment - DORA), donde recomiendan atribuir mayor importancia a otros productos de la investigación científica (no sólo a artículos científicos) y reducir las métricas basadas en revistas (crear métricas transparentes a nivel de artículo) (Pardal-Peláez, 2018Pardal-Peláez, B. (2018). Declaración de San Francisco sobre la evaluación de la investigación. Revista ORL, 9(4), 295-299. Disponible en: https://dialnet.unirioja.es/servlet/articulo?codigo=6653270 ), ya que el nivel de citación de los artículos es cada vez más independiente de la revista en la que aparecen (se accede directo a los artículos en línea sin necesidad de mirar el número o volumen completo) (Larivière y otros, 2014Larivière, V., Lozano, G., y Gingras, Y. (2014). Are elite journals declining?. Journal of the Association for Information Science and Technology, 65(4), 649-655. DOI: https://doi.org/10.1002/asi.23005 ). El objetivo es evaluar la investigación por sus méritos, explorando nuevos indicadores de importancia e impacto cualitativo, como la influencia sobre las políticas y las prácticas científicas (Pardal-Peláez, 2018Pardal-Peláez, B. (2018). Declaración de San Francisco sobre la evaluación de la investigación. Revista ORL, 9(4), 295-299. Disponible en: https://dialnet.unirioja.es/servlet/articulo?codigo=6653270 ). Un cambio cultural y de sistema también promovido en Europa, a través de agendas regionales que buscan establecer economías basadas en el conocimiento (Fontaine, 2000; citado por Gunn y Mintrom, 2016bGunn, A., y Mintrom, M. (2016). Evaluating the non-academic impact of academic research: design considerations. Journal of Higher Education. Policy and Management, 39(1), 20-30. DOI: https://doi.org/10.1080/1360080X.2016.1254429 ).
Formuladores de políticas en Europa (principalmente en el Reino Unido) y Estados Unidos, plantean así el impacto social como un indicador de calidad relevante dentro del marco de excelencia en la investigación. Esta política conocida como la agenda del impacto (Gunn y Mintrom, 2016bGunn, A., y Mintrom, M. (2016). Evaluating the non-academic impact of academic research: design considerations. Journal of Higher Education. Policy and Management, 39(1), 20-30. DOI: https://doi.org/10.1080/1360080X.2016.1254429 ), busca promover, medir y recompensar el impacto de la investigación con valor social para la comunidad (Holbrook, 2017Holbrook, J. (2017). The future of the impact agenda depends on the revaluation of academic freedom. Palgrave Communications, 3(39). DOI: https://doi.org/10.1057/s41599-017-0041-0 ), exigiendo la comprobación de dichos beneficios prácticos (impacto y valoración fuera del mundo académico); una nueva forma de auditoría (Gunn y Mintrom, 2016bGunn, A., y Mintrom, M. (2016b). Higher education policy change in Europe: Academic research funding and the impact agenda. European Education, 48(4), 241-257. DOI: https://doi.org/10.1080/10564934.2016.1237703 ) que define el impacto como un efecto, cambio o beneficio para la economía, la sociedad, la cultura, las políticas, los servicios públicos, la salud, el medio ambiente o la calidad de vida, más allá de la academia (Caress, 2013Caress, A. (2013). Public involvement and the REF impact agenda: Squaring the circle?. INVOLVE. Disponible en: https://www.invo.org.uk/public-involvement-and-the-ref-impact-agenda-squaring-the-circle/ ). Todo un reto para los investigadores, quienes deben recopilar y registrar pruebas que evidencien tales cualidades; evidencias que pueden incluir, pero no limitarse a publicaciones, tales como informes de prensa o testimonios directos de las partes interesadas. Esto busca potenciar los entornos impactantes y colaborativos, donde las personas investigadas participen, se beneficien de los resultados de la investigación (no sólo sean parte del proceso) y donde los investigadores no busquen logros individuales o un aparente beneficio inmediato (Smith y otros, 2020Smith, K., Bandola-Gill, J., Meer, N., Stewart, E., y Watermeyer, R. (2020). The Impact Agenda: Controversies, Consequences and Challenges. Bristol, Reino Unido: Policy Press. Disponible en: https://policy.bristoluniversitypress.co.uk/the-impact-agenda ).
Estas reformas a las características institucionales tradicionales de las universidades (promovidas por la agenda del impacto), no están libres de cuestionamientos (Maassen y Stensaker, 2011Maassen, P., y Stensaker, B. (2011). The knowledge triangle, European higher education policy logics and policy implications. Higher Education, 61, 757-769. DOI: https://doi.org/10.1007/s10734-010-9360-4 ): se alude al control institucional que ejerce este tipo de exigencia (Rebora y Turri, 2013Rebora, G., y Turri, M. (2013). The UK and Italian research assessment exercises face to face. Research Policy, 42(9), 1657-1666. DOI: https://doi.org/10.1016/j.respol.2013.06.009 ), a la sofisticación (complejidad) con que operarán en un futuro, a la sobrecarga laboral de los investigadores, al encarecimiento de las investigaciones y al aumento de los incentivos perversos al mundo científico (Martin, 2011Martin, B. (2011). The Research Excellence Framework and the ‘impact agenda’: are we creating a Frankenstein monster?. Research Evaluation, 20(3), 247-254. DOI: https://doi.org/10.3152/095820211X13118583635693 ). Se discute, además, la capacidad de predecir el tipo de impacto o beneficio que logrará un estudio, considerando que no hay impactos obvios asegurados y que existen impactos indirectos o a largo plazo (Tilley y otros, 2018Tilley, H., Ball, L., y Cassidy, C. (2018). Research Excellence Framework (REF) Impact Toolkit. Overseas Development Institute.). La posibilidad de un fracaso marginaría entonces, proyectos que significan un aprendizaje previo necesario para obtener resultados exitosos posteriores; en este sentido, la búsqueda de la responsabilidad pública ha complejizado los mecanismos para evaluar el desempeño de la investigación a nivel mundial.
En este contexto cabe destacar el caso de Australia, país que en el año 2015, como parte de su Agenda Nacional de Innovación y Ciencia (National Innovation and Science Agenda - NISA), desarrolló una evaluación de Compromiso e Impacto (Engagement and Impact - EI), sistema que examina cómo las universidades están traduciendo el impacto de la investigación en beneficios económicos, ambientales, sociales, culturales, más allá de la contribución académica. Un modelo creado para proporcionar flexibilidad y reconocimiento de los comportamientos de investigación específicos de cada disciplina, en lugar de una comparación entre disciplinas (Australian Research Council, 2018Australian Research Council. (2018). Engagement and Impact Assessment 2018-19 National Report. Disponible en: https://dataportal.arc.gov.au/EI/NationalReport/2018/ ). Esta evaluación nacional del impacto de la investigación, se ejecuta a través de un panel de expertos en cada universidad que recopila, lee y revisa los resultados o productos científicos y luego informa de los resultados de la evaluación a la administración nacional encargada. Una forma más cualitativa y multidisciplinar de evaluación científica que se contrapone, por ejemplo, con las políticas científicas en China, las que durante décadas obligaron a los académicos de las universidades más prestigiosas a publicar en las revistas de mayor impacto del Science Citation Index (SCI), limitando su poder de autonomía, fomentando un mayor instrumentalismo del trabajo académico y estimulando estrategias de investigación dudosas para maximizar las publicaciones, las citas y la investigación en equipo (Xu, 2020Xu, X. (2020). Performing under ‘the baton of administrative power’? Chinese academics’ responses to incentives for international publications. Research Evaluation, 29(1), 87-99. DOI: https://doi-org.usm.idm.oclc.org/10.1093/reseval/rvz028 ).
En China, el número de artículos publicados en revistas indexadas en el SCI regía las contrataciones, los ascensos, las bonificaciones (incentivos) e incluso la graduación de los investigadores en programas de doctorado (MoChridhe, 2020MoChridhe, R. (2020). The hidden language policy of China’s research evaluation reform. Blog de la University of Westminster, Inglaterra, (6). Disponible en: http://blog.westminster.ac.uk/contemporarychina/the-hidden-language-policy-of-chinas-research-evaluation-reform/ ). Si bien el país logró convertirse en el mayor productor mundial de investigaciones publicadas (Xie y Freeman, 2019Xie, Q., y Freeman, R. (2019). Bigger Than You Thought: China’s Contribution to Scientific Publications and Its Impact on the Global Economy. China & World Economy, 27(1), 1-27. DOI: https://doi.org/10.1111/cwe.12265 ), actualmente el Ministerio de Educación y el Ministerio de Ciencia y Tecnología de la nación buscan reformar sus políticas, motivo por el cual emiten en febrero del 2020 un aviso titulado “Algunas sugerencias sobre la regulación del uso del índice de artículos SCI en colegios y universidades para establecer una guía de evaluación correcta”, donde definen medidas para revertir la dependencia excesiva y distorsionada de los indicadores vinculados a Web of Science, equilibrar el uso de métodos de evaluación cualitativos y cuantitativos y fortalecer la relevancia local de la investigación (Zhang y Sivertsen, 2020Zhang, L., y Sivertsen, G. (2020). The new research assessment reform in China and its implementation. Scholarly Assessment Reports, 2(1). Disponible en: https://www.scholarlyassessmentreports.org/articles/10.29024/sar.15/ ). De esta manera, buscan resaltar las contribuciones de la ciencia, la calidad de la innovación y devolver a colegios y universidades sus aspiraciones académicas originales. (Ministerio de Educación de la República Popular China, 2020Ministerio de Educación de la República Popular China. (2020). Algunas sugerencias sobre la regulación del uso del índice de artículos SCI en colegios y universidades para establecer una guía de evaluación correcta. Disponible en: http://www.moe.gov.cn/srcsite/A16/moe_784/202002/t20200223_423334.html ). La nueva política china anima a investigadores e instituciones a divulgar menor cantidad de artículos, pero de mayor calidad y a publicar un tercio de ellos en revistas nacionales prestigiosas. Ante la posibilidad de reemplazar el inglés como el estándar hegemónico para la comunicación científica o establecer el mandarín junto con él en un ecosistema de investigación bilingüe (MoChridhe, 2020MoChridhe, R. (2020). The hidden language policy of China’s research evaluation reform. Blog de la University of Westminster, Inglaterra, (6). Disponible en: http://blog.westminster.ac.uk/contemporarychina/the-hidden-language-policy-of-chinas-research-evaluation-reform/ ), surge el debate respecto a los efectos que tendría esto en la visibilidad e impacto internacional de los investigadores chinos, ante la ausencia de criterios y protocolos que respalden un nuevo sistema nacional de información científica que incluya métricas alternativas e independientes y donde se equilibre la globalización y relevancia local de los estudios, según el tipo y el campo de la investigación (Zhang y Sivertsen, 2020Zhang, L., y Sivertsen, G. (2020). The new research assessment reform in China and its implementation. Scholarly Assessment Reports, 2(1). Disponible en: https://www.scholarlyassessmentreports.org/articles/10.29024/sar.15/ ).
Tanto el caso australiano como el chino demuestran que las políticas científicas están en constante evolución y discusión y que los estándares que imponen los comités de supervisión académica o las agencias de investigación, muchas veces dependen del país y de los modelos económicos, sociales, culturales y políticos que imperen.
En Latinoamérica, las políticas de evaluación científica están marcadas por la baja visibilidad de la ciencia regional en los índices comerciales internacionales (Alperin y Rozemblum, 2017Alperin, J., y Rozemblum, C. (2017). La reinterpretación de visibilidad y calidad en las nuevas políticas de evaluación de revistas científicas. Revista Interamericana de Bibliotecología, 40(3), 231-241. DOI: https://doi.org/10.17533/udea.rib.v40n3a04 ) de Clarivate Analytics (Web of Knowledge - WoK) y Elsevier (Scopus), empresas que conforman un duopolio de la información científica y que compiten por dominar un mercado que privatiza el conocimiento; dichas bases de datos se caracterizan por tener un alto sesgo anglosajón (que invisibiliza regiones e idiomas) y por establecer altas tarifas de suscripción (mercado inelástico que genera altos márgenes de ganancias) (Arévalo-Guízar y Rueda-Beltrán, 2016Arévalo-Guízar, G., y Rueda-Beltrán, M. (2016). Las revistas académicas: entre la evaluación y el cumplimiento de su función social. RELIEVE, 22(1), art.1. DOI: http://dx.doi.org/10.7203/relieve.22.1.8066 ). Esta hegemonía y mercantilización del conocimiento impulsa la idea de mejorar la calidad editorial, difusión, alcance y visibilidad de las revistas locales (Cetto y Alonso, 2011Cetto, A., y Alonso, J. (2011). Calidad e Impacto de la revista Iberoamericana. México: Facultad de Ciencias. UNAM. Disponible en: https://inecol.repositorioinstitucional.mx/jspui/bitstream/1005/139/1/1437_2012-10007.pdf ) y en los años noventa emergen los primeros índices regionales: Latindex y SciELO; se suma más adelante RedALyC y más recientemente AmeliCA -una infraestructura de comunicación para la publicación académica y la ciencia abierta en América Latina y el Sur Global- (Becerril y otros, 2018Becerril, A., Aguado, E., Batthyány, K., Melero, R., Beigel, F., Vélez Cuartas, G., Banzato, G., Rozemblum, C., Amescua, C., Gallardo, O., y Torres, J. (2018). AmeliCA: Una estructura sostenible e impulsada por la comunidad para el Conocimiento Abierto en América Latina y el Sur Global. Disponible en: http://sedici.unlp.edu.ar/handle/10915/90961 ), conformando una red que visibiliza y mide la ciencia latinoamericana en español según criterios propios. Posterior a esta fase de regionalización de la ciencia, el continente vive actualmente una etapa de internacionalización, donde los gobiernos de cada nación intentan establecer políticas para financiar y promover la ciencia (Alperin y Rozemblum, 2017Alperin, J., y Rozemblum, C. (2017). La reinterpretación de visibilidad y calidad en las nuevas políticas de evaluación de revistas científicas. Revista Interamericana de Bibliotecología, 40(3), 231-241. DOI: https://doi.org/10.17533/udea.rib.v40n3a04 ). La promoción del acceso abierto ha sido según Alperin y Fischman (2015)Alperin, J., y Fischman, G. (2015). Revistas científicas hechas en Latinoamérica. En Alperin, J., y Fischman, G. (Eds.), Hecho en Latinoamérica: acceso abierto, revistas académicas e innovaciones regionales (pp.107-116). CLACSO. Disponible en: http://biblioteca.clacso.edu.ar/clacso/se/20150722110704/HechoEnLatinoamerica.pdf , una práctica común en América Latina, permitiendo que el conocimiento en la región se perciba como un bien público y que incluso se generen nuevas formas de evaluación de las revistas académicas, a pesar que la evaluación de la ciencia está regulada por unas pocas empresas que controlan el mercado científico, gracias al apoyo del entorno público.
En la mayoría de los países latinoamericanos las actividades de investigación y desarrollo (I+D) son financiadas principalmente por el sector público - salvo México y Chile- y ejecutadas por la academia (Arias y Zuluaga, 2014). Cabe mencionar que en Chile, prima un sistema de autofinanciamiento donde los académicos deben solicitar a los organismos de financiación el costo total de la investigación prevista; caso similar al de Estados Unidos, donde las universidades reciben financiación básica para la docencia, pero no para la investigación, mientras que en Europa, han adoptado sistemas de apoyo dual, que financian universidades (recursos que pueden administrar con libertad), proyectos y programas de investigación específicos (sujetos a la responsabilidad pública) (Martin, 2011Martin, B. (2011). The Research Excellence Framework and the ‘impact agenda’: are we creating a Frankenstein monster?. Research Evaluation, 20(3), 247-254. DOI: https://doi.org/10.3152/095820211X13118583635693 ). Independiente del sistema que domine, el éxito de la evaluación científica dependerá de la capacidad de creación e implementación de una política que considere mediciones que no socaven la investigación ni invadan el tiempo que todo investigador necesita para generar conocimientos sólidos (Gunn y Mintrom, 2016bGunn, A., y Mintrom, M. (2016). Evaluating the non-academic impact of academic research: design considerations. Journal of Higher Education. Policy and Management, 39(1), 20-30. DOI: https://doi.org/10.1080/1360080X.2016.1254429 ).
En cuanto a políticas de acceso abierto en la región, cabe destacar la Declaración de Panamá sobre Ciencia Abierta (CILAC, 2018CILAC. (2018). Declaración de Panamá sobre Ciencia Abierta. Disponible en: https://forocilac.org/declaracion-de-panama-sobre-ciencia-abierta/ ), la Declaración de México (Latindex y otros, 2018Latindex, Redalyc, Clacso, Ibict. (2018). Declaración de México a favor del ecosistema Latinoamericano de acceso abierto no comercial. Declaración conjunta latindex-redalyc-clacso-ibict sobre el uso de la licencia cc by-nc-sa para garantizar la protección de la producción académica y científica en acceso abierto. Andes, 29 (1). Disponible en: https://www.redalyc.org/jatsRepo/127/12755957014/index.html ) a favor del ecosistema latinoamericano de acceso abierto no comercial y la creación de AmeliCA (Becerril y otros, 2018Becerril, A., Aguado, E., Batthyány, K., Melero, R., Beigel, F., Vélez Cuartas, G., Banzato, G., Rozemblum, C., Amescua, C., Gallardo, O., y Torres, J. (2018). AmeliCA: Una estructura sostenible e impulsada por la comunidad para el Conocimiento Abierto en América Latina y el Sur Global. Disponible en: http://sedici.unlp.edu.ar/handle/10915/90961 ), una infraestructura desde la academia y para la academia latinoamericana. Mientras la región apuesta por un cambio de modelo, en Europa un consorcio lanzado por el Consejo Europeo de Investigación (European Commission and the European Research Council - ERC) llamado cOAlition S crea el Plan S: Accelerating the transition to full and immediate Open Access to scientific publications (2018), que intenta regular acuerdos comerciales con las editoriales para pagar por publicar y no por acceder a las publicaciones, demostrando que el acceso a la información científica y la diversificación de sus fuentes debe acompañarse de lineamientos sobre la propiedad de los medios (Vélez y otros, 2019Vélez, G., Uribe-Tirado, A., Restrepo-Quintero, D., Ochoa-Gutierrez, J., Pallares, C., Gómez-Molina, H., Suárez-Tamayo, M., y Calle, J. (2019). Hacia un modelo de medición de la ciencia desde el Sur Global: métricas responsables. Palabra Clave, 8(2), e068. DOI: https://doi.org/10.24215/18539912e068 ). Aguado y Becerril (2020Aguado, E., y Becerril, A. (2020). El antiguo ecosistema de acceso abierto de América Latina podría ser quebrantado por las propuestas del Norte Global. Disponible en: https://blogs.lse.ac.uk/latamcaribbean/2020/01/21/el-antiguo-ecosistema-de-acceso-abierto-de-america-latina-podria-ser-quebrantado-por-las-propuestas-del-norte-global/ ), plantean que el acceso abierto en Latinoamérica enfrenta un problema diferente, ya que, si bien la investigación en la región se ofrece en gran medida en abierto, la existencia de cinco editoriales que siguen controlando la producción científica se convierte en un obstáculo para los propósitos mismos del acceso abierto. Ejemplo de ello es SciELO Citation Index, una base de datos creada tras el vínculo entre SciELO y Clarivate Analytics, unión que permite una vez más la privatización de las producciones científicas financiadas desde la esfera pública y que potencia el uso del Factor de Impacto y de los ránquines como medios de evaluación científica.
3.2 Evaluación cualitativa
⌅Experiencias como la australiana, demuestran que se pueden establecer mecanismos de evaluación cualitativos que analicen el rol de la investigación, incorporando un proceso de arbitraje bien estructurado; datos que, analizados junto a indicadores cuantitativos de citación, de flujo en medios sociales y otros canales y de impacto en la propia disciplina, pueden realizar una evaluación íntegra. De esta forma, se fomenta el debate y la producción de conocimiento entre las personas que hacen investigaciones similares, estudios que sirven de insumo para la enseñanza de la disciplina a futuros profesionales (impacto en otras investigaciones y en la docencia). Esta vinculación con el medio se ha abordado con mayor profundidad desde la Red de Indicadores de Ciencia y Tecnología -Iberoamericana e Interamericana- (RICYT), que, junto al Observatorio Iberoamericano de la Ciencia, la Tecnología y la Sociedad (OCTS-OEI) publica el Manual de Indicadores de Vinculación de la Universidad con el Entorno Socioeconómico - Manual de Valencia, como respuesta a una demanda de información certera sobre el tema; de esta propuesta se rescatan indicadores de vinculación, que relacionan la capacidad de generar conocimiento y la colaboración con agentes no académicos, así como las actividades de capacitación, venta de servicios, asesoramiento y consultoría en su entorno (Albornoz y otros, 2017Albornoz, M., Barrere, R., Castro, M., y Carullo, J. (2017). Manual Iberoamericano de Indicadores de Vinculación de la Universidad con el Entorno Socioeconómico. Manual de Valencia. Observatorio Iberoamericano de la Ciencia, la Tecnología y la Sociedad (OCTS-OEI) Red Iberoamericana de Indicadores de Ciencia y Tecnología (RICYT). Disponible en:http://www.ricyt.org/wp-content/uploads/2017/06/files_manual_vinculacion.pdf ).
Para analizar y organizar la información que entrega la literatura científica y las agendas revisadas en materia de evaluación cualitativa, se elaboró la Tabla I que se muestra a continuación y que resume las categorías de análisis y los indicadores asociados a cada una de ellas, elementos que se condicen con las preguntas y los objetivos planteados y que se desglosarán a continuación.
| CRITERIOS CUALITATIVOS DE EVALUACIÓN CIENTÍFICA | |
|---|---|
| Categorías | Indicadores cualitativos |
| 1. Investigadores | 1.1 Vinculación con el medio: características de las contribuciones en actividades de divulgación social de la ciencia. |
| 1.2 Impacto social: apariciones en medios diversos (televisión o radio, prensa y redes sociales académicas y no académicas) | |
| 1.3 Evaluación de las propuestas de investigación: desempeño en entrevistas orales | |
| 1.4 Evaluación de desempeño: características de los grupos de investigación | |
| 1.5 Diversidad de productos de investigación (acceso abierto) | |
| 2. Productos de investigación | 2.1 Difusión por medios no académicos: contribuciones sin revisión por pares |
| 2.2 Diversidad de publicaciones: guías, protocolos, metodologías y otros publicados en el año | |
| 3. Disciplinas | 3.1 Diversidad de estrategias de comunicación científica en todas las disciplinas |
| 3.2 Vínculos y redes de los equipos de investigación | |
| 4. Instituciones | 4.1 Movilidad y redes de los investigadores |
| 4.2 Establecimiento de valores institucionales internos | |
Investigadores
⌅Para fortalecer la vinculación con el medio de los investigadores, se recomienda que tanto gobiernos como universidades inviertan en estructuras de apoyo profesional a sus académicos, de manera que adquieran competencias para tener un impacto en la sociedad (Jong y Muhonen, 2020Jong, S., y Muhonen, R. (2020). Who benefits from ex ante societal impact evaluation in the European funding arena? A cross-country comparison of societal impact capacity in the social sciences and humanities. Research Evaluation, 29(1), 22-33. DOI: https://doi.org/10.1093/reseval/rvy036 ). Este impacto puede ser tecnológico, ambiental, económico o social (Gunn y Mintrom, 2016Gunn, A., y Mintrom, M. (2016). Evaluating the non-academic impact of academic research: design considerations. Journal of Higher Education. Policy and Management, 39(1), 20-30. DOI: https://doi.org/10.1080/1360080X.2016.1254429 ) y fortificará la relación universidad-entorno, aspecto que abordan Albornoz y otros (2017)Albornoz, M., Barrere, R., Castro, M., y Carullo, J. (2017). Manual Iberoamericano de Indicadores de Vinculación de la Universidad con el Entorno Socioeconómico. Manual de Valencia. Observatorio Iberoamericano de la Ciencia, la Tecnología y la Sociedad (OCTS-OEI) Red Iberoamericana de Indicadores de Ciencia y Tecnología (RICYT). Disponible en:http://www.ricyt.org/wp-content/uploads/2017/06/files_manual_vinculacion.pdf en el ya mencionado Manual de Valencia, a través de propuestas de nuevos indicadores que valoren la vinculación con el medio de los investigadores, dentro y fuera de la academia (punto 1.1 y 1.2 de la Tabla I). Por lo tanto, además de los tradicionales indicadores de producción científica (participación en congresos y seminarios profesionales) y de la consideración de premios y reconocimientos, algunos indicadores de impacto social y vinculación con el medio serían la variedad de medios en que aparecen los investigadores (programas de televisión, radio o prensa, redes sociales académicas o no académicas) como consecuencia de su contribución a la investigación o a la docencia. Actividades de divulgación social de la ciencia tales como contribuciones en jornadas de puertas abiertas, ferias y conferencias, o la participación en consejos asesores y en revisiones por pares también deben ser consideradas.
En cuanto a la evaluación de las propuestas del investigador, los comités de evaluación pueden realizar entrevistas orales que permitan al postulante responder las inquietudes o revisiones del comité; así, el panel reduce la posibilidad de rechazar una propuesta por falta de comprensión o experiencia en el tema, por no manejar el idioma o por interpretar equivocadamente los objetivos del trabajo. Esto no es nuevo, ya que la evaluación cualitativa de la ciencia, tradicionalmente se ha apoyado en técnicas como la entrevista, pues de esta manera se pueden estudiar a fondo las dinámicas que genera cada investigación (indicador 1.3, Tabla I).
Referente al punto 1.4 de la Tabla I, en vista de que los investigadores no trabajan solos, su evaluación de desempeño debería incluir también las características de los equipos de investigación que integra: archivistas, bibliotecarios, asistentes de investigación, técnicos, expertos, encargados de finanzas y otros profesionales afines participan del estudio y deben ser reconocidos por el sistema. Si bien evaluar los grupos de investigación es una práctica común, no siempre los equipos más grandes muestran un mejor desempeño (Berche y otros, 2016Berche, B., Holovatch, Y., Kenna, R., y Mryglod, O. (2016). Academic research groups: evaluation of their quality and quality of their evaluation. Journal of Physics: Conference Series, 681(1), 012004. Disponible en: https://iopscience.iop.org/article/10.1088/1742-6596/681/1/012004/pdf ). Además de ser productivos, los equipos deben tener la capacidad de comunicación, de gestión y de generar estudios de calidad, características centrales que se deben analizar desde las evaluaciones cualitativas.
En relación a la trayectoria de los investigadores, se recomienda evaluar el historial de trabajo completo a través de un formato de currículum flexible, que ajuste las ponderaciones a las diversas formas de comunicación científica y que permita a personas de todas las áreas demostrar su trabajo, incluyendo todos los productos de investigación y canales de difusión. Dichos productos pueden ser variados (indicador 1.5 de la Tabla I) y no se reducen a artículos científicos: libros, políticas, softwares, patentes, conjuntos de datos, y otros son reflejo de nuevas ideas, herramientas o conocimiento.
Productos de investigación
⌅Respecto a la evaluación de los productos de investigación, la literatura recogida coincide en que además de indicadores cuantitativos, se deben agregar indicadores empíricos, donde la calidad científica la entregue la investigación misma (Ràfols, 2019Ràfols, I. (2019). S&T indicators in the wild: Contextualization and participation for responsible metrics. Research Evaluation, 28(1), 7-22. DOI: https://doi.org/10.1093/reseval/rvy030 ). Al someter los trabajos a revisión, se sugiere transparentar quiénes componen la revisión por pares e incluir revisores de todas las disciplinas para evitar sesgos (Pedersen y otros, 2020Pedersen, D., Grønvad, J., y Hvidtfeldt, R. (2020). Methods for mapping the impact of social sciences and humanities-a literature review. Research Evaluation, 29(1), 4-21. DOI: https://doi.org/10.1093/reseval/rvz033 ). Algunos autores proponen incluso, desarrollar y respaldar políticas para recompensar y calificar las revisiones por pares, de manera que se les reconozca más su trabajo y el aporte que realizan mejorando los estudios (Kowaltowski y otros, 2021Kowaltowski, A., Silber, A., y Oliveira, M. (2021). Responsible Science Assessment: downplaying indexes, boosting quality. Anais da Academia Brasileira de Ciências, 93(1), 1-9. DOI: https://doi.org/10.1590/0001-3765202120191513 ).
Por otra parte, el Manual de Valencia propone la difusión por medios no académicos de los productos de investigación (indicador 2.1 Tabla I), para que la sociedad pueda comprender mejor e interesarse por las contribuciones científicas. Se recomienda considerar artículos y otras publicaciones como protocolos, normas o guías (basadas en resultados de investigación) de utilidad para profesionales, y la participación en congresos, conferencias y actividades no académicas como ferias, jornadas y exposiciones dirigidas al público en general. Ejemplo de ello serían las actividades realizadas en escuelas, museos y entidades de bien público, incluyendo aquellas de divulgación científica realizadas por diversos medios (radiales, audiovisuales, escritos, digitales). En esta línea, algunos indicadores propuestos por el Manual son la diversidad de contribuciones en publicaciones técnicas o profesionales (que no exigen revisión por pares) como guías, protocolos, metodologías y otros documentos equivalentes elaborados y publicados en el año (punto 2.2 de la Tabla I) (Albornoz y otros, 2017Albornoz, M., Barrere, R., Castro, M., y Carullo, J. (2017). Manual Iberoamericano de Indicadores de Vinculación de la Universidad con el Entorno Socioeconómico. Manual de Valencia. Observatorio Iberoamericano de la Ciencia, la Tecnología y la Sociedad (OCTS-OEI) Red Iberoamericana de Indicadores de Ciencia y Tecnología (RICYT). Disponible en:http://www.ricyt.org/wp-content/uploads/2017/06/files_manual_vinculacion.pdf ).
Disciplinas
⌅Reforzar las estrategias de comunicación científica en todas las disciplinas es fundamental para que los hallazgos científicos impacten en la sociedad y sean conocidos y comprendidos por sus beneficiarios (indicador 3.1 de la Tabla I). Para ello, deben comunicar sus investigaciones en distintos formatos, canales y estilos, procurando un lenguaje libre de tecnicismos innecesarios. En este sentido, las habilidades comunicacionales del investigador son cruciales y también su capacidad de innovar y buscar espacios de comunicación distintos; existen investigadores que han comenzado a crear sus propios canales de Youtube para llegar a un público más amplio y cumplir con una de las funciones sociales más relevantes de la investigación (sea cual sea su especialidad): promover no sólo la generación y difusión del conocimiento, sino que también su comprensión (Lazcano-Peña y otros, 2019Lazcano-Peña, D., Viedma, G., y Alcaino, T. (2019). Comunicación de la Ciencia desde la Mirada de los Investigadores Universitarios: entre el Indicador y la Vocación. Formación Universitaria, 12(6), 27-40. Disponible en: https://dx.doi.org/10.4067/S0718-50062019000600027 ).
Además, se requieren nuevos criterios de evaluación que terminen con la tensión entre disciplinas y proyectos interdisciplinarios y transdisciplinarios que disputan recursos y visibilidad, y que a la vez se valide la producción de conocimiento desde las Ciencias Sociales, las Humanidades y las Artes. Un indicador cualitativo en este ámbito tendría que basarse en los vínculos y redes que genera la ciencia y no sólo enfocarse en patrones de producción y visibilidad (Vélez y otros, 2019Vélez, G., Uribe-Tirado, A., Restrepo-Quintero, D., Ochoa-Gutierrez, J., Pallares, C., Gómez-Molina, H., Suárez-Tamayo, M., y Calle, J. (2019). Hacia un modelo de medición de la ciencia desde el Sur Global: métricas responsables. Palabra Clave, 8(2), e068. DOI: https://doi.org/10.24215/18539912e068 ); de esta forma, se puede analizar cómo evolucionan y crecen, por ejemplo, los equipos de investigadores (indicador 3.2 de la Tabla I).
Instituciones
⌅Respecto a los criterios de evaluación cualitativa en las instituciones, siguiendo los lineamientos del Manual de Valencia que postula el conocimiento generado y acumulado en la universidad como una de las bases de sus capacidades para vincularse con el entorno, evaluar la participación de los académicos en redes nacionales o internacionales también podría ser un indicador de calidad institucional (Albornoz y otros, 2017Albornoz, M., Barrere, R., Castro, M., y Carullo, J. (2017). Manual Iberoamericano de Indicadores de Vinculación de la Universidad con el Entorno Socioeconómico. Manual de Valencia. Observatorio Iberoamericano de la Ciencia, la Tecnología y la Sociedad (OCTS-OEI) Red Iberoamericana de Indicadores de Ciencia y Tecnología (RICYT). Disponible en:http://www.ricyt.org/wp-content/uploads/2017/06/files_manual_vinculacion.pdf ). Esto, sumado a la evaluación de las dinámicas de movilidad de los investigadores, permitiría saber cómo y porqué migran y cuánto dependen las instituciones de ellos; muchas veces las universidades basan sus altos índices de publicación en el rendimiento de unos pocos investigadores, que - en caso de migrar-, pondrían en riesgo el posicionamiento de la institución, motivo por el cual este indicador puede ser clave para las organizaciones (indicador 4.1 de la Tabla I).
Finalmente, tal como se indica en el ítem 4.2 de la Tabla I, es importante sugerir que cada institución establezca sus propios valores y criterios institucionales internos en base a sus necesidades y a las características de su comunidad y entorno, y que estos sean utilizados como rúbricas para evaluar su producción científica.
3.2.1. Evaluación cuantitativa
⌅Una vez revisados los aspectos cualitativos de la evaluación científica, cabe analizar los criterios e indicadores cuantitativos que se presentan de manera resumida en la Tabla II, donde se pueden visualizar las categorías de análisis que se desglosarán en los siguientes apartados.
| CRITERIOS CUANTITATIVOS DE EVALUACIÓN CIENTÍFICA | |
|---|---|
| Categorías | Indicadores cuantitativos |
| 1. Investigadores | 1.1 Impacto en el medio: cantidad de personas que interactúan con el investigador fuera de la academia |
| 1.2 Impacto social: nivel de colaboración con organizaciones académicas, civiles o gubernamentales | |
| 1.3 Evaluación de desempeño basada en la formación de nuevos profesionales: cantidad de trabajos de titulación guiados o de citas recibidas en tesis | |
| 1.4 Evaluación de desempeño: cantidad de integrantes de los grupos de investigación e índice de colaboración a nivel académico e industrial | |
| 1.5 Evaluación de la trayectoria: altmetrics | |
| 2. Productos de investigación | 2.1 Impacto de la investigación dentro y fuera de la academia. |
| 2.2 Análisis de bases de datos gratuitas que indexen documentos multidisciplinarios | |
| 2.3 Indicadores métricos por tipo de proyecto | |
| 3. Disciplinas | 3.1 Impacto local centrado en las Ciencias Sociales, Artes y Humanidades |
| 3.2 Relación entre impacto y financiamiento de las disciplinas: altmetrics | |
| 4. Instituciones | 4.1 Patrones disciplinarios de colaboración geográfica (con actores académicos y no académicos) |
| 4.2 Parámetros institucionales internos y valoración de otros documentos, como los de patentes | |
Para mejorar el diseño y el uso de indicadores de ciencia, tecnología e innovación en políticas, es primordial la pluralización de las fuentes de datos y de las técnicas de procesamiento y visualización de las métricas, además de expandir las comunidades de investigación involucradas. La cienciometría no puede centrarse sólo en cuestiones técnicas, sino que debe conectar con los valores de su uso, contextualizando las métricas (Ràfols, 2019Ràfols, I. (2019). S&T indicators in the wild: Contextualization and participation for responsible metrics. Research Evaluation, 28(1), 7-22. DOI: https://doi.org/10.1093/reseval/rvy030 ). Considerando el alcance de las redes sociales, las métricas alternativas pueden aportar datos relevantes, más allá de las descargas, visualizaciones o menciones, pues permiten conocer, rastrear y trazar el nivel de aceptación e impacto de la investigación entre públicos académicos y no académicos. En este sentido, a nivel latinoamericano se ha trabajado de forma sostenida el concepto de métricas responsables, entendidas como aquellas que no surgen desde el modelo matemático, sino de una valoración moral y no estadística, cuyo objetivo es generar propuestas de indicadores que evidencien el desempeño y el ejercicio cooperativo de las comunidades científicas en torno a la actividad investigadora y que susciten la creación de nuevos conocimientos en disciplinas invisibilizadas en los ránquines, como las Ciencias Sociales y las Humanidades (Vélez y otros, 2019Vélez, G., Uribe-Tirado, A., Restrepo-Quintero, D., Ochoa-Gutierrez, J., Pallares, C., Gómez-Molina, H., Suárez-Tamayo, M., y Calle, J. (2019). Hacia un modelo de medición de la ciencia desde el Sur Global: métricas responsables. Palabra Clave, 8(2), e068. DOI: https://doi.org/10.24215/18539912e068 ).
Investigadores
⌅Desde un enfoque cuantitativo, los investigadores pueden ser evaluados a través del impacto que generan en el medio, pero hay que considerar que existen muchos tipos de impacto: el impacto académico, el impacto en las políticas, el impacto social, el impacto educativo, el impacto cultural y el impacto económico (Pedersen y otros, 2020Pedersen, D., Grønvad, J., y Hvidtfeldt, R. (2020). Methods for mapping the impact of social sciences and humanities-a literature review. Research Evaluation, 29(1), 4-21. DOI: https://doi.org/10.1093/reseval/rvz033 ). Más allá de la definición de cada uno de ellos, lo importante es saber que estos impactos son los que están determinando los actuales sistemas de evaluación científica (Spaapen y Sivertsen, 2020Spaapen, J., y Sivertsen, G. (2020). Assessing societal impact of SSH in an engaging world: focus on productive interaction, creative pathways and enhanced visibility of SSH research. Research Evaluation, 29(1), 1-3. DOI: https://doi-org.usm.idm.oclc.org/10.1093/reseval/rvz035 ) y que analizar los tipos de impactos que pueda tener un investigador (qué comunidades interactúan con sus productos de investigación), podrían ser indicadores métricos más acordes a los lineamientos actuales. Es así como un investigador puede generar distintos tipos de impacto al cumplir con distintos objetivos dentro de distintas disciplinas, variables que deben ponderarse según cada cometido.
Medir, por tanto, la cantidad de personas con las que interactúa o colabora el investigador fuera de la academia, podría ser un indicador de impacto y vinculación con el medio (indicador 1.1 de la Tabla II), información deducible de acuerdo a la capacidad de convocatoria que tiene el mismo (de forma presencial o en medios virtuales); para tal efecto, desde la altmetría se pueden desarrollar indicadores afines que permitan medir, por ejemplo, el número de personas que asiste o que se conecta a un evento (transmisión en vivo) desde redes sociales, Youtube, Zoom y otras plataformas similares. Un tipo de impacto fuera de la academia, ya que muchos de estos eventos son abiertos al público, gratuitos y permiten identificar el interés que manifiesta la comunidad respecto las líneas de estudio de cada investigador.
Respecto al impacto social (indicador 1.2, Tabla II), la capacidad de generar relaciones intersectoriales y la intensificación de la colaboración a partir de coautorías entre organizaciones académicas, civiles o gubernamentales puede indicar procesos de construcción colectiva de conocimiento para el mejoramiento de políticas públicas, la participación en procesos de movilización social, o la introducción de innovaciones sociales o transformativas (Vélez y otros, 2019Vélez, G., Uribe-Tirado, A., Restrepo-Quintero, D., Ochoa-Gutierrez, J., Pallares, C., Gómez-Molina, H., Suárez-Tamayo, M., y Calle, J. (2019). Hacia un modelo de medición de la ciencia desde el Sur Global: métricas responsables. Palabra Clave, 8(2), e068. DOI: https://doi.org/10.24215/18539912e068 ).
La formación de nuevos profesionales (indicador 1.3, Tabla II), también puede ser un criterio relevante, ya que puede generar dos indicadores: uno que calcule la cantidad de veces que un investigador es mencionado en estudios de pre y postgrado y otro que calcule la cantidad de trabajos de titulación dirigidos.
En pertinente señalar que las citas no sirven para evaluar departamentos o grupos de investigación, ya que hay que distinguir entre aquellos investigadores que reciben la ayuda de grandes equipos de investigación y aquellos que trabajan en equipos pequeños y que, en consecuencia, pueden ser menos productivos científicamente (indicador 1.4 Tabla II). Además, vale considerar que introducir más recursos humanos en grupos de investigación grandes, no eleva la calidad de esos equipos de manera significativa (Berche y otros, 2016Berche, B., Holovatch, Y., Kenna, R., y Mryglod, O. (2016). Academic research groups: evaluation of their quality and quality of their evaluation. Journal of Physics: Conference Series, 681(1), 012004. Disponible en: https://iopscience.iop.org/article/10.1088/1742-6596/681/1/012004/pdf ), por lo que apoyar equipos de menor tamaño y potenciar la colaboración local, nacional o internacional puede generar mayor impacto y beneficio para los investigadores. Aun cuando la colaboración en investigación puede evaluarse teniendo en cuenta la proporción de publicaciones de un solo autor o de organizaciones internas, nacionales e internacionales, es interesante identificar también cuánta investigación se realiza con las empresas o la industria.
Para el análisis de la trayectoria de los investigadores (indicador 1.5, Tabla II), las altmetrics - métricas más noveles del mercado -, son primordiales al momento de promover y medir las publicaciones en acceso abierto, de manera que la comunidad acceda e interactúe con agentes académicos y brinde nuevas mediciones, ampliándose el alcance de captura. Las altmetrics no buscan sólo contar menciones, sino brindar un nuevo espacio y nuevos contenidos que puedan interpretarse: quiénes interactúan, cuál es el contenido de los mensajes, cuáles son los hashtags, y otras informaciones permiten medir la importancia social de un investigador y obtener un nuevo indicador. Conformarse con los indicadores basados en citas no es necesario, en un contexto donde las tecnologías y la gran diversidad de fuentes de datos entregan nuevas métricas; métricas que aún se pueden mejorar y ajustar, pero que, definitivamente, llegaron para aportar datos adicionales al momento de evaluar el panorama científico. Sin duda se deben crear formas de evaluar que midan el valor de todos los resultados de investigación, lo que requiere una diversificación de las fuentes y una expansión de los límites de cobertura.
Productos de investigación
⌅En ausencia de una definición compartida, el término calidad ha estado asociado al uso de diferentes métricas para medir la precisión, vigencia, integridad y consistencia de un conjunto de datos de investigación (Konkiel, 2020Konkiel, S. (2020). Assessing the Impact and Quality of Research Data Using Altmetrics and Other Indicators. Scholarly Assessment Reports, 2(1), 13. DOI: http://doi.org/10.29024/sar.13 ). Estos elementos son medibles gracias a múltiples indicadores, extraídos de múltiples fuentes de datos, puesto que no existe un indicador que refleje calidad absoluta. Las plataformas sociales actuales, entregan información complementaria sobre qué investigación está generando mayor discusión, dinámica de la web social que suma nuevos indicadores de impacto y de calidad fuera de la academia (indicador 2.1, Tabla II). No obstante, para poder generar nuevos indicadores se requieren nuevas bases de datos gratuitas que indexen documentos multidisciplinarios y que entreguen indicadores que las tradicionales plataformas pagadas no entregan; monitorear nuevas bases de datos gratuitas como Dimensions (que indexa otros tipos de documentos, no solo artículos científicos) o Microsoft Academic, que puede eliminar un poco el sesgo comercial del análisis. Por otro lado, los datos de investigación toman cada vez más relevancia y arrastrarán nuevas métricas, prácticas y desafíos para la calidad de la producción de datos en la investigación (indicador 2.2 de la Tabla II); sin embargo, ser críticos con los números es fundamental para hacer análisis más objetivos y menos sesgados. Por ejemplo, en áreas como la agricultura, la salud o el medioambiente, el impacto directo de los resultados es más importante que las citas, por lo tanto, se insiste en la importancia de contextualizar las métricas (Ràfols, 2019Ràfols, I. (2019). S&T indicators in the wild: Contextualization and participation for responsible metrics. Research Evaluation, 28(1), 7-22. DOI: https://doi.org/10.1093/reseval/rvy030 ).
Ampliando el punto 2.3 de la Tabla II, se pueden crear indicadores específicos para evaluar ideas innovadoras o de alto riesgo o distinguir entre las propuestas de distintas disciplinas. Para tal efecto, se sugiere considerar la dimensión social provista por las métricas alternativas, que entregan información (tanto a los organismos financiadores como a los creadores de políticas) sobre cómo se relaciona el financiamiento de ciertas actividades con la atención que recibe la investigación científica en redes sociales, permitiendo detectar, por ejemplo, aquellas áreas de investigación con alta atención en los medios pero con un nivel de financiación relativamente más bajo, como pasa con Medicina de Urgencia; o viceversa, detectar aquellas áreas de investigación con fuertes niveles de financiación pero con menor recepción en las redes sociales, como pasa con la Nanociencia o la Nanotecnología (Álvarez-Bornstein y Costas, 2018Álvarez-Bornstein, B., y Costas, R. (2018). Exploring the relationship between research funding and social media: disciplinary analysis of the distribution of funding acknowledgements and Twitter mention in scientific publications. Disponible en: https://openaccess.leidenuniv.nl/bitstream/handle/1887/65233/STI2018_paper_198.pdf?sequence=1 ).
El impacto social a corto y largo plazo, estará determinado entonces por efectos que dependen de la naturaleza y disciplina del proyecto; ni siquiera la visibilidad es un fenómeno que se pueda asumir al momento de publicar en revistas indexadas de acceso abierto. La calidad entonces, no se define por la cantidad de citas, por el flujo por redes sociales ni por el proceso de arbitraje tan cuestionado ya hace muchos años, desde el escándalo que desató el físico estadounidense Alan Sokal en 1996, quien, interesado en demostrar la facilidad con que se publican imposturas científicas en los estudios culturales, logra publicar un artículo atestado de sinsentidos en la revista Social Text, exponiendo la falta de rigurosidad del equipo editorial al momento de evaluar y aceptar trabajos para su publicación (Arellano, 2000Arellano, A. (2000). La guerra entre ciencias exactas y humanidades en el fin de siglo: el escándalo Sokal y una propuesta pacificadora. CIENCIA ergo-sum, Revista Científica Multidisciplinaria de Prospectiva, 7(1), 56-66. Disponible en: https://www.redalyc.org/articulo.oa?id=10401707 ). Por el contrario, la calidad puede ser medida a través de múltiples metodologías e instrumentos, y ser redefinida dependiendo del área examinada.
A modo de balance, es importante destacar que el principal hallazgo en materia cuantitativa, apunta al reconocimiento de los indicadores métricos como elementos que sirven para entender la realidad y no para definirla; no se puede evaluar la calidad o impacto de un estudio, tomando sólo un indicador o unos pocos indicadores. Mientras más indicadores existan, mejores y más completos análisis se podrán hacer (Ràfols, 2019Ràfols, I. (2019). S&T indicators in the wild: Contextualization and participation for responsible metrics. Research Evaluation, 28(1), 7-22. DOI: https://doi.org/10.1093/reseval/rvy030 ).
Disciplinas
⌅Para combatir el modelo imperante en las bases de datos científicas, que no visibiliza al mismo nivel los productos de investigación de las diversas disciplinas, se plantea la producción de infraestructuras disciplinares propias, que provean a cada región de plataformas de comunicación independientes, tal como se creó en Europa la plataforma European Reference Index for the Humanities (ERIH), ante la baja visibilidad de la ciencia del área de las Humanidades y las Ciencias Sociales de dicha región en Web of Science y Scopus, debido al tradicional carácter anglosajón que marca las Ciencias Naturales (Aliaga y otros, 2013Aliaga, F. M., Almerich, G., y Suárez-Rodríguez, J. M. (2013). El European Reference Index for the Humanities (ERIH) como criterio de calidad de las revistas académicas: análisis de la lista revisada de educación. Revista Española de Documentación Científica, 36(2), en008. DOI: http://dx.doi.org/10.3989/redc.2013.2.901 ).
En cuanto a las Ciencias Sociales, las Artes y las Humanidades, es preciso crear métricas que expresen todas las dinámicas sociales generadas en la producción de conocimiento. Métricas que incorporen aspectos como la generación de comunidades, los alcances geográficos en la dispersión del conocimiento, la comunicabilidad en términos tecnológicos y humanos, la interdependencia organizacional, las capacidades de generar innovación, las relaciones con entornos no académicos y la formación de nuevos investigadores (Vélez y otros, 2019Vélez, G., Uribe-Tirado, A., Restrepo-Quintero, D., Ochoa-Gutierrez, J., Pallares, C., Gómez-Molina, H., Suárez-Tamayo, M., y Calle, J. (2019). Hacia un modelo de medición de la ciencia desde el Sur Global: métricas responsables. Palabra Clave, 8(2), e068. DOI: https://doi.org/10.24215/18539912e068 ). Si bien las áreas o temas que estudian estas disciplinas se encuentran limitados a lugares o comunidades específicas, motivo por el cual difícilmente tendrán un alto impacto internacional, sí pueden alcanzar un importante impacto local (indicador 3.1, Tabla II). Para lograrlo, es preciso socializar los resultados de investigación con esas comunidades, de manera que puedan compartir e interactuar con el documento, generando conocimiento a través del intercambio de opiniones. Aquí las altmetrics pueden jugar un rol primordial al recoger la repercusión e impacto social que tienen estos campos y para detectar las áreas de interés público que requieren mayor financiamiento.
También se pueden emplear indicadores altmétricos para detectar y caracterizar las dinámicas de la comunicación científica por áreas; en este sentido, las métricas alternativas podrían ayudar a detectar aquellas disciplinas que están teniendo un alto impacto en los medios sociales (que se están difundiendo y generando debate) y que, a pesar de eso, están siendo menos financiadas (o viceversa), información relevante para las agencias financiadoras (indicador 3.2 de la Tabla II).
Instituciones
⌅Los populares ránquines de universidades más allá de categorizar a las instituciones, deben ser instrumentos que permitan realizar un balance, aprender y mejorar. Algunos indicadores propuestos por el Manual de Valencia apuntan a medir la evolución y los patrones temáticos de la producción científica consultando bases de datos bibliométricas, pero distinguiendo patrones disciplinarios de colaboración geográfica (con actores académicos y no académicos), recurriendo también a los propios autores, para que entreguen, además, información sobre sus trabajos publicados en revistas no indexadas (indicador 4.1, Tabla II). Esta evaluación debe incluir capítulos de libros y otros documentos de trabajo importantes, cuya frecuencia de publicación puede variar y debe ser considerada al momento de la evaluación.
Respecto al indicador 4.2 de la Tabla II, como se mencionó anteriormente, el número veces que una patente cita un departamento (su página Web, presentaciones o cualquier tipo de documento), puede proporcionar un indicador de impacto tecnológico de la institución a la que pertenece (Orduna-Malea y otros, 2017Orduna-Malea, E., Thelwall, M., y Kousha, K. (2017). Web citations in patents: evidence of technological impact? Journal of the Association for Information Science and Technology, 68(8): 1967-1974. DOI: https://doi.org/10.1002/asi.23821 ), siempre y cuando se analice en conjunto con otras métricas, ya que las patentes se utilizan en acotadas áreas de la industria, son de difícil búsqueda y recuperación y no siempre revelan la relación entre ciencia, tecnología e innovación.
4. CONCLUSIONES
⌅Medir los impactos o cuantificar la contribución de cualquier investigación es un camino difícil y largo, ya que la ciencia es una red compleja de interrelaciones. No obstante, el uso extensivo de la web ha favorecido el brote de nuevos (y más amplios) indicadores de impacto (Thelwall y Kousha, 2015Thelwall, M., y Kousha, K. (2015). Web indicators for research evaluation. Part 1: Citations and links to academic articles from the Web. El Profesional de la Información, 24(5), 587-606. DOI: https://doi.org/10.3145/epi.2015.sep.08 ). Estas mediciones deben considerar siempre el contexto del investigador (senior o junior), del departamento, instituto o grupo de investigación (equipos jóvenes o antiguos, amplios o pequeños) y del tipo de evaluación (anterior o posterior a la ejecución del proyecto). Por su parte, los criterios cualitativos ayudan determinar la calidad de las investigaciones, las cuales deben ser relevantes (para mejorar el nivel de vida de las personas de forma parcial o total, a corto o largo plazo), claras, íntegras, útiles, accesibles y entendibles para las posibles partes interesadas.
En conclusión, no existe un solo método de evaluación científica, ningún indicador es absoluto y la relación absoluta entre calidad e impacto no existe. Cada investigación posee contextos y actores distintos que deben ser considerados, comprendidos y valorados, por lo mismo, se plantea un equilibrado sistema de evaluación mixto, que incorpore criterios cuantitativos y cualitativos (Kowaltowski y otros, 2021Kowaltowski, A., Silber, A., y Oliveira, M. (2021). Responsible Science Assessment: downplaying indexes, boosting quality. Anais da Academia Brasileira de Ciências, 93(1), 1-9. DOI: https://doi.org/10.1590/0001-3765202120191513 ), pero que reconozca abiertamente los límites y alcances de ambos, sin socavar la investigación misma ni a los investigadores; no obstante, procurar la generación de investigaciones de calidad y difundirlas en la sociedad siguen siendo responsabilidades sociales básicas de los investigadores.
Para lograr esta mixtura, se recomienda crear paneles de asesores multidisciplinarios, con subcomisiones especializadas que permitan crear mecanismos y pautas claras y transparentes de evaluación científica, basadas en indicadores cualitativos y cuantitativos. En tanto, los evaluadores deben estar capacitados para medir múltiples aspectos y valorar todas las áreas del conocimiento, considerando que la frecuencia de publicación y las dinámicas de comunicación científica varían según el campo o disciplina. Contar con una pauta que permita saber qué debe ser financiado según el tipo de proyecto que se presenta, promoverá una evaluación justa y adaptada a todos los contenidos, por lo mismo, el panel debe ser capaz de evaluar todos los criterios, de forma transparente y confiable, responsabilizándose por el gasto fiscal; se promueve así la evaluación responsable de la investigación.
Asimismo, no puede existir sólo financiamiento competitivo (concursable), también debe financiarse la innovación. La gestión de riesgos es fundamental para el desarrollo y la innovación y se deben establecer criterios y mecanismos específicos o flexibilizar los parámetros (más allá de la puntuación tradicional de un proyecto) para evaluar aquellas ideas interesantes y/o arriesgadas. En otras palabras, las nuevas formas de evaluar deben considerar aquellas propuestas más innovadoras o de alto riesgo experimental. Una vez finalizada la evaluación se debe brindar al postulante una instancia de apelación al rechazo y, en la siguiente evaluación, es ideal someterle a un panel diferente; hay buenas propuestas que son rechazadas por aspectos que pueden corregirse fácilmente, como errores de formato (normas) y dichas resoluciones deben ser reversibles.
Los sesgos (etarios, de género, disciplinares y otros) deben eliminarse y promover la participación de aquellos sectores de la sociedad que han sido marginados. Se deben cuidar, además, los sesgos del panel frente a instituciones prestigiosas, ya existe el riesgo de evaluar positivamente la producción científica de ciertos organismos reconocidos, al inferir por adelantado que sus trabajos fueron realizados bajo altos estándares de calidad científica.
Se recomienda, además, analizar las métricas dependiendo del contexto (Konkiel, 2020Konkiel, S. (2020). Assessing the Impact and Quality of Research Data Using Altmetrics and Other Indicators. Scholarly Assessment Reports, 2(1), 13. DOI: http://doi.org/10.29024/sar.13 ) y del factor humano; no se debe evaluar una institución sólo por su posición en un ranquin o por su número de publicaciones, sino por las personas que están detrás de ese rendimiento científico. Determinar, por ejemplo, la movilidad científica a través de datos bibliométricos (Robinson-García y otros, 2018Robinson-García, N., Sugimoto, C., Murray, D., Yegros-Yegros, A., Larivière, V., y Costas, R. (2018). Scientific mobility indicators in practice: International mobility profiles at the country level. El Profesional de la Información, 27(3). DOI: https://doi.org/10.3145/epi.2018.may.05 ) se convierte en una alternativa para representar las relaciones entre instituciones, investigadores y rendimiento científico. Por lo mismo, el apoyo en recursos económicos y humanos debe enfocarse en los grupos de investigación medianos, pequeños o emergentes, ya que los grandes equipos no necesitan más personas para aumentar su productividad (Berche y otros, 2016Berche, B., Holovatch, Y., Kenna, R., y Mryglod, O. (2016). Academic research groups: evaluation of their quality and quality of their evaluation. Journal of Physics: Conference Series, 681(1), 012004. Disponible en: https://iopscience.iop.org/article/10.1088/1742-6596/681/1/012004/pdf ), sino motivación, redes de contacto nacionales e internacionales, apoyo institucional (infraestructura y acceso a documentación) y competencias para aumentar la calidad de sus trabajos mediante habilidades científicas (especializaciones congruentes con el plan de investigación) y de gestión (comunicación y liderazgo), un plan de mejora continua y proyección a largo plazo.
Si bien se han ido implementando nuevas métricas alternativas como las citas de patentes, cuyo valor se potencia si se analiza junto a los demás indicadores altmétricos y pueden entregar información concreta respecto al impacto y visibilidad científica, tecnológica y social de la investigación o de los departamentos universitarios que muchas veces se mencionan en ellas, los nuevos criterios e indicadores cualitativos y cuantitativos no acaban con el problema sistémico que impera y que conlleva que las agencias financiadoras presionen a las instituciones de educación superior (y a sus investigadores) para que cumplan con ciertos indicadores de productividad científica, cuando el número de publicaciones no se correlaciona con la calidad de las publicaciones. En respuesta, las universidades deben equilibrar dichas presiones y funcionar bajo parámetros y valores institucionales internos; mejorar su gestión les permitirá mejorar sus resultados de investigación, y lo mismo sucede con la defensa del acceso abierto: su función social es fundamental para cada región, puesto que las bases de datos son vitales en la difusión de los contenidos y en la visibilidad de revistas locales, pero no hay que olvidar que las grandes editoriales que controlan los sistemas de información científica más importantes del mundo siguen liderando y absorbiendo índices regionales más pequeños, como pasó con SciELO. Esto también afecta a la cienciometría, la cual depende de la democratización del conocimiento, pues aún no es una disciplina que pertenezca a la sociedad civil, ya que las bases de datos más relevantes son propiedad de empresas privadas que restringen sus usos y la participación social. Facilitar el acceso a los productos de investigación, permitiría además la profesionalización de las evaluaciones bibliométricas, asegurando la independencia de la profesión en relación a su fuente de datos (Ràfols, 2019Ràfols, I. (2019). S&T indicators in the wild: Contextualization and participation for responsible metrics. Research Evaluation, 28(1), 7-22. DOI: https://doi.org/10.1093/reseval/rvy030 ).
Por último, es indispensable manifestar que las recomendaciones y los criterios analizados en este estudio pretenden servir como base para el surgimiento de futuros estudios empíricos que demuestren la viabilidad de los nuevos modelos e indicadores de evaluación científica, y así se puedan reorientar las políticas científicas hacia un modelo más justo y sostenible, que reestablezca los valores científicos y sociales de la investigación basada en la curiosidad y no en la mercantilización del conocimiento. Un modelo cuyos criterios y protocolos de evaluación sean creados en conjunto con investigadores, instituciones afines y órganos disciplinarios representativos, de manera que todos los actores involucrados se sientan identificados con los nuevos procedimientos para la evaluación y el financiamiento de la investigación.