Para fortalecer la vinculación con el medio de los investigadores, se recomienda que tanto gobiernos como universidades inviertan en estructuras de apoyo profesional a sus académicos, de manera que adquieran competencias para tener un impacto en la sociedad (Jong y Muhonen, 2020). Este impacto puede ser tecnológico, ambiental, económico o social (Gunn y Mintrom, 2016) y fortificará la relación universidad-entorno, aspecto que abordan Albornoz y otros (2017) en el ya mencionado Manual de Valencia, a través de propuestas de nuevos indicadores que valoren la vinculación con el medio de los investigadores, dentro y fuera de la academia (punto 1.1 y 1.2 de la Tabla I). Por lo tanto, además de los tradicionales indicadores de producción científica (participación en congresos y seminarios profesionales) y de la consideración de premios y reconocimientos, algunos indicadores de impacto social y vinculación con el medio serían la variedad de medios en que aparecen los investigadores (programas de televisión, radio o prensa, redes sociales académicas o no académicas) como consecuencia de su contribución a la investigación o a la docencia. Actividades de divulgación social de la ciencia tales como contribuciones en jornadas de puertas abiertas, ferias y conferencias, o la participación en consejos asesores y en revisiones por pares también deben ser consideradas.

En cuanto a la evaluación de las propuestas del investigador, los comités de evaluación pueden realizar entrevistas orales que permitan al postulante responder las inquietudes o revisiones del comité; así, el panel reduce la posibilidad de rechazar una propuesta por falta de comprensión o experiencia en el tema, por no manejar el idioma o por interpretar equivocadamente los objetivos del trabajo. Esto no es nuevo, ya que la evaluación cualitativa de la ciencia, tradicionalmente se ha apoyado en técnicas como la entrevista, pues de esta manera se pueden estudiar a fondo las dinámicas que genera cada investigación (indicador 1.3, Tabla I).

Referente al punto 1.4 de la Tabla I, en vista de que los investigadores no trabajan solos, su evaluación de desempeño debería incluir también las características de los equipos de investigación que integra: archivistas, bibliotecarios, asistentes de investigación, técnicos, expertos, encargados de finanzas y otros profesionales afines participan del estudio y deben ser reconocidos por el sistema. Si bien evaluar los grupos de investigación es una práctica común, no siempre los equipos más grandes muestran un mejor desempeño (Berche y otros, 2016). Además de ser productivos, los equipos deben tener la capacidad de comunicación, de gestión y de generar estudios de calidad, características centrales que se deben analizar desde las evaluaciones cualitativas.

En relación a la trayectoria de los investigadores, se recomienda evaluar el historial de trabajo completo a través de un formato de currículum flexible, que ajuste las ponderaciones a las diversas formas de comunicación científica y que permita a personas de todas las áreas demostrar su trabajo, incluyendo todos los productos de investigación y canales de difusión. Dichos productos pueden ser variados (indicador 1.5 de la Tabla I) y no se reducen a artículos científicos: libros, políticas, softwares, patentes, conjuntos de datos, y otros son reflejo de nuevas ideas, herramientas o conocimiento.

Respecto a la evaluación de los productos de investigación, la literatura recogida coincide en que además de indicadores cuantitativos, se deben agregar indicadores empíricos, donde la calidad científica la entregue la investigación misma (Ràfols, 2019). Al someter los trabajos a revisión, se sugiere transparentar quiénes componen la revisión por pares e incluir revisores de todas las disciplinas para evitar sesgos (Pedersen y otros, 2020). Algunos autores proponen incluso, desarrollar y respaldar políticas para recompensar y calificar las revisiones por pares, de manera que se les reconozca más su trabajo y el aporte que realizan mejorando los estudios (Kowaltowski y otros, 2021).

Por otra parte, el Manual de Valencia propone la difusión por medios no académicos de los productos de investigación (indicador 2.1 Tabla I), para que la sociedad pueda comprender mejor e interesarse por las contribuciones científicas. Se recomienda considerar artículos y otras publicaciones como protocolos, normas o guías (basadas en resultados de investigación) de utilidad para profesionales, y la participación en congresos, conferencias y actividades no académicas como ferias, jornadas y exposiciones dirigidas al público en general. Ejemplo de ello serían las actividades realizadas en escuelas, museos y entidades de bien público, incluyendo aquellas de divulgación científica realizadas por diversos medios (radiales, audiovisuales, escritos, digitales). En esta línea, algunos indicadores propuestos por el Manual son la diversidad de contribuciones en publicaciones técnicas o profesionales (que no exigen revisión por pares) como guías, protocolos, metodologías y otros documentos equivalentes elaborados y publicados en el año (punto 2.2 de la Tabla I) (Albornoz y otros, 2017).

Reforzar las estrategias de comunicación científica en todas las disciplinas es fundamental para que los hallazgos científicos impacten en la sociedad y sean conocidos y comprendidos por sus beneficiarios (indicador 3.1 de la Tabla I). Para ello, deben comunicar sus investigaciones en distintos formatos, canales y estilos, procurando un lenguaje libre de tecnicismos innecesarios. En este sentido, las habilidades comunicacionales del investigador son cruciales y también su capacidad de innovar y buscar espacios de comunicación distintos; existen investigadores que han comenzado a crear sus propios canales de Youtube para llegar a un público más amplio y cumplir con una de las funciones sociales más relevantes de la investigación (sea cual sea su especialidad): promover no sólo la generación y difusión del conocimiento, sino que también su comprensión (Lazcano-Peña y otros, 2019).

Además, se requieren nuevos criterios de evaluación que terminen con la tensión entre disciplinas y proyectos interdisciplinarios y transdisciplinarios que disputan recursos y visibilidad, y que a la vez se valide la producción de conocimiento desde las Ciencias Sociales, las Humanidades y las Artes. Un indicador cualitativo en este ámbito tendría que basarse en los vínculos y redes que genera la ciencia y no sólo enfocarse en patrones de producción y visibilidad (Vélez y otros, 2019); de esta forma, se puede analizar cómo evolucionan y crecen, por ejemplo, los equipos de investigadores (indicador 3.2 de la Tabla I).

Respecto a los criterios de evaluación cualitativa en las instituciones, siguiendo los lineamientos del Manual de Valencia que postula el conocimiento generado y acumulado en la universidad como una de las bases de sus capacidades para vincularse con el entorno, evaluar la participación de los académicos en redes nacionales o internacionales también podría ser un indicador de calidad institucional (Albornoz y otros, 2017). Esto, sumado a la evaluación de las dinámicas de movilidad de los investigadores, permitiría saber cómo y porqué migran y cuánto dependen las instituciones de ellos; muchas veces las universidades basan sus altos índices de publicación en el rendimiento de unos pocos investigadores, que - en caso de migrar-, pondrían en riesgo el posicionamiento de la institución, motivo por el cual este indicador puede ser clave para las organizaciones (indicador 4.1 de la Tabla I).

Finalmente, tal como se indica en el ítem 4.2 de la Tabla I, es importante sugerir que cada institución establezca sus propios valores y criterios institucionales internos en base a sus necesidades y a las características de su comunidad y entorno, y que estos sean utilizados como rúbricas para evaluar su producción científica.

Una vez revisados los aspectos cualitativos de la evaluación científica, cabe analizar los criterios e indicadores cuantitativos que se presentan de manera resumida en la Tabla II, donde se pueden visualizar las categorías de análisis que se desglosarán en los siguientes apartados.

Para mejorar el diseño y el uso de indicadores de ciencia, tecnología e innovación en políticas, es primordial la pluralización de las fuentes de datos y de las técnicas de procesamiento y visualización de las métricas, además de expandir las comunidades de investigación involucradas. La cienciometría no puede centrarse sólo en cuestiones técnicas, sino que debe conectar con los valores de su uso, contextualizando las métricas (Ràfols, 2019). Considerando el alcance de las redes sociales, las métricas alternativas pueden aportar datos relevantes, más allá de las descargas, visualizaciones o menciones, pues permiten conocer, rastrear y trazar el nivel de aceptación e impacto de la investigación entre públicos académicos y no académicos. En este sentido, a nivel latinoamericano se ha trabajado de forma sostenida el concepto de métricas responsables, entendidas como aquellas que no surgen desde el modelo matemático, sino de una valoración moral y no estadística, cuyo objetivo es generar propuestas de indicadores que evidencien el desempeño y el ejercicio cooperativo de las comunidades científicas en torno a la actividad investigadora y que susciten la creación de nuevos conocimientos en disciplinas invisibilizadas en los ránquines, como las Ciencias Sociales y las Humanidades (Vélez y otros, 2019).

Desde un enfoque cuantitativo, los investigadores pueden ser evaluados a través del impacto que generan en el medio, pero hay que considerar que existen muchos tipos de impacto: el impacto académico, el impacto en las políticas, el impacto social, el impacto educativo, el impacto cultural y el impacto económico (Pedersen y otros, 2020). Más allá de la definición de cada uno de ellos, lo importante es saber que estos impactos son los que están determinando los actuales sistemas de evaluación científica (Spaapen y Sivertsen, 2020) y que analizar los tipos de impactos que pueda tener un investigador (qué comunidades interactúan con sus productos de investigación), podrían ser indicadores métricos más acordes a los lineamientos actuales. Es así como un investigador puede generar distintos tipos de impacto al cumplir con distintos objetivos dentro de distintas disciplinas, variables que deben ponderarse según cada cometido.

Medir, por tanto, la cantidad de personas con las que interactúa o colabora el investigador fuera de la academia, podría ser un indicador de impacto y vinculación con el medio (indicador 1.1 de la Tabla II), información deducible de acuerdo a la capacidad de convocatoria que tiene el mismo (de forma presencial o en medios virtuales); para tal efecto, desde la altmetría se pueden desarrollar indicadores afines que permitan medir, por ejemplo, el número de personas que asiste o que se conecta a un evento (transmisión en vivo) desde redes sociales, Youtube, Zoom y otras plataformas similares. Un tipo de impacto fuera de la academia, ya que muchos de estos eventos son abiertos al público, gratuitos y permiten identificar el interés que manifiesta la comunidad respecto las líneas de estudio de cada investigador.

Respecto al impacto social (indicador 1.2, Tabla II), la capacidad de generar relaciones intersectoriales y la intensificación de la colaboración a partir de coautorías entre organizaciones académicas, civiles o gubernamentales puede indicar procesos de construcción colectiva de conocimiento para el mejoramiento de políticas públicas, la participación en procesos de movilización social, o la introducción de innovaciones sociales o transformativas (Vélez y otros, 2019).

La formación de nuevos profesionales (indicador 1.3, Tabla II), también puede ser un criterio relevante, ya que puede generar dos indicadores: uno que calcule la cantidad de veces que un investigador es mencionado en estudios de pre y postgrado y otro que calcule la cantidad de trabajos de titulación dirigidos.

En pertinente señalar que las citas no sirven para evaluar departamentos o grupos de investigación, ya que hay que distinguir entre aquellos investigadores que reciben la ayuda de grandes equipos de investigación y aquellos que trabajan en equipos pequeños y que, en consecuencia, pueden ser menos productivos científicamente (indicador 1.4 Tabla II). Además, vale considerar que introducir más recursos humanos en grupos de investigación grandes, no eleva la calidad de esos equipos de manera significativa (Berche y otros, 2016), por lo que apoyar equipos de menor tamaño y potenciar la colaboración local, nacional o internacional puede generar mayor impacto y beneficio para los investigadores. Aun cuando la colaboración en investigación puede evaluarse teniendo en cuenta la proporción de publicaciones de un solo autor o de organizaciones internas, nacionales e internacionales, es interesante identificar también cuánta investigación se realiza con las empresas o la industria.

Para el análisis de la trayectoria de los investigadores (indicador 1.5, Tabla II), las altmetrics - métricas más noveles del mercado -, son primordiales al momento de promover y medir las publicaciones en acceso abierto, de manera que la comunidad acceda e interactúe con agentes académicos y brinde nuevas mediciones, ampliándose el alcance de captura. Las altmetrics no buscan sólo contar menciones, sino brindar un nuevo espacio y nuevos contenidos que puedan interpretarse: quiénes interactúan, cuál es el contenido de los mensajes, cuáles son los hashtags, y otras informaciones permiten medir la importancia social de un investigador y obtener un nuevo indicador. Conformarse con los indicadores basados en citas no es necesario, en un contexto donde las tecnologías y la gran diversidad de fuentes de datos entregan nuevas métricas; métricas que aún se pueden mejorar y ajustar, pero que, definitivamente, llegaron para aportar datos adicionales al momento de evaluar el panorama científico. Sin duda se deben crear formas de evaluar que midan el valor de todos los resultados de investigación, lo que requiere una diversificación de las fuentes y una expansión de los límites de cobertura.

En ausencia de una definición compartida, el término calidad ha estado asociado al uso de diferentes métricas para medir la precisión, vigencia, integridad y consistencia de un conjunto de datos de investigación (Konkiel, 2020). Estos elementos son medibles gracias a múltiples indicadores, extraídos de múltiples fuentes de datos, puesto que no existe un indicador que refleje calidad absoluta. Las plataformas sociales actuales, entregan información complementaria sobre qué investigación está generando mayor discusión, dinámica de la web social que suma nuevos indicadores de impacto y de calidad fuera de la academia (indicador 2.1, Tabla II). No obstante, para poder generar nuevos indicadores se requieren nuevas bases de datos gratuitas que indexen documentos multidisciplinarios y que entreguen indicadores que las tradicionales plataformas pagadas no entregan; monitorear nuevas bases de datos gratuitas como Dimensions (que indexa otros tipos de documentos, no solo artículos científicos) o Microsoft Academic, que puede eliminar un poco el sesgo comercial del análisis. Por otro lado, los datos de investigación toman cada vez más relevancia y arrastrarán nuevas métricas, prácticas y desafíos para la calidad de la producción de datos en la investigación (indicador 2.2 de la Tabla II); sin embargo, ser críticos con los números es fundamental para hacer análisis más objetivos y menos sesgados. Por ejemplo, en áreas como la agricultura, la salud o el medioambiente, el impacto directo de los resultados es más importante que las citas, por lo tanto, se insiste en la importancia de contextualizar las métricas (Ràfols, 2019).

Ampliando el punto 2.3 de la Tabla II, se pueden crear indicadores específicos para evaluar ideas innovadoras o de alto riesgo o distinguir entre las propuestas de distintas disciplinas. Para tal efecto, se sugiere considerar la dimensión social provista por las métricas alternativas, que entregan información (tanto a los organismos financiadores como a los creadores de políticas) sobre cómo se relaciona el financiamiento de ciertas actividades con la atención que recibe la investigación científica en redes sociales, permitiendo detectar, por ejemplo, aquellas áreas de investigación con alta atención en los medios pero con un nivel de financiación relativamente más bajo, como pasa con Medicina de Urgencia; o viceversa, detectar aquellas áreas de investigación con fuertes niveles de financiación pero con menor recepción en las redes sociales, como pasa con la Nanociencia o la Nanotecnología (Álvarez-Bornstein y Costas, 2018).

El impacto social a corto y largo plazo, estará determinado entonces por efectos que dependen de la naturaleza y disciplina del proyecto; ni siquiera la visibilidad es un fenómeno que se pueda asumir al momento de publicar en revistas indexadas de acceso abierto. La calidad entonces, no se define por la cantidad de citas, por el flujo por redes sociales ni por el proceso de arbitraje tan cuestionado ya hace muchos años, desde el escándalo que desató el físico estadounidense Alan Sokal en 1996, quien, interesado en demostrar la facilidad con que se publican imposturas científicas en los estudios culturales, logra publicar un artículo atestado de sinsentidos en la revista Social Text, exponiendo la falta de rigurosidad del equipo editorial al momento de evaluar y aceptar trabajos para su publicación (Arellano, 2000). Por el contrario, la calidad puede ser medida a través de múltiples metodologías e instrumentos, y ser redefinida dependiendo del área examinada.

A modo de balance, es importante destacar que el principal hallazgo en materia cuantitativa, apunta al reconocimiento de los indicadores métricos como elementos que sirven para entender la realidad y no para definirla; no se puede evaluar la calidad o impacto de un estudio, tomando sólo un indicador o unos pocos indicadores. Mientras más indicadores existan, mejores y más completos análisis se podrán hacer (Ràfols, 2019).

Para combatir el modelo imperante en las bases de datos científicas, que no visibiliza al mismo nivel los productos de investigación de las diversas disciplinas, se plantea la producción de infraestructuras disciplinares propias, que provean a cada región de plataformas de comunicación independientes, tal como se creó en Europa la plataforma European Reference Index for the Humanities (ERIH), ante la baja visibilidad de la ciencia del área de las Humanidades y las Ciencias Sociales de dicha región en Web of Science y Scopus, debido al tradicional carácter anglosajón que marca las Ciencias Naturales (Aliaga y otros, 2013).

En cuanto a las Ciencias Sociales, las Artes y las Humanidades, es preciso crear métricas que expresen todas las dinámicas sociales generadas en la producción de conocimiento. Métricas que incorporen aspectos como la generación de comunidades, los alcances geográficos en la dispersión del conocimiento, la comunicabilidad en términos tecnológicos y humanos, la interdependencia organizacional, las capacidades de generar innovación, las relaciones con entornos no académicos y la formación de nuevos investigadores (Vélez y otros, 2019). Si bien las áreas o temas que estudian estas disciplinas se encuentran limitados a lugares o comunidades específicas, motivo por el cual difícilmente tendrán un alto impacto internacional, sí pueden alcanzar un importante impacto local (indicador 3.1, Tabla II). Para lograrlo, es preciso socializar los resultados de investigación con esas comunidades, de manera que puedan compartir e interactuar con el documento, generando conocimiento a través del intercambio de opiniones. Aquí las altmetrics pueden jugar un rol primordial al recoger la repercusión e impacto social que tienen estos campos y para detectar las áreas de interés público que requieren mayor financiamiento.

También se pueden emplear indicadores altmétricos para detectar y caracterizar las dinámicas de la comunicación científica por áreas; en este sentido, las métricas alternativas podrían ayudar a detectar aquellas disciplinas que están teniendo un alto impacto en los medios sociales (que se están difundiendo y generando debate) y que, a pesar de eso, están siendo menos financiadas (o viceversa), información relevante para las agencias financiadoras (indicador 3.2 de la Tabla II).

Los populares ránquines de universidades más allá de categorizar a las instituciones, deben ser instrumentos que permitan realizar un balance, aprender y mejorar. Algunos indicadores propuestos por el Manual de Valencia apuntan a medir la evolución y los patrones temáticos de la producción científica consultando bases de datos bibliométricas, pero distinguiendo patrones disciplinarios de colaboración geográfica (con actores académicos y no académicos), recurriendo también a los propios autores, para que entreguen, además, información sobre sus trabajos publicados en revistas no indexadas (indicador 4.1, Tabla II). Esta evaluación debe incluir capítulos de libros y otros documentos de trabajo importantes, cuya frecuencia de publicación puede variar y debe ser considerada al momento de la evaluación.

Respecto al indicador 4.2 de la Tabla II, como se mencionó anteriormente, el número veces que una patente cita un departamento (su página Web, presentaciones o cualquier tipo de documento), puede proporcionar un indicador de impacto tecnológico de la institución a la que pertenece (Orduna-Malea y otros, 2017), siempre y cuando se analice en conjunto con otras métricas, ya que las patentes se utilizan en acotadas áreas de la industria, son de difícil búsqueda y recuperación y no siempre revelan la relación entre ciencia, tecnología e innovación.