Este artículo hace una revisión de los productos resultados de investigación reconocidos por las seis universidades mejor posicionadas en Colombia en los rankings internacionales y los documentos de Sistema Nacional de Ciencia, Tecnología e Innovación. Se utiliza análisis de redes exploratorio y estadística descriptiva para analizar la producción documental de las instituciones con respecto a sus metas de producción investigativa y evaluación de su desempeño. Se demuestra que la discusión internacional acerca de lo que debe o no medirse para dar cuenta del impacto de la investigación académica y científica aún hace invisibles muchas formas de producción que revelan construcción de nuevo conocimiento.
This article reviews both those products resulting from research processes in the 6 best ranked universities in Colombia according to international rankings, and documents from the National System of Science, Technology and Innovation. Exploratory network analyses and descriptive statistics are used to analyse the institutions’ documents with respect to their research production goals and performance evaluations. The international discussion about what should and what should not be measured in order to determine the impact of scholarly and scientific research is shown not to take into account many forms of new knowledge production, resulting in such products remaining invisible.
En la página web de la Asociación Alemana de Sociología (
Es cierto que cada vez que aparece un ranking también aparece como mínimo un crítico de éste. Por ejemplo alguno que no quedó entre los primeros lugares. Sin embargo, cuando la medición ya no sólo opera como mecanismo de inclusión o exclusión de investigadores o instituciones, sino también de campos científicos enteros, de países con trayectoria investigativa, de publicaciones de calidad certificadas por asociaciones nacionales o regionales, de investigadores fundamentales para diferentes campos, hay algo más que pareciera no estar funcionando bien (Nederhof,
Algunos problemas evidenciados ocurren por ejemplo en las ciencias sociales y humanidades que concentran el grueso de su producción más destacada en libros (Archambault y Larivière,
Otro problema se evidencia en la cobertura. Rodríguez Yunta (
De otro lado, Sanz-Casado y otros (
Es importante anotar que esta diversificación permite evidenciar carencias de los sistemas internacionales. En el caso específico de Publindex, Romero y otros, (
En resumen se puede decir que la medición de la ciencia y el conocimiento emergente de la investigación académica enfrenta problemas complejos como son la carencia de bases de datos globales fiables para todos los campos de conocimiento; el no reconocimiento de otras formas de comunicación del conocimiento académico investigativo; y el establecimiento de puentes metodológicos y teóricos entre las situaciones nacionales y regionales de la ciencia (micro) y las dinámicas globales (macro). Este artículo se interesa especialmente por el segundo problema, el del reconocimiento de productos en los sistemas de observación y medición de la investigación académica y científica. Si bien las críticas se han centrado en la no observación de productos publicados como los libros u otras publicaciones seriadas, aquí se sostiene que el problema es aún más profundo, y que existen muchos más tipos de productos emergentes de la investigación académica que se pueden considerar como comunicación de nuevo conocimiento, pero aún no son visibles al debate internacional al respecto de lo que puede ser considerado como tal.
Para resolverlo, se han consultado los sistemas de valoración de la producción de conocimiento de las 6 universidades más visibles de Colombia en los rankings internacionales, así como los documentos gubernamentales que rigen el Sistema Nacional de Ciencia, Tecnología e Innovación. Los resultados presentados en este documento dan cuenta de: (1) los tipos de productos reconocidos como productos de conocimiento e investigación; (2) las diferencias en la valoración de estos productos por parte de las instituciones observadas; (3) las bases de datos y fuentes utilizados para hacer inventarios de la producción; (4) y los sistemas de evaluación de la producción investigativa y de conocimiento utilizados.
El objetivo general de este trabajo es identificar todas las formas de comunicación del conocimiento reconocidas por los sistemas de evaluación y seguimiento de la producción académica e investigativa en Colombia. El cumplimiento de este objetivo permite la construcción de una línea para la construcción en etapas posteriores de esta investigación de herramientas para la medición de la producción de conocimiento. Se recogen los sistemas más importantes de reconocimiento de los productos de investigación: el de las Universidades y el del Sistema Nacional de Ciencia, Tecnología e Innovación liderado por Colciencias.
Los resultados fueron obtenidos a través de una estrategia de investigación documental que combina técnicas exploratorias de búsqueda de información y análisis cuantitativos. Se consideran los documentos que regulan la asignación de estímulos por productividad académica en las Universidades y en el Sistema Nacional de Ciencia, Tecnología e Innovación liderado por Colciencias. En el caso de Colciencias se han tomado tanto el modelo anterior y el vigente que en el momento de escribir este artículo estaban en período de transición. Es decir, las directrices del modelo anterior vigente desde el 2008 hasta noviembre de 2013 (reemplazado por el actual) operan como mecanismo de clasificación para la producción investigativa en Colombia, hasta los resultados de la aplicación del modelo de medición que se tendrán disponibles luego de ser escrito este artículo. El Decreto 1279 estipula la asignación de estímulos a la producción académica en las Universidades Públicas del país. Este Decreto fue publicado en el año 2002 y continúa vigente. Se consideran también las normas particulares de las Universidades privadas vigentes al momento de realizar este estudio.
A continuación la descripción de las fases de recolección de información y análisis.
Se construyó una base con cuatro tipo de datos: (1) los registros de referencias a las diferentes formas de comunicación de los resultados de investigación y conocimiento reconocidas; (2) las escalas de valoración de los productos considerados por cada institución; (3) los sistemas de evaluación de la investigación y la producción de conocimiento mencionados por los documentos de planeación y reglamentación de las instituciones; (4) y las bases de datos utilizadas para hacer inventarios de sus productos.
Todos los productos mencionados en (1) o (2) son considerados por las universidades como producción académica vinculada en muchos casos al ejercicio de la investigación o al desarrollo de conocimiento e igualmente se conservaron los nombres de las tipologías de productos y clasificación de estos en la forma en que figuraban en los documentos de las instituciones mencionadas. El Decreto 1279 y las normatividades privadas reglamentan el estímulo a sus docentes e investigadores por productividad académica. Esa productividad se define en términos de tipos de productos sin calificar su carácter epistemológico o metodológico y se consideran por igual trabajos de carácter científico, técnico, artístico, humanístico o pedagógico. Podría decirse que estas instituciones estimulan la producción de conocimiento y no sólo la producción investigativa en sentido estricto.
Desde otro punto de vista, Colciencias (
En este sentido, hay gran cantidad de actividades producidas en los grupos de investigación de estas áreas que queda en una especie de limbo en donde no está claro si lo que produce un grupo de investigación en teatro al hacer un trabajo etnográfico para realizar una adaptación de una obra teatral es un producto de investigación o de desempeño profesional. Según la definición de Colciencias, al ser actividad de grupo debería quedar catalogada como actividad de investigación dentro de uno de los 4 subgrupos. Es verdad que pueden producir un artículo, pero en realidad el producto de conocimiento es la adaptación y aunque está catalogada dentro de la clasificación de Colciencias como otro tipo de producción, no recibe valoración. Sin embargo, las normatividades de las universidades la reconocen. Este tipo de investigación, llamada investigación-creación (Moreno Vargas,
Se conservará de manera general el término producción de conocimiento o comunicación de la producción de conocimiento investigativo como equivalente. Es cierto que no todos los productos realizados por los profesores universitarios pueden ser considerados como productos de investigación, pero todos los tipos son susceptibles de ser tomados en cuenta por resultados de investigación de grupos de las diferentes áreas. Así lo corroboran los documentos de trabajo del área de ciencias sociales, artes y humanidades de la Universidad de Antioquia (
Igualmente, se hizo una tabla comparativa de los valores asignados a los tipos documentales en los sistemas de valoración institucional. Se construyó una escala de valores normalizados y se contrastaron: los considerados por las instituciones, por el Decreto 1279, por el modelo actual de medición de grupos del 2013 y por el anterior del 2008.
Se consideran productos reconocidos, aquellos que las normatividades internas de las Universidades y los documentos del Sistema Nacional de Ciencia, Tecnología e Innovación consideran como productos académicos y resultados de investigación respectivamente y a los cuales se les asigna algún tipo de puntaje para estimular o evaluar a los grupos de investigación e investigadores. En la totalidad de documentos institucionales revisados aparecen 135 tipos de productos que pueden ser reconocidos en, al menos, una de las instituciones. De éstos, 75 pueden ser considerados como productos propios de la investigación en las áreas de artes y de las ciencias de la comunicación o ciencias de la información (ver
Tomada y corregida de Vélez Cuartas y otros (
Nodos: Universidades, Modelo Colciencias, Decreto 1279 y Tipos de productos. Relaciones: Validación o consideración del producto dentro del sistema de evaluación. Tamaño de los nodos: Número de relaciones (Para las Universidades el tamaño significa el número de tipos de productos validados, para los productos la cantidad de instituciones por las que son considerados válidos.). Los nodos agrupados por la línea gris corresponden a productos frecuentes en las áreas de ciencias de la comunicación y artes.
- El Modelo de Medición de Grupos de Investigación Científica, Desarrollo Tecnológico e Innovación de Colciencias 2008 y uno nuevo que está comenzando a regir desde finales del 2013 y reemplaza al anterior.
- Los criterios de medición interna de cada Universidad: para las públicas el decreto 1279 de 2002 y otras disposiciones internas que especifiquen párrafos del decreto; para las privadas documentos autónomos.
Los únicos tipos de productos reconocidos por todas las Universidades y Colciencias son los artículos en revista indexada, los libros de investigación y de texto. Igualmente la patente excepto por la Universidad del Rosario. También se destacan: creación artística original, creación artística complementaria o de adaptación, interpretación artística, artículos de revisión, y reportes de caso, cartas al editor y editorial en revistas indexadas. Se puede decir entonces que al reunir los productos que tienen algún puntaje en los documentos revisados se identifican 135 diferentes, pero al observar cuáles son reconocidos universalmente o por la mayoría de instituciones y sistemas analizados la lista se puede reducir a los mencionados en este párrafo.
De acuerdo a los mecanismos de reconocimiento interno de las instituciones, la mayor variedad en términos de producción figura en el área de artes (aproximadamente 70 tipos diferentes); sin embargo, ninguno de estos productos se encuentra estipulado dentro del modelo de medición de grupos y, por lo tanto, queda fuera de los parámetros de reconocimiento para la investigación que lleva a cabo Colciencias para todas las universidades. De todos modos se debe reconocer que ya se inició un proceso para integrar productos relacionados con arte, diseño y arquitectura (Colciencias,
La U. del Valle y la U. de los Andes reconocen más tipos de producción en artes que las otras universidades o modelos de medición. En el caso de la U. de los Andes esto hace parte de un proceso de creación de parámetros para reconocer la producción en esta área equivalente al que existe para productos como artículos, libros, capítulos, normas y patentes como lo han expresado ya en documentos académicos publicados (Villaveces Cardoso y otros,
Al contrastar los dos grandes modelos de validación puede advertirse una desarticulación entre el modelo actual de Colciencias para medir los grupos y las formas de reconocimiento al interior de las universidades. Sin embargo, el modelo de evaluación de Colciencias en discusión propone 28 tipos de actividades nuevas que no se encuentran en los documentos de validación de la producción al interior de las Universidades. La diferencia comparativa entre el modelo vigente y el Decreto 1279 en específico es mayor, ya que sólo hay 5 productos en común entre estos dos documentos: Patente, Artículo en revista indexada, Libro de investigación, Libro de texto y Software, que en realidad son los tipos de productos más comúnmente indizados y ordenados en rankings globales o nacionales.
Los dos tipos de sistemas nacionales de reconocimiento de la producción están muy separados entre sí; y es esperable que haya diferencias entre ellos ya que no responden a propósitos exactamente iguales (Colciencias posiciona grupos de investigación mientras que las universidades reconocen la producción de sus docentes); sin embargo, el nivel tan alto de esta disparidad implica que la mayoría de los productos que un investigador elabore le va a dar puntos en un sistema pero no en el otro. Lo que lleva a preguntar si esto se debe a que la investigación (Modelo de Medición de Grupos) y la producción de conocimiento de los docentes (decreto 1279) se están concibiendo como cosas muy diferentes entre sí.
Doce de 135 tipos de productos son considerados en común por todas las universidades y modelos de medición como productos de investigación. Los otros 114 dejan una pregunta importante a los sistemas de evaluación de la producción de conocimiento. La situación se complica si se observa que cada uno de estos productos no responde a características regionales de la producción de conocimiento, sino a las características de disciplinas y campos especializados concretos que albergan procedimientos propios como la investigación creación, la investigación para la realización de traducciones modernas y antiguas, la investigación filosófica, la investigación teórica, la investigación matemática de modelos teóricos, etc.
Los 135 productos referenciados en los documentos institucionales se pueden identificar diferentes puntuaciones para 60. Éstas son valoradas con un puntaje determinado en la reglamentación que reconoce la producción académica e investigativa de los investigadores en las universidades y en Colciencias. Esta valoración se presenta en la
Tomada y corregida de Vélez Cuartas y otros, (
Nota a la Tabla 1: Rangos de valoración: Universidades Públicas 1-25; Modelo de medición 2013 Colciencias 1-10; Modelo de Medición 2008 Colciencias 0.1-4; U. Javeriana 5-200; U. Rosario 381500-3815000. Se realizó una normalización de la valoración para hacer contrastables los valores asignados aasignados por cada universidad. Las barras de cada celda representan la valoración normalizada respecto al valor máximo otorgado por cada institución al producto, lo que permite comparar las asignaciones valorativas de cada institución y el peso con respecto a las valoraciones generales. La Universidad de los Andes no hace mención a una escala cuantitativa de puntuación de los productos en los documentos consultados.
En los 60 se agrupan en 3 categorías 75 de los productos que figuran en la
Se observa que todas las instituciones universitarias, sean públicas o privadas, valoran, en conjunto, sólo 3 productos: libro de investigación, artículo en revista A según el índice de Publindex y Libro de texto. Es importante aclarar que la categoría A se ha generalizado para las revistas presentes en índices ISI y Scopus u otros índices de relevancia internacional. Las universidades públicas (U. de Antioquia, U. Nacional y U. del Valle) otorgan la misma importancia al libro de investigación, puntaje que varía en la valoración que hacen de él las universidades privadas (Universidad Javeriana y Universidad del Rosario), siendo en la Universidad del Rosario, por ejemplo, el producto más valorado. Para el caso del Modelo de Medición de Grupos del año 2008, se le otorga un importante valor en comparación con el artículo en revista A y con el libro de texto.
Las patentes son el producto de más alta valoración, excepto en la Universidad del Rosario que no las contempla (sus carreras pertenecen al campo de las ciencias sociales y humanidades). Los artículos en revistas indexadas son valorados por todas las Universidades investigadas, pero no son los de mayor valor en el sistema. Los libros, comprendiendo por ellos, el libro de investigación, el libro de texto, la traducción de libro, el capítulo de libro y el libro de ensayo, tienen diferencias valorativas entre universidades (Ver
En lo referido a la producción de Artes en las Universidades Estatales, se evidencia que sus formas de comunicación son altamente valoradas. Esto se observa en el reconocimiento de la Creación Artística Original con idéntico valor al del Libro de Investigación, inclusive por encima del artículo en revista A. La Obra Artística Complementaria, la menos valiosa de las tres producciones de Artes, es más valorada por las Universidades Estatales que el Artículo en revista B. Sin descuidar que el Decreto 1279 permite a las Universidades Estatales clasificar la producción de las Artes en cualquiera de las tres categorías, se evidencia una importante valoración de la producción Artística, valoración que permite a los investigadores de esta área comparar su producción investigativa con áreas ajenas a las suyas, teniendo igual valor en ciertos productos específicos. En cuanto a las universidades privadas, la Universidad Javeriana valora también la Creación y la Interpretación Artísticas de igual manera que el Libro de Investigación y que el Artículo en Revista A respectivamente. La Obra Artística Complementaria equivale en ella a la Traducción de un libro. Empero, la Universidad del Rosario (que no tiene programa de artes) y el modelo de medición 2008 no validan ni valoran la producción Artística, excluyendo de sus objetivos esta forma de producción de conocimiento.
La Universidad de los Andes llevó acabo el inventario, la clasificación y la valoración de toda su producción en libros, para lo cual, además de revisar en su propia biblioteca y centros de investigación, terminó de completar la información con otras cinco fuentes más. A falta de un referente que reuniera toda su información en este tipo de producción hicieron uno propio, y el documento de conceptualización del proceso intitulado “La publicación de libros de investigación en la Universidad de los Andes: una propuesta de criterios editoriales y científicos”. Este documento inclusive sirvió como referente conceptual a Colciencias para la construcción del sistema que está permitiendo registrar los libros a nivel nacional. Son procesos de recuperación de la producción propia, pero construidos bajo estándares internacionales de
De manera general, las universidades públicas que siguen el decreto 1279 dan un alto valor a la diversidad de productos académicos. Las universidades privadas limitan más su espectro. El modelo anterior de Colciencias también de carácter público como el decreto, es mucho más restringido que éste. El modelo actual de Colciencias es mucho más generoso, considera un abanico inmenso de productos con alta valoración. Se podría apelar a un argumento vocacional para explicar esta situación por la especialización disciplinar de las instituciones, pero en una mirada con lupa, es posible encontrar el conflicto latente en decisiones administrativas inconsistentes que promueven en los planes de trabajo la visibilidad en bases de datos como
Esta situación tiene dos caras: una es un sistema dinámico en búsqueda de adaptar mecanismos de valoración de las formas de comunicación dentro de un contexto institucional; tal vez no siempre con los mejores resultados, pero definitivamente dinámico. Otra, y más importante que la anterior, los mecanismos de valoración ponen en evidencia las deficiencias de los sistemas que valoran la comunicación del conocimiento investigativo. Hay muy pocos productos valorados por los rankings internacionales y no representan la totalidad de las formas de comunicación del conocimiento, ni pueden considerarse como representativos de ésta. Si bien los estándares internacionales de investigación reconocen muy pocos productos de acuerdo a las bases de datos disponibles en el mercado para inventariar la producción, las Universidades y el sistema nacional, comienzan a observar una gama amplia de posibilidades de comunicar conocimiento académico y resultado de investigación. De ninguna forma puede decirse que son nuevas formas de comunicar el conocimiento, pero sí representan una novedad para los sistemas globales de evaluación y valoración mucho más recientes, que la misma historia del conocimiento producido de manera académica (Stichbe,
¿Cuál de esta producción se encuentra registrada o almacenada para ser susceptible de ser medida? Los documentos pueden dar la posibilidad de asignar puntaje a cada uno de los tipos de productos investigativos, pero si no hay bases o repositorios donde se pueda ingresar dicha producción, no hay forma de establecer todas las capacidades y potencialidades que se están generando en la investigación y en el trabajo académico. Este apartado responde a la pregunta ¿si se fuera a hacer un inventario de la producción de cada institución a qué bases de datos o informes recurriría?
La primera respuesta es simple y sin sorpresas para las instituciones colombianas: ISI Thompson, Scopus, ScienTI y Publindex. Por instituciones aquí se han considerado no sólo las universidades y los modelos de medición de Colciencias sino también las leyes, documentos de planeación nacionales del gobierno central (CONPES por ejemplo) y del Departamento Nacional de Estadística (DANE). Estos documentos serían los que regirían en gran parte la normatividad del SNC&T+I. La visualización de la
Tomada y corregida de Vélez Cuartas y otros, (
Nodos de colores: Universidades; Nodos blancos: Documentos del SNC&T+I; Nodos negros: Fuentes de información citadas. Relaciones: citación de las fuentes de información en documentos institucionales.
Cabe señalar que las bases ISI y Scopus cubren una cantidad importante de producción, si se entiende que las formas más estandarizadas de comunicación del conocimiento son el artículo y los otros tipos de productos que habitualmente se publican en las revistas científicas y libros. Scopus además de los artículos contempla más de 360 colecciones de libros según su sitio web en agosto de 2013. ISI por su parte tiene una colección de 40000 libros aproximadamente en el
Es importante aclarar que los tres primeros tipos de referentes son útiles para evaluar la productividad de los investigadores y sus planes de trabajo, así mismo como para construir rankings de productividad y hacer uso de ellos para la generación de reconocimientos. El ScienTI es especialmente utilizado por las universidades para verificar la actividad de un grupo y su existencia institucional habilitando la posibilidad de participar en concursos por recursos o convocatorias.
Los problemas de incompletud de los registros en las bases de datos más consultadas han llevado a la U. de los Andes y la U. del Valle a diversificar sus fuentes de consulta. La primera acude especialmente a otros registros nacionales adelantados por la Bibliotecas Nacional y Luis Ángel Arango, busca su producción en tiendas globales como
La Universidad Nacional de Colombia es, en el país, la que más se ha encargado de realizar una caracterización y comprensión del sistema mundial de rankings haciendo un inventario exhaustivo de las características, de su procedencia, del año de aparición y de variables e indicadores que miden, además de saber de dónde toman los datos para construir sus indicadores (Sánchez Torres y otros,
Elaboración propia.
Nodos de colores excepto naranja: Universidades. Nodos naranja: Rankings. Nodos grises: documentos nacionales. Relación: Citación de los ranking en documentos institucionales.
La Universidad de los Andes, observa menos rankings para la construcción de indicadores que la Universidad Nacional, pero todos ellos se ubican como centrales; al ver la
Si bien los rankings analizados en este apartado dan cuenta de diferentes aspectos y variables correspondientes al desarrollo institucional y educativo de las universidades, nos ha interesado especialmente, indagar por el tipo de referencias utilizadas para observar la productividad. Así, el análisis de referencias a rankings contó con una revisión de los tipos de productos considerados. Se ha encontrado que los tipos de productos que son reconocidos en los rankings analizados por las universidades estudiadas se encuentran sólo revistas, patentes y libros, el resto de producción no tiene impacto en los rankings.
Los rankings toman como principales fuentes de información las bases de datos
La posición de las universidades en los rankings es algo que quizá le interese mucho a sus administradores, sobre todo por el efecto en la imagen que obtienen sus instituciones y los logros en la gestión. De esta manera no es difícil pensar que muchas universidades concentren sus esfuerzos en mejorar el tipo de productividad, que está siendo tomada como variable por estos rankings, y que se terminen alineando a sus formas y resultados, inclusive con sus limitaciones.
Se pueden evidenciar tres fuerzas conflictivas: por un lado los sistemas de evaluación internacional jalonan la propuesta de considerar un núcleo muy pequeño de tipos de productos investigativos que pueden ser valorados como nuevo conocimiento (Web of Science y Scopus); por el otro lado están los sistemas de investigación de diferentes disciplinas no reconocidos que participan de los debates para la inclusión de sus productos; en medio los sistemas de reconocimiento de la producción científica como los de Colciencias y las Universidades. Estas tensiones plantean distintos escenarios para las políticas institucionales: A Colciencias la búsqueda de herramientas para evaluar la calidad de los productos incluidos dentro de su sistema ampliamente incluyente (4 formas diferentes de producir en investigación), en tanto el mercado internacional impulsa sólo a reconocer un grupo muy pequeño de tipos de producción (ni siquiera una variedad completa de formas productivas). Las disciplinas no experimentales no sólo tienen un problema de visibilidad para los instrumentos de medición, sino también una larga lucha por la inclusión de nuevos productos, pero también por su adaptación a nuevas formas productivas para sus campos. Así los sistemas de reconocimiento eventualmente tendrán que incluir las partituras (por ejemplo) como productos de investigación, pero esos grupos de investigación también deben publicar sus resultados en revistas evaluadas por pares. Las Universidades en ese sentido tienen que hacer un doble esfuerzo: generar sistemas bastante especializados de observación tanto de las formas de producción de la investigación más allá de lo reconocido por sistemas internacionales (Web of Science, Scopus, por ejemplo), y la exploración conceptual y metodológica de forma de medición del impacto de la investigación en la sociedad. Colciencias está generando mecanismos de vanguardia que jalonan a las Universidades en ese sentido al reconocer productos de apropiación social del conocimiento, formación investigativa, tecnología y relación con organizaciones sociales, así como la producción de nuevo conocimiento, todos entendidos por Colciencias como productos comunicativos de la investigación.
En esta discusión las áreas de artes, arquitectura y ciencias de la comunicación son especiales. Ellas podrían presentar mayor variedad en términos de tipos de productos o formatos diferentes de comunicación de resultados, generados a partir de sus procesos particulares de investigación, trabajo académico y creación. Sin embargo, aún está en proceso de validación en varios espacios del Sistema Nacional de Ciencia y Tecnología e Innovación; la Universidad del Valle hizo explícitos los tipos de productos que validan para esta área 4 años después del decreto 1279; y de la Universidad de los Andes identificamos un documento donde se veían avances de este proceso. Para el resto de instituciones sólo se conocen las tres categorías de productos artísticos que establece el decreto 1279, pero no cómo se está implementando en cada universidad.
El libro, que es una de las formas centrales de comunicación del conocimiento en humanidades y las ciencias sociales, encuentra una amplia aceptación y fuerte valoración en términos de lo que se declara en la documentación institucional pero el acceso y registro a esta información es muy incipiente, ya que las dos principales bases de datos internacionales (Web of Science y Scopus) empiezan a registrar los libros en un momento posterior al registro de revistas, y aún no tienen una cobertura suficientemente amplia. A nivel nacional el proceso de registro de editoriales tiene una experiencia importante con el sistema de Publindex de Colciencias. Este sistema es utilizado para asignación de puntajes y escalonamiento de los docentes, pero no para medir el impacto de la producción universitaria, lo cual se puede considerar una contradicción misma del sistema. España, por ejemplo, ya empieza a integrar este tipo de clasificaciones de las editoriales en sus rankings (ver
Aunque Colciencias ha avanzado de manera importante en la definición conceptual y metodológica para el reconocimiento de diversas formas comunicativas de la investigación tanto los sistemas GrupLAC y CvLAC presentan problemas de validación de información. De este tipo de sistemas nacionales o regionales hay intentos diversos, inclusive con dificultades similares (Sanz Casado y otros,
Con respecto a los rankings, ya en la literatura científica se ha advertido sobre la importancia de diversificar las fuentes y contar con equipos especializados para leer rankings, bases de datos y otros mecanismos de vigilancia de la producción (Delgado,
Los rankings internacionales están en su apogeo, pero desde el punto de vista productivo y de impacto de la investigación sus fuentes son limitadas. Sus indicadores sólo permiten observar el impacto de las Universidades más importantes en los campos experimentales. En un primer momento habría que aclarar que impacto no es igual a calidad (Pendlebury y Adams,
En esta investigación se evidencia que algunas Universidades deciden leer su desempeño a la luz de muchos rankings. Esto hace la diferencia entre trabajar para un ranking o que el ranking sea útil para el trabajo de los investigadores. Sin embargo no hay congruencia entre las bases de datos consultadas para verificar la funcionalidad de un grupo y su impacto. Mientras es posible encontrar gran variedad de productos y formas resultantes de procesos de investigación y creación de conocimiento, sólo se miden los artículos escritos, pero aquellos que aparecen sólo a través de selecciones y algoritmos realizados por los equipos de Elsevier, ISI Thompson o
Finalmente, en términos de políticas institucionales y públicas, ¿por qué tomarse la molestia de revisar varios rankings, reconocer nuevos productos y pensar en la posibilidad de nuevos indicadores o formas de medición? Si la apuesta es tratar de entender qué están aportando al conocimiento y qué problemas están resolviendo los diferentes programas de investigación de Universidades y Centros de Investigación, la respuesta dada por un índice de impacto simplifica el potencial desarrollado. Esta investigación demuestra que en materia de políticas de evaluación, no todo el conocimiento desarrollado por Universidades colombianas está escrito en artículos ISI y Scopus, ni todo el impacto del conocimiento investigativo en la sociedad está determinado por los índices de impacto. El bache existente entre lo reconocido por las Universidades y los sistemas de medición con los que rigen su evaluación lanzan una alerta urgente sobre la necesaria reflexión acerca de lo que se entiende por el conocimiento aportado por las Universidades en una dimensión mucho más amplia que la ofrecida por los distintos índices de impacto, imperfectos en muchos aspectos y difíciles de delimitar en sus alcances.
Este artículo se hace en el marco del proyecto “Línea base para la construcción de indicadores de comunicación del conocimiento producido por el área de ciencias sociales, humanidades y artes”. Financiado por la Universidad de Antioquia. Convocatoria CODI Ciencias Sociales, Humanidades y Artes