En la página web de la Asociación Alemana de Sociología (2013) se presenta un listado del 70% de las universidades alemanas (entre ellas las más importantes) que tienen departamento de Sociología y declaran que no quieren hacer parte del ranking universitario del CHE (la organización que construye el U-Multirank). Esta situación se puede considerar como uno de los tantos síntomas para describir los descontentos con el desempeño de los rankings universitarios en el mundo (Colectivo para la Ciencias, 2013; Dorrë, 2013). Es importante tener en cuenta que la sociología nació en ese país y sigue produciendo algunos de los documentos más importantes en el campo. 


Es cierto que cada vez que aparece un ranking también aparece como mínimo un crítico de éste. Por ejemplo alguno que no quedó entre los primeros lugares. Sin embargo, cuando la medición ya no sólo opera como mecanismo de inclusión o exclusión de investigadores o instituciones, sino también de campos científicos enteros, de países con trayectoria investigativa, de publicaciones de calidad certificadas por asociaciones nacionales o regionales, de investigadores fundamentales para diferentes campos, hay algo más que pareciera no estar funcionando bien (Nederhof, 2006; Rubio Liniers, 1999; Hazelkorn, 2010; Macías Chapula, 2001). 


Algunos problemas evidenciados ocurren por ejemplo en las ciencias sociales y humanidades que concentran el grueso de su producción más destacada en libros (Archambault y Larivière, 2010). Los libros no tienen bases de datos consistentes y por lo tanto quedan sin registro gran cantidad de obras relevantes, como ya lo habían evidenciado Glänzel y Schoepflin (1999) algunos años atrás y aún lo denuncian Giménez y Torres-Salinas (2011). Si bien ISI y Scopus están haciendo un esfuerzo por vincular otras formas de producción en productos como el Book Citation Index, por ejemplo, las editoriales incluídas por estas bases de datos continúan siendo las de las grandes universidades de habla inglesa, o importantes trasnacionales como Elsevier, Wiley, etc., dejando también por fuera parte importante de la producción no registrada en estas grandes editoriales (Torres Salinas, 2013; Vélez Cuartas y otros, 2013b).


Otro problema se evidencia en la cobertura. Rodríguez Yunta (2010) evidenció de manera precisa los subregistros de publicaciones Iberoamericanas en WOS y Scopus. De manera general, Latindex considera en su catálogo cerca de 20.000 revistas iberoamericanas en contraste con las cerca de 500 presentes en las bases de datos ISI y Scopus en el 2010. Pero estas bases no presentan sólo problemas de cobertura, sino también en la delimitación de sus alcances. Por ejemplo, Michels y Schmoch (2012) encuentran que es imposible establecer una correlación exacta entre el crecimiento de la ciencia y el crecimiento de las bases de datos WOS.


De otro lado, Sanz-Casado y otros (2013) advierten sobre la baja capacidad de observación de las dinámicas nacionales que ofrecen los rankings internacionales. La existencia de múltiples observatorios nacionales como el Atlas de la Ciencia Mexicana (http://atlasdelacienciamexicana.org/), el Observatorio IUNE en España (http://www.iune.es/), el Observatorio Colombiano de Ciencia y Tecnología (http://www.ocyt.org.co) y otras múltiples experiencias nacionales dan cuenta de mediciones más finas de la dinámica institucional. En la misma vía de la construcción de indicadores más finos, aparecen algunos índices más recientes como el ranking de editoriales de libros científicos en España y otros con una trayectoria de un poco más de una década como Publindex en Colombia para la vigilancia de la calidad de revistas nacionales. Estas bases de datos e índices evidencian la pertinencia de la diversificación en las formas de medición con respecto a las bases de datos bibliográficas e índices internacionales. 


Es importante anotar que esta diversificación permite evidenciar carencias de los sistemas internacionales. En el caso específico de Publindex, Romero y otros, (2013), encuentran inconsistencias al hacer un contraste entre las revistas colombianas reconocidas por este índice y las presentes en WOS y Scopus. Los investigadores descubren que algunas revistas de calidad reconocidas por Publindex, con las mismas condiciones y características de madurez, no se encuentran en bases de datos como WOS y Scopus y otras sí. Igualmente Estrada y Forero (2010), descubren revistas de calidad que no cumplen con algunos criterios de las bases de datos internacionales para ser indizadas pero tienen una alta difusión internacional a través de los sistemas Open Journal. Google Scholar es planteado hoy como una alternativa para solucionar estos problemas, sin embargo, en una revisión profunda se encuentra que los datos no son transparentes, ni la empresa da cuenta exacta de los procedimientos que permiten el rastreo de la información (Cabezas y Torres, 2012; Delgado y Cabezas Clavijo, 2013).


En resumen se puede decir que la medición de la ciencia y el conocimiento emergente de la investigación académica enfrenta problemas complejos como son la carencia de bases de datos globales fiables para todos los campos de conocimiento; el no reconocimiento de otras formas de comunicación del conocimiento académico investigativo; y el establecimiento de puentes metodológicos y teóricos entre las situaciones nacionales y regionales de la ciencia (micro) y las dinámicas globales (macro). Este artículo se interesa especialmente por el segundo problema, el del reconocimiento de productos en los sistemas de observación y medición de la investigación académica y científica. Si bien las críticas se han centrado en la no observación de productos publicados como los libros u otras publicaciones seriadas, aquí se sostiene que el problema es aún más profundo, y que existen muchos más tipos de productos emergentes de la investigación académica que se pueden considerar como comunicación de nuevo conocimiento, pero aún no son visibles al debate internacional al respecto de lo que puede ser considerado como tal.


Para resolverlo, se han consultado los sistemas de valoración de la producción de conocimiento de las 6 universidades más visibles de Colombia en los rankings internacionales, así como los documentos gubernamentales que rigen el Sistema Nacional de Ciencia, Tecnología e Innovación. Los resultados presentados en este documento dan cuenta de: (1) los tipos de productos reconocidos como productos de conocimiento e investigación; (2) las diferencias en la valoración de estos productos por parte de las instituciones observadas; (3) las bases de datos y fuentes utilizados para hacer inventarios de la producción; (4) y los sistemas de evaluación de la producción investigativa y de conocimiento utilizados.


El objetivo general de este trabajo es identificar todas las formas de comunicación del conocimiento reconocidas por los sistemas de evaluación y seguimiento de la producción académica e investigativa en Colombia. El cumplimiento de este objetivo permite la construcción de una línea para la construcción en etapas posteriores de esta investigación de herramientas para la medición de la producción de conocimiento. Se recogen los sistemas más importantes de reconocimiento de los productos de investigación: el de las Universidades y el del Sistema Nacional de Ciencia, Tecnología e Innovación liderado por Colciencias.


Los resultados fueron obtenidos a través de una estrategia de investigación documental que combina técnicas exploratorias de búsqueda de información y análisis cuantitativos. Se consideran los documentos que regulan la asignación de estímulos por productividad académica en las Universidades y en el Sistema Nacional de Ciencia, Tecnología e Innovación liderado por Colciencias. En el caso de Colciencias se han tomado tanto el modelo anterior y el vigente que en el momento de escribir este artículo estaban en período de transición. Es decir, las directrices del modelo anterior vigente desde el 2008 hasta noviembre de 2013 (reemplazado por el actual) operan como mecanismo de clasificación para la producción investigativa en Colombia, hasta los resultados de la aplicación del modelo de medición que se tendrán disponibles luego de ser escrito este artículo. El Decreto 1279 estipula la asignación de estímulos a la producción académica en las Universidades Públicas del país. Este Decreto fue publicado en el año 2002 y continúa vigente. Se consideran también las normas particulares de las Universidades privadas vigentes al momento de realizar este estudio. 


A continuación la descripción de las fases de recolección de información y análisis.


Delimitación y recolección de información: Se seleccionaron 41 documentos institucionales correspondientes a la planeación y evaluación de la investigación en las 6 universidades más grandes en producción y mejor posicionadas del país según los rankings de Shangai, Times Higher Education, QS world, Scimago y Webometrics. A continuación se indican los nombres de las instituciones, su fecha de creación, las páginas web institucionales y su carácter público o privado: Universidad Nacional de Colombia (1867, http://www.unal.edu.co/, pública) , Universidad de Antioquia (1803, http://www.udea.edu.co/, pública), Universidad del Valle (1945, http://www.univalle.edu.co/, pública), Universidad de los Andes (1948, http://www.uniandes.edu.co/, privada), Universidad del Rosario (1653, http://www.urosario.edu.co/, privada) y Pontificia Universidad Javeriana de Bogotá (1623, http://puj-portal.javeriana.edu.co/, privada). Igualmente se consideraron las leyes, decretos, acuerdos y resoluciones del orden nacional relacionadas con el Sistema de Ciencia, Tecnología e Innovación (CTI), principalmente producidos por Colciencias (http://www.colciencias.gov.co/, el Departamento Nacional de Planeación (http://www.dnp.gov.co/ y el Observatorio Colombiano de Ciencia y Tecnología (http://www.ocyt.org.co/). Por parte de las Universidades se consideraron los documentos institucionales en materia de ciencia, investigación y validación de producción de conocimiento (el listado de los documentos aparece adjunto en la bibliografía). Toda la documentación fue recabada de las páginas Web Institucionales y verificada vía telefónica con las unidades respectivas en caso de duda sobre la vigencia y actualidad.


Se construyó una base con cuatro tipo de datos: (1) los registros de referencias a las diferentes formas de comunicación de los resultados de investigación y conocimiento reconocidas; (2) las escalas de valoración de los productos considerados por cada institución; (3) los sistemas de evaluación de la investigación y la producción de conocimiento mencionados por los documentos de planeación y reglamentación de las instituciones; (4) y las bases de datos utilizadas para hacer inventarios de sus productos.


Todos los productos mencionados en (1) o (2) son considerados por las universidades como producción académica vinculada en muchos casos al ejercicio de la investigación o al desarrollo de conocimiento e igualmente se conservaron los nombres de las tipologías de productos y clasificación de estos en la forma en que figuraban en los documentos de las instituciones mencionadas. El Decreto 1279 y las normatividades privadas reglamentan el estímulo a sus docentes e investigadores por productividad académica. Esa productividad se define en términos de tipos de productos sin calificar su carácter epistemológico o metodológico y se consideran por igual trabajos de carácter científico, técnico, artístico, humanístico o pedagógico. Podría decirse que estas instituciones estimulan la producción de conocimiento y no sólo la producción investigativa en sentido estricto.


Desde otro punto de vista, Colciencias (2013b), en su último modelo de medición 2013, caracteriza de manera más explícita la producción como investigativa y propone 4 categorías: -1- Nuevo conocimiento: referido a formas de producción: artículos en revistas indexadas en ciertas bases de datos, libros y capítulos de libro publicados por editoriales de prestigio, patentes y variedades vegetales y animales.; -2- Desarrollo tecnológico e innovación: productos tecnológicos certificados, empresariales, consultoría y leyes o normas; -3- Apropiación social y circulación de conocimiento: participación ciudadana, estrategias pedagógicas, participación en eventos y redes de conocimiento, comunicación social del conocimiento y reconocimientos; -4- Formación de recursos humanos: tesis, proyectos de grado, I+D+i con empresas, extensión y responsabilidad social, apoyo a programas de formación. Todas son consideradas actividades de investigación y son calificadas como formas de especialización de la producción investigativa. Sin embargo el modelo no aclara la participación de otras formas investigativas provenientes del terreno de las artes, la arquitectura, el diseño o algunas ramas de las ciencias de la comunicación, las cuales también tienen grupos de investigación inscritos en el sistema Scienti de registro oficial de toda la producción investigativa colombiana.


En este sentido, hay gran cantidad de actividades producidas en los grupos de investigación de estas áreas que queda en una especie de limbo en donde no está claro si lo que produce un grupo de investigación en teatro al hacer un trabajo etnográfico para realizar una adaptación de una obra teatral es un producto de investigación o de desempeño profesional. Según la definición de Colciencias, al ser actividad de grupo debería quedar catalogada como actividad de investigación dentro de uno de los 4 subgrupos. Es verdad que pueden producir un artículo, pero en realidad el producto de conocimiento es la adaptación y aunque está catalogada dentro de la clasificación de Colciencias como otro tipo de producción, no recibe valoración. Sin embargo, las normatividades de las universidades la reconocen. Este tipo de investigación, llamada investigación-creación (Moreno Vargas, 2012) es válida como producto investigativo tanto como el descubrimiento de una nueva forma de conformación molecular desde el punto de vista de las definiciones institucionales y desde el punto de vista de la tipología documental que se están considerando en este trabajo.


Se conservará de manera general el término producción de conocimiento o comunicación de la producción de conocimiento investigativo como equivalente. Es cierto que no todos los productos realizados por los profesores universitarios pueden ser considerados como productos de investigación, pero todos los tipos son susceptibles de ser tomados en cuenta por resultados de investigación de grupos de las diferentes áreas. Así lo corroboran los documentos de trabajo del área de ciencias sociales, artes y humanidades de la Universidad de Antioquia (2012) y algunos documentos utilizados en esta investigación de la Universidad del Valle y la Universidad de los Andes.


Análisis: se hizo un análisis de redes exploratorio para procesar la base de datos construida. Se construyeron tres redes y se calcularon valores básicos de centralidad. A mayor centralidad de grado de los datos institucionales (tipo de producto, base de datos consultada o ranking consultado), mayor su relevancia relativa para el sistema teniendo en cuenta que la población escogida es pequeña (no irrelevante en términos cualitativos). Cuanto mayor es el grado de las instituciones mayor el tipo de productos académicos e investigativos, considerados o reconocidos en sus documentos prospectivos y evaluativos (Freeman, 1978/1979). Para el procesamiento de la información se utilizó el software Pajek 3.13 (De Nooy y otros, 2011) y VOSViewer 1.5.4 (www.vosviewer.com).


Igualmente, se hizo una tabla comparativa de los valores asignados a los tipos documentales en los sistemas de valoración institucional. Se construyó una escala de valores normalizados y se contrastaron: los considerados por las instituciones, por el Decreto 1279, por el modelo actual de medición de grupos del 2013 y por el anterior del 2008.


Se pueden evidenciar tres fuerzas conflictivas: por un lado los sistemas de evaluación internacional jalonan la propuesta de considerar un núcleo muy pequeño de tipos de productos investigativos que pueden ser valorados como nuevo conocimiento (Web of Science y Scopus); por el otro lado están los sistemas de investigación de diferentes disciplinas no reconocidos que participan de los debates para la inclusión de sus productos; en medio los sistemas de reconocimiento de la producción científica como los de Colciencias y las Universidades. Estas tensiones plantean distintos escenarios para las políticas institucionales: A Colciencias la búsqueda de herramientas para evaluar la calidad de los productos incluidos dentro de su sistema ampliamente incluyente (4 formas diferentes de producir en investigación), en tanto el mercado internacional impulsa sólo a reconocer un grupo muy pequeño de tipos de producción (ni siquiera una variedad completa de formas productivas). Las disciplinas no experimentales no sólo tienen un problema de visibilidad para los instrumentos de medición, sino también una larga lucha por la inclusión de nuevos productos, pero también por su adaptación a nuevas formas productivas para sus campos. Así los sistemas de reconocimiento eventualmente tendrán que incluir las partituras (por ejemplo) como productos de investigación, pero esos grupos de investigación también deben publicar sus resultados en revistas evaluadas por pares. Las Universidades en ese sentido tienen que hacer un doble esfuerzo: generar sistemas bastante especializados de observación tanto de las formas de producción de la investigación más allá de lo reconocido por sistemas internacionales (Web of Science, Scopus, por ejemplo), y la exploración conceptual y metodológica de forma de medición del impacto de la investigación en la sociedad. Colciencias está generando mecanismos de vanguardia que jalonan a las Universidades en ese sentido al reconocer productos de apropiación social del conocimiento, formación investigativa, tecnología y relación con organizaciones sociales, así como la producción de nuevo conocimiento, todos entendidos por Colciencias como productos comunicativos de la investigación.


En esta discusión las áreas de artes, arquitectura y ciencias de la comunicación son especiales. Ellas podrían presentar mayor variedad en términos de tipos de productos o formatos diferentes de comunicación de resultados, generados a partir de sus procesos particulares de investigación, trabajo académico y creación. Sin embargo, aún está en proceso de validación en varios espacios del Sistema Nacional de Ciencia y Tecnología e Innovación; la Universidad del Valle hizo explícitos los tipos de productos que validan para esta área 4 años después del decreto 1279; y de la Universidad de los Andes identificamos un documento donde se veían avances de este proceso. Para el resto de instituciones sólo se conocen las tres categorías de productos artísticos que establece el decreto 1279, pero no cómo se está implementando en cada universidad.


El libro, que es una de las formas centrales de comunicación del conocimiento en humanidades y las ciencias sociales, encuentra una amplia aceptación y fuerte valoración en términos de lo que se declara en la documentación institucional pero el acceso y registro a esta información es muy incipiente, ya que las dos principales bases de datos internacionales (Web of Science y Scopus) empiezan a registrar los libros en un momento posterior al registro de revistas, y aún no tienen una cobertura suficientemente amplia. A nivel nacional el proceso de registro de editoriales tiene una experiencia importante con el sistema de Publindex de Colciencias. Este sistema es utilizado para asignación de puntajes y escalonamiento de los docentes, pero no para medir el impacto de la producción universitaria, lo cual se puede considerar una contradicción misma del sistema. España, por ejemplo, ya empieza a integrar este tipo de clasificaciones de las editoriales en sus rankings (ver http://epuc.cchs.csic.es/SPI/).


Aunque Colciencias ha avanzado de manera importante en la definición conceptual y metodológica para el reconocimiento de diversas formas comunicativas de la investigación tanto los sistemas GrupLAC y CvLAC presentan problemas de validación de información. De este tipo de sistemas nacionales o regionales hay intentos diversos, inclusive con dificultades similares (Sanz Casado y otros, 2013), sin embargo su consolidación permitiría obtener datos más precisos y de carácter público. Mientras el sistema se acomoda, una salida alternativa puede ser apostar por la construcción de bases de datos institucionales que permitan hacer una medición más precisa de su producción. Estas bases de datos pueden estar en comunicación con las bases de datos de Colciencias en el futuro, pero eso dependerá únicamente de los acuerdos políticos a los que se logre llegar por parte de las instituciones.


Con respecto a los rankings, ya en la literatura científica se ha advertido sobre la importancia de diversificar las fuentes y contar con equipos especializados para leer rankings, bases de datos y otros mecanismos de vigilancia de la producción (Delgado, 2012; Torres y Cabezas, 2012). En este sentido no todas las Universidades mejor posicionadas en Colombia lo están haciendo. Suponemos que no es sólo un problema de las universidades colombianas, en tanto es tema de debate en las publicaciones sobre ciencias de la información. La dependencia de bases de datos de empresas comerciales pone en riesgo la toma de decisiones en cuanto al reconocimiento de diferentes formas de comunicación del conocimiento. De acuerdo con lo anterior, las acciones de la U. de los Andes o la U. Nacional permiten observar un conjunto de buenas prácticas que pueden explicar su visibilidad creciente: vigilancia en distintas bases, reflexividad sobre los datos en producción de documentos y consideración de productos de nuevo conocimiento en discusiones propuestas desde las dependencias administrativas de la investigación.


Los rankings internacionales están en su apogeo, pero desde el punto de vista productivo y de impacto de la investigación sus fuentes son limitadas. Sus indicadores sólo permiten observar el impacto de las Universidades más importantes en los campos experimentales. En un primer momento habría que aclarar que impacto no es igual a calidad (Pendlebury y Adams, 2012; Smith, 2012). Con esto aclarado habría que observar que la oferta de bases de datos está determinada por el mercado que es estrecho en tanto podría considerarse un duopolio. El producto ofrecido es vendido como la producción investigativa de la ciencia de mayor impacto. Sin embargo, encontramos en esta investigación gran cantidad de productos que no están incluidos en inventarios de producción internacional. Si a eso sumamos todas las voces de asociaciones nacionales, las críticas ya expuestas al inicio de este escrito y sobre todo la necesidad de entender el impacto real de la producción académica en Universidades por fuera de las 100 primeras, habría que hacer una revisión de las formas de lectura de todos estos rankings.


En esta investigación se evidencia que algunas Universidades deciden leer su desempeño a la luz de muchos rankings. Esto hace la diferencia entre trabajar para un ranking o que el ranking sea útil para el trabajo de los investigadores. Sin embargo no hay congruencia entre las bases de datos consultadas para verificar la funcionalidad de un grupo y su impacto. Mientras es posible encontrar gran variedad de productos y formas resultantes de procesos de investigación y creación de conocimiento, sólo se miden los artículos escritos, pero aquellos que aparecen sólo a través de selecciones y algoritmos realizados por los equipos de Elsevier, ISI Thompson o Google Scholar.


Finalmente, en términos de políticas institucionales y públicas, ¿por qué tomarse la molestia de revisar varios rankings, reconocer nuevos productos y pensar en la posibilidad de nuevos indicadores o formas de medición? Si la apuesta es tratar de entender qué están aportando al conocimiento y qué problemas están resolviendo los diferentes programas de investigación de Universidades y Centros de Investigación, la respuesta dada por un índice de impacto simplifica el potencial desarrollado. Esta investigación demuestra que en materia de políticas de evaluación, no todo el conocimiento desarrollado por Universidades colombianas está escrito en artículos ISI y Scopus, ni todo el impacto del conocimiento investigativo en la sociedad está determinado por los índices de impacto. El bache existente entre lo reconocido por las Universidades y los sistemas de medición con los que rigen su evaluación lanzan una alerta urgente sobre la necesaria reflexión acerca de lo que se entiende por el conocimiento aportado por las Universidades en una dimensión mucho más amplia que la ofrecida por los distintos índices de impacto, imperfectos en muchos aspectos y difíciles de delimitar en sus alcances.