Los estamentos gubernamentales responsables de la formulación de políticas científicas se encuentran receptivos ante la medición de los avances institucionales en materia científica, llevados en gran medida por los estándares internacionales que privilegian la ponderación cuantitativa de la producción académica (Shin y Cummings, 2010). Con el paso del tiempo, la implementación de estos estándares demanda mayores esfuerzos institucionales, reflejados en la necesidad de aplicar ciertos modelos, estrategias e instrumentos de evaluación para medir los factores de calidad de sus actividades de investigación frente al contexto internacional.

En diversos países de Latinoamérica, los gobiernos han venido estableciendo mecanismos de evaluación de los investigadores desde la década de 1980, enfocándose esencialmente en su productividad como elemento determinante para el avance científico y para el sostenimiento de los programas de investigación que promueven las diferentes agencias; la productividad condiciona, además, para acceder a recursos de financiamiento (Vessuri y Sonsiré, 2010).

Sin embargo, la cuantificación de los avances en investigación no siempre resulta sencilla; entre las distintas áreas del conocimiento existen múltiples objetos de estudio abordados con metodologías y perspectivas teóricas diversas, haciéndoles difícilmente equiparables (Ibarra y otros, 2006). Específicamente las Ciencias Sociales no se han nutrido de manera robusta de índices que permitan conocer, a ciencia cierta, los factores y atributos que influyen en la categorización de los grupos de investigación a partir de su producción científica. Colombia no ha sido ajena a esta situación, junto con Costa Rica, El Salvador, Paraguay y Venezuela, constituye uno de los países cuya cantidad de investigadores en Ciencias Sociales representan del 21 al 30% de todos los científicos del país (Vessuri y Sonsiré, 2010), siendo sin duda una gran cantidad, sin embargo, afronta dificultades relacionadas con la forma de medir la producción y calidad de dichos investigadores organizados en grupos de investigación, puesto que no es sencillo aplicar un modelo único de medición a todas las áreas del conocimiento sin reconocer los elementos y dinámicas particulares de cada quehacer disciplinario (Larivière y otros, 2012).

En tal sentido, la medición de productividad de los grupos de investigación puede tornarse relativa, pues no necesariamente el valor superlativo que tradicionalmente se otorga a la producción de artículos en bases de élite mundial como WoS y Scopus, constituye un indicador acertado para cuantificar el nivel de producción y calidad de todas las disciplinas. En Ciencias Sociales, por ejemplo, se reconoce una preferencia de diversas áreas del conocimiento por publicar libros e investigar de forma individual (Hicks, 2004; Nederhof, 2006), o en el caso de la generación de artículos científicos, es más común que se publiquen en revistas incluidas en índices regionales o locales (Archambault y otros 2006; Gantman, 2011; Rosario-Sierra y otros, 2017). Colombia es ejemplo claro de ello, al tratarse de un país donde es habitual que los investigadores empleen revistas incluidas en Scielo como medio de difusión de sus resultados científicos, esto constituye una suerte de estrategia de fortalecimiento regional frente a la producción de conocimiento (Vélez-Cuartas, Lucio-Arias y Leydesdorff, 2016).

Claramente, los grupos de investigación adscritos a universidades y laboratorios o centros científicos independientes, tienen a su cargo la responsabilidad de generar conocimiento dirigido a la resolución de problemas a nivel social, empresarial o industrial (Rueda-Barrios y Rodenes-Adam, 2016), pero la medición de su productividad y la determinación de sus niveles de calidad depende de contar con bases de datos fiables, que integren los diferentes tipos de productos o formas de comunicación científica considerados relevantes según el área de conocimiento, y la articulación entre lo metodológico y lo teórico a nivel regional y global (Vélez-Cuartas y otros, 2014).

En el caso colombiano, la actividad científica se circunscribe mayoritariamente a las universidades (Aldana, 2010). La evidencia nacional señala que, en la medida en que las universidades tienen mejores respuestas institucionales a los cambios en las políticas científicas, más capacidad de adaptación interna, y profesionales con alta formación, desarrollan niveles más significativos de producción científica (Bucheli y otros, 2012) que se concentra en los grupos institucionales de investigación.

En los últimos años se han venido haciendo esfuerzos por consolidar un proceso de medición de estos grupos, tarea que ha sido asumida por el Departamento Nacional de Ciencia, Tecnología e Innovación (Colciencias), en búsqueda de perfeccionar un modelo que permita evaluar a los grupos tomando en cuenta las diferencias y características de los distintos campos de conocimiento. Sin embargo, claramente existe un privilegio por la generación de artículos publicados en revistas indexadas en los índices bibliográficos de alto nivel (WoS y Scopus), que permitan aumentar la visibilidad e impacto de la producción de nuevo conocimiento (Colciencias, 2014). Vale decir, que este modelo no desconoce otra diversidad de productos como son los libros y capítulos de libro de investigación, así como productos de divulgación, de apropiación social y de formación de recursos humanos, estos últimos referidos a tesis de grado a nivel de maestría y doctorado (Colciencias, 2017).

Este modelo de medición es un instrumento creado con el propósito de conocer las capacidades y dinámicas de los grupos de investigación de Colombia, con miras a fortalecer la gestión y la toma de decisiones frente a las políticas de estímulo y priorización de los recursos de inversión, financiación y sostenibilidad de los proyectos de CTeI. Este modelo conceptual, matemático y estadístico describe la categorización de los grupos de investigación en diversos niveles; inicialmente eran cinco, denominados categorías (A1, A, B, C y D), cuya vigencia perduró de 2012 hasta 2016, pero a partir de 2017, con los ajustes que viene sufriendo el modelo con la finalidad de robustecerlo, se suprimió la última categoría.

La categorización se obtiene a partir de la distribución en cuartiles de la productividad global de los grupos por área de conocimiento. Esta clasificación parte del cálculo de indicadores de producción asociados con los índices de colaboración, cohesión, circulación, producción de nuevo conocimiento, desarrollo tecnológico, apropiación social y formación de recursos humanos (Colciencias, 2017).

Una vez implementado entre los años 2013 al 2015, y luego de analizarse el informe de 2016 realizado por el Observatorio Colombiano de Ciencia y Tecnología (OCyT), puede inferirse un efecto positivo del modelo en el incremento del índice de nuevo conocimiento en Ciencias Sociales, especialmente si se analizan los años 2014 y 2015 que muestran un incremento del 3.83% y 1.47% respectivamente, de la producción colombiana en revistas indexadas en WoS y Scopus (OCyT, 2016). Sin embargo, estos datos contrastan con los indicadores de productividad global (todas las áreas) presentado por la Red de Indicadores de Ciencia y Tecnología Iberoamericana e Interamericana (RICYT) en el 2016, debido a que sigue manteniéndose un rezago en la productividad de Colombia en comparación con países latinoamericanos como Brasil, México, Argentina y Chile (RICYT, 2016).

Sin embargo, como ya se ha dicho, la medición de la productividad científica no se restringe a la publicación de artículos en bases internacionales, sino que contempla diversas categorías en las que se reconoce incluso el trabajo de formación para investigadores (tesis) a nivel de postgrado, la articulación con organizaciones sociales y procesos de apropiación, y la generación de otros productos de nuevo conocimiento como los libros y capítulos de libros, lo que constituye a la luz de algunos autores, mecanismos de vanguardia en la evaluación de grupos de investigación (Vélez-Cuartas y otros, 2014).

En el caso de las tesis de postgrado, ha crecido el interés por su análisis, pasando a ser consideradas como un indicador importante en la capacidad de formación investigativa de las universidades (Sanz-Casado y otros, 2011), además de aportar significativamente al estudio de fenómenos sociales relevantes, con logros científicos valiosos para los investigadores, las disciplinas y los países mismos (Fernández-Cano y otros, 2011), incluso, la producción de trabajos doctorales se ha asociado con el aumento de la publicación de artículos incluidos en WoS y Scopus (Sánchez y otros, 2017), en cuanto muchos de estos se derivan de la investigación doctoral.

También se ha reseñado el valor de las dinámicas de citación en tesis de maestría y doctorado para identificar los patrones de uso del material científico, los cuales varían de acuerdo con las disciplinas (Becker y Chiware, 2015; Rosenberg, 2015). Ahora bien, los libros y capítulos de libros resultado de la investigación, también son sustanciales al momento de evaluar la producción de grupos en Ciencias Sociales, pues constituyen el medio más tradicionalmente empleado para comunicar el conocimiento en estas disciplinas (Rosario-Sierra y otros, 2017), de forma que no incluirlos afecta la visibilidad e impacto de los hallazgos en los circuitos de reconocimiento internacional para las Ciencias Sociales.

De aquí la necesidad de realizar el presente estudio, en el cual se han trazado dos objetivos principales, el primero consiste en evaluar la productividad de grupos de investigación en el campo de las Ciencias Sociales, contemplando en este caso el análisis de la producción de nuevo conocimiento indexada en WoS y Scopus, pero también en otros índices locales y regionales (Publindex, Redalyc, Scielo, LILACS, etc.), así como otros productos científicos (libros y capítulos de libros) y de formación de recursos humanos (tesis). El segundo objetivo de este trabajo consiste en probar un modelo de clasificación a través de un análisis multivariado basado en técnicas bibliométricas y estadísticas, dirigido a reconocer el peso de la producción de los grupos para alcanzar categorías significativas dentro del modelo de medición colombiano, que intenta ofrecer alternativas diferenciales a nivel disciplinar.

¿Cuáles son los productos o formatos de divulgación del conocimiento más pertinentes en la evaluación del estado de la ciencia en las disciplinas sociales? ¿Cómo se puede evaluar a los investigadores sociales y a sus grupos de investigación? Estas son preguntas resonantes y reiteradas en la investigación que aborda la productividad científica de las disciplinas sociales, cuestiones que también son aplicables para las humanidades.

En este estudio se abordaron estos interrogantes a partir del desarrollo de dos objetivos esenciales, el primero, enfocado en evaluar la producción de los grupos de Ciencias Sociales en Colombia, considerando dos conjuntos de productos, los de Nuevo conocimiento y los de Formación de recursos humanos. El segundo objetivo fijó su interés en identificar cuáles de esos productos mostraban un valor significativo en la clasificación de los grupos de investigación.

En un principio, es necesario recalcar que la producción científica colombiana en Ciencias Sociales no es voluminosa, lo que refuerza evidencias de informes previos en los cuales sobresale el rezago de la productividad de científicos nacionales en comparación con otros países de la región como Brasil, Argentina, México y Chile (RICYT, 2016). Los promedios de producción por grupo de investigación a lo largo del decenio evaluado son tan solo de 7.98 artículos WoS/Scopus, 9.8 artículos tipo D, 9.4 libros y 10.3 capítulos de libro.

En relación con los artículos científicos, se ha venido cerrando la brecha en la producción en índices de alto impacto frente a aquellos de más reconocimiento regional; la publicación de artículos en WoS y Scopus ha venido aumentando, lo que responde a un sistema de medición que estimula mucho más este tipo de producto. Aún con esto, sigue siendo mayor la publicación de artículos en otras bases de indexación (Scielo, Redalyc, LILACS, etc.); ciertamente, las revistas incluidas en estas bases cuentan con formatos más flexibles, incluso con mayor apertura a propuestas metodológicas cualitativas y con líneas editoriales que se ajustan al idioma de los autores (Gantman, 2011), además de ello, se trata de órganos de difusión en los que se generan estrategias de integración sur-sur (Vélez-Cuartas y otros, 2016), lo que garantiza la participación de coautorías entre investigadores con horizontes comunes.

A todo ello se suma el hecho que la mayor parte de las revistas con alto nivel de impacto incluidas en WoS y Scopus son editadas en países angloparlantes (Ibarra y otros, 2006), esto, además de plantear limitaciones idiomáticas para el autor hispano, también conlleva que las líneas temáticas y el público al que se dirige pueden no estar familiarizado con los fenómenos sociales del contexto colombiano, pues como se ha descrito en la literatura especializada, la investigación en Ciencias Sociales tiende a enfocarse en problemas de orden local o regional, con fuertes influencias culturales (Huang y Lin, 2011), de ahí también la predilección por publicar en revistas latinoamericanas (Gantman, 2011), en las que hay más facilidad de compartir intereses sociales.

El libro y los capítulos de libros siguen siendo uno de los formatos apetecibles en las disciplinas sociales; en grupos colombianos se registra un total de 1587 y 1737 productos respectivamente, en el periodo de tiempo evaluado, sin embargo, llama la atención la falta de aporte de estos productos en el modelo de clasificación y regresión, lo que parece sugerir que no ofrecen el suficiente peso para contribuir con la categorización de los grupos de investigación. Un elemento a considerar en el impacto de los libros es su nivel de internacionalización, como es obvio, la publicación internacional ayuda a inscribir los resultados científicos en círculos más amplios de discusión académica (Verleysen y Engels, 2014), sin embargo, esto también implica que los investigadores escojan adecuadamente los escenarios geográficos para lograr visibilidad transfronteriza considerando la relevancia de los temas de estudio, el abordaje de fenómenos que superen el interés local y las características del público lector (Thompson, 2005).

Ahora bien, en el modelo científico colombiano no existen mecanismos suficientes de control para la calidad de los libros y capítulos de libros; su existencia obedece al registro completo de indicadores de catalogación bibliotecológica en la plataforma digital de los grupos de investigación, y su reconocimiento se ajusta a la presentación de soportes editoriales donde se declara que se trata de trabajos de investigación con revisores externos. A diferencia de los artículos, no hay bases de datos específicas que faciliten revisar que las condiciones de desarrollo de estos productos se cumplan cabalmente. Además, la producción de libros en Colombia es un fenómeno eminentemente doméstico, en su gran mayoría generado a través de los sellos editoriales de las universidades, a esto se suma la baja tasa de citación internacional de este tipo de trabajos, de manera que su reconocimiento como producto científico requiere también del desarrollo de esfuerzos metodológicos dirigidos a generar indicadores específicos que permitan determinar aspectos de calidad editorial susceptibles de aumentar el impacto de estas publicaciones.

Elementos como el nivel de especialización, la garantía de los procesos de calidad editorial mediante revisión por pares, la inclusión de los textos en bases bibliográficas con reconocimiento internacional y hasta contar con adecuados sistemas de posicionamiento en el mercado, son factores que determinan en gran medida el nivel de impacto de los libros (Giménez-Toledo y Román-Román, 2009; Giménez-Toledo y otros, 2013). Colciencias por su parte, está llamada a ampliar la discusión sobre el sistema evaluativo de este tipo de formato con el fin de ofrecer garantías acerca del nivel mínimo de calidad, pertinencia y relevancia de tales contribuciones.

Por otro lado, el modelo de evaluación colombiano reconoce las tesis de maestría y doctorado como productos científicos, al considerarlas como resultados de investigación que cuentan con asesoría especializada y revisión por pares, además de ser productos finales de procesos de formación de recursos humanos para la investigación científica. La inclusión de estos trabajos como productos de los grupos de investigación conlleva un franco reconocimiento de la diversidad de formatos o formas de comunicación del conocimiento en las diferentes disciplinas de la ciencia, lo cual posiciona al modelo colombiano como uno de los que intenta mostrar suficiente apertura y visión progresista de lo que se considera producción científica (Vélez-Cuartas y otros, 2014). Esto es particularmente relevante si se reconoce que la literatura especializada resalta el valor de las tesis como fuentes de generación de artículos en índices de alto impacto (Sánchez y otros, 2017), además de ser uno de los principales medios de uso y aprovechamiento de la producción escrita en artículos y libros (Becker y Chiware, 2015; Rosenberg, 2015).

El aumento progresivo de dirección de tesis por investigadores adscritos a grupos de investigación colombianos corresponde con la oferta que existe de programas de postgrado, así como el mayor ingreso a este nivel de formación. Cada día es más común adelantar estudios de maestría y doctorado cuya culminación se ajusta a la presentación de trabajos de investigación en el formato de tesis, las mismas se difunden a través de repositorios y diversos medios digitales que facilitan la consulta de sus contenidos, como señalan Sánchez y otros (2017), hoy más que nunca hay facilidad de acceder a trabajos de formación posgradual gracias al uso de herramientas tecnológicas, lo que conduce a un mayor consumo y apropiación de esta producción, que anteriormente se restringía al uso en bibliotecas físicas.

Precisamente, en el modelo de clasificación construido, las tesis doctorales junto con los artículos incluidos en WoS y Scopus son los productos que predicen la clasificación de los grupos de investigación. A manera de síntesis podemos reiterar algunos resultados esenciales: Los artículos incluidos en WoS y Scopus son el principal producto para la clasificación de grupos en categoría A1; para el caso de la categoría A, sobresale la producción de tesis doctorales y, finalmente, los grupos B se explican por bajos indicadores en ambos tipos de productos.

La producción analizada permite pronosticar con bastante certeza los grupos categoría B, pero los grupos categorizados en A1 y A no se pronostican con precisión. Adicionalmente, entre las categorías A y B no se aprecian mayores diferencias pues se produce cantidad similar de libros, capítulos de libro y artículos tipo D; sólo se diferencian en la cantidad de tesis de doctorado y de artículos incluidos en WoS y Scopus, que es mayor en grupos categoría A. De acuerdo con la tipología de productos considerados en este estudio, y en función del bajo peso de los libros, capítulos de libro y tesis de maestría, vale la pena hacer un ejercicio reflexivo en torno a si resulta realmente funcional la diferenciación entre categoría A y B. Un análisis complementario que incluya la revisión de otros indicadores como el índice h del grupo, la cohesión grupal, la cooperación entre autores y la precisión de los cuartiles en que realizan sus publicaciones, podría dibujar un panorama más claro acerca de las diferencias entre categorías, por lo pronto, ajustados a la evidencia reunida en este estudio, las diferencias son mínimas.

Es muy probable que el tipo de perfil académico deseado sea el A1 y que éste se transforme en una exigencia laboral y de producción, al final de cuentas, para el sistema científico colombiano la máxima categorización de los grupos de investigación es sinónimo de excelencia. Acorde con nuestros hallazgos, la categorización del máximo nivel es pronosticada por una producción significativa de artículos incluidos en los índices bibliográficos de mayor prestigio e impacto mundial, esto sin duda, es la tendencia que se quiere promover con el sistema de ciencia y tecnología colombiano para incrementar los índices de producción nacional, que hasta la fecha siguen siendo bajos en comparación con países considerados potencias científicas como Estados Unidos (Shin y Cummings, 2010), o incluso frente a vecinos latinoamericanos (RICYT, 2016); así las cosas, en la medida que un grupo de investigación desee ser promovido a una categoría más elevada debe publicar más en revistas incluidas en los índices WoS y Scopus. Hay con ello una respuesta a las exigencias del “mercado académico”, en cuanto la dinámica de generación de conocimiento tiende a ajustarse a los formatos más requeridos hoy día por las instituciones universitarias y organismos financiadores de la ciencia. De alguna manera se están dejando fuera otros formatos para escribir y otras metodologías de comunicación de saberes.

Colciencias viene haciendo esfuerzos por crear un nuevo sistema de medición que incluye diversas categorías de producción, sin embargo, la generación de conocimiento en relación con muchos tipos de productos es todavía rudimentaria, siendo las formas más comunes de producción aquellas que se abordaron en este estudio, y de todas ellas, sobresale la publicación de artículos en índices internacionales. Se puede estar haciendo esfuerzos metodológicos importantes cuando el verdadero valor radica en un conjunto reducido de productos dadas las características del modelo matemático que otorga elevada relevancia a esta producción. Intrínsecamente, el modelo científico colombiano promueve apertura y estrategias novedosas para reconocer lo que se asume como productos académicos, pero al mismo tiempo privilegia un formato de difusión en particular que se ajusta al mercado internacional (Vélez-Cuartas y otros, 2014), o bien se está poniendo como deseable un formato de escritura y metodológico, coherente con las exigencias de las publicaciones WoS y Scopus.