La ciencia latinoamericana en los últimos años ha hecho esfuerzos considerables para aumentar su participación en el circuito mundial de publicaciones científicas, buscando acortar la inequidad existente entre países desarrollados y subdesarrollados (Spinak, 1996; Salager-Meyer, 2008), inequidad descrita por Gibbs (1995) años atrás como el fenómeno de ciencia perdida en el tercer mundo. Aun cuando la comunicación científica en el ámbito latinoamericano tiene sus propios paradigmas (Spinak, 1996; Wagner, 2008), la visibilidad de las revistas académicas y sus productos de investigación es regulada por los mismos principios generales, ligados éstos al uso estratégico de los mecanismos y medios digitales de divulgación en la red mundial de información para que un usuario encuentre, acceda, analice, emplee, retroalimente y, finalmente, cite estos productos (e.g., artículos científicos, revistas, libros, secuencias genómicas o patentes).

La visibilidad mundial de revistas es determinada cualitativa y cuantitativamente por factores como la presencia y capacidad de consulta a través de librerías digitales o bases globales de indexación (Hull y otros, 2008); el nivel de reconocimiento por la comunidad científica mundial (Figueira y otros, 2003); su patrón de citación que determina su posicionamiento en los buscadores, sus ventajas acumulativas (Chen y otros, 2007) y posterior citación (Katz, 1999; Leydesdorff, y Bensman, 2006). Así mismo, la pertenencia de autores y consejo editorial a sociedades científicas (Ren y Rousseau, 2002; Leydesdorff, y Bensman, 2006) o pequeños mundos (Newman, 2003), la cantidad relativa de producción de artículos en un área a nivel mundial (Ingwersen, 2000) y redes sociales (Eysenbach, 2011) entre otros.

Es intuitivo encontrar que la visibilidad, citación e influencia intelectual es dominada por Estados Unidos, Inglaterra, Canadá y otros países desarrollados (Adams, 1998), no solo porque controlan los factores anteriormente expuestos, además porque allí las publicaciones académicas son en sí mismas una industria (Bergstrom, 2004; Bergstrom y Bergstrom, 2006). Ante la confirmación de la importancia de los sistemas de clasificación de revistas (Butler, 2008) y su efecto, entre otros, sobre las clasificaciones mundiales de universidades, recientemente en Latinoamérica ha crecido la preocupación por el futuro de las revistas académicas locales (Téllez-Zenteno y otros, 2007) porque la mayoría de estas y su personal científico están en la periferia de estos procesos de comunicación, sus servicios y beneficios (Gevers, 2009).

Se reconoce que desde años atrás, las revistas latinoamericanas no son ajenas a las tendencias de cambio, indexación, globalización y comparación (Ríos Gómez y Herrero Solana, 2005), sugiriendo una etapa de transición desde un sistema de divulgación e incentivos que hace énfasis en publicaciones domésticas (cerrado y endogámico), hacia uno visible internacionalmente que se soporta en redes de conocimiento y es medido por indicadores de citación.

De tal forma el modelo de comunicación de las revistas académicas de países en vía de desarrollo (respecto a países desarrollados) posee ciertos atributos tales como:

Bajo reconocimiento internacional de sus avances de investigación (Gevers, 2009), consecuencia de la calidad (creatividad, originalidad y contribución en un área) de sus artículos (Arunachalam y Manorama, 1989; Zhou y Leydesdorff, 2007).

Barrera lingüística de los autores (Bertrand y Hunter, 1998; Zhou y Leydesdorff, 2007).

Baja disponibilidad de acceso en línea (Zhou y Leydesdorff, 2007) ya que pocas revistas se incluyen en los principales sistemas de indexación (e.g., Web of Knowledge, Scopus o Medline) (Gorbea-Portal y Suárez-Balseiro, 2007).

Los estándares de calidad editorial son altamente variables (Zhou y Leydesdorff, 2007), ya que existe una proliferación de revistas de corta vida, baja calidad editorial y científica, con pocos canales de distribución (Gevers, 2009).

Existen relaciones endogámicas entre países y revistas, como reflejo de lo que ocurre en el resto del sistema de comunicación científica que integran estas revistas (Gorbea-Portal y Suárez-Balseiro, 2007).

La mayor proporción de la producción nacional se publica en revistas domésticas, por lo cual, una considerable cantidad de publicaciones no están incluidas en índices de citación (Bertrand y Hunter, 1998), llevando a que los autores y el conocimiento sean invisibles al resto del mundo (Figueira y otros, 2003).

Las revistas no son una industria, no son subsidiadas apropiadamente y hacen énfasis en sostener la actividad de investigación local (Gevers, 2009).

La visibilidad internacional depende de la colaboración con pares extranjeros (Gevers, 2009; Jimenez-Contreras y otros, 2010) que publican sus trabajos en revistas generalmente no latinoamericanas.

Este artículo hará énfasis en el problema indicado en el numeral iii, con el ánimo de medir la visibilidad de revistas Latinoamericanas no indexadas, ello mediante el empleo de un estudio de caso. Lo anterior es importante para Web of Knowledge o Scopus, quienes en los últimos años han deseado incorporar en las bases de datos el conocimiento latinoamericano, seleccionando las revistas más pertinentes en diferentes áreas.

Colombia recientemente modificó sus políticas públicas del Sistema Nacional de Ciencia y Tecnología (Ley 1289 de 2009), invocando la necesidad de establecer mecanismos de evaluación de los resultados de investigación de las instituciones de educación e investigación públicas y privadas. Este cambio de políticas ha impulsado en estas instituciones la comparación de su productividad y calidad en el ámbito local, regional y global por medio de indicadores como los presentados en las clasificaciones mundiales de universidades (e.g., clasificación de Shanghai), iberoamericana (e.g., Ranking Iberoamericano SIR 2010) o colombiana a través del Atlas Colombiano de la Ciencia. Ante los resultados de estas clasificaciones las instituciones colombianas han planteado estrategias que buscan revertir la tendencia de sus indicadores. Esto puede interpretarse como el ingreso formal de la ciencia colombiana en todas sus escalas desde investigadores hasta instituciones y revistas académicas, al sistema internacional de evaluación por indicadores de citación.

Actualmente Colombia cuenta con la Base Bibliográfica Nacional Publindex (BBNP), sistema orientado a la indexación de revistas según criterios de calidad científica y editorial. Esta cuenta con un comité nacional que evalúa más de trescientas revistas académicas de instituciones y asociaciones colombianas, para regular su indexación, clasificación y homologación (Charum, 2004). BBNP tiene un sistema de clasificación de cuatro categorías (A1, A2, B y C), que alcanza una revista tras cumplir criterios de calidad científica (cantidad de artículos originales de investigación); calidad editorial (cumplimiento de normas editoriales); estabilidad (antigüedad y cumplimiento de periodicidad); y visibilidad y reconocimiento nacional e internacional (inclusión en sistemas internacionales de indexación). Para dar un ejemplo, las revistas indexadas en el Journal Citation Reports corresponderían a la categoría A1, mientras que las incluidas exclusivamente en el índice bibliográfico generalista regional Scielo, corresponderían a categoría A2.

Así mismo, este sistema de clasificación tiene dos importantes consecuencias en el Sistema Nacional de Ciencia y Tecnología e Innovación y en el Ministerio de Educación. Sobre el escalafón docente de instituciones de educación superior, media y básica al determinar ascensos laborales y bonificaciones salariales; y sobre la clasificación de los grupos de investigación colombianos, al influir sobre el puntaje relativo de las publicaciones nacionales o internacionales, lo que repercute en la financiación de proyectos de investigación.

Debido a que la mayor parte de las revistas científicas colombianas o latinoamericanas no pueden seguir las tendencias de globalización (Laborde, 2009), es probable que universidades y sociedades científicas clausuren decenas de éstas, particularmente revistas con alta endogamia, baja calidad científica, incumplimiento en cronogramas de publicación, deficientes tecnologías de información y bajos niveles de citación, entre otros. No así, permanecerán aquellas que representan a sociedades científicas consolidadas, sean altamente visibles, posean procesos de calidad para la indexación internacional y las que gestionen mejor los subsidios público/privados.

Entre los principales criterios a tener en cuenta para la indexación internacional, la selección de destinos de publicación por parte de los autores, o inclusive la permanencia o cierre de una revista, son sus indicadores de citación. Aunque el uso de estos indicadores es controvertido (Alfonso y otros, 2005; Camps, 2008; Todd y Ladle, 2008), a través de medidas como la cantidad de artículos publicados, cantidad de citas, el Factor de Impacto™ (Todd, 2009) o los índices Eigenfactor, Scimago Journal Rank, SNIP e índice h, entre otros (Torres-Salinas y Jimenez-Contreras, 2010), se mide y compara el desempeño en investigación de revistas académicas, individuos, grupos e instituciones (Van Leeuwen y otros, 2003; Puche, 2011). No obstante, por años han existido limitaciones para el cálculo de indicadores de las revistas regionales debido a su baja presencia, en relación con su cantidad actual, en índices de citación internacionales como Web of Knowledge o Scopus (Gómez y otros, 1999).

A pesar de esta limitante, una alternativa para determinar indicadores de citación de las revistas regionales es a través del servicio de Google Académico en conjunto con el software Publish or Perish (Jacsó, 2008; Spiroski y Gogusev, 2008; Bontis y Serenko, 2009; Harzing y van der Wal, 2009) donde es posible determinar varios indicadores de citación como la cantidad de artículos visibles en Google Académico, las citas recibidas, citación promedio, o el índice h, entre otros. Este último, desde su publicación por Hirsch (2005), ha recibido atención por parte de la comunidad científica como un indicador complementario para la comparación de revistas académicas (Braun y otros, 2006; Saad, 2006; Bador y Lafouge, 2010). Con base en lo anterior, para las revistas colombianas indexadas en el BBNP se plantearon como objetivos: 1) cuantificar, relacionar y seleccionar indicadores de citación, y basado en ello, 2) realizar un ranking de revistas colombianas de acuerdo a su visibilidad.

Se presentaron indicadores de citación para 170 revistas de la BBNP y un ranking de revistas basado en el índice hGA. El conjunto de revistas mostró una producción total de 25.850 artículos, visibles en Google Académico en 34,75%, y en total citados 5.771 veces. Google Académico encontró casi cinco veces más citas (4,83:1) y casi siete veces más artículos (6,69:1) que Scopus, respectivamente.

No existió un patrón de correlación consistente entre la productividad por revista y el índice h, pero sí una correlación positiva entre la cantidad de citas recibidas, su visibilidad en GA y el índice h. Aunque Katz (1999) describe situaciones donde existen ventajas acumulativas o “efecto Mateo“, donde sujetos (revistas) altamente productivos ganan ventajas acumulativas incrementando sus beneficios, en el caso de las revistas colombianas no necesariamente las revistas más productivas o de mayor tamaño son las más citadas. Visto de otra forma, para una revista con poco tamaño o poco visible, la probabilidad de ser citada para aumentar de cuartil no dependería de aumentar su producción, sino de factores asociados con la calidad de los artículos y otras características (Egghe y Rousseau, 1990; Leydesdorff, 1998); no obstante, esta explicación podría ser tratada como una hipótesis a probar en el futuro.

El ranking de revistas empleó como indicador al índice hGA, porque los indicadores seleccionados fueron redundantes entre si y porque en el análisis multivariado el índice hGA explicó un porcentaje alto de la varianza del factor. Así mismo, la comparación del índice hGA es posible con cualquier revista en el ámbito latinoamericano o internacional (Hodge y Lacasse, 2011), y su correlación posible con revistas Web of Science o Scopus (Scimago Journal Rank). Excluimos la cantidad de citas recibidas en Google Académico (CRGA) porque requeriría la normalización al tamaño de las revistas (i.e., factor de impacto), llevando a los potenciales problemas estadísticos de las distribuciones sesgadas. Así mismo, excluimos la citación promedio normalizada que tiene alcance solo en el ámbito nacional.

El índice h es ampliamente abordado en la literatura en términos de su alcance, aplicaciones, variantes o limitaciones, para este propósito ver las revisiones de Alonso y otros (2009), Norris y Oppenheim (2010), Egghe (2010) o Waltman y van Eck (2011), entre otras, por lo cual enfatizaremos en su uso como indicador para la comparación de revistas, como también en la técnica utilizada para su cálculo, reconociendo que la teoría puede ser aplicable indistintamente de la unidad de análisis (i.e., individuos, revistas, grupos de investigación o instituciones).

En su origen Hirsch (2005) planteó el índice h para comparar la calidad de individuos y para identificar a futuros académicos exitosos (Hirsch, 2007); no obstante, dada su versatilidad, su sencilla formulación e interpretación, hacen al índice h útil para la comparación de revistas, y es común encontrar en la literatura razones adicionales para su uso como indicador de referencia; entre otras, la actualización casi en tiempo real a través de Google Académico; evita los problemas estadísticos del factor de impacto como indicador (Hodge y Lacasse, 2011); identificaría aquellas revistas (científicos) que consistentemente producen un flujo de buenos trabajos sostenidamente en el tiempo, sobre aquellas que producen muchos trabajos, pero poco citados (Hirsch, 2005); está correlacionado con los índices de Factor de Impacto (Schubert y Glänzel, 2007; Vanclay, 2008; Bador y Lafouge, 2010) y Eigenfactor™ (Yin, 2011); como también captura las dimensiones ortogonales tamaño e impacto en un solo indicador (Leydesdorff, 2009).

No obstante, sus críticos apelan a que esta última característica, es a la vez una de sus desventajas, porque puede mal interpretar su valor (Leydesdorff, 2009) y generar rankings inconsistentes (Waltman y van Eck, 2011). Por ejemplo, una revista con h = 5 puede tener cinco artículos con cinco citas cada uno, sin importar cuantos artículos hayan sido publicados o escritos y citados por debajo de ese número, castigando la alta productividad. De forma similar, una revista con h = 5 puede tener cinco artículos altamente citados sin importar el nivel de citación de los restantes (Norris y Oppenheim, 2010), premiando la baja productividad. Otra desventaja, implica que una vez, una revista ha adquirido un índice h este no decrece, aún si la revista está inactiva, con el peligro potencial de disminuir su calidad en el tiempo (Norris y Oppenheim, 2010), lo cual es una desventaja para nuevas revistas (Egghe, 2010).

Otro de los puntos críticos, es el método de estimación del índice bajo el software Publish or Perish. Existen desventajas como la imposibilidad de remover la auto-citación (Norris y Oppenheim, 2010); el tiempo extenso de verificación y corroboración de las referencias en comparación con Scopus o Web of Knowledge (Falagas y otros, 2008; Jacsó, 2008), por lo cual la consulta de información debe hacerse en un lapso corto de tiempo, y por último, la calidad de los metadatos recuperados debido a duplicidad de referencias, aspecto en el cual GA ha recibido críticas en torno a la calidad de sus datos (Jacso, 2005), ver un mayor detalle de limitantes en Moussa y Touzani (2010) o McKercher (2008). No obstante estas limitantes, soluciones como Clean PoP pueden emplearse como ayuda automática para la depuración de datos (Baneyx, 2008).

Se han comparado indicadores de citación para revistas entre WoS, Scopus y GA. Por ejemplo, en revistas de medicina Kulkarni y otros (2009) determinaron que GA y Scopus generaron un mayor número de citas respecto a WoK. Franceschet (2010) en revistas de ciencias computacionales mostró que GA calculó respecto a WoS valores mayores de los indicadores. Ahora bien, en relación al índice h calculado con Publish and Perish, se ha determinado su correlación con los valores calculados en WoK. Harzing y van der Wal (2009) compararon 838 revistas de negocios y economía y encontraron una buena correlación entre estas, con una tendencia a la sobreestimación en GA. Así mismo, Vanclay (2008) encontró una correlación significativa (r = 0.93, n = 43) para revistas de ciencias forestales, y Franceschet (2010) entre dos grupos de revistas de ciencias computacionales (Spearman 0,78 y 0,61).

A pesar de los argumentos a favor y en contra, el índice y el método de estimación que proponemos son, por ahora, la opción más plausible para establecer rankings de revistas dentro del ámbito colombiano (extensible al latinoamericano). Dada la correlación reportada entre el índice h y otros indicadores como el Factor de Impacto y el Eigenfactor™, el índice puede emplearse como herramienta para el monitoreo, i.e., reubicar y posicionar revistas locales o para conocer la distancia donde se encuentran revistas no indexadas (como la mayoría de las revistas latinoamericanas), respecto a revistas indexadas en el Journal Citation Report o Scimago Journal Rank (SJR).

Aunque nuestro trabajo mostró una correlación y dependencia lineal intermedias entre los índices h de Google Académico y Scopus, que sugiere una sobreestimación de h de Google Académico respecto a Scopus, en el futuro esta podrá tomarse como hipótesis a probar, al contar hoy en día con mayor cantidad de revistas colombianas y latinoamericanas indexadas en Scopus; sin embargo, deben ser explorados otros atributos como la antigüedad de las revistas, la cantidad de artículos originales de investigación y revisiones por revista, número de autores de instituciones extranjeras, más revistas por área general de conocimiento, o áreas más específicas, entre otros, para una mejor comprensión de la dinámica de las revistas locales y regionales.

Con la metodología empleada es posible realizar un ranking y homologación de revistas latinas no incluidas en el Web of Science o Scopus. Esto se validó en el caso de Colombia para las revistas de las áreas generales de ciencias y ciencias sociales, donde la clasificación inicial de la Base Bibliográfica Nacional Publindex cambió, al aplicar el índice h. La indexación en Google Académico es una estrategia adecuada para mejorar la visibilidad de las revistas de investigación, ya que permite su monitoreo a través de indicadores bibliométricos. Se espera realizar una nueva medición para determinar el cambio en los indicadores y ranking de las revistas.