Las referencias a trabajos previos simbolizan asociaciones conceptuales de ideas científicas reconocidas como provechosas por el autor que las cita. Es decir, una cita es un reconocimiento expreso de un compromiso intelectual hacia una fuente de información previa. Al fin y al cabo, el avance del conocimiento se apoya en investigaciones anteriores (Culebras y otros, 2008).

Así, la bibliografía tiene como función situar con exactitud el lugar donde se pueden conseguir los documentos citados y, generalmente, conlleva la obediencia a unas normas técnicas, de uso común, que en todo caso deben ser suficientes para la localización de la fuente citada. En consecuencia, el estudio de las referencias bibliográficas de un documento puede informar de la minuciosidad e importancia de los estudios previos que sustentan su justificación y discusión, situación que invita a la credibilidad (Fernández-Baena, 2006).

Como escribió Eco (2002): «Citar es como aportar testigos en un juicio. Tenéis que estar siempre en condiciones de encontrar los testimonios y de demostrar que son aceptables. Por eso la referencia tiene que ser exacta, puntual y verificable».

Dada la importancia de la correcta utilización de las referencias bibliográficas, Wikipedia desarrolló, a partir de 2016, una estrategia para asegurar la calidad de la información de sus términos: incluir notas y citas de fuentes de información fiables para permitir que los lectores pudieran “verificar” la información. Esta campaña denominada «1Lib1Ref», también conocida como Campaña «un bibliotecario, una referencia» (Fundación Wikimedia, 2016), es una iniciativa cuyo objetivo general fue, y es, promover la participación de nuevos editores, entre ellos particularmente los bibliotecarios y las personas que de una forma u otra están ligadas a las bibliotecas y a los centros de documentación para mejorar las referencias presentes en los distintos «wikiartículos» (términos), en el entendido que en muchos casos no se tienen todas las referencias que se deberían tener y/o faltan algunos importantes datos que permitan acceder a las fuentes citadas. Y, como reconoce la propia Wikipedia, miles de artículos necesitan más referencias y, a inicios de 2018, 67000 artículos no tenían ninguna (Fundación Wikimedia, 2016). Esta laguna puede tener su causa en la falta de editores especialistas en algunas áreas del conocimiento (Fernández-Menéndez, s. f.). Completar las fuentes de estos términos convertirá a esta enciclopedia en una mejor herramienta.

La propia Wikipedia indica que todos los artículos deben tener referencias suficientes (es decir, indicar la fuente de la información) para que el lector pueda comprobar la exactitud, precisión y neutralidad del artículo, y buscar más información sobre el tema. Tanto por razones de honestidad intelectual como para facilitar la comprobación independiente de la exactitud de los términos de Wikipedia, es crucial proporcionar referencias que permitan la verificación de los artículos (Fundación Wikimedia, 2018).

Ahora bien, no solo es importante el número de referencias que contenga cada uno de los términos de la Wikipedia, también es de suma importancia que las referencias estén redactadas de forma que se pueda identificar de modo preciso la fuente citada. Con tal fin, Wikipedia facilita, en la zona de edición de todo «wikiartículo», unas plantillas que permiten completar adecuadamente las referencias sobre web, noticia, libro o publicación (artículo científico). Además, se facilita una guía de estilo -Wikipedia:Referencias- que describe cómo añadir referencias a los términos (Fundación Wikimedia, 2008). Esta guía está basada en la norma UNE-ISO 690 (Directrices para la redacción de referencias bibliográficas y de citas de recursos de información) (ISO, 2010).

El término «referenciar» se utiliza en el marco de Wikipedia para denominar a las mejoras necesarias en un artículo para cumplir con la política de verificabilidad. Cuando un artículo cumple con esta política, entonces se dice que está referenciado. Justamente, la política de verificabilidad es uno de los pilares de Wikipedia y la detalla con el siguiente pasaje: «Todos los artículos de Wikipedia deben tener referencias (es decir, indicar la fuente de la información) para que el lector pueda comprobar la exactitud, precisión y neutralidad del artículo, y buscar más información sobre el tema» (Fundación Wikimedia, 2017).

Por otro lado, Wikipedia, claro ejemplo de Web 2.0, es actualmente el noveno sitio más visitado en Internet (Amazon Company, s. f.) y una de las aplicaciones más globalizadas (Pimienta y Prado, 2016). Esta enciclopedia digital se ha convertido de hecho en la fuente singular más consultada y, por tanto, en el canal de comunicación pública de la ciencia más importante en la actualidad. Dicho de otro modo, cuando los ciudadanos necesitan algún tipo de información específica sobre temas de ciencia y tecnología, es cada vez más frecuente que acudan en primer lugar a Wikipedia (FECYT, 2012; Brossard y Scheufele, 2013). Asimismo, los artículos (términos) que contiene suelen aparecer en los primeros resultados, los más visibles y más consultados, de los principales motores de búsqueda (Sanz-Valero y otros, 2015), por lo que esta enciclopedia posee un elevado potencial en la transmisión de conocimiento relacionado con las ciencias de la salud (Pfundner y otros, 2015) y, muchas de esas consultas por parte del público general se realizan sobre temas “sensibles” de orden médico o sanitario, por ejemplo, y pueden ser utilizadas para tomar decisiones importantes respecto a su salud - terapias, tratamientos, medicamentos, etc. - o a la de personas cercanas (Aibar y otros, 2016a); en el caso que ocupa, las enfermedades de transmisión sexual (ETS). A más, las referencias que sustentan los términos pueden ser indirectamente documentos de consulta.

En este sentido y para comprobar la adecuación de las referencias bibliográficas existentes en los términos sobre ETS de la edición española de la Wikipedia, este trabajo tuvo como objetivo el analizar la corrección de estas referencias y probar su validez para acceder al documento fuente.

A partir de los 262 términos seleccionados en la edición española de la Wikipedia, sobre ETS, se comprobó que en conjunto disponían de 3777 referencias, a partir de las cuales se calculó el tamaño muestral igual a 386.

El número medio de referencias por término fue de 14,2 ± 1,7. La mediana (Me) fue de 4 referencias por término con amplitud intercuartílica (AIQ) igual a 12. En la muestra a estudio el máximo, 236 referencias, correspondió al término “virus” y el mínimo, 0 referencias, se observó en 48 términos.

Las referencias estudiadas fueron en 238 casos (61,7%; IC95%: 56,8-66,5) artículo de revista, en 68 (17,6%; IC95%: 13,8-21,4) página Web, en 63 libro (16,3%; IC95%: 12,6-20,0) y 17 referencias (4,4%; IC95%: 2,4-6,5) no pudieron ser estudiadas al carecer de los datos mínimos para su evaluación.

En línea con el fin de este estudio, los resultados obtenidos permitieron conocer la presencia de referencias bibliográficas en los términos sobre ETS y verificar si las presentes cumplían con los requisitos necesarios para poder recuperar el documento fuente citado. Muchas son las ocasiones en el mundo científico y académico en que las citas tienen una importancia vital. Sin embargo, es corriente encontrarse trabajos de investigación, tareas académicas etc., sin ninguna cita o referencia bibliográfica que nos indique de dónde se ha extraído la información (Fernández Menéndez, s. f.).

Los términos sobre ETS en la edición española de la Wikipedia presentaron, por término medio, la mitad de referencias que un artículo científico original. Este dato, en sí, no debería ser preocupante, ni quizá sea adecuado realizar esta comparación, ya que este número de referencias podría ser suficiente a la hora de recoger los antecedentes relevantes. Y, por otro lado, que en un artículo original (en una revista científica) se incluyan un número finito de referencias bibliográficas (generalmente unas 30) se debe fundamentalmente a las condiciones impuestas por las normas para los autores de las revistas (Tomás-Casterá y otros, 2010). Sí puede ser resaltable que 1 de cada 2 términos analizados tengan a lo máximo 4 referencias o que casi 1 de cada 7 no posean ninguna. Un estudio anterior, aunque con una muestra menor (20 términos) también encontró una distribución muy irregular en el número de referencias/término y constató que 1 de cada 4 tenían menos de 5 referencias (Aibar y otros, 2016b). Otra investigación demostró, igualmente, que las citas a determinados artículos (áreas de conocimiento) eran infrecuentes y que solo 5 de cada 100 términos podrían considerarse que tenían una completa bibliografía (Kousha y Thelwall, 2017).

Estos datos, por si mismos, ya justifican la acertada campaña «1Lib1Ref». Más aún, si se tiene en cuenta que Wikipedia es una manifestación de la producción y consumo colaborativo de conocimiento, y un objeto válido de investigación (Tramullas, 2015). Además de esto, Wikipedia ya es absolutamente irreemplazable para acceder a información general y como primer paso del conocimiento de la actualidad científica (Jullien, 2012).

Por otro lado, es normal el mayor uso de citas a artículos de revistas científicas para respaldar los trabajos, este hecho se ha visto respaldado por el acceso “amigable” y gratuito a algunas bases de datos bibliográficas de gran prestigio, como es el caso de MEDLINE a través de PubMed (Tomás-Casterá y otros, 2010). El trabajo de Aibar y otros (2016b), también comprobó la existencia, en la edición española de la Wikipedia, de un alto número de referencias de revistas científicas.

Del estudio de las referencias bibliográficas se desprende que los errores y omisiones observados en las referencias pueden impedir la recuperación del trabajo citado ¿qué aporta una referencia de imposible localización? La presencia de errores responde a una falta de atención a las normas de citación. Si bien lo importante de las citas es el contenido (qué citar), también es importante cuidar la forma (cómo citar), porque ofrecer la fuente sirve invariablemente para tener la información completa (Osorio, 2017).

Los incumplimientos observados en las referencias sobre artículos científicos o libros son superados al evaluar la adecuación de las referencias de las páginas Web. Extraña sus malos resultados y heterogeneidad. Hace unos años los manuales de estilo eran bastante laxos con la forma de redactar las referencias electrónicas, pero actualmente la documentación en soporte electrónico puede ser citada de manera normalizada, incluso Wikipedia facilita una plantilla ad hoc. Al contrario de lo estudiado por Al-Benna y otros (2009) no fue el nombre de los autores o el título de la referencia donde se encontraron los mayores errores. Por tanto, se esperaba un mayor cumplimiento y rigurosidad a la hora de escribir estas referencias bibliográficas.

Un estudio previo ya demostró que la mayoría de las referencias examinadas contenían al menos un error (Ferreira y otros, 2003), lo que comprometía la función del documento como fuente de información. Huamaní y Pacheco-Romero (2009), informaron que el porcentaje de error podría oscilar entre el 19 y el 81% según las variables evaluadas; datos similares a lo observado en este estudio. Valera-Garrido y otros (2003), atribuyeron la causa de muchos de los errores a la transcripción o la copia de referencias de artículos ya publicados en la literatura sin la consulta del documento original, escenario fácilmente reproducible en el mundo digital. Este hecho ya fue advertido por Eco (2002): «Lo que no se ha de hacer jamás es citar de una fuente de segunda mano fingiendo haber visto el original».

Aunque, el acatamiento de las variables comunes fue aceptable en las referencias sobre el artículo científico, el cumplimiento, más bien incumplimiento, observado en las variables comunes a las tres tipologías documentales estudiadas también penalizó, por lo general, a las referencias sobre páginas Web. Esta circunstancia ya fue observada por Bryson (2013), el cual concluía que el modo de referenciar las páginas Web era un tema que confundía a los autores.

Llamó la atención que en Wikipedia, herramienta Web 2.0 puntera, fueran las variables relacionadas con el acceso en línea al documento donde no existiera un total cumplimiento. Por el contrario, estas variables dieron iguales o peores resultados a la hora de enlazar el documento fuente que otros estudios de reciente publicación (Quesada-Risueño y otros, 2017; Bernabeu-Martínez y Sanz-Valero, 2018).

Al estudiar la existencia de identificador de recursos uniforme (DOI o PMID) se observó una alta presencia en las referencias de artículos científicos (Sanz-Valero y Wanden-Berghe, 2017; Bernabeu-Martínez y Sanz-Valero, 2018), aunque hubiera sido deseable que las otras tipologías documentales también lo hubieran tenido ya que facilita, y mucho, el acceso al documento primario. Su principal aportación es asegurar la identificación persistente y unívoca de un documento, permitiendo aportar citas permanentes de los objetos digitales independientemente de su ubicación en la Web.

El incremento que se observa del número de referencias entre finales del siglo XX y principios del XXI está en línea con el modelo de crecimiento de la producción científica enunciado hace ya tiempo por Price (1963). Y, el aumento y el posterior descenso también fue descrito anteriormente por Caballero y otros (2011) en un análisis bibliométrico sobre producción científica sobre VIH/SIDA. En este sentido, el coeficiente de correlación muestra una tendencia moderada creciente del número de las referencias bibliográficas a lo largo del tiempo.

El análisis de la obsolescencia, tanto por el Semiperiodo de Burton-Kleber, como por el Índice de Price, ofreció resultados peores a lo observado en anteriores estudios bibliométricos en el área de las ciencias de la salud (Bernabeu-Martínez y Sanz-Valero, 2018). Esta obsolescencia implicaría una escasa consulta, o al menos citación, de las fuentes sobre ETS más actuales. De hecho, una reciente revisión de Sanz-Lorente y otros (2018), sobre el uso de las herramientas Web 2.0 en la prevención de ETS curables, ofreció unos datos mucho más actuales a los encontrados en este estudio. Esto coincide con el estudio de Thelwall (2016), donde observó una tendencia moderada hacia la obsolescencia en el interés público en la investigación, aunque probablemente el fenómeno esté influido por las fechas en las que se creó la mayoría de los contenidos de Wikipedia sobre cada tema a estudio ¿quizá exista falta de actualización de las referencias?

En línea con el trabajo de Aibar y otros (2016b) el estudio de las referencias bibliográficas mostró que las fuentes de información utilizadas por los editores de Wikipedia eran altamente fiables – según los estándares académicos – y, de forma indirecta, reforzaban la idea de que los artículos ofrecían contenidos de buena calidad, especialmente en temas científicos y tecnológicos. Si bien, en algunas áreas del conocimiento como las ciencias de la salud pueden existir lagunas probablemente causadas por la falta de editores especialistas (Thelwall y otros, 2018).

Estos datos avalaban la idoneidad de los artículos de Wikipedia como textos introductorios muy útiles que, no sólo daban una versión sintética – i.e. enciclopédica – del tema en cuestión, sino que brindaban al lector referencias de alta calidad para profundizar en él. Pero, una inadecuada forma de redactar la bibliografía comprendida en cada uno de los términos podía arruinar esta afirmación.

En este punto quizá sea adecuado plantear una serie de preocupaciones, ya expresadas en anteriores trabajos, pero que obviamente aún no han sido consideradas: Las referencias bibliográficas deben ser precisas, completas y presentadas en un formato coherente (Nicoll y otros, 2018), más aún si el lugar donde se citan (en este caso Wikipedia) dispone de plantillas de ayuda. Los errores de referencia constituyen un lapso evitable pero sustancial de la literatura científica (Samad y otros, 2013). La mayoría de los errores son evitables. Por lo tanto, los autores, revisores y editores deben verificar seriamente cualquier error antes de la publicación (Adhikari, 2010; Zambrana, 2009), incluso en el caso de los términos de la Wikipedia. Quizá, estos errores se deban a que tienden a considerar esta tarea como un trabajo menor.

Hay que reconocer algunas limitaciones que se observaron en este trabajo. Por ejemplo, fue imposible conocer la fecha en la que se incluyó la cita en el término de la Wikipedia, este dato hubiera sido muy oportuno para realizar un estudio más completo de la obsolescencia. Igualmente, y conforme con Rasberry (2014), hay que tener en cuenta que esta enciclopedia publicada online permite a cualquier persona, en cualquier momento, “editar” y modificar el texto del término, pero no se pudo saber si se había producido algún cambio en un contenido citado.

Por todo lo anteriormente expuesto, se pudo concluir que el porcentaje de error de las referencias de los términos sobre ETS en la edición española de la Wikipedia fue elevado, variado y múltiple. Y, en línea con lo expresado por Valera-Garrido y otros (2003), estos datos dificultan el proceso de transmisión de la información al no permitir recuperar la referencia para su consulta, interrumpiendo así el vínculo establecido entre la investigación actual, la precedente y la futura. Tal vez, sería interesante extender la campaña «1Lib1Ref» también a la corrección de las referencias bibliográficas ya existentes.