Antes de poder clasificar documentos, el sistema debe preparar los datos a utilizar, tanto los vocabularios temáticos como la lista de frecuencias de formas léxicas. Los vocabularios temáticos son simples listas de términos, cada uno formado por una o más palabras, abreviaturas o símbolos de otros tipos. Por ejemplo, el vocabulario para ciencias de la salud que utilizamos contiene términos como “albuminuria”, “ligamentos articulares” o “citocromo p-450”. Cada vocabulario puede almacenarse en un archivo de texto, con los términos ordenados alfabéticamente para facilitar su uso, y todos en minúsculas para aumentar la eficiencia del procesado.

La lista de frecuencias de formas léxicas, por otra parte, es una lista de dos columnas, donde la primera es la forma léxica y la segunda su frecuencia en el habla común. Estas frecuencias se pueden expresar de forma absoluta (como número de apariciones en el corpus de origen) o relativa (como la anterior dividida entre el total de formas). En cualquier caso, el algoritmo utiliza frecuencias relativas durante la fase de producción, de modo que, si la lista contiene frecuencias absolutas, debe convertir éstas durante la fase inicial. La Tabla II muestra un ejemplo de frecuencias de formas léxicas obtenidas de CORPES XXI (Real Academia Española, 2019).

En último lugar dentro de la fase inicial, el sistema procede a descartar aquellos términos de los vocabularios temáticos que considere demasiado generales y poco característicos del tema en cuestión. Esto se hace en dos pasos. Primeramente, se descartan los términos de cada vocabulario que también aparecen en otros vocabularios, porque se consideran demasiado ambiguos. El número máximo de vocabularios en los que un término puede aparecer sin ser descartado (MaxTermOverlapDiscard) es proporcionado como parámetro del algoritmo. En segundo lugar, se descartan los términos de cada vocabulario que sean demasiado frecuentes en el habla común, al considerarse demasiado comunes y poco característicos del tema. Esto se consigue buscando cada término de cada vocabulario en la lista de frecuencias de formas léxicas, y descartándolo si su frecuencia es superior a un umbral especificado por el usuario. Este umbral (MaxTermFrequencyDiscard) es también proporcionado como parámetro del algoritmo. De este modo, y tras el descarte de términos, los vocabularios quedan preparados para ser utilizados durante la fase de producción.

Una vez que el sistema ha preparado los vocabularios y la lista de frecuencias de formas léxicas como se describe en el apartado anterior, está preparado para clasificar documentos. Los documentos pueden ser entregados al sistema de uno en uno o en lotes; en este segundo caso, el sistema es capaz de trabajar en paralelo en varios documentos a la vez, dependiendo de las capacidades de la infraestructura informática que se utilice.

Para clasificar un documento, el algoritmo sigue estos pasos. Primeramente, el documento se convierte a un formato de texto sencillo, eliminando marcas de maquetación o formateo. Si los documentos ya están en formato de texto, este paso es innecesario. A continuación, el documento se segmenta en una lista de palabras, descartando signos de puntuación y otros elementos del texto que no constituyan palabras. Esta lista de palabras se mantiene en el orden original en el que éstas aparecen en el documento, es decir, no se ordena ni procesa en modo alguno. Esto permite buscar términos dentro de los documentos, ya sean términos formados por una o varias palabras. Por ejemplo, para determinar si un documento contiene el término “albuminuria”, simplemente se busca esta palabra en la lista de palabras del documento. Para determinar si un documento contiene el término “ligamentos articulares”, se busca la primera palabra “ligamentos” en la lista de palabras, y a continuación se comprueba si la palabra siguiente en la lista es “articulares”.

De este modo, la lista de palabras del documento se contrasta con la lista de términos de cada vocabulario, calculando para cada uno un valor F _β . El cálculo de F _β se realiza habitualmente a partir de conteos de precisión y exhaustividad, los cuales, a su vez, se calculan en función del número de coincidencias entre los dos conjuntos de datos que se comparan. Sin embargo, el algoritmo propuesto modifica este cálculo habitual y contempla tres posibles modos de determinar el número de coincidencias entre un documento y un vocabulario temático:

Así, el peso de los términos altamente frecuentes es amortiguado, mientras que el peso de los términos poco frecuentes se ve muy amplificado. De este modo, el número de coincidencias se obtiene sopesando la frecuencia del término en evaluación.

El modo de cálculo de coincidencias (MatchMode) que se desee utilizar se proporciona como parámetro al algoritmo. Tras obtener el número de coincidencias mediante el modo que sea, se calculan los valores de precisión P y exhaustividad R, y finalmente el valor F _β , usando las fórmulas habituales:

El valor de β que se desea utilizar para este cálculo (Beta) se proporciona como parámetro al algoritmo. De este modo, se obtiene una lista de valores de afinidad F _β para cada vocabulario. Estos valores indican la afinidad entre el documento que está siendo procesado y cada uno de los vocabularios.

A continuación, el algoritmo determina cuáles de los vocabularios tienen una afinidad con el documento que merezca ser considerada. Se descartan las afinidades más bajas, y se seleccionan solo aquellas que superen un cierto umbral. Para ello, se sigue este proceso. Primeramente, se obtiene la afinidad mínima (m) y máxima (M) de la lista, y se utilizan para calcular un valor de afinidad umbral Q:

Para esto, se utiliza un parámetro Q _F correspondiente al umbral mínimo del intervalo [m, M ] que se desee considerar. Por ejemplo, si se desean considerar solo las afinidades del 75% superior del intervalo, el valor Q _F sería 0,75. El valor de Q _F se proporciona como parámetro al algoritmo.

El valor de Q así obtenido indica que solo los temas cuyos vocabularios posean una afinidad igual o superior son temas potencialmente asignables al documento. Como mecanismo de refinamiento relativo, el algoritmo calcula un valor corregido Q ⁺ :

Para esto, se utiliza un parámetro Q _S correspondiente a la saliencia por encima de Q que se estipula necesaria para que una afinidad sea considerada relevante. Por ejemplo, si se desea dar una saliencia del 10% por encima de Q, el valor QS sería 0,1. El valor de Q _S también se proporciona como parámetro al algoritmo.

Así, los temas cuyos vocabularios posean una afinidad con el documento igual o superior a Q ⁺ se consideran temas asignables al documento, por orden decreciente de afinidad. La Figura 1 muestra un ejemplo de clasificación de varios documentos.

En la Figura 1 se puede ver el valor de F _β para cada documento y tema, así como el valor de Q (punto azul oscuro) y Q ⁺ (punto verde) para cada documento. Según el algoritmo, cada documento recibe una clasificación temática para los temas cuya barra de afinidad en la gráfica supere en altura el punto verde de Q ⁺ . El documento 1, por ejemplo, ofrece una clasificación inequívoca con el tema B. Para el documento 2, sin embargo, hay varios temas con afinidades bastante elevadas, aunque solo el tema C tiene una afinidad por encima de Q ⁺ . El documento 3, por su parte, presenta dos temas muy claros, ambos por encima de Q ⁺ , con lo cual ambos son asignados por el algoritmo. El documento 4 está en la misma situación, aunque las afinidades de los diferentes temas son más parecidas entre sí. Los documentos 5 y 6 son relativamente ambiguos, ya que todos los temas poseen afinidades elevadas y parecidas. Aunque el tema C es el que muestra una afinidad más elevada en ambos casos, no supera el umbral de Q ⁺ , por lo que no es posible asignar ningún tema a estos dos documentos.

El algoritmo propuesto fue implementado en forma de un programa escrito en C# 7 mediante Microsoft Visual Studio 2022 sobre Windows 11, utilizando .NET Framework 4.7.1. El programa fue compilado en modo Debug y ejecutado desde el entorno de desarrollo.

El rendimiento del algoritmo propuesto se evaluó ejecutando la implementación de referencia en un ordenador personal de sobremesa Dell Precision 5820 con procesador Intel i9 de 10 núcleos a 3,70 GHz, 32 GB de memoria RAM, almacenamiento SSD y Windows 11 Pro. De los 10 núcleos de procesador, se limitó el algoritmo a usar 8 de ellos.

Se utilizaron 10 vocabularios temáticos confeccionados por los autores para los temas de Ciencia de Datos, Ciencias de la Salud, Ciencias de la Vida, Ciencias Políticas, Comunicación, Economía, Educación, Medio Ambiente, Psicología, y Sociología. Los vocabularios tenían entre 714 y 10 852 términos cada uno, con una media de 4 556 términos por vocabulario y 45 560 términos en total. Se establecieron los parámetros MaxTermOverlapDiscard = 2 y MaxTermFrequencyDiscard = 0,000005, resultando en un descarte de 2 631 términos, un 5,8 % del total. Se confeccionó una lista de frecuencias de formas léxicas a partir del corpus CORPES XXI (Real Academia Española, 2019), con 1 086 742 formas léxicas con frecuencias absolutas entre 20 670 985 y 1.

Para la evaluación de rendimiento se utilizó un corpus compuesto de 874 artículos divulgativos publicados en The Conversation, Spanish Edition (The Conversation, Spanish Edition, 2020) a lo largo de 2020, sumando 673 824 palabras en total. Los documentos se entregaron al algoritmo en formato de texto. Se establecieron los parámetros Beta = 0,15, MatchMode = Binario, Q _F = 0,75 y Q _S = 0,1.

El algoritmo procesó los documentos y les asignó temas en 33,82 segundos, resultando en una media de 25,84 documentos por segundo y 19 924 palabras por segundo. Para hacerlo, utilizó 314 MB de memoria RAM.

El algoritmo propuesto se contrastó con un sistema de clasificación manual convencional, realizada por especialistas en documentación e información. Para ello, tres especialistas E₁, E₂ y E₃ recibieron el mismo corpus que se describe en el apartado anterior, y la misma lista de temas. Se pidió a estos especialistas que trabajasen de forma independiente y asignaran un tema de la lista a cada documento, dejando sin asignar aquellos documentos que, a su juicio, no encajaran en ninguno de los temas propuestos. E₁ asignó temas a 677 de los 874 documentos (un 77%), E₂ asignó temas a 725 documentos (un 83%), y E₃ asignó temas a 627 de los 874 documentos (un 72%). Se descartaron los documentos no clasificados por uno o más especialistas y, utilizando el resto, se calculó la concordancia entre los especialistas, produciendo el valor kappa de Fleiss (Fleiss, 1971) que se muestra en la Tabla III.

Finalmente, se compararon los resultados obtenidos por cada especialista con los obtenidos mediante el algoritmo propuesto. Dado que el algoritmo puede ofrecer varios temas priorizados para cada documento, se realizó la comparación de dos maneras. Por un lado, se midió la concordancia del tema asignado a cada documento por cada especialista con el primer tema (tema con mayor afinidad) asignado por el algoritmo (K _top ). Por otro lado, se midió la concordancia del tema asignado por cada especialista con cualquiera de los temas asignados por el algoritmo, independientemente de su posición en la lista priorizada (K _any ). Se repitió el proceso para cada uno de los tres modos de coincidencia del algoritmo (parámetro MatchMode).

El resultado de esta prueba produjo los resultados que se muestran en la Tabla IV.

Como se puede apreciar, la concordancia del algoritmo con los especialistas humanos es ligeramente inferior a la concordancia entre los propios especialistas cuando se tiene en cuenta solamente el tema principal asignado por el algoritmo (K _top ). Sin embargo, si se tiene en cuenta cualquiera de los temas asignados por el algoritmo (K _any ), entonces la concordancia del algoritmo con los especialistas humanos es claramente mayor que la concordancia entre los propios especialistas.

A modo de validación adicional, se compararon los resultados de la clasificación manual descritos en el apartado anterior con los que produjo un sistema de clasificación temática basado en un modelo de lenguaje. Este sistema utilizó una arquitectura de transformers (Vaswani y otros, 2017), que son modelos de aprendizaje profundo que aprenden de un idioma, sus palabras y el contexto de estas, para luego ser adaptados a tareas concretas como clasificación mediante un proceso de ajuste fino o fine tuning. Para este proceso se necesita de un corpus ya clasificado sobre el que el modelo se entrena. El modelo de lenguaje usado fue MarIA (Gutiérrez-Fandiño y otros, 2022), concretamente roberta-large, que ha sido previamente entrenado con 570 GB de datos textuales de la Biblioteca Nacional de España.

Para realizar el proceso de ajuste fino, primeramente se seleccionaron del corpus aquellos documentos para los que los tres especialistas humanos concordaron en su clasificación, y se dividió este grupo de documentos en un conjunto de entrenamiento y otro de prueba. El conjunto de entrenamiento, correspondiente a un 70% del grupo original, más las clasificaciones otorgadas por los especialistas humanos, se utilizó para que el modelo aprendiese a clasificar documentos. El restante 30% del grupo original se utilizó para probar el modelo una vez entrenado. Después, se clasificaron todos los documentos del corpus con este sistema. Al comparar los resultados sugeridos por el sistema de clasificación basado en modelos de lenguaje con los producidos por los especialistas humanos, se obtienen las concordancias que se muestran en la Tabla V.

Como se puede ver en la tabla, los valores de concordancia son similares a los obtenidos comparando el algoritmo propuesto con los especialistas humanos. Un análisis de varianza (ANOVA) muestra que, efectivamente, no existen diferencias significativas entre ellos para K _top ni para K _all con α = 0,05 para ninguno de los tres modos de coincidencia. Es decir, el sistema basado en modelos de lenguaje no es significativamente mejor que el algoritmo propuesto en lo que respecta a su concordancia con especialistas humanos.

Una fortaleza evidente del algoritmo propuesto es que produce unos resultados similares a los obtenidos por especialistas humanos, a un coste muy inferior. Un especialista humano puede clasificar, en el mejor de los casos, un documento cada 5 o 10 segundos, leyendo solo el título y quizá un resumen del documento, no el contenido completo, y este ritmo probablemente no es sostenible más allá de unos pocos minutos. El algoritmo propuesto, sin embargo, puede clasificar unos 26 documentos por segundo en un equipo informático de sobremesa, teniendo en cuenta el contenido completo de los documentos, y mantener este ritmo indefinidamente. Esto supone que el algoritmo propuesto tiene un rendimiento al menos 130 veces superior al de un analista humano, con resultados similares. Es lógico pensar que, con un equipo informático de más altas prestaciones, el rendimiento sería superior.

Por otra parte, el algoritmo propuesto produce unos resultados similares a los obtenidos mediante un sistema basado en modelos de lenguaje previamente entrenado. Sin embargo, el algoritmo propuesto es ventajoso frente a este tipo de sistemas por tres razones. Primeramente, el algoritmo propuesto no necesita de un entrenamiento previo. En segundo lugar, el algoritmo propuesto rinde aceptablemente en un equipo informático común y asequible, mientras que los sistemas clasificadores basados en modelos de lenguaje necesitan de equipamientos de altas prestaciones, mucho más costosos y complejos de utilizar, o bien disponibles como un servicio en la nube. Esto conlleva una dependencia de un servicio externo y los costes asociados. En tercer lugar, las clasificaciones producidas por el algoritmo propuesto son explicables; es decir, es fácil determinar por qué el algoritmo asigna un tema determinado a un documento concreto, utilizando la lógica correspondiente al modo de coincidencia elegido (parámetro MatchMode). Sin embargo, no es posible determinar la razón de la clasificación asignada por un sistema basado en modelos de lenguaje, dada la complejidad de su funcionamiento interno.

Por otro lado, y como se ha dicho, los sistemas basados en modelos de lenguaje han de ser entrenados. Para su entrenamiento se suele utilizar una clasificación previa realizada por especialistas humanos, de modo que el sistema aprende a imitar las clasificaciones realizadas por éstos. Esto inyecta cierto sesgo en el sistema, que reproduce las preferencias y sesgos personales de los especialistas cuyas clasificaciones se han usado para entrenarlo. El algoritmo propuesto, sin embargo, no necesita de entrenamiento, de modo que se puede argumentar que sus resultados son, en cierto modo, más independientes de los sesgos y preferencias de los especialistas humanos. De hecho, algunos de los especialistas que participaron en los experimentos descritos en este artículo han señalado que, tras examinar las clasificaciones producidas por el algoritmo propuesto, las han encontrado más adecuadas que las de ellos. En este sentido, las clasificaciones realizadas por especialistas humanos no deben ser tomadas con una referencia absoluta en términos de corrección, sino como una referencia aproximada.

En relación con lo anterior, es necesario señalar que los vocabularios utilizados por el algoritmo son altamente reutilizables. Es decir, un vocabulario de buena calidad (ver sección siguiente) puede ser utilizado por el algoritmo para clasificar numerosos documentos a lo largo de mucho tiempo.

Durante la puesta a punto del algoritmo y la ejecución de las pruebas de validación, se comprobó que el resultado del sistema propuesto depende en gran medida de la calidad de los vocabularios temáticos que se utilicen. De este modo, los vocabularios deben ajustarse a los siguientes requisitos:

Aunque, como se señala en el apartado anterior, el algoritmo propuesto no necesita ser entrenado y, por lo tanto, es relativamente independiente de los sesgos y preferencias de especialistas individuales, es cierto que su funcionamiento depende de la calidad de los vocabularios. Y, a su vez, los vocabularios son confeccionados por especialistas humanos. De este modo, debemos admitir que el algoritmo propuesto no deja de estar influenciado por sesgos y preferencias humanas. De todos modos, esta influencia es indirecta (a través de los vocabularios), y no constituye un patrón que el algoritmo aprenda e imite.

Finalmente, debemos decir que es posible experimentar con distintos modos de cálculo de coincidencias (MatchMode). Además de las tres opciones probadas, existen opciones de coincidencia aproximada usando métricas basadas en la distancia de edición, como la distancia de Levenshtein (Black, 1999) o la distancia de Jaro-Winkler (Winkler, 1990). Esto permitiría mitigar, o incluso resolver, el problema de la necesidad de listas de vocabularios con flexiones o del uso potencial de word stemming o flexión automática.

Tal y como se ha descrito en las secciones anteriores, el algoritmo propuesto utiliza los parámetros que se describen en la Tabla VI.

A continuación, se describen algunos valores típicos de estos parámetros que, según la experiencia de los autores, funcionan bien, al menos en los casos de validación descritos en la sección anterior.

Para MaxTermOverlapDiscard, un valor de 1 descarta términos que aparezcan en dos o más vocabularios, lo cual suele ser demasiado exigente, ya que reduce los vocabularios a listas de términos exclusivos de cada tema, que no suelen ser muchos. Un valor de 2 es más razonable. En escenarios con muchos vocabularios (por encima de 10), este valor se puede incrementar a 3 o incluso a 4, especialmente si existe una cercanía temática muy fuerte entre vocabularios. En la validación que se describe en la sección anterior, los vocabularios Ciencias de la Salud y Ciencias de la Vida, por ejemplo, presentaban un solape bastante significativo, de modo que eliminar los términos comunes puede ayudar a discriminar mejor entre estos dos temas tan cercanos.

En cuanto a MaxTermFrequencyDiscard, un valor de 0,000005 corresponde a descartar términos más frecuentes en el habla común que, por ejemplo, “edil”, “ómnibus” o “comitiva”, según los datos de CORPES XXI (Real Academia Española, 2019). Elevando este valor un orden de magnitud hasta 0,00005, se descartan términos más frecuentes que, por ejemplo, “conservación” o “capítulo”.

Para MatchMode, y como se ha descrito en secciones anteriores, los mejores resultados del algoritmo se obtienen utilizando el modo de conteo, con los modos binario y ponderado siendo un poco peores, aunque no de forma significativa. Las diferencias de rendimiento entre los distintos modos tampoco son significativas.

En cuanto a Beta, los posibles valores se ajustan a las recomendaciones habituales para este parámetro en el cálculo de concordancias mediante precisión y exhaustividad. Un valor de 1 mide concordancias dando el mismo peso a la precisión que a la exhaustividad. Un valor inferior a 1 (pero mayor que 0) da más peso a la precisión que a la exhaustividad. Esto es adecuado en escenarios de clasificación temática de documentos mediante vocabularios, como el que presentamos, en los que la precisión indica qué proporción del documento se ajusta al vocabulario y la exhaustividad indica qué proporción del vocabulario aparece en el documento. Siendo así, debe tener más peso la precisión que la exhaustividad, ya que no es tan importante que una gran parte del vocabulario esté representada en el documento (exhaustividad) como que una gran parte del documento corresponda al vocabulario (precisión). Los valores entre 0,1 y 0,3 parecen funcionar adecuadamente.

En cuanto a Q _F , un valor de 0,75 descarta temas con afinidades en el 25% inferior del intervalo, lo cual permite eliminar temas que, si bien presentan alguna afinidad con el documento, probablemente no sean centrales al mismo. Este valor es fuertemente dependiente del corpus que se esté clasificando, así como de la composición de los vocabularios temáticos que se empleen. Es posible elevar este valor hasta 0,5 para descartar el 50% inferior del intervalo de afinidades, aunque esto aumenta considerablemente el riesgo de que algunos documentos difíciles de clasificar queden sin ningún tema asignado.

Finalmente, para Qs se ha utilizado un valor de 0,1, indicando así que solo se asignan los temas que estén un 10% por encima de la afinidad mínima establecida. Como en el caso anterior, es posible elevar algo el valor de este parámetro, lo cual produciría asignaciones temáticas más ajustadas, pero con mayor riesgo de que los documentos temáticamente más ambiguos quedasen sin clasificar.