ESTUDIOS / RESEARCH STUDIES

UNIVERSIDADES EN GOOGLE: HACIA UN MODELO DE ANÁLISIS MULTINIVEL DEL POSICIONAMIENTO WEB ACADÉMICO

Javier Gonzalez-Llinares*, Cristina I. Font-Julián*, Enrique Orduña-Malea*

* Universitat Politècnica de València

Correo-e: jgonzalezllinares@gmail.com | ORCID iD: http://orcid.org/0000-0002-5798-2493

Correo-e: crifonju@upv.es | ORCID iD: http://orcid.org/0000-0003-2351-4816

Correo-e: enorma@upv.es | ORCID iD: http://orcid.org/0000-0002-1989-8477

UNIVERSITIES IN GOOGLE: TOWARDS A MULTILEVEL ANALYSIS MODEL OF ACADEMIC WEB POSITIONING

CONTENIDOS

1. INTRODUCCIÓN Top

La visibilidad web se ha situado en el epicentro de las distintas acciones requeridas para la construcción de la reputación online de las universidades. El interés en estas tareas (que combinan distintas áreas como la documentación, comunicación, marketing, publicidad e informática) por parte de las universidades se ha debido en gran parte a la popularidad del Ranking Web de Universidades del Mundo (Aguillo y otros, 2006Aguillo, I. F.; Granadino, B.; Ortega, J. L.; Prieto, J. A. (2006). Scientific research activity and communication measured with cybermetrics indicators. Journal of the American Society for Information Science and Technology, 57 (10), 1296-1302. https://doi.org/10.1002/asi.20433.), elaborado desde 2004 por el Laboratorio de Cibermetría del Consejo Superior de Investigaciones Científicas (CSIC), y cuyo sitio web recibe actualmente más de 800.000 visitas mensuales (webometrics.info).

Internet se ha convertido en una de las principales fuentes de información para el alumnado universitario (Domínguez, 2010Domínguez, D.C. (2010). Internet como fuente de información para el alumnado universitario. Cuadernos de documentación multimedia, 21, 141-157.). Usuarios web relacionados de forma directa o indirecta con las universidades (estudiantes actuales y futuros, investigadores, profesores, empresas, organizaciones, etc.) realizan millones de búsquedas web diarias en las que la información solicitada se encuentra –o debería– en el sitio web de una universidad.

Según datos de la herramienta de visibilidad online SEMrush (semrush.com), el volumen mensual de búsquedas orgánicas desde un entorno escritorio con el término <universidad> en Google España se sitúa en torno a las 18.000 (sobre una población de 47 millones aproximadamente), mientras que el volumen de búsquedas del término <university> en el mercado norteamericano asciende a 200.000 búsquedas (sobre una población de 327 millones aproximadamente), todo ello sin añadir combinaciones de términos (por ejemplo <Columbia university> genera un volumen mensual de 300.000 consultas), búsquedas desde dispositivos móviles o en otros idiomas.

La mayor o menor visibilidad de las universidades en los motores de búsqueda (especialmente Google), tanto ante consultas directas (<Universidad Leiden>) como ante cualquier consulta en la que la universidad contenga una posible respuesta (<investigación fotónica valencia>), influye de forma crítica en la percepción que los usuarios tienen de estas instituciones (Lee y Park, 2012Lee, M.; Park, H. W. (2012). Exploring the web visibility of world-class universities. Scientometrics, 90 (1), 201-218. https://doi.org/10.1007/s11192-011-0515-6.), más si consideramos que los usuarios raramente pasan de la tercera página de resultados del buscador, y que los clics se concentran en los primeros resultados de la primera página (Höchstötter y Lewandowski, 2009Höchstötter, N.; Lewandowski, D. (2009). What users see–Structures in search engine results pages. Information Sciences, 179 (12), 1796-1812. https://doi.org/10.1016/j.ins.2009.01.028.).

Por ese motivo, la construcción óptima de sitios web de universidades es fundamental, no sólo en cuanto a su estructura, organización y navegabilidad (Middleton y otros, 1999Middleton, I.; McConnell, M.; Davidson, G. (1999). Presenting a model for the structure and content of a University World Wide Web site. Journal of Information Science, 25 (3), 217-219. https://doi.org/10.1177/016555159902500306.; Pinto Molina y otros, 2004Pinto Molina, M.; Alonso Berrocal, J. L.; Cordón García, J. A.; Fernández Marcial, V.; García Figuerola, C.; García Marco, J.; Gómez Camarero, C.; Zazo, Á.F.; Doucet, A-V. (2004). Análisis cualitativo de la visibilidad de la investigación de las universidades españolas a través de sus páginas web. Revista española de documentación científica, 27 (3), 345-370. https://doi.org/10.3989/redc.2004.v27.i3.157.) sino en cuanto a su capacidad para situar la mayor cantidad de páginas posible entre los primeros puestos de los resultados para la mayor cantidad de consultas posible en la mayor cantidad de motores de búsqueda posible.

La sintaxis de las consultas de los usuarios relacionadas con universidades es muy variada. Se puede destacar, entre otros recursos, la utilización de ciertos delimitadores geográficos (<universidad madrid>), temáticos (<universidad arquitectura>) o calificativos (<universidad presencial>), que pueden combinarse en consultas más complicadas (<universidad andalucía privada barata>).

A ello se une que la universidad es una institución compleja, caracterizada por una multiplicidad de objetivos, productos y servicios (Orduña-Malea, 2013aOrduña-Malea, E. (2013a). Aggregation of the web performance of internal university units as a method of quantitative analysis of a university system: The case of Spain. Journal of the American Society for Information Science and Technology, 64 (10), 2100-2114. https://doi.org/10.1002/asi.22912.; 2013bOrduña-Malea, E. (2013b). Espacio universitario español en la Web (2010): estudio descriptivo de instituciones y productos académicos a través del análisis de subdominios y subdirectorios. Revista española de documentación científica, 36 (3), e017. https://doi.org/10.3989/redc.2013.3.958.) sintetizados en tres misiones (docencia, investigación y transferencia) a las que se vinculan múltiples entidades como los departamentos, escuelas, institutos de investigación, centros, facultades o escuelas de doctorado, a los que habría que añadir el gobierno central, los distintos órganos de gestión y servicios (centros de apoyo, bibliotecas, instalaciones deportivas, etc.) (Orduña-Malea, 2013bOrduña-Malea, E. (2013b). Espacio universitario español en la Web (2010): estudio descriptivo de instituciones y productos académicos a través del análisis de subdominios y subdirectorios. Revista española de documentación científica, 36 (3), e017. https://doi.org/10.3989/redc.2013.3.958.). Estas entidades difieren en su estructura y organización en cada país, aunque son similares en aquellas instituciones pertenecientes a un mismo sistema nacional universitario (Orduña-Malea, 2012Orduña-Malea, E. (2012). Propuesta de un modelo de análisis redinformétrico multinivel para el estudio sistémico de las universidades españolas (2010). Valencia: UPV. [Tesis doctoral inédita].).

Esta circunstancia añade una serie de ventajas e inconvenientes a la visibilidad web de las universidades. Entre las ventajas se puede indicar su capacidad para generar visibilidad en una amplitud de nichos y dominios diferentes, tanto académicos como profesionales y sociales. Por el contrario, esta variedad puede provocar que la visibilidad web esté focalizada exclusivamente en ciertas áreas, no necesariamente las más estratégicas para las instituciones.

Este trabajo parte de la hipótesis de que el análisis de la visibilidad web de las universidades en los motores de búsqueda requiere de una aproximación multidimensional, con el fin de valorar la visibilidad de cada misión de forma independiente.

Por tanto, el objetivo general de este trabajo es diseñar y testar un modelo de análisis del posicionamiento web de las universidades basado en la construcción de un vocabulario de palabras clave categorizadas según las distintas misiones universitarias. Los objetivos específicos son los siguientes:

1. Conocer el posicionamiento web de una universidad según sus distintas dimensiones (docencia, investigación, transferencia).

2. Averiguar qué tipologías de páginas web universitarias posicionan mejor en función de un conjunto de consultas web categorizadas.

3. Determinar la presencia de instituciones universitarias en los primeros resultados de búsqueda en función de un conjunto de consultas web categorizadas.

2. ESTADO DE LA CUESTIÓN Top

La visibilidad web implica la capacidad de un sitio web de encontrarse (estar indizado) y ser localizado (aparecer en resultados de búsqueda) en la Web (García Gómez, 2006García Gómez, J. (2006). Posicionamiento y visibilidad web de las bibliotecas públicas españolas: situación actual y estrategias de desarrollo. III Congreso Nacional de Bibliotecas Públicas: La Biblioteca Pública, espacio ciudadano. Actas, pp. 417-429. España: Ministerio de Cultura.). Esta localización puede realizarse de forma directa (mediante el URL del sitio web), de forma indirecta (a través de enlaces web), de forma interrogativa (mediante el uso de buscadores y motores de búsqueda) o de forma navegacional (mediante el uso de directorios específicos y especializados).

Una buena visibilidad web implica, por tanto, que los usuarios pueden encontrar el sitio web de forma sencilla. Y para ello no sólo es necesario aparecer en los resultados de búsqueda (sitio web indizado) sino hacerlo en los primeros puestos, concepto conocido como posicionamiento web. A las distintas técnicas y procedimientos encaminados a mejorar este posicionamiento en motores de búsqueda se le denomina SEO (Search Engine Optimization) (Codina, 2004Codina, L. (2004). Posicionamiento Web: Conceptos y Ciclo de vida. Hipertext.net, 2. [En línea]. Disponible en: https://www.upf.edu/hipertextnet/numero-2/posicion_web.html [Fecha de consulta: 20/05/2019].; Codina y Marcos, 2005Codina, L.; Marcos, M.C. (2005). Posicionamiento web: conceptos y herramientas. El profesional de la información, 14 (2), 84-99. http://www.elprofesionaldelainformacion.com/contenidos/2005/marzo/1.pdf.; Chojar y otros, 2012Chojar, B.; Chauhan, A.; Singh, A.V. (2012). Search engine optimization: A review. International Journal of Managment, IT and Engineering, 4 (1), 493-503.; Killoran, 2013Killoran, J. B. (2013). How to use search engine optimization techniques to increase website visibility. IEEE Transactions on Professional Communication, 56 (1), 50-66. https://doi.org/10.1109/tpc.2012.2237255.; Ledford, 2015Ledford, J. L. (2015). Search engine optimization bible (Vol. 584). IN, USA: Wiley.).

El objetivo principal del SEO es por tanto que la mayor cantidad posible de páginas web de un sitio queden posicionadas entre los primeros resultados de un buscador para el mayor número posible de palabras clave (Arbildi Larreina, 2005Arbildi Larreina, I. (2005). Posicionamiento en buscadores: una metodología práctica de optimización de sitios web. El profesional de la información, 14 (2), 108-124. http://elprofesionaldelainformacion.com/contenidos/2005/marzo/3.pdf.; Yalçın, y Köse, 2010Yalçın, N.; Köse, U. (2010). What is search engine optimization: SEO?. Procedia-Social and Behavioral Sciences, 9, 487-493. https://doi.org/10.1016/j.sbspro.2010.12.185 .), considerando para ello únicamente los resultados orgánicos, es decir, excluyendo los resultados patrocinados (Jansen y Mullen, 2008Jansen, B. J.; Mullen, T. (2008). Sponsored search: an overview of the concept, history, and technology. International Journal of Electronic Business, 6 (2), 114-131. https://doi.org/10.1504/ijeb.2008.018068.; Jansen y otros, 2009Jansen, B. J.; Flaherty, T. B.; Baeza-Yates, R.; Hunter, L.; Kitts, B.; Murphy, J. (2009). The components and impact of sponsored search. Computer, 42 (5), 98-101. https://doi.org/10.1109/mc.2009.164.). La identificación de las palabras clave más importantes a nivel estratégico para posicionar requiere de un proceso específico denominado keyword research (Vállez, 2011Vállez, M. (2011). Keyword Research: métodos y herramientas para identificar palabras clave. BiD: textos universitaris de biblioteconomia i documentació, 27. http://bid.ub.edu/27/vallez2.htm.).

Dentro de las distintas técnicas de posicionamiento web, se suelen distinguir dos grandes familias: on-site y off-site (Rehman y Khan, 2013Rehman, K.; Khan, M. N. A. (2013). The foremost guidelines for achieving higher ranking in search results through search engine optimization. International Journal of Advanced Science and Technology, 52 (3), 101-110.; Matošević, 2015Matošević, G. (2015). Measuring the utilization of on-page search engine optimization in selected domain. Journal of Information and Organizational Sciences, 39 (2), 199-207.). Por un lado, las técnicas on-site se refieren a las acciones que se realizan dentro del sitio web que se pretende optimizar y engloban tanto aspectos técnicos como de generación de contenidos. Por otro lado, las técnicas off-site se refieren a las acciones llevadas a cabo fuera del sitio web e incluyen, entre otras, tareas relacionadas con la obtención de enlaces de calidad o de tráfico web (visitantes) desde otras fuentes.

Con independencia del tipo de técnicas utilizadas, la optimización de sitios web depende del posicionamiento de estos sitios ante determinadas consultas web. Por ese motivo, una de las principales actividades del SEO es detectar el conjunto de palabras (vocabulario) utilizadas, preferentemente por los usuarios potenciales, para comprobar posteriormente el posicionamiento real del sitio ante estas consultas, y desarrollar en consecuencia una serie de acciones de mejora.

El análisis de las consultas web (queries) es precisamente una de las principales áreas de investigación dentro del SEO. El trabajo clásico de Broder (2002Broder, A. (2002). A taxonomy of web search. ACM Sigir fórum, 36 (2), 3-10. https://doi.org/10.1145/792550.792552.) distingue tres tipos de consultas web en función de la supuesta intención de los usuarios (informacionales, navegacionales y transaccionales). La determinación de las intenciones de búsqueda de los usuarios (Jansen y otros, 2007Jansen, B.; Booth, D. L.; Spink, A. (2007). Determining the user intent of web search engine queries. Proceedings of the 16th international conference on World Wide Web, pp. 1149-1150. NY, USA: ACM. https://doi.org/10.1145/1242572.1242739.; 2008Jansen, B. J.; Booth, D.L.; Spink, A. (2008). Determining the informational, navigational, and transactional intent of Web queries. Information Processing & Management, 44 (3), 1251-1266. https://doi.org/10.1016/j.ipm.2007.07.015.) así como la comprensión lingüística de los términos de consulta (Hulth, 2003Hulth, A. (2003). Improved automatic keyword extraction given more linguistic knowledge. Proceedings of the 2003 conference on Empirical methods in natural language processing, pp. 216-223. PA, USA: Association for Computational Linguistics. https://doi.org/10.3115/1119355.1119383.; Yin y Shah, 2010Yin, X.; Shah, S. (2010). Building taxonomy of web search intents for name entity queries. Proceedings of the 19th international conference on World Wide Web, pp. 1001-1010. NY, USA: ACM. https://doi.org/10.1145/1772690.1772792.) en determinados nichos o sectores constituyen áreas actuales de desarrollo e investigación, especialmente en el sector del marketing, de la documentación y de la computación.

A pesar de la amplia integración y adopción del SEO en las empresas y organizaciones, la literatura científica relacionada con esta disciplina no es muy amplia. Al tratarse de una práctica profesional excesivamente vinculada al marketing, el SEO tiene una amplia comunidad de profesionales poco dados a publicar sus hallazgos en revistas de investigación, aunque sí existe un amplio catálogo de blogs especializados que publican regularmente los resultados de estudios y experimentos, omitiendo, sin embargo, ciertos aspectos metodológicos. Por otro lado, la actividad científica vinculada a esta disciplina suele provenir de ramas tecnológicas (informática y recuperación de la información), que suelen emplear términos más genéricos (search engines, search intent), omitiendo el término SEO, al tener éste unas connotaciones más comerciales.

Tras una búsqueda en Scopus de contribuciones que tuvieran los términos “search engine optimization”, “search engine marketing” o “search engine advertising” en el título, resumen o palabras clave, se obtuvieron un total de 763 documentos. Con el objetivo de conocer los temas más tratados en la literatura, este corpus bibliográfico se exportó a la herramienta VOSViewer (https://www.vosviewer.com) desde donde se extrajeron todos los términos que aparecían en el resumen de las 763 publicaciones. Posteriormente se aplicó un análisis de co-ocurrencia de términos estableciendo un umbral elevado (20) y utilizando el método binary counting (cada término se cuenta una sola vez por documento aunque aparezca más veces). De los 12.686 términos extraídos en los 763 documentos, solamente 157 superaron el umbral de co-ocurrencia. Finalmente se visualizó el 60% de estos términos (94) por claridad visual. La figura 1 muestra el mapa de co-ocurrencia de términos obtenido, donde se puede observar la existencia de tres grandes clusters de términos: los relacionados con el search engine marketing (SEM) y la publicidad (cluster rojo), con el marketing y la audiencia (cluster verde) y finalmente con el SEO propiamente dicho (cluster azul).

Figura 1. Mapa de co-ocurrencia de términos en la literatura científica sobre Search Engine Optimization (SEO) (763 documentos; 94 términos) [Descargar tamaño completo]

La aplicación del SEO a entornos de actividad específicos, especialmente a los conocidos como sitios ricos en contenidos (medios de comunicación, universidades y museos), constituye una línea de investigación creciente (Pérez-Montoro y Codina, 2017Pérez-Montoro, M.; Codina, L. (2017). Navigation Design and SEO for Content-Intensive Websites. Oxford, UK: Chandos Publishing Elsevier. https://doi.org/10.1016/C2015-0-00739-0.). Dentro de esta área destaca especialmente el trabajo realizado por el grupo de investigación Digidoc sobre los cibermedios y medios de comunicación, para los que se han desarrollado indicadores específicos (García-Carretero y otros, 2016García-Carretero, L.; Codina, L.; Díaz-Noci, J.; Iglesias-García, M. (2016). Herramientas e indicadores SEO: características y aplicación para análisis de cibermedios. El profesional de la información, 25 (3), 497-504. https://doi.org/10.3145/epi.2016.may.19.) así como estrategias generales de comunicación y visibilidad web (Lopezosa y otros, 2018Lopezosa, C.; Codina, L.; Gonzalo-Penela, C. (2018). SEO Off Page y construcción de enlaces: estrategias generales y transmisión de autoridad en medios de comunicación. El profesional de la información, 28 (1), e280107. https://doi.org//10.3145/epi.2019.ene.07.), donde buscadores verticales como Youtube comienzan a tener un rol importante más allá del buscador general de Google (Lopezosa y otros, 2020Lopezosa, C.; Orduña-Malea, E.; Pérez-Montoro, M. (2020). Making Video News Visible: Identifying the Optimization Strategies of the Cybermedia on YouTube Using Web Metrics. Journalism Practice, 14 (4), 465-482. https://doi.org/10.1080/17512786.2019.1628657.).

Otra rama de aplicación del SEO es el Academic SEO (A-SEO), subespecialidad que engloba a todas las técnicas existentes de optimización de sitios web vinculados con el entorno académico (universidades, repositorios, revistas científicas online, perfiles académicos online, etc.), teniendo consecuentemente importantes conexiones con otros campos como la Webmetría o Altmetría.

Los análisis A-SEO pueden realizarse en motores de búsqueda tanto horizontales-generales (centrados en la optimización de sitios web académicos) como verticales-especializados (centrado en la optimización de documentos científicos). La aplicación de análisis A-SEO horizontales es escasa en la literatura científica, destacando los trabajos orientados a revistas científicas (Vállez y otros, 2015aVállez, M.; Pedraza-Jiménez, R.; Codina, L.; Blanco, S.; Rovira, C. (2015a). A semi-automatic indexing system based on embedded information in HTML documents. Library Hi Tech, 33 (2), 195-210. https://doi.org/10.1108/lht-12-2014-0114.; 2015bVállez, M.; Pedraza-Jiménez, R.; Codina, L.; Blanco, S.; Rovira, C. (2015b). Updating controlled vocabularies by analysing query logs. Online Information Review, 39 (7), 870-884. https://doi.org/10.1108/oir-06-2015-0180.) y sitios web de universidades (Shi y otros, 2010Shi, J.; Cao, Y.; Zhao, X. J. (2010). Research on SEO strategies of university journal websites. The 2nd International Conference on Information Science and Engineering, pp. 3060-3063. Hangzhou, China: IEEE. https://doi.org/10.1109/icise.2010.5690798.; Xu y Gao, 2012Xu, A.; Gao, S. (2012). Discussion on usability and optimization issues in overseas university websites: A British university as an example. 2012 11th International Symposium on Distributed Computing and Applications to Business, Engineering & Science, pp. 482-485. Guilin, China: IEEE. https://doi.org/10.1109/DCABES.2012.17.; Kaur y otros, 2016Kaur, S.; Kaur, K.; Kaur, P. (2016). An empirical performance evaluation of Universities Website. International Journal of Computer Applications, 146 (15), 10-16. https://doi.org/10.5120/ijca2016910922.; Shahzad y otros, 2018Shahzad, A.; Nawi, N. M.; Sutoyo, E.; Naeem, M.; Ullah, A.; Naqeeb, S.; Aamir, M. (2018). Search Engine Optimization Techniques for Malaysian University Websites: A Comparative Analysis on Google and Bing Search Engine. International Journal on Advanced Science, Engineering and Information Technology, 8 (4), 1262-1269. https://doi.org/10.18517/ijaseit.8.4.5032.). Por su parte, la literatura científica sobre A-SEO vertical es igualmente escasa y casi exclusivamente centrada en Google Scholar (Beel y Gipp, 2009aBeel, J.; Gipp, B. (2009a). Google Scholar’s ranking algorithm: an introductory overview. En: Birger Larsen, B.; Leta, J. (eds.), Proceedings of the 12th International Conference on Scientometrics and Informetrics (ISSI’09), pp. 230-241. Rio de Janeiro, Brazil: International Society for Scientometrics and Informetrics.; 2009bBeel, J.; Gipp, B. (2009b). Google Scholar’s ranking algorithm: the impact of articles’ age (an empirical study). 6th International Conference on Information Technology: New generations (ITNG’09), pp. 160-164. Las Vegas, NV, USA: IEEE. https://doi.org/10.1109/ITNG.2009.317.; 2009cBeel, J.; Gipp, B. (2009b). Google Scholar’s ranking algorithm: the impact of articles’ age (an empirical study). 6th International Conference on Information Technology: New generations (ITNG’09), pp. 160-164. Las Vegas, NV, USA: IEEE. https://doi.org/10.1109/ITNG.2009.317.; 2010Beel, J.; Gipp, B. (2010). Academic search engine spam and Google Scholar’s resilience against it. Journal of electronic publishing, 13 (3). https://doi.org/10.3998/3336451.0013.305.; Beel y otros, 2010Beel, J.; Gipp, B.; Wilde, E. (2010). Academic Search Engine Optimization (ASEO) Optimizing Scholarly Literature for Google Scholar & Co. Journal of scholarly publishing, 41 (2), 176-190. https://doi.org/10.3138/jsp.41.2.176.; Muñoz-Martin, 2015Muñoz-Martín, B. (2015). Incrementa el impacto de tus artículos y blogs: de la invisibilidad a la visibilidad. Revista de la Sociedad Otorrinolaringológica de Castilla y León, Cantabria y La Rioja, 6 (4), 6-32. http://hdl.handle.net/10366/126907.; Martín-Martín y otros, 2016Martín-Martín, A.; Orduña-Malea, E.; Ayllón, J. M.; Delgado-López-Cózar, E. D. (2016). Back to the past: on the shoulders of an academic search engine giant. Scientometrics, 107 (3), 1477-1487. https://doi.org/10.1007/s11192-016-1917-2.; 2017Martin-Martin, A.; Orduña-Malea, E.; Harzing, A. W.; Delgado López-Cózar, E. (2017). Can we use Google Scholar to identify highly-cited documents?. Journal of informetrics, 11 (1), 152-163. https://doi.org/10.1016/j.joi.2016.11.008.; Rovira y otros, 2018Rovira, C.; Guerrero-Solé, F.; Codina, L. (2018). Las citas recibidas como principal factor de posicionamiento SEO en la ordenación de resultados de Google Scholar. El profesional de la información, 27 (3), 559-569. https://doi.org/10.3145/epi.2018.may.09.).

3. MÉTODO Top

3.1. Selección del caso

Dado el carácter exploratorio de este trabajo se decidió orientar y aplicar la propuesta del modelo de análisis multinivel a una universidad pública presencial española que reflejara adecuadamente las tres misiones universitarias de docencia, investigación y transferencia (Orduña-Malea, 2012Orduña-Malea, E. (2012). Propuesta de un modelo de análisis redinformétrico multinivel para el estudio sistémico de las universidades españolas (2010). Valencia: UPV. [Tesis doctoral inédita].). En este caso se eligió a la Universitat Politècnica de València (UPV) por ser una institución conocida por los autores del trabajo.

3.2. Construcción del vocabulario multidimensional de términos

Se propone un método de análisis denominado Multidimensional Keyword Framework for Universities (MKFU), que consta de las siguientes fases:

3.2.1. Creación de un sistema de categorías

El primer paso consistió en diseñar un sistema de categorías de palabras clave para cada una de las tres dimensiones de la universidad (docencia, investigación y transferencia). Para ello se crearon tres tipos de categorías:

• Categorías específicas: propias para cada dimensión.

• Categorías transversales: comunes a las tres dimensiones.

• Categorías de facetación: perfilan al resto de categorías.

Dentro de cada categoría, se incluyen distintas subcategorías de términos (Tabla I).

Tabla I. Esquema de categorización por dimensión universitaria [Descargar tamaño completo]

3.2.2. Elaboración de un vocabulario multidimensional

El segundo paso consistió en identificar términos o palabras clave (keywords) y asignarlos a cada categoría con el fin de generar un vocabulario de trabajo estructurado. Se decidió utilizar términos en castellano al ser el idioma por defecto en el sitio web de la UPV.

En el caso de las categorías específicas, el proceso partió de un brainstorming entre los tres autores, así como de un análisis del sitio web de la UPV (términos incluidos en los títulos de sección, apartados y diferentes menús de información). Tras tener una primera bolsa de términos, se utilizó la herramienta LSI Keyword Generator (https://lsigraph.com) con el objetivo de localizar términos similares o relacionados y ampliar así el vocabulario.

En el caso de las categorías facetadas, se decidió utilizar de forma exploratoria términos que denotaran acción (por ejemplo, estudiar) y calificación (por ejemplo, barato). Los términos fueron obtenidos igualmente mediante LSI Keyword Generator.

En el caso de las categorías transversales, se utilizaron fuentes específicas de información:

• Titulaciones: se utilizó el listado oficial de títulos de la Universitat Politècnica de València (http://www.upv.es/estudios/grado/grados-ramas-es.html).

• Lugar: se utilizaron cuatro términos relacionados con la región donde se encuentra la universidad de la muestra (Comunidad Valenciana, Alicante, Castellón y Valencia).

• Áreas de conocimiento: se recurrió al producto Publishers Scholar Metrics (http://www.publishers-scholarmetrics.info), elaborado por el Grupo de Evaluación de la Ciencia y la Comunicación Científica (EC3), para obtener términos relacionados con áreas de ciencias humanas y sociales–escasamente cubiertas por una universidad de naturaleza técnica como la UPV–que permitiesen la identificación de distintas unidades universitarias (fundamentalmente departamentos y grupos de investigación) aunque la institución no imparta títulos en esas materias.

Finalmente se obtuvo un vocabulario final de 164 palabras clave, de las cuales 93 hacen referencia a categorías específicas (27 docencia, 26 investigación y 40 transferencia) y 71 a categorías transversales. Dado el carácter exploratorio del trabajo, la incorporación de estos términos se considera suficiente para responder a los objetivos planteados. Futuros estudios ampliarán de forma exhaustiva el vocabulario de términos. El listado final de palabras clave específicas y de facetación se encuentra disponible en el Anexo I (todos los Anexos con material complementario están disponibles en el repositorio de la UPV: https://riunet.upv.es/handle/10251/138727), mientras que el listado de palabras clave transversales se encuentra en el Anexo II.

3.2.3. Construcción de las consultas web

El siguiente paso consistió en elaborar una lista de posibles consultas en castellano para cada una de las tres dimensiones consideradas de la universidad. Para ello se realizaron distintas combinaciones de palabras clave teniendo en cuenta la categorización realizada para cada una de las dimensiones. Por ejemplo:

• Acción (docencia) + Titulación = <Estudiar Informática>.

• Acción (docencia) + Lugar = <Estudiar Valencia>.

De las 164 palabras clave se formaron un total de 290 consultas (100 vinculadas a docencia, 156 a investigación y 34 a transferencia). No se generaron todas las combinaciones posibles (especialmente en la dimensión de transferencia) pues en muchos casos la consulta web generada carecía de sentido (por ejemplo, <patrocinar patente estudios de Asia Oriental>. El listado completo de consultas web y su categorización se encuentra disponible en el Anexo III.

3.2.4. Automatización de las consultas web

Una vez diseñadas todas las consultas web se automatizó el procedimiento de ejecución de estas búsquedas en Google mediante un script ad hoc en Python que permitía construir un URL para cada consulta y ejecutarla a través de un navegador web vía HTTP. Se realizó una primera toma de datos durante el mes de mayo de 2018 y una segunda toma de datos en febrero de 2019.

Tras ello, mediante un parser se extrajeron los 20 primeros resultados obtenidos para cada una de las consultas en la página de resultados del buscador (un total de 5.800 resultados por toma). En este proceso se descartaron los resultados patrocinados (no constituyen resultados orgánicos naturales) ni los resultados relativos a vídeos e imágenes (incrustados por Google principalmente de sus buscadores verticales Google Imágenes, Google Videos y Youtube) o contenidos recomendados.

Para realizar las consultas se utilizó Google por ser el motor de búsqueda con mayor cuota de mercado en España (96,47% en marzo 2019) en la actualidad (http://gs.statcounter.com/search-engine-market-share/all/spain). La interfaz del motor de búsqueda se configuró en español y todas las consultas web se realizaron geolocalizadas desde Valencia, España (39.4812324° N, -0.3434725° O).

3.3. Análisis de datos

Considerando los primeros 20 resultados ofrecidos por Google para cada una de las 290 consultas web, se recopiló la mejor posición en la que aparecía la UPV en cada consulta (si no aparecía en este rango de posiciones, se anotaba con “>20”) así como el número total de apariciones de la UPV en cada consulta. De forma complementaria, se recopilaron igualmente los resultados correspondientes al resto de universidades públicas presenciales de la Comunidad Valenciana en España (NUTS-2 Code ES52] (Tabla II), con el fin de conocer el posicionamiento web de estas instituciones en relación a la UPV para un mismo conjunto de consultas web enfocadas a la UPV.

Tabla II. Muestra de universidades [Descargar tamaño completo]

La presencia de cada universidad entre los 20 primeros resultados se realizó a nivel de dominio web (independientemente de que fuera un subdominio o subdirectorio). Aquellos resultados fuera del dominio web aunque pertenecieran a la universidad (por ejemplo los distintos perfiles en plataformas de redes sociales o distintas páginas de proyectos o grupos de investigación) no se contabilizaron, pues el objetivo es conocer el posicionamiento del sitio web universitario en sí, a modo de representación online de la universidad.

La página web correspondiente al primer resultado de cada universidad ante cada consulta fue categorizada considerando los contenidos y no la fuente de la que emanaba, debido a que una misma fuente puede publicar contenido de naturaleza muy diversa. Por ejemplo, el sitio web de un Departamento puede publicar información sobre eventos, cursos, horarios, procedimientos administrativos, bolsas de trabajo, becas, etc.

En una primera ronda, cada página fue categorizada de forma manual (noticia, guía docente, información sobre un grado, bolsa de trabajo, etc.). Las categorías identificadas se normalizaron y sintetizaron hasta obtener un máximo de 35 categorías generales, que fueron a su vez agrupadas según su naturaleza (Docencia, Investigación y Transferencia, a las que se añadió Gestión e Información). Tras ello se realizó una segunda ronda de clasificación final para reasignar y pulir la clasificación realizada. Las categorías finales de contenidos y su descripción se encuentran disponibles en el Anexo IV.

4. RESULTADOS Top

4.1. Posicionamiento general de las consultas

En la Tabla III se muestra el número total de consultas en las que cada universidad aparece entre los 20 primeros resultados por dimensión y toma, así como el porcentaje normalizado según el número de consultas totales por dimensión (100 en docencia, 156 en investigación y 34 en transferencia). Los resultados brutos se encuentran disponibles en los Anexos V y VI (docencia), VII y VIII (investigación) y IX y X (transferencia).

Tabla III. Presencia general de las universidades valencianas en el Top 20 de resultados de Google según el tipo de consultas web [Descargar tamaño completo]

En docencia, la UPV aparece como la universidad mejor posicionada en ambas tomas (32% y 30% respectivamente), seguida por la UV y la UA (que aumenta el número de resultados de 8 a 12 en la segunda toma).

En investigación se mantiene la primera posición de la UPV, seguida en este caso por la UA (cuyo sitio web se sitúa en el top 20 de los resultados en el 20,5% de las consultas vinculadas a investigación). Sin embargo, la UA pasa a la tercera posición en la segunda toma al disminuir su porcentaje al 16% mientras que la UV crece desde el 16,7% en la primera toma hasta el 19,2% en la segunda.

En transferencia, los resultados difieren de los obtenidos en las otras dimensiones, siendo la UV y la UA las universidades con los porcentajes más elevados de presencia en este tipo de consultas (17,6% en ambas instituciones en la primera toma). Estos porcentajes incluso crecen en la segunda toma, especialmente en la UV (29,4%). La UPV por su parte ocupa la tercera posición en ambas tomas.

Las UJI y UMH obtienen porcentajes reducidos, aunque cabe destacar el crecimiento de la UMH en las consultas vinculadas a investigación (ver tabla III), donde pasa de no aparecer en el Top 20 de resultados para ninguna consulta en la primera toma, a aflorar en 9 consultas en la segunda toma.

4.2. Posicionamiento específico de las consultas

En la Tabla IV se ofrece el posicionamiento de las universidades para el conjunto de consultas por dimensión en cada toma por tramos de posición específicos (primer lugar, Top 5, Top 10, Top 20 y >20).

Tabla IV. Presencia específica de las universidades valencianas en el Top 20 de resultados de Google según el tipo de consultas web [Descargar tamaño completo]

La UPV es la universidad que aparece en la primera posición de los resultados para un mayor número de consultas web (24 consultas; 13 de ellas vinculadas a investigación y 9 a docencia), seguido por la UV (11 consultas; 6 de ellas vinculadas a investigación y 3 a docencia).

Si consideramos la primera página de resultados del buscador (es decir, el Top 10), se obtienen resultados similares, siendo la UPV la universidad con apariciones para una mayor cantidad de consultas (70 consultas; 43 vinculadas a investigación, 24 a docencia y solamente 3 a transferencia). La UV aparece en segunda posición (43 consultas; 22 vinculadas a investigación, 18 a docencia y 3 a transferencia), seguida de la UA (24 consultas; 15 vinculadas a investigación, 5 a docencia y 4 a transferencia) y la UJI (6 consultas; 4 vinculadas a docencia y 2 a investigación). Finalmente, la UMH no logra aparecer entre los 10 primeros resultados para ninguna de las consultas web estudiadas.

Se observa por otra parte cómo UPV, UA y UJI empeoran ligeramente los resultados en la segunda toma (Figura 2), disminuyendo la cantidad de términos para los que aparecen entre las 20 primeras posiciones (UPV pasa de 83 a 79; UA pasa de 46 a 44; UJI pasa de 11 a 8), mientras que la UV (pasa de 56 a 63, con un aumento significativo en transferencia) y la UMH (pasa de 0 a 13, con un aumento significativo en investigación) mejoran sensiblemente.

Figura 2. Número de consultas web totales que devuelven páginas web de las universidades analizadas en el Top 20 de resultados en Google [Descargar tamaño completo]

Si consideramos el número de consultas web normalizadas por tamaño de la dimensión (número de consultas web utilizadas por dimensión), se observan diferencias significativas entre la toma 1 (Figura 3, arriba) y la toma 2 (Figura 3, abajo), lo que impide la obtención de patrones claros de posicionamiento (por tipo de consulta y por universidad).

Figura 3. Número de consultas web normalizadas que devuelven páginas web de las universidades analizadas en el Top 20 de resultados en Google en la Toma 1 (arriba) y Toma 2 (abajo) [Descargar tamaño completo]

En todo caso, se observan unos porcentajes mayores en las consultas de docencia respecto a las de investigación tanto en la UPV como en la UV (en ambas tomas). Por otro lado, la UV y la UA obtienen porcentajes altos en consultas vinculadas a la transferencia (Figura 3).

La variabilidad entre tomas es muy elevada. La UPV es la única institución que mantiene su perfil (docencia e investigación prácticamente balanceadas como las mejor posicionadas porcentualmente). Por su lado, la UV crece en posicionamiento para consultas vinculadas a transferencia (que se convierte en su dimensión mejor posicionada). La UA baja en investigación y sube en docencia y transferencia (que también se convierte en su dimensión mejor posicionada porcentualmente). La UJI pierde su posicionamiento en todas las consultas de transferencia en la segunda toma, mientras que la UMH pasa de no aparecer en la primera toma a lograr un perfil con la investigación como dimensión mejor posicionada en la segunda toma.

4.3. Tipología de resultados en las consultas

En la Tabla V se observa cómo las principales páginas de las universidades corresponden a contenidos relacionados con la docencia, especialmente en la UPV y UV. Sorprende, no obstante, que muchas de estas páginas posicionaran a partir de consultas vinculadas a la investigación. Por ejemplo, hasta en 40 consultas vinculadas a la investigación, la UPV devuelve como página mejor posicionada un contenido vinculado a la docencia. Por otro lado, las páginas de información provienen fundamentalmente de consultas vinculadas a la docencia.

Tabla V. Categoría temática general del primer resultado obtenido según tipo de consulta y universidad [Descargar tamaño completo]

Si descendemos hasta las categorías específicas de las páginas devueltas ante cada consulta podemos observar cómo predominan las páginas de titulaciones de grado, muy por encima del resto de categorías (Tabla VI). Los resultados confirman asimismo el alto nivel de recuperación de páginas vinculadas a la docencia ante consultas vinculadas a la investigación. Del mismo modo sorprende la poca cantidad de páginas vinculadas a la transferencia devueltas ante consultas vinculadas a esta misión.

Por otro lado, se detecta una elevada variabilidad en los resultados de categorías específicas de la primera a la segunda toma, en la que se aprecia una caída en las páginas de departamentos (de 10 a 6 páginas) y una subida de las páginas relacionadas con programas de doctorado (de 2 a 7 resultados), facultades (de 4 a 11), cursos (de 3 a 7), grupos de investigación (de 3 a 10) y publicaciones (de 3 a 10).

Tabla VI. Categoría temática específica del primer resultado obtenido según tipo de consulta (Docencia, Investigación y Transferencia) y universidad [Descargar tamaño completo]

Los resultados completos de este análisis pueden consultarse en el Anexo XI (categoría de página por consulta) y Anexo XII (consultas por universidad, dimensión y categoría normalizada de página).

4.4. Presencia de universidades en las consultas web

Entre los 5.800 resultados totales obtenidos en la primera toma de datos para todas las consultas web en todas las universidades analizadas, solamente el 36% (2.069 resultados) corresponde con alguna universidad presencial española, mientras que el 4% (233) pertenece a alguna de las cinco universidades de la Comunidad Valenciana, valor que asciende al 5% (275) en la segunda toma (Figura 4). El resto de resultados (64% en la primera toma y 73% en la segunda toma) incluye a universidades privadas, a distancia y a entidades no universitarias. Adicionalmente, todos los contenidos pertenecientes a universidades públicas presenciales pero alojados fuera del dominio web oficial institucional, excluidos del análisis, también se encuentran en la categoría de “resto de resultados”.

Figura 4. Porcentaje de resultados correspondiente a universidades presenciales españolas y universidades públicas valencianas [Descargar tamaño completo]

Si distribuimos los resultados por dimensión de la consulta web (Figura 5), podemos observar cómo las consultas vinculadas a investigación devuelven un mayor porcentaje de resultados de universidades públicas españolas presenciales (40,2% de todos los resultados posibles). De forma inesperada, las vinculadas a docencia son las que obtienen un porcentaje menor (28,1%), aunque los resultados varían entre tomas.

Los datos de presencia de universidades en los resultados a nivel de cada consulta web se encuentran disponibles en el Anexo XIII.

Figura 5. Distribución de resultados de universidades en las consultas web [Descargar tamaño completo]

5. DISCUSIÓN Y CONCLUSIONES Top

En relación con los objetivos marcados, se obtienen las siguientes conclusiones:

Posicionamiento según consultas web categorizadas

Los resultados confirman que las universidades obtienen un posicionamiento web en Google muy variable en función de la dimensión vinculada a la consulta web utilizada. Estos resultados abren, pues, la posibilidad de generar perfiles de posicionamiento web por dimensión universitaria. A nivel general, los resultados normalizados muestran un mejor posicionamiento ante consultas vinculadas a investigación y docencia y un peor posicionamiento ante consultas vinculadas a transferencia.

Tipología de páginas web mejor posicionadas para cada universidad

Con independencia de la dimensión vinculada a la consulta web, las páginas web vinculadas a la docencia (especialmente Grados universitarios y facultades) son las que aparecen con mayor frecuencia como las mejor posicionadas dentro de cada universidad ante las consultas realizadas, seguidas a distancia por las páginas web vinculadas a contenidos de investigación (grupos de investigación, publicaciones) e información (información general, noticias), aunque los resultados varían mucho entre tomas.

Presencia de universidades

La presencia de las universidades públicas valencianas entre los 20 primeros resultados en Google para el vocabulario de términos utilizado (290 consultas lanzadas; 5.800 resultados analizados) es baja (entre el 4 y el 5% del total de resultados), más considerando que la geolocalización del navegador estaba activada, que el vocabulario utilizado incluía términos de localización (Valencia, Castellón, Alicante, Comunidad Valenciana) y que el modelo estaba centrado en la UPV, por lo que se preveía una mayor presencia al menos de esta universidad. La presencia del resto de universidades públicas presenciales españolas no valencianas es igualmente baja (36% en la primera toma; 27% en la segunda toma), lo que refleja un posicionamiento web bajo de las universidades españolas ante consultas web pertinentes, pero que no incluyen el nombre de la universidad en su sintaxis.

Modelo de análisis multinivel

Los resultados obtenidos justifican la necesidad de emplear modelos de análisis multinivel adaptados a la estructura universitaria. No obstante, se precisa refinar el modelo de análisis (ampliando el catálogo de categorías, subcategorías y términos) con el fin de generar muchas más combinaciones de consultas web:

• Se deben incluir dimensiones transversales (gestión, información y servicios) aparte de las misiones tradicionales.

• Las categorías específicas deben completarse de forma más exhaustiva para capturar todo el sistema universitario.

• Las facetas de acción y calificación necesitan ampliar el vocabulario de términos incluidos dentro de cada una.

• Las categorías transversales (lugar, titulación y área) deben incorporar un mayor número de términos. Especialmente, se precisa incluir el catálogo oficial de titulaciones españolas (grado y posgrado) y áreas de conocimiento, así como los términos procedentes de las denominaciones de departamentos, centros, institutos, etc.

En cualquier caso, los términos utilizados en este trabajo, a pesar de constituir una muestra limitada, se consideran suficientes para contestar los objetivos exploratorios propuestos.

Las diferencias obtenidas en el posicionamiento web entre las distintas universidades (ver Tabla III, Tabla IV, Tabla V y Tabla VI) no deben ser interpretadas en tanto que comparaciones de rendimiento, sino como indicadoras del grado de competencia en visibilidad web de otras universidades frente a la universidad analizada. Ello abre la posibilidad de realizar futuros estudios de benchmarking entre universidades, así como de estudios de semejanzas entre instituciones a través de la visibilidad de sus contenidos web.

Por otra parte, el modelo presenta ciertas limitaciones a discutir. En primer lugar, existe un componente subjetivo en la vinculación de las consultas web a las dimensiones, por lo que se podría prever un sistema de clasificación polijerárquico en el futuro (es decir, que una consulta pudiera pertenecer a más de una dimensión). En segundo lugar, los resultados muestran una elevada variabilidad entre tomas, lo que impide el establecimiento de patrones robustos de comportamiento. Esta variabilidad se debe a distintos factores (principalmente a cambios en los algoritmos de posicionamiento de Google, cambios en el volumen de clics en la página de resultados que provocan una visita a la página, cambios en el comportamiento de los usuarios dentro de la página y cambios en los contenidos de las páginas web). Debido a esta circunstancia, se requiere de la ejecución de tomas de análisis muy frecuentes para controlar esta variabilidad. Por último, el idioma principal de la página web puede variar (por ejemplo, el idioma por defecto en el sitio web de la UV es el valenciano), por lo que se deberá tener en cuenta al generar futuras consultas.

Los resultados obtenidos ofrecen, en todo caso, una información amplia y rica del perfil de las universidades que actualmente no se está utilizando en el diseño de productos de información universitarios, y que pueden ser útiles en la toma de decisiones tanto en las propias universidades (política universitaria web) como en distintas agencias y organismos públicos o privados que trabajen con información universitaria.

6. REFERENCIASTop

ANEXO. MATERIAL COMPLEMENTARIOTop