Revista Española de Documentación Científica 44 (2)
Abril-Junio 2021, e292
ISSN: 0210-0614, eISSN: 1988-4621
https://doi.org/10.3989/redc.2021.2.1761

Estado de la web local portuguesa: evidencias empíricas acerca de la brecha digital entre regiones

State of Portuguese local web: empirical evidence about digital divide between regions

Valeriano Piñeiro-Naval

Observatorio de los Contenidos Audiovisuales, Universidad de Salamanca (España)

https://orcid.org/0000-0001-9521-3364

Paulo Serra

LabCom – Comunicação e Artes, Universidade da Beira Interior, Covilhã (Portugal).

https://orcid.org/0000-0001-7821-3880

Resumen

En aras de corresponder a las demandas de sus ciudadanos, los municipios han impulsado el gobierno electrónico mediante el uso de las TIC. Sin embargo, esta adopción tecnológica no siempre se efectúa de forma homogénea entre unos territorios y otros, originando las conocidas como «brechas digitales». Así pues, los objetivos del estudio consistieron en medir, a través del análisis de contenido de los 308 sitios web municipales de Portugal, la calidad de estos servicios electrónicos, para luego detectar diferencias interregionales y apuntar algunos factores predictivos del estado de la red local portuguesa. Desde el punto de vista instrumental, se diseñó un «Indicador General de Calidad Web» que sirvió para concretar el grado de desempeño nacional, cercano a un nivel correcto, así como para concluir que el litoral continental del país, la zona más poblada, rica y desarrollada, es también el área donde el gobierno electrónico está mejor implementado.

Palabras clave: 
e-gobierno; brecha digital; sitios web municipales; Portugal; análisis de contenido; Índice General de Calidad Web.
Abstract

In order to correspond to their citizens’ demands, municipalities have promoted electronic government through the use of ICT. However, this technological adoption is not always carried out homogeneously when comparing some territories with others, causing what are known as “digital divides”. Thus, the objectives of the study consisted on measuring, through the content analysis of the 308 municipal websites of Portugal, the quality of these electronic services, to then detect interregional differences and point out some predictive factors of the state of Portuguese local network. From the instrumental point of view, a “General Web Quality Index” was designed, that served to specify the national performance level, which was close to correct, as well as to conclude that the country’s continental coastline, the most populated, rich and developed area, is precisely where e-government is best implemented.

Keywords: 
e-government; digital divide; municipal websites; Portugal; content analysis; General Web Quality Index.

Recibido: 12-01-2020; 2ª versión: 18-03-2020; Aceptado: 02-04-2020; Publicado: 27-04-2021

Cómo citar este artículo/Citation: Piñeiro-Naval, V.; Serra, P. (2021). Estado de la web local portuguesa: evidencias empíricas acerca de la brecha digital entre regiones. Revista Española de Documentación Científica, 44 (2), e292. https://doi.org/10.3989/redc.2021.2.1761

CONTENIDO

1. INTRODUCCIÓN

 

Por muy superficial que esta sea, toda reflexión acerca de la sociedad actual nos tendría que remitir, de forma ineludible, a las «Tecnologías de la Información y la Comunicación» (TIC), aquellos elementos que facilitan tanto la conexión entre los distintos agentes sociales como su acceso al conocimiento generado. Constituyen, por tanto, un avance equiparable al que representó la imprenta; una revolución que también motivó, en aquel entonces, un cambio de paradigma social. En un ecosistema tan complejo, “la gestión de la información y su documentación resulta determinante para la eficacia de los procedimientos a los que se ven sometidos, de manera recurrente, los ayuntamientos” (Campillo-Alhama, 2013Campillo-Alhama, C. (2013). Gestión de la información y su evaluación en los gabinetes de comunicación municipal. El profesional de la información, 22 (6), 515-521. https://doi.org/10.3145/epi.2013.nov.03 ); los organismos más próximos al ciudadano y cuyas obligaciones radican en atender, en primera instancia, sus demandas y solicitudes. Para cumplir con este imperativo, las instituciones públicas han impulsado lo que se ha dado en denominar «e-gobierno» que, a grandes rasgos, consiste en el uso de las TIC para promover una reforma administrativa que devenga en la prestación eficiente de servicios (Helbig y otros, 2009Helbig, N.; Gil-García, J. R.; Ferro, E. (2009). Understanding the complexity of electronic government: Implications from the digital divide literature. Government Information Quarterly, 26 (1), 89-97. https://doi.org/10.1016/j.giq.2008.05.004 ; López-López y otros, 2018López-López, V.; Iglesias-Antelo, S.; Vázquez-Sanmartín, A.; Connolly, R.; Bannister, F. (2018). E-Government, Transparency & Reputation: An Empirical Study of Spanish Local Government. Information Systems Management, 35 (4), 276-293. https://doi.org/10.1080/10580530.2018.1503792 ). Entre sus principales ventajas destacarían: una mayor accesibilidad a los medios públicos y la participación de los ciudadanos de la e-democracia, una mejor capacidad de respuesta a sus necesidades y, por último, una reducción de los tiempos y los costes burocráticos (Detlor y otros, 2010Detlor, B.; Hupfer, M. E.; Ruhi, U. (2010). Internal factors affecting the adoption and use of government websites. Electronic Government, An International Journal, 7 (2), 120-136. https://doi.org/10.1504/EG.2010.030923 ). El concepto y la práctica del e-gobierno son etiquetados mediante la utilización de términos como «digital», «en línea» y, últimamente, adjetivos más novedosos como «móvil», «ubicuo» o «inteligente» (Manoharan e Ingrams, 2018Manoharan, A. P.; Ingrams, A. (2018). Conceptualizing E-Government from Local Government Perspectives. State and Local Government Review, 50 (1), 56-66. https://doi.org/10.1177/0160323X18763964 ).

No obstante, la difusión del e-gobierno ha estado condicionada, desde sus inicios, por otro factor íntimamente asociado: la «brecha digital» (digital divide), una idea que ahonda en la relación que se establece entre los distintos grupos de individuos y las TIC. En este sentido, y según Helbig y otros (2009)Helbig, N.; Gil-García, J. R.; Ferro, E. (2009). Understanding the complexity of electronic government: Implications from the digital divide literature. Government Information Quarterly, 26 (1), 89-97. https://doi.org/10.1016/j.giq.2008.05.004 , cabe matizar que los estudiosos del e-gobierno se han centrado, habitualmente, en las iniciativas públicas que propician los servicios electrónicos y, en otros casos, en las oportunidades de participación de los ciudadanos, las empresas y demás partes interesadas; esto es, en todo lo relativo a la oferta de estos mecanismos. Por otro lado, y siguiendo a los mismos autores, los investigadores de la brecha digital analizan cómo diferentes grupos sociales intentan aprovechar estos dispositivos y otros recursos de las TIC; es decir, el modo mediante el que se comporta la demanda. Pero ¿qué es la brecha digital? Sucintamente, “se considera una distinción entre aquellos con y sin acceso a Internet, o entre los usuarios y no usuarios de Internet” (Choudrie y otros, 2013Choudrie, J.; Ghinea, G.; Songonuga, V. N. (2013). Silver Surfers, E-government and the Digital Divide: An Exploratory Study of UK Local Authority Websites and Older Citizens. Interacting with Computers, 25 (6), 417-442. https://doi.org/10.1093/iwc/iws020 ). En los países desarrollados, los efectos de la brecha de acceso a la administración electrónica están disminuyendo como resultado de la expansión generalizada de la red (Ebbers y otros, 2016Ebbers, W. E.; Jansen, M. G. M.; Deursen, A. J. A. M. van (2016). Impact of the digital divide on e-government: Expanding from channel choice to channel usage. Government Information Quarterly, 33 (4), 685-692. https://doi.org/10.1016/j.giq.2016.08.007 ), si bien es cierto que los ingresos económicos y las infraestructuras continúan siendo factores clave a este respecto.

En suma, la presente investigación nace con un claro propósito: evaluar la calidad de los portales web oficiales de los 308 municipios portugueses, así como observar las eventuales diferencias en su implementación a nivel regional. Se sabe que la calidad de un producto o servicio es un atributo complejo y multidimensional (Carvalho y otros, 2016Carvalho, R. M. D.; Lopes, P. F.; Alexandre, I.; Alturas, B. (2016). Qualidade dos sítios Web da Administração Pública Portuguesa. RISTI, 20, 78-98. https://doi.org/10.17013/risti.20.78-98 ), que arroja luz a su grado de adecuación o ajuste a las necesidades de los usuarios (Karabasevic y otros, 2019Karabasevic, D.; Stanujkic, D.; Maksimovic, M.; Popovic, G.; Momcilovic, O. (2019). An Approach to Evaluating the Quality of Websites Based on the Weighted Sum Preferred Levels of Performances Method. Acta Polytechnica Hungarica, 16 (5), 195-215. https://doi.org/10.12700/APH.16.5.2019.5.11 ). Así pues, propondremos una estrategia para medir el desempeño de estos portales basada en sus contenidos culturales y turísticos, su diseño web y su empleo de las principales herramientas sociales o 2.0.

1.1. Estado de la cuestión

 

Serán enumerados, de inmediato, algunos trabajos empíricos que han demostrado la existencia de brechas digitales interterritoriales no solo en Portugal, sino en otros países de su entorno; y que, además, han identificado los principales factores predictores del estado de la e-administración local.

Para comenzar este repaso por el ámbito internacional, el estudio de Ingrams y otros (2018)Ingrams, A.; Manoharan, A.; Schmidthuber, L.; Holzer, M. (2018). Stages and Determinants of E-Government Development: A Twelve-Year Longitudinal Study of Global Cities. International Public Management Journal, 0 (0), 1-39. https://doi.org/10.1080/10967494.2018.1467987 analiza una muestra de 100 websites de las principales ciudades del mundo, empleando una checklist compuesta por 104 ítems englobados en 5 parámetros, como son: 1) contenido, 2) usabilidad, 3) privacidad y seguridad, 4) servicios y, en último lugar, 5) implicación social y ciudadana. Entre sus hallazgos, los autores determinan que el tamaño poblacional y las características socioeconómicas de las localidades están positivamente asociadas con un mejor e-gobierno. En esta línea, Manoharan y otros (2017)Manoharan, A. P.; Zheng, Y.; Melitski, J. (2017). Global comparative municipal e-governance: factors and trends. International Review of Public Administration, 22 (1), 14-31. https://doi.org/10.1080/12294659.2017.1292031 ya habían testado con anterioridad la misma estrategia metodológica, validando así un modelo correlacional donde la adopción del e-gobierno dependía de cuestiones económicas, democráticas, educativas y de uso de Internet. En un contexto más próximo, Philip y otros (2017)Philip, L.; Cottrill, V.; Farrington, J.; Williams, F.; Ashmore, F. (2017). The digital divide: Patterns, policy and scenarios for connecting the ‘final few’ in rural communities across Great Britain. Journal of Rural Studies, 54, 386-398. https://doi.org/10.1016/j.jrurstud.2016.12.002 ilustran la brecha digital existente en el seno de Gran Bretaña entre los ámbitos rural y urbano; unas desigualdades basadas, sobre todo, en las infraestructuras tecnológicas y los datos financieros.

En el caso español, García-Santamaría y Martín-Matallana (2017)García-Santamaría, J. V.; Martín-Matallana, J. (2017). La transparencia municipal en España: análisis de los factores que más influyen en el grado de transparencia. Revista Latina de Comunicación Social, 72, 1148-1164. https://doi.org/10.4185/RLCS-2017-1212 se sirven de los datos proporcionados en el «Índice de Transparencia de los Ayuntamientos» (Transparencia Internacional España, 2017Transparencia Internacional España (2017). Índice de Transparencia de los Ayuntamientos (ITA). Disponible en: https://transparencia.org.es/ita-2017 [Fecha de consulta: 21/04/2020]. ); un informe donde son evaluados los portales de los 110 concejos españoles de mayor tamaño, y cuyos niveles de transparencia dependen de un total de 80 indicadores agrupados en 6 áreas. Tras el posterior tratamiento de estos datos secundarios, García-Santamaría y Martín-Matallana (2017)García-Santamaría, J. V.; Martín-Matallana, J. (2017). La transparencia municipal en España: análisis de los factores que más influyen en el grado de transparencia. Revista Latina de Comunicación Social, 72, 1148-1164. https://doi.org/10.4185/RLCS-2017-1212 concluyen que el signo ideológico del partido político al frente del consistorio no afecta al grado de transparencia de su sede en línea. Por su parte, Piñeiro-Naval y otros (2017)Piñeiro-Naval, V.; Igartua, J. J.; Sánchez-Nuevo, L. A. (2017). Identificación de factores externos que predicen el estado de los sitios web municipales: una aproximación regional al caso de España. Observatorio (OBS*), 11 (3), 44-60. sostienen que la calidad de los sitios web de los municipios españoles depende, principalmente, del número de habitantes y de los indicadores de desarrollo tecnológico; para el caso, del «Índice de Convergencia con la Sociedad de la Información», o ICSI (Gimeno, 2014Gimeno, M. (2014). e-España. Informe anual sobre el desarrollo de la sociedad de la información en España. Madrid: Fundación Orange.), y del porcentaje de hogares con acceso a Internet.

Según Dias (2016)Dias, G. P. (2016). A decade of Portuguese research in e-government: evolution, current standing, and ways forward. Electronic Government, An International Journal, 12 (3), 201-222. https://doi.org/10.1504/EG.2016.078415 , el número de trabajos sobre estas temáticas indexados en Scopus y publicados, desde 2005 hasta 2014, por investigadores afiliados a instituciones portuguesas ha aumentado de manera constante, así como las citas recibidas por dichos trabajos. Concretamente, entre 2003 y 2017, el volumen total de documentos relacionados con e-gobierno en Portugal ascendió a 163 (Dias, 2019Dias, G. P. (2019). Fifteen years of e-government research in Ibero-America: A bibliometric analysis. Government Information Quarterly, 36 (3), 400-411. https://doi.org/10.1016/j.giq.2019.05.008 ), una cifra nada desdeñable. Precisamente, uno de esos estudios es el llevado a cabo por Dias y Costa (2013)Dias, G. P.; Costa, M. (2013). Significant socio-economic factors for local e-government development in Portugal. Electronic Government, An International Journal, 10 (3-4), 284-309. https://doi.org/10.1504/EG.2013.058785 , donde se señala que, en términos geográficos, la e-administración se encuentra en una fase de desarrollo más avanzada en los municipios del litoral, que son los más poblados y, en paralelo, los que presentan mejores indicadores socioeconómicos. En cuanto a la investigación de Nevado-Gil y Gallardo-Vázquez (2016)Nevado-Gil, M. T.; Gallardo-Vázquez, D. (2016). Información sobre Responsabilidad Social contenida en las paginas webs de los ayuntamientos. Estudio en la región del Alentejo. Revista Española de Documentación Científica, 39 (4), e150. https://doi.org/10.3989/redc.2016.4.1353 , su objetivo es analizar el grado de información en materia de «Responsabilidad Social» (a saber: comportamiento económico, social y medioambiental) contenida en los portales de los 58 municipios que conforman la región del Alentejo, así como identificar sus posibles factores explicativos. Para ello, generan un «Índice de Divulgación sobre Responsabilidad Social» (IDRS), que alcanza un promedio bajo y que correlaciona de manera significativa con el tamaño de las entidades y su capacidad económica e institucional, mientras que nada tiene que ver con el nivel de competencia política.

En Portugal también se recaban, desde 2013, datos acerca del «Índice de Transparencia Municipal» por parte de Transparência e Integridade - Associação Cívica (2017)Transparência e Integridade - Associação Cívica (2017). Índice de Transparência Municipal (ITM). Disponible en: https://transparencia.pt/itm [Fecha de consulta: 20/09/2019]. . A diferencia de su homólogo español (el ITA), el ITM se configura en función de 76 indicadores agrupados en 7 dimensiones: 1) información sobre la organización, composición social y funcionamiento del municipio; 2) planes e informes; 3) impuestos, tasas, tarifas, precios y reglamentos; 4) relación con la sociedad; 5) contratación pública; 6) transparencia económica y financiera; y 7) transparencia en el área de urbanismo. Más adelante, en los apartados de metodología y resultados, incidiremos de nuevo en el ITM.

Por último, otra de las iniciativas de mayor trayectoria en Portugal referente a la evaluación de los sitios web locales es la llevada a cabo, periódicamente, por Soares y otros (2017)Soares, D. S; Amaral, L.; Ferreira, L. M. (2017). Presença na Internet das Câmaras Municipais Portuguesas em 2016: Estudo sobre Local e-Government em Portugal. Universidade do Minho, Guimarães: Gávea-Observatório da Sociedade da Informação., que se concreta en el «Índice de Presença na Internet das Câmaras» (IPIC). Este indicador está creado a partir de 4 criterios: 1) contenido; 2) accesibilidad, navegabilidad y facilidad de uso; 3) servicios online; y, para terminar, 4) participación. En la explotación de sus datos, Soares y otros (2017)Soares, D. S; Amaral, L.; Ferreira, L. M. (2017). Presença na Internet das Câmaras Municipais Portuguesas em 2016: Estudo sobre Local e-Government em Portugal. Universidade do Minho, Guimarães: Gávea-Observatório da Sociedade da Informação. emplean una estrategia comparativa interregional que les induce a concluir que el litoral continental aventaja al interior y a las islas; que el Área Metropolitana de Lisboa es la NUTS II más destacada, seguida del Algarve y del Norte; y que, en lo referente a los distritos, Bragança, Lisboa, Vila Real y Setúbal son los mejor posicionados.1 NUTS es el acrónimo de «Nomenclatura de las Unidades Territoriales Estadísticas».

En síntesis, parece que los factores determinantes que motivan las brechas digitales son los que siguen (Manoharan e Ingrams, 2018Manoharan, A. P.; Ingrams, A. (2018). Conceptualizing E-Government from Local Government Perspectives. State and Local Government Review, 50 (1), 56-66. https://doi.org/10.1177/0160323X18763964 ; Nevado-Gil y Gallardo-Vázquez, 2019Nevado-Gil, M. T.; Gallargo-Vázquez, D. (2019). Local government social responsibility: empirical evidence in the region of Extremadura. Investigaciones Regionales. Journal of Regional Research, 45, 161-179. ; Pirni y otros, 2019Pirni, A.; Giampellegrini, P.; Raffini, L. (2019). Digital transformation and e-government. For a research agenda on the Liguria Region. OBETS. Revista de Ciencias Sociales, 14 (2), 471-490. https://doi.org/10.14198/OBETS2019.14.2.07 ; Várallyai y otros, 2015Várallyai, L.; Herdon, M.; Botos, S. (2015). Statistical analyses of digital divide factors. Procedia Economics and Finance, 19, 364-372. https://doi.org/10.1016/S2212-5671(15)00037-4 ): 1) geográficos (ubicación de los municipios en los ámbitos rural o urbano), 2) demográficos (densidad poblacional), 3) económicos (ingresos, presupuesto y PIB de los territorios), 4) tecnológicos (infraestructuras de acceso a Internet), y 5) digitales (la propia calidad de los contenidos y los servicios web). Por ende, y tras la revisión de la literatura científica previa, nos planteamos las siguientes hipótesis:

  • H1: existirán diferencias a nivel geográfico en cuanto a la calidad de los websites municipales de Portugal, siendo los del litoral continental los más destacados.

  • H2: cuanto mayor sea la población de las localidades, mejor serán sus servicios on-line.

  • H3: cuanta mayor capacidad económica tenga el concejo, mayor será la calidad de su portal web.

A efectos estadísticos, la H3 se subdivide en varias hipótesis de segundo orden:

  • H3a: a mayor presupuesto municipal, mejor sitio web.

  • H3b: a mayor gasto cultural, mejor sitio web.

  • H3c: a mayores ingresos turísticos, mejor sitio web.

Surgen, en términos políticos y digitales, las restantes hipótesis del estudio:

  • H4: el signo político del ayuntamiento no afectará a la calidad del website.

  • H5: a medida que los indicadores de desarrollo electrónico-administrativo y digital aumenten, la calidad del portal web municipal también mejorará.

Esta última hipótesis se desdobla, asimismo, en otras dos:

  • H5a: a mayor transparencia, mejor portal web.

  • H5b: a mayor presencia en Internet, mejor portal web.

A continuación, pasamos a detallar los objetivos y la metodología empleada en esta investigación.

2. OBJETIVOS

 

El cometido principal del presente estudio consistió en diseñar un procedimiento que permitiese medir la calidad de los sitios web municipales de Portugal. Supeditados a este propósito inicial y estrechamente relacionados con las hipótesis descritas con anterioridad, surgen dos objetivos específicos:

  • OE1: detectar la existencia de brechas digitales interterritoriales en cuanto a la implementación de los portales web.

  • OE2: señalar los principales factores que condicionan la puesta en marcha de estas herramientas tecnológicas al servicio de la e-administración local portuguesa.

Si establecemos una correspondencia entre los objetivos y las hipótesis, el OE1 se instrumentaliza gracias a la H1, mientras que el OE2 se desdobla en el resto de las hipótesis.

3. METODOLOGÍA

 

En aras del acometimiento de estos propósitos, se practicó un análisis de contenido sistemático, objetivo y cuantitativo (Lacy y otros, 2015Lacy, S.; Watson, B. R.; Riffe, D.; Lovejoy, J. (2015). Issues and best practices in content analysis. Journalism & Mass Communication Quarterly, 92 (4), 791-811. https://doi.org/10.1177/1077699015607338 ; Neuendorf, 2017Neuendorf, K. A. (2017). The content analysis guidebook (2ndEd.). Thousand Oaks, California: Sage. https://doi.org/10.4135/9781071802878 ) de los N = 308 portales web oficiales; es decir, del universo poblacional de municipios, un hecho que afirma la representatividad de los datos recabados. El listado de localidades del país se consultó en el repositorio de la Associação Nacional de Municípios Portugueses.2 Información disponible en: https://www.anmp.pt [Fecha de consulta: 20/02/2020].

La principal herramienta de todo análisis de contenido es el libro de códigos, “un manual de instrucciones a la medida de la metodología de investigación concreta” (Piñuel, 2002: 19Piñuel, J. L. (2002). Epistemología, metodología y técnicas del análisis de contenido. Estudios de Sociolingüística, 3 (1), 1-42.) en el que se reflejan, con detalle, las variables de análisis y sus respectivas categorías. Así pues, el codebook, inspirado en estudios previos similares (Campillo-Alhama, 2013Campillo-Alhama, C. (2013). Gestión de la información y su evaluación en los gabinetes de comunicación municipal. El profesional de la información, 22 (6), 515-521. https://doi.org/10.3145/epi.2013.nov.03 ; Cardoso-de-Miranda y Muñoz-Cañavate, 2015Cardoso-de-Miranda, E. A.; Muñoz-Cañavate, A. (2015). Los sitios web como servicios de información al ciudadano: un estudio sobre los 308 ayuntamientos de Portugal. Anales de Documentación, 18 (1). https://doi.org/10.6018/analesdoc.18.1.212681 ; Carvalho y otros, 2016Carvalho, R. M. D.; Lopes, P. F.; Alexandre, I.; Alturas, B. (2016). Qualidade dos sítios Web da Administração Pública Portuguesa. RISTI, 20, 78-98. https://doi.org/10.17013/risti.20.78-98 ; Dias y Costa, 2013Dias, G. P.; Costa, M. (2013). Significant socio-economic factors for local e-government development in Portugal. Electronic Government, An International Journal, 10 (3-4), 284-309. https://doi.org/10.1504/EG.2013.058785 ; Fernández-Cavia y otros, 2014Fernández-Cavia, J.; Rovira, C.; Díaz-Luque, P.; Cavaller, V. (2014). Web Quality Index (WQI) for official tourist destination websites. Proposal for an assessment system. Tourism Management Perspectives, 9, 5-13. https://doi.org/10.1016/j.tmp.2013.10.003 ; Ingrams y otros, 2018Ingrams, A.; Manoharan, A.; Schmidthuber, L.; Holzer, M. (2018). Stages and Determinants of E-Government Development: A Twelve-Year Longitudinal Study of Global Cities. International Public Management Journal, 0 (0), 1-39. https://doi.org/10.1080/10967494.2018.1467987 ; Manoharan y otros, 2017Manoharan, A. P.; Zheng, Y.; Melitski, J. (2017). Global comparative municipal e-governance: factors and trends. International Review of Public Administration, 22 (1), 14-31. https://doi.org/10.1080/12294659.2017.1292031 ; Mota y Losada, 2018Mota, G.; Losada, N. (2018). Promoção Turística nos Websites Municipais: O Caso da Região do Douro (NUT III). Revista Portuguesa de Estudos Regionais, 47, 49-71. ; Nevado-Gil y Gallardo-Vázquez, 2016Nevado-Gil, M. T.; Gallardo-Vázquez, D. (2016). Información sobre Responsabilidad Social contenida en las paginas webs de los ayuntamientos. Estudio en la región del Alentejo. Revista Española de Documentación Científica, 39 (4), e150. https://doi.org/10.3989/redc.2016.4.1353 ; Rocha, 2012Rocha, Á. (2012). Framework for a Global Quality Evaluation of a Website. Online Information Review, 36 (3), 374-382. https://doi.org/10.1108/14684521211241404 ), estaba conformado por un total de 80 ítems, en su mayoría nominales dicotómicos (conocidos también como «dummy») o, en su defecto, multicategoriales. Estos se referían tanto a la información cultural y turística, como al diseño web (estética o «look and feel», arquitectura de la información, usabilidad y accesibilidad) y, finalmente, a los parámetros de la web 2.0 (presencia de las localidades en redes sociales, microblogs, plataformas de vídeo, etc.). Este manual de instrucciones fue empleado por dos evaluadores, que se ocuparon de la codificación de las 308 unidades de análisis desde el 16 de marzo hasta el 8 de junio de 2017.

Para el cálculo de la fiabilidad, uno de los pasos más críticos de todo el proceso, fue seleccionada una muestra aleatoria de ~12% de los casos; esto es, n = 37 sedes analizadas, en simultáneo, por ambos miembros del equipo. El parámetro utilizado para el chequeo de la confiabilidad fue el «Alpha de Krippendorff» que, de entre las más de 20 medidas existentes (Zhao y otros, 2013Zhao, X.; Liu, J. S.; Deng, K. (2013). Assumptions behind Intercoder Reliability Indices. Annals of the International Communication Association, 36 (1), 419-480. https://doi.org/10.1080/23808985.2013.11679142 ), es la más robusta a nivel estadístico y la que mejor se ajusta tanto a las distintas escalas como a un número indeterminado de codificadores (Hayes y Krippendorff, 2007Hayes, A. F.; Krippendorff, K. (2007). Answering the call for a standard reliability measure for coding data. Communication Methods and Measures, 1 (1), 77-89. https://doi.org/10.1080/19312450709336664 ; Krippendorff, 2011Krippendorff, K. (2011). Agreement and information in the reliability of coding. Communication Methods and Measures, 5 (2), 93-112. https://doi.org/10.1080/19312458.2011.568376 ). A este respecto, la fiabilidad promedio arrojada por las 80 variables fue adecuada: M (αk) = 0.80.

3.1. Medidas

 

Antes de proceder con el reporte de datos estadísticos, es preciso aludir al «Índice General de Calidad Web» (IGCW), concebido para calibrar el estado de los portales de los 308 municipios portugueses, y que vertebra el apartado de resultados. Para su creación, fueron tenidos en cuenta los siguientes parámetros:

  1. «Indicador de Información Turística» (Piñeiro-Naval y otros, 2017Piñeiro-Naval, V.; Serra, P.; Mangana, R. (2017). Desarrollo local y turismo. El impacto socioeconómico de la comunicación digital en Portugal. Revista Latina de Comunicación Social, 72, 1515-1535. https://doi.org/10.4185/RLCS-2017-1232 ), compuesto por 31 ítems que aluden a contenidos web sobre ocio y entretenimiento de los municipios (MI2T = 0.493, DT = 0.117; αc = 0.63).

  2. «Indicador de Información sobre Patrimonio Cultural» (Piñeiro-Naval y Serra, 2019aPiñeiro-Naval, V.; Serra, P. (2019a). How Do Destinations Frame Cultural Heritage? Content Analysis of Portugal’s Municipal Websites. Sustainability, 11 (4), 947. https://doi.org/10.3390/su11040947 ), configurado con arreglo a 20 variables que versan sobre la herencia cultural de las localidades (MI2PC = 0.468, DT = 0.136; αc = 0.60).

  3. «Índice de Calidad Formal» (Piñeiro-Naval y otros, 2018Piñeiro-Naval, V.; Mangana, R.; Serra, P. (2018). Validación del Índice de Calidad Formal como modelo para la evaluación de websites: el caso de la e-Administración local portuguesa. Transinformação, 30 (2), 153-165. https://doi.org/10.1590/2318-08892018000200002 ), organizado a partir de 25 ítems que miden el desempeño de las sedes web en materia de estética, arquitectura de la información y usabilidad (MICF = 0.506, DT = 0.136; αc = 0.73).

  4. «Indicador de Web Social» (Piñeiro-Naval y Serra, 2019bPiñeiro-Naval, V.; Serra, P. (2019b). Las instituciones municipales portuguesas y su adopción de las tecnologías 2.0: propuesta de un Indicador de Web Social. Investigación Bibliotecológica, 33 (78), 13-28. https://doi.org/10.22201/iibi.24488321xe.2019.78.57957 ), diseñado en función de 4 variables relacionadas con la tenencia de perfiles en medios sociales digitales por parte de los concejos (MIWS = 0.527, DT = 0.306; αc = 0.64).

    Así pues, la expresión alfanumérica que explica el IGCW es la siguiente:

  5. IGCW = (I2T + I2PC + ICF + IWS) / 4; donde los indicadores previos tienen, como puede observarse, el mismo peso relativo (25%).

El IGCW (αc = 0.58) presenta, a su vez, los siguientes valores descriptivos para el conjunto de la muestra: MIGCW = 0.499 (DT = 0.125), con un rango que oscila entre «0.162» y «0.798». Por otro lado, cabe referir que la consistencia interna promedio de los indicadores (αc = 0.64) alcanza un valor aceptable si tenemos en cuenta el carácter exploratorio del trabajo (Hair y otros, 2010Hair, J. F.; Black, W. C.; Babin, B. J.; Anderson, R. E. (2010). Multivariate data analysis (7thEd.). Upper Saddle River, New Jersey: Pearson Prentice Hall.).

Finalmente, en la matriz SPSS (versión 24) donde se reunieron los datos pertenecientes a los 308 sitios web (evaluados en función de las 80 variables del estudio), fueron también incluidas determinadas variables independientes de tipo geográfico, demográfico, económico, político, electrónico-administrativo y digital. Solo así hemos sido capaces de triangularlas (Denzin, 2012Denzin, N. K. (2012). Triangulation 2.0. Journal of Mixed Methods Research, 6 (2), 80-88. https://doi.org/10.1177/1558689812437186 ) con el IGCW. Las fuentes secundarias de información a partir de las cuales se extrajeron estos datos (todos ellos actualizados en 2017, año en el que se examinaron los websites) son:

  • Instituto Nacional de Estatística, gracias al que hemos podido ubicar a cada municipio en su correspondiente distrito y NUTS II (variables geográficas), así como conocer su población (variable demográfica).3 Información disponible en: https://ine.pt [Fecha de consulta: 20/02/2020].

  • Direção Geral das Autarquias Locais, mediante la que sabemos el presupuesto municipal (variable económica).4 Información disponible en: http://www.portalautarquico.dgal.gov.pt [Fecha de consulta: 20/02/2020].

  • Pordata - Base de Dados Portugal Contemporâneo, que nos permitió conocer el gasto en actividades culturales y los ingresos en materia turística de cada localidad (variables económicas).5 Información disponible en: https://www.pordata.pt [Fecha de consulta: 20/02/2020].

  • Secretaria Geral do Ministério da Administração Interna, de donde obtuvimos el partido político al frente de cada ayuntamiento.6 Información disponible en: https://www.sg.mai.gov.pt [Fecha de consulta: 20/02/2020].

  • Transparência e Integridade - Associação Cívica (2017)Transparência e Integridade - Associação Cívica (2017). Índice de Transparência Municipal (ITM). Disponible en: https://transparencia.pt/itm [Fecha de consulta: 20/09/2019]. , portal del que recogimos los datos relativos al Índice de Transparencia Municipal (ITM) de los 308 sitios portugueses (una variable electrónico-administrativa).

  • IPIC (Soares y otros, 2017Soares, D. S; Amaral, L.; Ferreira, L. M. (2017). Presença na Internet das Câmaras Municipais Portuguesas em 2016: Estudo sobre Local e-Government em Portugal. Universidade do Minho, Guimarães: Gávea-Observatório da Sociedade da Informação.), una variable de desarrollo digital.

En el siguiente apartado se detallan los principales resultados del trabajo.

4. RESULTADOS

 

El primer bloque de resultados se corresponde con las distintas comparaciones, ya sean de índole geográfica o política, efectuadas con arreglo al IGCW. En la Tabla I figuran los datos que han arrojado las regiones en que se ha dividido el territorio portugués en función de este indicador agregado:

Tabla 1.  Comparaciones interregionales a tenor del IGCW (ANOVA)
REGIONESMIGCWDTN
Bloques
Litoral Continental0.5300.123153
Interior0.4800.116125
Islas0.4150.12430
NUTS II
Norte0.5410.12886
Centro0.4780.109100
Alentejo0.4740.10758
Área de Lisboa0.6110.12818
Algarve0.5160.10716
Azores0.3780.12119
Madeira0.4790.10511
Distritos-Regiones Autónomas
Aveiro0.4420.09319
Beja0.5210.10214
Braga0.5350.14214
Bragança0.5690.13612
Castelo Branco0.4620.09011
Coimbra0.4950.10517
Évora0.4410.10714
Faro0.5160.10716
Guarda0.4720.10714
Leiria0.5070.12616
Lisboa0.5530.13416
Portalegre0.4550.09615
Porto0.5650.12318
Santarém0.4700.10121
Setúbal0.6180.13013
Viana do Castelo0.6030.08910
Vila Real0.5040.12114
Viseu0.4850.13424
Açores0.3780.12119
Madeira0.4790.10511
Total0.4990.125308

A partir de los datos reflejados en la Tabla I, podemos afirmar que se producen diferencias significativas en las tres comparaciones interregionales efectuadas. En primer lugar, y de los tres grandes bloques geográficos [FIGCW x Bloques (2, 305) = 13.76; p < 0.001; ɳ2 = 0.083], el más destacado es el litoral continental (H1) que, asimismo, se diferencia de manera significativa tanto de su inmediato perseguidor, el interior [t (276) = 3.39; p < 0.001; d = 0.434] como, lógicamente, de las islas [t (181) = 4.65; p < 0.001; d = 1.001]; cuyos tamaños del efecto serían etiquetados, respectivamente, como «medio» y «elevado» (Cohen, 1988Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd Ed.). Hillsdale, New Jersey: Lawrence Earlbaum Associates.; Johnson y otros, 2008Johnson, B. T.; Scott-Sheldon, L. A. J.; Snyder, L. B.; Noar, S. M.; Huedo-Medina, T. B. (2008). Contemporary approaches to meta-analysis in communication research. En: Hayes, A. F.; Slater, M. D.; Snyder, L. B. (Eds.), The SAGE Sourcebook of Advanced Data Analysis Methods for Communication Research, pp. 311-347. Thousand Oaks, California: Sage. https://doi.org/10.4135/9781452272054.n11 ). Por su parte, el interior también aventajaría a las islas en su particular comparación [t (153) = 2.75; p < 0.01; d = 0.608]. Del mismo modo, podemos sostener, al nivel de las regiones NUTS II, que se dan importantes desajustes entre ellas [FIGCW x NUTS II (6, 301) = 9.11; p < 0.001; ɳ2 = 0.154], erigiéndose como la más destacada el Área Metropolitana de Lisboa, significativamente superior no solo a las Azores [t (35) = 5.68; p < 0.001; d = 2], la región más deprimida, sino también al Norte [t (102) = 2.11; p = 0.038; d = 0.583], la segunda en importancia.

Los distritos también exhiben contrastes [FIGCW x Distritos (19, 288) = 3.84; p < 0.001; ɳ2 = 0.203], especialmente pronunciados entre Setúbal y las Azores [t (30) = 5.33; p < 0.001; d = 1.918]; es decir, los distritos con mayor y menor IGCW en sus sitios municipales. A este respecto, si estableciésemos como puntos de corte los cuartiles del IGCW de los distritos, el primero de los cuartiles (C1) tendría un rango de valores desde «0.618» hasta «0.553» (donde quedarían englobados, ordenadamente, Setúbal, Viana do Castelo, Bragança, Porto y Lisboa), el segundo (C2) desde «0.535» hasta «0.504» (con Braga, Beja, Faro, Leiria y Vila Real), el tercero (C3) desde «0.495» hasta «0.471» (con Coimbra, Viseu, Madeira, Guarda y Santarém), y el cuarto (C4) desde «0.462» hasta «0.378» (con Castelo Branco, Portalegre, Aveiro, Évora y Azores). De forma gráfica, pueden visualizarse en la Figura 1 tanto las regiones NUTS II del país como los 20 distritos, numerados atendiendo al orden de la Tabla I y agrupados según los cuartiles de su IGCW:

Figura 1.  NUTS II y distritos portugueses (agrupados en los cuartiles del IGCW)
medium/medium-REDC-44-02-e292-gf1.png

Finalmente, si descendemos a la unidad territorial de carácter más inmediato de todas cuantas hemos tenido en cuenta en este estudio, el listado «Top 5» de los municipios con mejor IGCW estaría formado por: Ponte de Lima (0.798), Alcochete (0.767), Montijo (0.758), Miranda do Douro (0.757) y Pombal (0.756).

Desde el punto de vista ideológico, y habiéndose identificado previamente el partido al frente de cada municipio7 Para clasificar los ayuntamientos a nivel ideológico, se recodificó la variable multicategórica inicial «partido político» en otra dicotómica llamada «ideología de gobierno», cuyos nuevos valores son: 1 = izquierda y 2 = derecha. Se incluyeron en la izquierda al Partido Socialista, Partido Comunista y Partido Ecologista, y a los Grupos de Ciudadanos independientes; mientras que, a la derecha, fueron considerados el Partido Social Demócrata y el Partido Popular., se procedió a comparar aquellas localidades regidas por gobiernos de izquierdas (MIGCW = 0.494; DT = 0.128) frente a derechas (MIGCW = 0.506; DT = 0.121), llegando a la conclusión de que no se producen diferencias entre ambos [t (306) = 0.78; p = 0.436] (H4).

En lo que respecta a las demás variables independientes tenidas en cuenta en este trabajo (de cariz demográfico, económico, electrónico-administrativo y digital), pueden verse en la Figura 2 los valores relativos a su correlación con el IGCW. Como se puede apreciar en la Figura II, todas las correlaciones son estadísticamente significativas, destacando las que se establecen entre el IGCW y la calidad percibida8 La «calidad percibida del sitio web» (αk = 0.84) es un ítem inherente al estudio y se empleó como una suerte de variable control. Se rige mediante una escala tipo Likert, donde: 1 = pésimo, 2 = mediocre, 3 = correcto, 4 = bueno y 5 = óptimo (Rocha, 2012). Su promedio es: M = 2.67 (DT = 0.79), significativamente inferior a la media teórica (valor «3») de su escala [t (308) = -7.37, p < 0.001]. [r (306) = 0.477; p < 0.001], el IPIC [r (306) = 0.381; p < 0.001] (H5b), el presupuesto municipal [r (306) = 0.339; p < 0.001] (H3a), la población de la localidad [r (306) = 0.284; p < 0.001] (H2) y, por último, el gasto en materia cultural [r (306) = 0.245; p < 0.001] (H3b). Como complemento de estas correlaciones bivariadas, repárese en el siguiente análisis de regresión lineal múltiple, en el que se mide la dependencia entre el IGCW y las distintas variables predictoras en su conjunto:

Figura 2.  Asociación entre el IGCW y los factores predictores (r de Pearson)
medium/medium-REDC-44-02-e292-gf2.png

El modelo ejecutado en la Tabla II resultó estadísticamente significativo [F (7, 300) = 24.66; p < 0.001], explicando las 7 variables predictoras, para el conjunto de la muestra (N = 308), el 35.1% de la varianza (R2ajustada = 0.351). Se observa que el factor predictor que más explica el IGCW es la variable inherente al estudio «calidad percibida» (β = 0.391; p < 0.001), seguida del IPIC (β = 0.257; p < 0.001) y del presupuesto municipal (β = 0.235; p = 0.019), justamente las que correlacionan en mayor medida con el indicador creado (véase la Figura 2).

Tabla II.  Factores predictores del IGCW (Análisis de Regresión Múltiple)
FACTORES PREDICTORESTOLERANCIAFIVβ
Presupuesto0.2134.7040.235*
Población0.1267.947-0.051
Gasto Cultural0.1735.7700.012
Ingresos Turísticos0.3213.1180.041
ITM0.8951.1170.034
IPIC0.8551.1700.257***
Calidad Percibida0.9331.0710.391***

FIV: Factor de Incremento de la Varianza. *p < 0.05, ***p < 0.001.

5. DISCUSIÓN Y CONCLUSIONES

 

A tenor de los datos empíricos obtenidos, podemos deducir que el estado de los sitios web municipales de Portugal se aproxima a un nivel «correcto», ya que el IGCW creado arroja un promedio muy cercano al aprobado. No obstante, las organizaciones municipales, “formadas por recursos humanos, materiales, técnicos y sistemas de información que conectan las áreas, departamentos, servicios y negociados integrados en tales estructuras políticas y administrativas” (Campillo-Alhama, 2013Campillo-Alhama, C. (2013). Gestión de la información y su evaluación en los gabinetes de comunicación municipal. El profesional de la información, 22 (6), 515-521. https://doi.org/10.3145/epi.2013.nov.03 ), deben seguir insistiendo en una adopción más explícita y efectiva de las TIC y, en concreto, poner a disposición de sus ciudadanos unos portales web que deberían ser sustancialmente mejorados.

Esta tarea es más necesaria, si cabe, en el seno de aquellas localidades ubicadas tanto en el interior del país como en las islas, pues los resultados evidencian una clara persistencia de las brechas digitales entre estos bloques geográficos y el litoral continental. ¿A qué se pueden deber estos desajustes? En efecto, la literatura científica previa ya había señalado algunos factores predictivos de muy diversa naturaleza, como por caso: 1) los apriorísticos, es decir, la ubicación geográfica de las localidades; 2) los estructurales, como el tamaño poblacional y la capacidad económica; y 3) los internos, como el desarrollo tecnológico y administrativo. Por lo tanto, Portugal se alinea con otros países de su entorno, donde estos elementos desempeñan un rol fundamental en la correcta implementación de los servicios públicos electrónicos. Salemink y otros (2017)Salemink, K.; Strijker, D.; Bosworth, G. (2017). Rural development in the digital age: A systematic literature review on unequal ICT availability, adoption, and use in rural areas. Journal of Rural Studies, 54, 360-371. https://doi.org/10.1016/j.jrurstud.2015.09.001 ya habían identificado un agregado de 157 manuscritos que ilustraban las diferencias entre el ámbito urbano y rural en cuanto al aprovechamiento de las TIC. En sintonía con las evidencias empíricas previas, la investigación que nos ocupa vendría a engrosar esta nómina de artículos.

Véase, a modo de resumen, la Tabla III con la descripción de las hipótesis del estudio y su consiguiente resolución:

Tabla III.  Resumen de las hipótesis del estudio
HIPÓTESISDESCRIPCIÓNRESOLUCIÓN
H1IGCW Litoral Continental > Interior > Islas
H2+ Población ⇒ + IGCW
H3a+ Presupuesto ⇒ + IGCW
H3b+ Gasto Cultural ⇒ + IGCW
H3c+ Ingresos Turísticos ⇒ + IGCW
H4IGCW Partidos Izquierdas ≈ Derechas
H5a+ Transparencia ⇒ + IGCW
H5b+ Presencia en Internet ⇒ + IGCW

Con relación a la brecha digital, la consciencia acerca de los beneficios que reportan las TIC sigue siendo, por norma general, bastante débil entre los responsables políticos de las regiones menos desarrolladas (Kuk, 2002Kuk, G. (2002). The digital divide and the quality of electronic service delivery in local government in the United Kingdom. Government Information Quarterly, 20, 353-363. https://doi.org/10.1016/j.giq.2003.08.004 ), independientemente de su tendencia ideológica. En paralelo, los altos niveles de desempleo y la precariedad laboral en dichas zonas conllevan que no todos los ciudadanos gocen de los medios suficientes y necesarios para adquirir dispositivos tecnológicos (ordenadores, tabletas, smartphones, etc.) y usarlos, con asiduidad, en su acceso a Internet.

Por otro lado, si nos remitimos al significativo concepto de «sostenibilidad», llegamos a la conclusión de que un e-gobierno sostenible debe incorporar la tecnología de última generación para brindar un servicio eficaz, robusto, que ahorre costes y que fomente la participación activa y la satisfacción de los usuarios (Joshi e Islam, 2018Joshi, P. R.; Islam, S. (2018). E-Government Maturity Model for Sustainable E-Government Services from the Perspective of Developing Countries. Sustainability, 10 (6), 1882. https://doi.org/10.3390/su10061882 ). En consecuencia, los sitios web municipales, en tanto que dispositivos articuladores de los procesos y las estrategias e-administrativas, deben adecuarse a unos estándares de calidad lo suficientemente elevados como para corresponder a las demandas no solo de sus ciudadanos, sino también de potenciales usuarios foráneos como, por ejemplo, los turistas.

En el plano de las limitaciones del estudio (y al margen de que muchos sitios web ya habrán cambiado desde la recogida de los datos), cabe reconocer que el IGCW se apoya, a nivel de contenido, en la comunicación cultural y turística, dejando de lado cuestiones de peso como la política o la economía. Del mismo modo, habrá, con certeza, otros factores que expliquen el estado de los portales web, como el grado de desempeño de los funcionarios (si los hubiera) encargados de su gestión y mantenimiento, o el profesionalismo de los diseñadores del sistema informático (ambos sujetos sometidos al músculo financiero de la institución). Así pues, en futuros trabajos será preciso tener en cuenta más elementos para conformar nuevos indicadores agregados que se ciñan, con mayor precisión, al constructo multidimensional de «calidad web», así como incluir más variables independientes para completar un modelo que explique mejor el estado de la administración local portuguesa, cuyos esfuerzos en materia tecnológica y digital deberán aumentar a corto y medio plazo.

6. AGRADECIMIENTOS

 

Este trabajo ha sido financiado por la Fundação para a Ciência e a Tecnologia de Portugal (Ref.: SFRH/BPD/122402/2016). Queremos también agradecer a Rafael Mangana su colaboración en la recogida de datos.

ACKNOWLEDGEMENTS

 

This work was funded by the Portuguese Foundation for Science and Technology (Ref.: SFRH/BPD/122402/2016). We also want to thank Rafael Mangana for his collaboration in collecting data.

7. NOTAS

 
1

NUTS es el acrónimo de «Nomenclatura de las Unidades Territoriales Estadísticas».

2

Información disponible en: https://www.anmp.pt [Fecha de consulta: 20/02/2020].

3

Información disponible en: https://ine.pt [Fecha de consulta: 20/02/2020].

4

Información disponible en: http://www.portalautarquico.dgal.gov.pt [Fecha de consulta: 20/02/2020].

5

Información disponible en: https://www.pordata.pt [Fecha de consulta: 20/02/2020].

6

Información disponible en: https://www.sg.mai.gov.pt [Fecha de consulta: 20/02/2020].

7

Para clasificar los ayuntamientos a nivel ideológico, se recodificó la variable multicategórica inicial «partido político» en otra dicotómica llamada «ideología de gobierno», cuyos nuevos valores son: 1 = izquierda y 2 = derecha. Se incluyeron en la izquierda al Partido Socialista, Partido Comunista y Partido Ecologista, y a los Grupos de Ciudadanos independientes; mientras que, a la derecha, fueron considerados el Partido Social Demócrata y el Partido Popular.

8

La «calidad percibida del sitio web» (αk = 0.84) es un ítem inherente al estudio y se empleó como una suerte de variable control. Se rige mediante una escala tipo Likert, donde: 1 = pésimo, 2 = mediocre, 3 = correcto, 4 = bueno y 5 = óptimo (Rocha, 2012). Su promedio es: M = 2.67 (DT = 0.79), significativamente inferior a la media teórica (valor «3») de su escala [t (308) = -7.37, p < 0.001].

8. REFERENCIAS

 

Campillo-Alhama, C. (2013). Gestión de la información y su evaluación en los gabinetes de comunicación municipal. El profesional de la información, 22 (6), 515-521. https://doi.org/10.3145/epi.2013.nov.03

Cardoso-de-Miranda, E. A.; Muñoz-Cañavate, A. (2015). Los sitios web como servicios de información al ciudadano: un estudio sobre los 308 ayuntamientos de Portugal. Anales de Documentación, 18 (1). https://doi.org/10.6018/analesdoc.18.1.212681

Carvalho, R. M. D.; Lopes, P. F.; Alexandre, I.; Alturas, B. (2016). Qualidade dos sítios Web da Administração Pública Portuguesa. RISTI, 20, 78-98. https://doi.org/10.17013/risti.20.78-98

Choudrie, J.; Ghinea, G.; Songonuga, V. N. (2013). Silver Surfers, E-government and the Digital Divide: An Exploratory Study of UK Local Authority Websites and Older Citizens. Interacting with Computers, 25 (6), 417-442. https://doi.org/10.1093/iwc/iws020

Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd Ed.). Hillsdale, New Jersey: Lawrence Earlbaum Associates.

Denzin, N. K. (2012). Triangulation 2.0. Journal of Mixed Methods Research, 6 (2), 80-88. https://doi.org/10.1177/1558689812437186

Detlor, B.; Hupfer, M. E.; Ruhi, U. (2010). Internal factors affecting the adoption and use of government websites. Electronic Government, An International Journal, 7 (2), 120-136. https://doi.org/10.1504/EG.2010.030923

Dias, G. P.; Costa, M. (2013). Significant socio-economic factors for local e-government development in Portugal. Electronic Government, An International Journal, 10 (3-4), 284-309. https://doi.org/10.1504/EG.2013.058785

Dias, G. P. (2016). A decade of Portuguese research in e-government: evolution, current standing, and ways forward. Electronic Government, An International Journal, 12 (3), 201-222. https://doi.org/10.1504/EG.2016.078415

Dias, G. P. (2019). Fifteen years of e-government research in Ibero-America: A bibliometric analysis. Government Information Quarterly, 36 (3), 400-411. https://doi.org/10.1016/j.giq.2019.05.008

Ebbers, W. E.; Jansen, M. G. M.; Deursen, A. J. A. M. van (2016). Impact of the digital divide on e-government: Expanding from channel choice to channel usage. Government Information Quarterly, 33 (4), 685-692. https://doi.org/10.1016/j.giq.2016.08.007

Fernández-Cavia, J.; Rovira, C.; Díaz-Luque, P.; Cavaller, V. (2014). Web Quality Index (WQI) for official tourist destination websites. Proposal for an assessment system. Tourism Management Perspectives, 9, 5-13. https://doi.org/10.1016/j.tmp.2013.10.003

García-Santamaría, J. V.; Martín-Matallana, J. (2017). La transparencia municipal en España: análisis de los factores que más influyen en el grado de transparencia. Revista Latina de Comunicación Social, 72, 1148-1164. https://doi.org/10.4185/RLCS-2017-1212

Gimeno, M. (2014). e-España. Informe anual sobre el desarrollo de la sociedad de la información en España. Madrid: Fundación Orange.

Hair, J. F.; Black, W. C.; Babin, B. J.; Anderson, R. E. (2010). Multivariate data analysis (7thEd.). Upper Saddle River, New Jersey: Pearson Prentice Hall.

Hayes, A. F.; Krippendorff, K. (2007). Answering the call for a standard reliability measure for coding data. Communication Methods and Measures, 1 (1), 77-89. https://doi.org/10.1080/19312450709336664

Helbig, N.; Gil-García, J. R.; Ferro, E. (2009). Understanding the complexity of electronic government: Implications from the digital divide literature. Government Information Quarterly, 26 (1), 89-97. https://doi.org/10.1016/j.giq.2008.05.004

Ingrams, A.; Manoharan, A.; Schmidthuber, L.; Holzer, M. (2018). Stages and Determinants of E-Government Development: A Twelve-Year Longitudinal Study of Global Cities. International Public Management Journal, 0 (0), 1-39. https://doi.org/10.1080/10967494.2018.1467987

Johnson, B. T.; Scott-Sheldon, L. A. J.; Snyder, L. B.; Noar, S. M.; Huedo-Medina, T. B. (2008). Contemporary approaches to meta-analysis in communication research. En: Hayes, A. F.; Slater, M. D.; Snyder, L. B. (Eds.), The SAGE Sourcebook of Advanced Data Analysis Methods for Communication Research, pp. 311-347. Thousand Oaks, California: Sage. https://doi.org/10.4135/9781452272054.n11

Joshi, P. R.; Islam, S. (2018). E-Government Maturity Model for Sustainable E-Government Services from the Perspective of Developing Countries. Sustainability, 10 (6), 1882. https://doi.org/10.3390/su10061882

Karabasevic, D.; Stanujkic, D.; Maksimovic, M.; Popovic, G.; Momcilovic, O. (2019). An Approach to Evaluating the Quality of Websites Based on the Weighted Sum Preferred Levels of Performances Method. Acta Polytechnica Hungarica, 16 (5), 195-215. https://doi.org/10.12700/APH.16.5.2019.5.11

Krippendorff, K. (2011). Agreement and information in the reliability of coding. Communication Methods and Measures, 5 (2), 93-112. https://doi.org/10.1080/19312458.2011.568376

Kuk, G. (2002). The digital divide and the quality of electronic service delivery in local government in the United Kingdom. Government Information Quarterly, 20, 353-363. https://doi.org/10.1016/j.giq.2003.08.004

Lacy, S.; Watson, B. R.; Riffe, D.; Lovejoy, J. (2015). Issues and best practices in content analysis. Journalism & Mass Communication Quarterly, 92 (4), 791-811. https://doi.org/10.1177/1077699015607338

López-López, V.; Iglesias-Antelo, S.; Vázquez-Sanmartín, A.; Connolly, R.; Bannister, F. (2018). E-Government, Transparency & Reputation: An Empirical Study of Spanish Local Government. Information Systems Management, 35 (4), 276-293. https://doi.org/10.1080/10580530.2018.1503792

Manoharan, A. P.; Ingrams, A. (2018). Conceptualizing E-Government from Local Government Perspectives. State and Local Government Review, 50 (1), 56-66. https://doi.org/10.1177/0160323X18763964

Manoharan, A. P.; Zheng, Y.; Melitski, J. (2017). Global comparative municipal e-governance: factors and trends. International Review of Public Administration, 22 (1), 14-31. https://doi.org/10.1080/12294659.2017.1292031

Mota, G.; Losada, N. (2018). Promoção Turística nos Websites Municipais: O Caso da Região do Douro (NUT III). Revista Portuguesa de Estudos Regionais, 47, 49-71.

Neuendorf, K. A. (2017). The content analysis guidebook (2ndEd.). Thousand Oaks, California: Sage. https://doi.org/10.4135/9781071802878

Nevado-Gil, M. T.; Gallardo-Vázquez, D. (2016). Información sobre Responsabilidad Social contenida en las paginas webs de los ayuntamientos. Estudio en la región del Alentejo. Revista Española de Documentación Científica, 39 (4), e150. https://doi.org/10.3989/redc.2016.4.1353

Nevado-Gil, M. T.; Gallargo-Vázquez, D. (2019). Local government social responsibility: empirical evidence in the region of Extremadura. Investigaciones Regionales. Journal of Regional Research, 45, 161-179.

Philip, L.; Cottrill, V.; Farrington, J.; Williams, F.; Ashmore, F. (2017). The digital divide: Patterns, policy and scenarios for connecting the ‘final few’ in rural communities across Great Britain. Journal of Rural Studies, 54, 386-398. https://doi.org/10.1016/j.jrurstud.2016.12.002

Piñeiro-Naval, V.; Igartua, J. J.; Sánchez-Nuevo, L. A. (2017). Identificación de factores externos que predicen el estado de los sitios web municipales: una aproximación regional al caso de España. Observatorio (OBS*), 11 (3), 44-60.

Piñeiro-Naval, V.; Mangana, R.; Serra, P. (2018). Validación del Índice de Calidad Formal como modelo para la evaluación de websites: el caso de la e-Administración local portuguesa. Transinformação, 30 (2), 153-165. https://doi.org/10.1590/2318-08892018000200002

Piñeiro-Naval, V.; Serra, P. (2019a). How Do Destinations Frame Cultural Heritage? Content Analysis of Portugal’s Municipal Websites. Sustainability, 11 (4), 947. https://doi.org/10.3390/su11040947

Piñeiro-Naval, V.; Serra, P. (2019b). Las instituciones municipales portuguesas y su adopción de las tecnologías 2.0: propuesta de un Indicador de Web Social. Investigación Bibliotecológica, 33 (78), 13-28. https://doi.org/10.22201/iibi.24488321xe.2019.78.57957

Piñeiro-Naval, V.; Serra, P.; Mangana, R. (2017). Desarrollo local y turismo. El impacto socioeconómico de la comunicación digital en Portugal. Revista Latina de Comunicación Social, 72, 1515-1535. https://doi.org/10.4185/RLCS-2017-1232

Piñuel, J. L. (2002). Epistemología, metodología y técnicas del análisis de contenido. Estudios de Sociolingüística, 3 (1), 1-42.

Pirni, A.; Giampellegrini, P.; Raffini, L. (2019). Digital transformation and e-government. For a research agenda on the Liguria Region. OBETS. Revista de Ciencias Sociales, 14 (2), 471-490. https://doi.org/10.14198/OBETS2019.14.2.07

Rocha, Á. (2012). Framework for a Global Quality Evaluation of a Website. Online Information Review, 36 (3), 374-382. https://doi.org/10.1108/14684521211241404

Salemink, K.; Strijker, D.; Bosworth, G. (2017). Rural development in the digital age: A systematic literature review on unequal ICT availability, adoption, and use in rural areas. Journal of Rural Studies, 54, 360-371. https://doi.org/10.1016/j.jrurstud.2015.09.001

Soares, D. S; Amaral, L.; Ferreira, L. M. (2017). Presença na Internet das Câmaras Municipais Portuguesas em 2016: Estudo sobre Local e-Government em Portugal. Universidade do Minho, Guimarães: Gávea-Observatório da Sociedade da Informação.

Transparência e Integridade - Associação Cívica (2017). Índice de Transparência Municipal (ITM). Disponible en: https://transparencia.pt/itm [Fecha de consulta: 20/09/2019].

Transparencia Internacional España (2017). Índice de Transparencia de los Ayuntamientos (ITA). Disponible en: https://transparencia.org.es/ita-2017 [Fecha de consulta: 21/04/2020].

Várallyai, L.; Herdon, M.; Botos, S. (2015). Statistical analyses of digital divide factors. Procedia Economics and Finance, 19, 364-372. https://doi.org/10.1016/S2212-5671(15)00037-4

Zhao, X.; Liu, J. S.; Deng, K. (2013). Assumptions behind Intercoder Reliability Indices. Annals of the International Communication Association, 36 (1), 419-480. https://doi.org/10.1080/23808985.2013.11679142