Una herramienta para el seguimiento del profesorado universitario en Entornos Virtuales de Aprendizaje

 

ESTUDIOS / RESEARCH STUDIES

UNA HERRAMIENTA PARA EL SEGUIMIENTO DEL PROFESORADO UNIVERSITARIO EN ENTORNOS VIRTUALES DE APRENDIZAJE

Magdalena Cantabella*, Belén López-Ayuso*, Andrés Muñoz*, Alberto Caballero*

* Departamento de Grado en Ingeniería Informática, Escuela Politécnica Superior, Universidad Católica de San Antonio Murcia, Guadalupe (Murcia)

Correos-e: mmcantabella@ucam.edu, bayuso@ucam.edu, amunoz@ucam.edu, acaballero@ucam.edu

 

RESUMEN

La interacción en Entornos Virtuales de Aprendizaje (EVA) está enfocada principalmente a mejorar la experiencia de uso y resultados académicos del alumnado. Sin embargo, no se debe descuidar la interacción del resto de actores del proceso educativo con estas plataformas, tales como el profesorado y los coordinadores. Este trabajo se centra en la interacción que tiene lugar entre los coordinadores de titulación y un EVA para realizar labores de seguimiento del desempeño del profesorado, especialmente en la modalidad online. Se establecen tres objetivos que guían la metodología seguida: (1) analizar las limitaciones de monitorización del profesorado de los EVA actuales; (2) desarrollar una herramienta de monitorización para superar las limitaciones encontradas; y (3) evaluar empíricamente la herramienta propuesta. Los resultados obtenidos muestran que dicho tipo de herramienta ayuda a los coordinadores a analizar de forma intuitiva y eficiente el estado de las asignaturas de su titulación.

A TOOL FOR MONITORING LECTURERS’ INTERACTIONS WITH LEARNING MANAGEMENT SYSTEMS

ABSTRACT

Learning Management Systems’ (LMS) interaction mechanisms are mainly focused on the improvement of students’ experiences and academic results. However, special attention should also be given to the interaction between these LMS and other actors involved in the educational process. This paper specifically targets the interaction of degree coordinators with LMS when monitoring lecturers’ performance, especially in an online mode. The methodology is guided by the following three objectives: (1) analysis of the limitations of monitoring lecturers in current LMS; (2) development of software program to overcome such limitations; and (3) empirical evaluation of the proposed program. The results show that this type of tool helps coordinators to intuitively and efficiently analyze the status of the subjects taught in their degree programs.

Recibido: 27-11-2015; 2ª versión: 27-05-2016; Aceptado: 10-06-2016.

Cómo citar este artículo/Citation: Cantabella, M.; López-Ayuso, B.; Muñoz, A.; Caballero, A. (2016). Una herramienta para el seguimiento del profesorado universitario en Entornos Virtuales de Aprendizaje. Revista Española de Documentación Científica, 39 (4): e153, doi: http://dx.doi.org/10.3989/redc.2016.4.1354

PALABRAS CLAVE: Entornos virtuales de aprendizaje; universidad; evaluación; análisis de métricas; docencia; interacción; e-learning; gestión.

KEYWORDS: Learning management system; university; evaluation; metric analysis; teaching; interaction; e-learning; management.

Copyright: © 2016 CSIC. Este es un artículo de acceso abierto distribuido bajo los términos de la licencia Creative Commons Attribution (CC BY) España 3.0.

CONTENIDOS

RESUMEN
ABSTRACT
1. INTRODUCCIÓN
2. ESTADO DE LA CUESTIÓN
3. METODOLOGÍA
4. RESULTADOS
5. DISCUSIÓN
6. CONCLUSIONES
AGRADECIMIENTOS
REFERENCIAS

 

1. INTRODUCCIÓN Top

Durante la última década, el uso de Entornos Virtuales de Aprendizaje (EVA) se ha extendido y consolidado en la mayoría de las universidades de todo el mundo. Estos entornos ofrecen una herramienta de trabajo dinámica y versátil para apoyar la gestión de contenidos, los procesos académicos y el aprendizaje colaborativo tanto para modalidades de estudio presenciales como a distancia. De esta manera, la adopción de EVA por parte de las universidades permite una mejora en la calidad de la enseñanza y en el rendimiento académico (Campus Computing Project, 2013Campus Computing Project (2013). Campus Computing Survey, (http://goo.gl/7kUznn) [30-09-2015].; Maldonado y otros, 2011Maldonado, U. P. T.; Khan, G. F.; Moon, J.; Rho, J. J. (2011). E-learning motivation and educational portal acceptance in developing countries. Online Information Review, 35 (1), pp. 66-85.; Ellis y Calvo, 2007Ellis, R. A.; Calvo, R. A. (2007). Minimum indicators to assure quality of LMS-supported blended learning. Educational Technology & Society, 10 (2), pp. 60-70.).

En la actualidad existen varios desafíos relacionados con el desarrollo y aprovechamiento óptimo de los EVA que requieren una especial atención. Uno de estos desafíos consiste en aprovechar la información proporcionada por los indicadores de uso de los EVA (conocidos como e-learning metrics) para monitorizar y analizar la interacción del profesorado en estas plataformas con el fin de detectar dificultades y deficiencias en el esquema de trabajo --especialmente en la modalidad a distancia--, ofrecer sugerencias de mejora, o consolidar buenas prácticas (Sánchez y Arrufat, 2015Sánchez, V. G.; Arrufat, M. J. G. (2015). Modelo de análisis de metodologías didácticas semipresenciales blended learning en educación superior. Educación XX1. En prensa.; Bhuasiri y otros, 2012Bhuasiri, W.; Xaymoungkhoun, O.; Zo, H.; Rho, J. J.; Ciganek, A. P. (2012). Critical success factors for e-learning in developing countries: A comparative analysis between ICT experts and faculty. Computers & Education, 58, pp. 843-855, http://dx.doi.org/10.1016/j.compedu.2011.10.010.; Delgado y Fernández-Llera, 2012Delgado, F. J.; Fernández-Llera, R. (2012). Sobre la evaluación del profesorado universitario (especial referencia a ciencias económicas y jurídicas). Revista Española de Documentación Científica, 35 (2), pp. 361-375, http://dx.doi.org/10.3989/redc.2012.2.861.; Steel y Levy, 2009Steel, C.; Levy, M. (2009). Creativity and constraint: Understanding teacher beliefs and the use of LMS technologies. En: Atkinson, R. J.; McBeath, C. (coords.), Same places, different spaces. Proceedings of the 26th Annual ascilite International Conference, pp. 1013-1022. Auckland: Servicio de publicaciones de la Universidad de Auckland.).

La respuesta a este desafío es de especial interés a los coordinadores y/o responsables de facultades o titulaciones, ya que podrán disponer de información que les permita controlar de manera ágil la frecuencia de acceso de su profesorado a la plataforma, si cumple con el plan de trabajo previsto en la asignatura, si se está respondiendo adecuadamente a las necesidades de los alumnos, etc. Aunque la mayoría de los EVA disponen de diversos tipos de indicadores del uso que hacen los profesores de los mismos, la ausencia de herramientas que ayuden a interpretar dichos indicadores deja toda la carga de esta tarea a los coordinadores, que deben, siguiendo un proceso tedioso y repetitivo, buscar posibles deficiencias o carencias en la gestión de una asignatura por parte del profesor (Galán y Mateos, 2012Galán, B. M.; Mateos, D. R. (2012). La Evaluación de la Formación Universitaria Semipresencial y en Línea en el Contexto del EEES mediante el Uso de los Informes de Actividad de la Plataforma Moodle. Revista Iberoamericana de Educación a Distancia, 15 (1), pp. 159-178, http://dx.doi.org/10.5944/ried.1.15.782.; Retalis y otros, 2006Retalis, S.; Papasalouros, A.; Psaromiligkos, Y.; Siscos, S.; Kargidis, T. (2006). Towards networked learning analytics–A concept and a tool. Proceedings of the fifth international conference on networked learning, pp. 1-8. Lancaster, UK.).

De acuerdo con lo anterior, el propósito de nuestro trabajo reside en analizar, diseñar e implementar una herramienta gráfica para el análisis de uso de EVA por parte de los profesores, bajo la hipótesis de partida de que facilitará y mejorará la labor de los coordinadores en el seguimiento del profesorado. De esta manera, a través de una visualización de la información intuitiva y sencilla, los coordinadores podrán detectar rápidamente cualquier carencia en la gestión de una asignatura y tomar las acciones correctivas que crean necesarias. Para evaluar nuestra propuesta y la experiencia de los coordinadores ante esta nueva herramienta realizaremos encuestas y grupos de discusión en los que se valore la calidad del nuevo tipo de interacción de los coordinadores con los EVA.

Por tanto, los objetivos del presente trabajo giran en torno a las tres líneas siguientes:

(1) Analizar las limitaciones de los EVA actuales para el seguimiento de la actividad del profesorado.

(2) Desarrollar una herramienta de monitorización de la actividad del profesorado en un EVA.

(3) Contrastar empíricamente la eficacia de la herramienta desarrollada para valorar su utilidad de cara a los coordinadores.

En las siguientes secciones revisaremos el estado del arte en el uso de e-learning metrics para la monitorización del profesorado. A continuación describiremos la metodología que hemos seguido hasta desarrollar una herramienta llamada OnlineData centrada en mejorar la interacción y experiencia del coordinador con un EVA para monitorizar el estado de las asignaturas de su titulación. Seguidamente discutiremos el resultado obtenido, finalizando con las conclusiones más relevantes de este trabajo.

 

2. ESTADO DE LA CUESTIÓN Top

Antes de comenzar a describir nuestra propuesta, conviene hablar sobre las herramientas de informe de actividad que nos ofrecen los principales EVA para analizar la interacción con dichas herramientas. Hemos estudiado las siguientes plataformas de código abierto: Moodle (Cole y Foster, 2007Cole, J.; Foster, H. (2007). Using Moodle: Teaching with the popular open source course management system. Sebastopol: O’Reilly Media, Inc.), Canvas by Instructure (Canvas LMS, 2015Canvas LMS (2015). Canvas Guide, (https://goo.gl/JZ2B5I) [28-09-2015].) y Sakai (Sakai project, 2015Sakai (2015). Sakai Features, (https://goo.gl/UQ7W1a) [30-09-2016].), siendo esta última en la que nos hemos centrado particularmente al ser la empleada en la institución objetivo del estudio. Todas ellas contienen módulos que permiten generar informes sobre los registros (logins) de usuarios y uso de las diferentes herramientas que tienen asociadas (cantidad de descargas de un recurso, de participaciones en foros, de tareas enviadas, etc.). Sin embargo, estos informes no alcanzan el nivel de detalle necesario que permita al coordinador de una titulación llevar un seguimiento del estado de cualquier asignatura por parte del profesor responsable (Peter y otros, 2010Peter, S. E.; Bacon, E.; Dastbaz, M. (2010). Adaptable, personalised e-learning incorporating learning styles. Campus-Wide Information Systems, 27, pp. 91-100.). Nos referimos a información sobre actividades pendientes del profesor (número de foros sin responder, tareas sin corregir, etc.), tiempo de respuesta en las distintas actividades (tiempo medio que tarda el profesor en responder un foro, tiempo medio que tarda en corregir una tarea, etc.), entre otra información de interés. Además, los informes están diseminados por las diferentes asignaturas, lo que obliga a ir revisando asignatura por asignatura para obtener todos los informes de una titulación en un proceso tedioso y repetitivo.

Hasta donde sabemos, no existen herramientas específicas orientadas al análisis del comportamiento del profesorado en las plataformas de aprendizaje virtual estudiadas que nos permitan un análisis flexible de los datos registrados en dichas plataformas. Actualmente, las herramientas de análisis de actividad están enfocadas al estudio de usabilidad de EVA con la finalidad de alcanzar mejores resultados académicos (Van Leeuwen y otros, 2014Van Leeuwen, A.; Janssen, J.; Erkens, G.; Brekelmans, M. (2014). Supporting teachers in guiding collaborating students: Effects of learning analytics in CSCL. Computers & Education, 79, pp. 28-39.; Dodero y otros, 2014Dodero, J. M.; García-Peñalvo, F. J. y otros (2014). Development of E-Learning Solutions: Different Approaches, a Common Mission. Revista Iberoamericana de Tecnologías del Aprendizaje, IEEE-RITA, 9 (2), pp. 72-80.), limitadas al rol de estudiante y descuidando el proceso de trabajo del profesorado. En este ámbito, cabe destacar la especificación API de Tin Can (Chiang y otros, 2015Chiang, C. F.; Tseng, H. C.; Chiang, C. C.; Hung, J. L. (2015). A case study on learning analytics using Experience API. En: Slykhuis, D.; Marks, G. (coords.), Society for Information Technology & Teacher Education International Conference, vol. 2015 (Nº. 1), pp. 2273-2278. Las Vegas: EdITLib.), que permite capturar la actividad que generan los alumnos durante el proceso de aprendizaje a distancia obteniendo datos con un formato común e independiente del uso de un EVA en particular, solventando las limitaciones que presenta el estándar SCORM (Sharable Content Object Reference Model) para la creación de contenidos ante las nuevas necesidades tecnológicas (Poltrack y otros, 2012Poltrack, J.; Hruska, N.; Johnson, A.; Haag, J. (2012). The next generation of SCORM: Innovation for the global force. En: The Interservice/Industry Training, Simulation & Education Conference (I/ITSEC), vol. 2012 (Nº. 1). Orlando: National Training System Association.).

También se han revisado las principales métricas e-learning enfocadas a evaluar la carga de trabajo por parte del profesorado según varios organismos de estandarización (Hilera y Hoya, 2010Hilera, J. R.; Hoya, R. (2010). Estándares de e-learning: Guía de consulta. Alcalá de Henares (Madrid): Editorial Universidad de Alcalá.). El primero es OpenECBCheck (ECBCheck, 2015ECBCheck (2015). E-Learning for Capacity Building, (http://goo.gl/nH7SDi) [15-09-2016].), herramienta que ofrece un esquema de aumento de la calidad para programas e-learning permitiendo una mejora continuada a través de la colaboración y trabajo por comparación entre diferentes organizaciones. Se basa en un conjunto predefinido de criterios divididos en dos sectores (mínimos y excelencia) con unos indicadores identificativos y puntuables a modo numérico para cada uno de ellos, obteniendo un resultado vinculado a cada área que nos permite identificar los sectores potenciales de mejora. Como segundo estándar se ha revisado la normativa UNE 66181 (Hilera González, 2008Hilera González, J. R. (2008). UNE 66181: 2008, el primer estándar sobre calidad de la formación virtual. RED. Revista de Educación a Distancia, Monográfico VII, pp. 1-6.) donde se especifican las directrices a seguir para la identificación de calidad en herramientas de aprendizaje virtual. Ninguno de los anteriores estándares describe cómo se debe implementar mecanismos analíticos ni herramientas para cuantificar la metodología docente de manera individualizada ni hacen referencia a una interfaz para uso del profesorado/coordinador donde se evalúe su actividad global de trabajo. La normativa que mejor se ajusta a nuestro proyecto es ISO/IEC 19796-1, proporcionando un modelo común que especifica métricas en el ámbito de la tecnología de la información en educación que ayuden a alcanzar la máxima calidad (Pawlowski, 2007Pawlowski, J. M. (2007). The quality adaptation model: adaptation and adoption of the quality standard ISO/IEC 19796-1 for learning, education, and training. Educational Technology & Society, 10 (2), pp. 3-16.).

Finalmente hemos revisado los trabajos relacionados desde el campo de la analítica de aprendizaje a distancia (e-learning analytics). En él se sintetizan y estudian conexiones entre técnicas educacionales existentes, conceptos de aprendizaje y minerías de datos educativas teniendo en cuenta todos los roles implicados en el proceso (Siemens y Long, 2011Siemens, G.; Long, P. (2011). Penetrating the Fog: Analytics in Learning and Education. EDUCAUSE review, 46 (5), pp. 31-40.). En particular nos hemos centrado en el área de la analítica visual, que propone el uso de interfaces visuales para mostrar los resultados obtenidos del razonamiento analítico. Visualizando los datos es más sencillo analizar los resultados, ayudando a los usuarios a descubrir nuevas relaciones, posibles irregularidades, cambio de patrones, etc. El exhaustivo análisis realizado por Gómez-Aguilar y otros (2014Gómez-Aguilar, D. A.; García-Peñalvo, F. J.; Therón, R. (2014). Analítica Visual en e-learning. El Profesional de la Información, 23 (3), pp. 1386-6710, DOI: http://dx.doi.org/10.3145/epi.2014.may.03.) propone un modelo que tenga en cuenta las técnicas de analítica visual en entornos educacionales como complemento tanto al proceso de aprendizaje como al proceso académico desarrollado en esos entornos, sin llegar a desarrollar una herramienta para validar el modelo. Por otro lado, Li y otros (2015Li, X.; Zhang, X.; Fu, W.; Liu, X. (2015). E-Learning with visual analytics. En: 2015 IEEE Conference on e-Learning, e-Management and e-Services (IC3e), pp. 125-130. Melaka, Malaysia: IEEE, http://dx.doi.org/10.1109/IC3e.2015.7403499.) proponen un sistema basado en analítica visual que detecta comportamientos e-learning en estudiantes y descubre factores clave que ayudan a mejorar el proceso educativo como, por ejemplo, la puntuación de exámenes finales y su relación con el número y tiempos de entrega de las tareas propuestas en la asignatura.

La falta de herramientas basadas en analítica visual abre una brecha en el análisis del uso de los EVA, dificultando la explotación de los datos masivos recogidos por estas plataformas. El presente trabajo propone avanzar un paso en la monitorización del profesorado en EVA a través de una herramienta basada en los planteamientos de la analítica visual.

 

3. METODOLOGÍA Top

Nuestro trabajo se desarrolla en la Universidad Católica San Antonio de Murcia (UCAM), donde se imparte un amplio abanico de titulaciones en diferentes modalidades. Se considera como caso de estudio el trabajo docente de grado y posgrado de cuatro facultades: Facultad de Ciencias de la Salud, Facultad de Ciencias Sociales y de la Comunicación, Facultad de Ciencias Jurídicas y de la Empresa y Escuela Politécnica Superior, de los cursos de tercero y cuarto en el caso de los grados y en el primer curso en el caso de posgrado, teniendo en cuenta la modalidad a distancia durante el curso 2014/2015. De esta forma, la población total del estudio consta de 6 Grados, 13 Postgrados, 38 Coordinadores (dos por titulación), 200 Profesores, 126 Asignaturas y 86 Materias. En la muestra recogida para la investigación se han seleccionado las asignaturas/materias más representativas de cada título atendiendo al número de alumnos matriculados. La Tabla I contempla la selección de asignaturas/materias escogidas, el número de profesores de cada asignatura y los alumnos matriculados.

Es importante resaltar que en este estudio hemos empleado Sakai como EVA de referencia, ya que es el utilizado en nuestra institución. Esta decisión no debe interferir en los resultados obtenidos puesto que otros EVA conocidos como Moodle o Canvas tienen prácticamente el mismo conjunto de herramientas para mostrar las estadísticas de uso y se configuran de manera similar. Todos los profesores que imparten en modalidad a distancia han recibido cursos de formación en la propia Universidad, por lo que partimos del supuesto de que tienen las habilidades suficientes para manejar Sakai sin dificultades.

La metodología seguida se divide en tres etapas, las cuales se corresponden con los objetivos definidos en la sección de introducción, a saber: análisis de las limitaciones, desarrollo de la herramienta y evaluación.

Tabla I. Selección de la muestra de estudio

Selección de la muestra de estudio

[Descargar tamaño completo]

 

3.1. Etapa Primera

En la primera etapa se define el proceso que nos ayudará a detectar aquellas carencias que presentan las herramientas de monitorización incluidas en los EVA. Esta etapa se divide en dos fases: la primera establece cómo y qué tipos de datos estadísticos se van a obtener del EVA, mientras que la segunda está orientada a que los coordinadores establezcan las limitaciones y deficiencias encontradas en los informes generados desde dicho EVA.

3.1.1 Fase 1.1

En esta primera fase se crean informes de actividad de los profesores a través de la herramienta Estadísticas de Sakai, que permite generar distintos tipos de informes predefinidos sobre la actividad de los usuarios seleccionando entre diferentes indicadores. En particular, los indicadores disponibles se dividen en cuatro categorías: (1) Actividad, a seleccionar entre visitas (logins), eventos o recursos consultados; (2) Periodo de tiempo sobre el que se crea el informe; (3) Usuarios sobre los que se crea el informe; y (4) Tipo de informe a mostrar, pudiéndose seleccionar entre distintos tipos de gráficas o tablas.

Los indicadores escogidos para este estudio son: (1) Eventos como actividad a reportar. Dentro de esta opción se señalan todas las herramientas disponibles a analizar (tareas, recursos, foros, anuncios, etc.); (2) Como periodo de tiempo a mostrar se opta por un periodo mensual; (3) Se escoge como usuario el rol «Instructor», que corresponde al profesor o profesores de la asignatura. Es importante indicar aquí que a los coordinadores de cada titulación se les asigna el rol «Instructor Responsable» de cada una de las asignaturas de la titulación. De esta manera pueden acceder a todas ellas y monitorizar periódicamente la actividad generada; (4) En el tipo de informe se selecciona una gráfica por totales de cada evento.

Con los informes generados en este paso se puede valorar el número de eventos que el profesor ha generado en cada herramienta de Sakai, como por ejemplo el número de anuncios publicados, número de tareas corregidas, número de recursos subidos, etc. Hay que destacar que los coordinadores deben generar estos informes uno a uno por cada asignatura de interés, siendo apoyados desde la Unidad de Enseñanza Online para resolver sus dudas. Dichos informes pueden ser exportados a diferentes formatos tales como PDF o XLS.

3.1.2 Fase 1.2

En esta segunda fase se les pide a los coordinadores que redacten una lista con los problemas experimentados durante la creación de los informes desde la herramienta Estadísticas y con aquellas métricas de interés que detecten que no han podido ser evaluadas con dichos informes.

Una vez recibida esta información, se establece un sistema periódico semanal de envío a los coordinadores de informes extendidos, los cuales recogen las métricas establecidas en la fase 1.1 y aquellas métricas adicionales identificadas en esta fase. Estos informes extendidos son generados por la Unidad de Enseñanza Online y se muestran en forma de tablas estáticas estructuradas por asignatura para las que se indica el número de profesores responsables, número de alumnos matriculados y herramientas a monitorizar con los valores medidos. Los datos se obtienen directamente de la base de datos del módulo Sakai Events para ser luego presentados en la forma de tabla explicada.

3.2. Etapa Segunda

En esta segunda etapa se describe el proceso seguido para desarrollar la herramienta OnlineData, centrada en mejorar la interacción y experiencia del coordinador con un EVA para monitorizar el estado de las asignaturas de su titulación.

La metodología para el desarrollo de la herramienta OnlineData está fundamentada en la Metodología Incremental para desarrollo del Software (Pressman, 1997Pressman, R. S. (1997). Ingeniería del Software: Un enfoque práctico (7.ª ed.). Editorial Mc Graw Hill.). Con esta metodología se obtiene un producto basado en un desarrollo iterativo y creciente con toma de decisiones basadas en la experiencia de los productos creados en las iteraciones anteriores. En cada iteración se siguen cuatro fases: Análisis, Diseño, Implementación y Pruebas. En la fase de análisis se recogen los requisitos esenciales de la aplicación desde el punto de vista de los coordinadores. En la fase de Diseño se estudian las tecnologías y métodos más apropiados para conseguir los requisitos demandados. En la fase de Implementación se lleva el resultado del diseño a un software determinado. Por último, en la fase de Pruebas se comprueba que se cumplen los requisitos abordados y se registran los fallos y requisitos todavía no conseguidos para pasar a una nueva iteración.

El objetivo de la herramienta OnlineData atiende a dos requisitos de interacción principalmente: (1) una alta flexibilidad en la selección de las métricas a evaluar, manteniendo un nivel de sencillez en su configuración y (2) una visualización de los valores de dichas métricas para todas las asignaturas de una titulación de manera centralizada, con diferentes niveles de detalle y que permita detectar deficiencias a través de algún tipo de alerta.

Para lograr el primer requisito, OnlineData permite mostrar distintos informes de resultados gracias a la selección previa de los parámetros disponibles en las métricas a evaluar. Se podrán escoger aquellas herramientas de seguimiento a ser evaluadas, tipos de recursos, intervalos de tiempo a visualizar, distintas agrupaciones de resultados y búsquedas por profesor a monitorizar. La Tabla II recoge los principales parámetros de configuración.

Tabla II. Métricas y parámetros configurables en OnlineData

Métricas y parámetros configurables en OnlineData

[Descargar tamaño completo]

 

Para lograr el segundo requisito referente al análisis visual de las métricas se propone un diseño de interfaces top-down (Patterson y otros, 2014Patterson, R. E.; Blaha, L. M.; Grinstein y otros (2014). A human cognition framework for information visualization. Computers & Graphics, 42, pp. 42-58, http://dx.doi.org/10.1016/j.cag.2014.03.002.), en el que se muestran las métricas de interés de un nivel más global a un nivel más específico. Así, las interfaces de más alto nivel muestran indicadores de uso de las herramientas para todas las asignaturas de una titulación, mientras que las interfaces de más bajo nivel se centran en la evolución del uso de una herramienta específica en una asignatura concreta.

Siguiendo con este segundo requisito y respecto a la técnica visual para detectar deficiencias, se decide utilizar colores para valorar el nivel de uso de las distintas herramientas y así indicar diferentes tipos de alertas. En particular, se utilizan los colores rojo, naranja y verde para indicar el nivel de alerta, siendo rojo un valor no admisible para la métrica evaluada, naranja un valor límite dentro de los parámetros establecidos y verde un valor admisible dentro de los parámetros establecidos. Además, los rangos de valores para los niveles de alerta de cada métrica son parametrizables por el coordinador, dependiendo de la metodología aplicada y el tipo de asignatura. Por ejemplo, el número esperado de participaciones del profesor en foros no será el mismo para una asignatura presencial que para la misma asignatura en modalidad a distancia. Las métricas y sus correspondientes alertas se mostrarán para cada asignatura y herramienta seleccionada por el coordinador, de manera que obtenga el estado global de su titulación en una sola interfaz.

Para aclarar el uso de colores en la gestión de alertas pongamos como ejemplo la métrica correspondiente al número de foros no leídos por parte de un profesor en la titulación de Psicología a distancia. Así, un número de foros no leídos mayor de 10 se indicará en rojo, si el número es exactamente 10 se marcará en naranja y un número por debajo de 10 se marcará en verde. La Tabla III muestra este ejemplo concreto para tres asignaturas.

Tabla III. Ejemplo de alertas para foros no leídos en el Grado de Psicología a distancia

Ejemplo de alertas para foros no leídos en el Grado de Psicología a distancia

[Descargar tamaño completo]

 

Para el desarrollo de la herramienta OnlineData se opta por utilizar el patrón de arquitectura software Modelo Vista Controlador (Pressman, 1997Pressman, R. S. (1997). Ingeniería del Software: Un enfoque práctico (7.ª ed.). Editorial Mc Graw Hill.), separando los datos de la lógica de negocio. De esta manera, por un lado se definen los componentes para la representación de la información y por otro lado los componentes para la interacción del usuario. Se utilizan tecnologías de programación orientada a objetos, en concreto el lenguaje Java versión 7 con la herramienta de desarrollo Hibernate (Hibernate ORM, 2016Hibernate ORM (2016). Hibernate object-relational mapping framework, (http://goo.gl/B7E9Dg) [20-05-2016].). Como framework para gestionar la comunicación entre la aplicación y la base de datos utilizamos Mondrian (Mondrian, 2016Mondrian (2016). Mondrian: Online Analytical Processing server (OLAP), (http://goo.gl/GKe7SB) [20-05-2016].). Puesto que la base de datos de Sakai es Oracle 11g, el lenguaje utilizado para la realización de los scripts de consulta ha sido PL/SQL. Finalmente, para modelar el diseño de la aplicación se utilizan hojas de estilo JQuery (JQuery, 2016JQuery (2016). JQuery library, (https://goo.gl/6Wou4c) [20-05-2016].) y Bootstrap (Bootstrap, 2016Bootstrap (2016). Bootstrap: framework for front-end web, (http://goo.gl/dPHuah) [20-05-2016].). El acceso a la aplicación se va a realizar a través de un navegador web sin necesidad de instalar ningún programa adicional.

3.3. Etapa tercera

En esta última etapa se evalúa la validez y eficiencia de las herramientas de análisis utilizadas en las etapas anteriores. Para su evaluación se utilizarán dos métodos empíricos: (1) Grupos de discusión y (2) encuestas de valoración.

En los grupos de discusión se valora la opinión de los coordinadores de las titulaciones y del comité de expertos de la Unidad de Enseñanza Online que han intervenido en el estudio. El grupo de discusión está formado por un total de 18 participantes (14 coordinadores y 4 miembros del comité de expertos). Dicho grupo se convoca al final de cada etapa para generar un informe por cada facultad sobre la valoración de las herramientas presentadas, donde se recogen las ventajas y limitaciones de los resultados obtenidos en cada una de las etapas.

Como segundo método se realizan encuestas de valoración a los coordinadores que participan en el grupo de discusión, obteniendo los resultados de forma cualitativa. Se establecen 4 dimensiones a valorar, que se identifican con los objetivos marcados por la Unidad de Enseñanza Online de la UCAM: (1) utilidad, (2) experiencia del usuario, (3) frecuencia de uso y (4) tiempo de uso. Se proporciona además un valor deseado a alcanzar en cada una de ellas. Las encuestas están compuestas de 7 preguntas de tipo Likert formuladas atendiendo a las dimensiones a valorar indicadas anteriormente (ver Tabla IV). Se establece una clasificación ordinal (Baja, Baja-Media, Media, Media-Alta y Alta) para la evaluación de cada una de ellas. Los coordinadores repetirán las encuestas en tres ocasiones, para la fase 1.1 y fase 1.2 de la primera etapa y para la segunda etapa.

Tabla IV. Preguntas de las encuestas clasificadas por las dimensiones establecidas

Preguntas de las encuestas clasificadas por las dimensiones establecidas

[Descargar tamaño completo]

 

Finalmente se tiene en cuenta la necesidad de realizar una validación cruzada de los datos almacenados en Sakai con los datos mostrados por OnlineData, comprobando en todo momento que existe una correspondencia exacta entre dichos datos.

 

4. RESULTADOS Top

Este apartado muestra los resultados para cada una de las etapas definidas en la metodología propuesta en la sección anterior.

4.1 Etapa Primera

4.1.1 Fase 1.1

En esta primera fase de la etapa primera los coordinadores se encontraron una interfaz con varios ítems a definir para lanzar la consulta y generar los gráficos, siendo este proceso repetido para cada asignatura. Así, cada consulta requería acceder a la herramienta Estadísticas de Sakai para establecer la actividad del informe a «Eventos» y seleccionar las herramientas a analizar, el periodo a evaluar como mensual, el tipo de usuario a «Instructor» y la forma de mostrar los datos como gráficos.

Se obtuvo una serie de gráficos para aquellas métricas de mayor interés (por ejemplo, creación de recursos, número de mensajes privados enviados, número de post publicados en foros, etc.). La Figura 1 muestra uno de los informes parametrizados creados con la herramienta Estadísticas de Sakai, recogiendo la evolución del número total de eventos de cada tipo que se generan por un determinado Instructor en el ámbito de una asignatura (sitio en Sakai, anonimizado en la figura para preservar la privacidad) agrupados por la fecha de dichos eventos. A efectos ilustrativos, el informe de la Figura 1 se ha obtenido para 10 días de un período de tiempo determinado (nótese que los días sin actividad no aparecen en el informe.). Por ejemplo, para el 8 de Abril se muestra una gran actividad en la corrección de tareas por parte del profesor.

Figura 1. Informe obtenido mediante la herramienta Estadísticas de Sakai donde se muestra la cantidad de eventos generados por un profesor en una asignatura a lo largo de 10 días

Informe obtenido mediante la herramienta Estadísticas de Sakai donde se muestra la cantidad de eventos generados por un profesor en una asignatura a lo largo de 10 días

[Descargar tamaño completo]

 

4.1.2 Fase 1.2

Tras analizar los informes predefinidos generados por Sakai, los coordinadores elaboraron una lista con las limitaciones encontradas durante dicho análisis. Las más repetidas y relevantes fueron las recogidas a continuación:

La percepción de invertir demasiado tiempo en ir recopilando los informes asignatura a asignatura, repitiendo una y otra vez los mismos pasos.

La falta de una visión global del estado de la titulación debido fundamentalmente a la forma en que se generan los informes como se indica en el punto anterior.

La imposibilidad de incluir los datos de algunas herramientas tales como Videoconferencias o Chats en los gráficos generados.

La ausencia de métricas relacionadas con el tiempo de respuesta por parte del profesor a mensajes, foros, resolución de tareas, etc.

La escasa flexibilidad a la hora de seleccionar fechas ya que los intervalos están prefijados.

Como resultado, la Unidad de Enseñanza Online generó informes extendidos para dar solución a los comentarios recibidos. Los informes agrupan las asignaturas por curso y por cuatrimestre mediante tablas estáticas. Además de mostrar la información recogida sobre los diferentes eventos de las herramientas a analizar (recursos, foros, tareas, chats, videoconferencias y exámenes), también se muestra el número de alumnos, profesores responsables y conexiones realizadas por dichos profesores. Sobre las métricas de las herramientas cabe destacar que se presentan primero con un valor agregado de todos los eventos relacionados con esa herramienta y en las siguientes columnas aparecen los valores para cada evento individual.

La Figura 2 muestra un ejemplo parcial de un informe extendido generado en esta fase. En una única vista se ofrece un resumen de la actividad del profesorado de varias asignaturas (seis en este caso, anonimizadas para preservar la privacidad de los profesores responsables). Tomando como ejemplo la primera asignatura que aparece en la Figura 2 observamos que tiene un total de 26 alumnos y 6 instructores cuyo número de conexiones totales es de 644. Considerando la herramienta Recursos, vemos que tiene un total de 154 recursos totales, los cuales se descomponen en 4 archivos multimedia (vídeos o audios), 57 documentos PDF, 3 archivos comprimidos, 77 documentos Word y 13 recursos que no se han podido clasificar (como por ejemplo presentaciones en Power Point).

Figura 2. Ejemplo parcial de informe extendido de la actividad del profesorado en varias asignaturas, generado por la Unidad de Enseñanza Online

Ejemplo parcial de informe extendido de la actividad del profesorado en varias asignaturas, generado por la Unidad de Enseñanza Online

[Descargar tamaño completo]

 

4.2. Etapa Segunda

En esta etapa se describe el resultado del desarrollo de la herramienta OnlineData. Atendiendo a los requisitos establecidos durante la fase de análisis de la herramienta, OnlineData ha sido diseñada para ofrecer distintos niveles de granularidad sobre las métricas recogidas de cualquier herramienta propia de entornos EVA, permitiendo diferentes formas de visualizar la información según la necesidad de los coordinadores. A continuación vamos a explicar las interfaces más relevantes de la herramienta, de la más general a la más específica siguiendo el diseño top-down adoptado. En la Tabla V se incluye un resumen de las interfaces escogidas para mostrar el funcionamiento de la herramienta.

Tabla V. Resumen de las interfaces principales de OnlineData

Resumen de las interfaces principales de OnlineData

[Descargar tamaño completo]

 

La Figura 3 muestra dos capturas de la interfaz principal de OnlineData donde se resume la información sobre dos titulaciones de una de las facultades consideradas en este trabajo. En la Figura 3a se muestra el estado de una titulación con un buen desempeño del profesorado, mientras que la Figura 3b corresponde a una titulación donde los profesores muestran un desempeño medio.

La vista general de la aplicación, tal como se observa en la Figura 3, ofrece un resumen global de la actividad del profesorado, agrupado por asignaturas/materias que forman una titulación y docentes que las imparten, señalando su trabajo en cada una de las actividades soportadas por las herramientas del EVA. Para facilitar el análisis de las métricas mostradas, las evidencias sobre las actividades docentes se presentan en dos grupos de indicadores: Recursos y Seguimiento.

Por una parte, el grupo de indicadores “Recursos” hace referencia a los diferentes tipos de materiales didácticos publicados por el profesor. Para los coordinadores es importante comprobar que se publica un número adecuado de cada tipo de material según las directrices de su titulación. Como se explicó en la sección de Metodología, mediante un código de colores los coordinadores pueden comprobar rápidamente si estas directrices se están cumpliendo en cada asignatura. Así, un código de color verde indica que se ha superado el número aconsejado de cada tipo de material, un código de color naranja significa que está dentro del intervalo aconsejado, y un código de color rojo significa que no se está cumpliendo el mínimo de publicaciones exigidas de un tipo de material.

Por otro lado, las evidencias del grupo Seguimiento monitorizan la actividad del profesorado en las herramientas de tutorización a los estudiantes: Foros, Tareas, Mensajes Privados, Chats y Videoconferencias. En esta interfaz principal se muestra el número de ítems que el profesor no ha respondido y su tiempo medio de respuesta en cada herramienta como parámetros principales a evaluar. Dependiendo del intervalo definido por el coordinador para ambos parámetros, se clasifica la actividad del profesorado en cada herramienta según las tres categorías asociadas a los colores explicados en la sección de Metodología: aceptable (verde), en un valor límite (naranja) y no admisible (rojo).

Figura 3a. Vista principal de OnlineData para analizar la actividad del profesorado: profesorado con buen desempeño

Vista principal de OnlineData para analizar la actividad del profesorado: (a) profesorado con buen desempeño, (b) profesorado con desempeño medio

[Descargar tamaño completo]

 

Figura 3b. Vista principal de OnlineData para analizar la actividad del profesorado: profesorado con desempeño medio

Vista principal de OnlineData para analizar la actividad del profesorado: (a) profesorado con buen desempeño, (b) profesorado con desempeño medio

[Descargar tamaño completo]

 

En este primer nivel de interfaz también es posible acceder a la información de una asignatura o profesor a evaluar haciendo uso del campo «Buscar», característica integrada en la herramienta, mejorando la usabilidad de la vista general al mostrar sólo la información acotada sobre un criterio determinado.

Además de la vista global de la titulación, se puede acceder rápidamente a una vista detallada sobre la actividad del profesorado en una asignatura de interés. La Figura 4 muestra los detalles de actividad de un profesor en la herramienta Tareas asociada a la asignatura que imparte.

Figura 4. Vista detallada del desempeño del profesor en la corrección de tareas de una asignatura

Vista detallada del desempeño del profesor en la corrección de tareas de una asignatura

[Descargar tamaño completo]

 

Para ilustrar la interacción con esta vista analizamos la Figura 4. Tomamos como caso de estudio la herramienta Tareas y como factor a evaluar el tiempo transcurrido entre la fecha de entrega de una tarea y su corrección. Distinguimos dos resúmenes de los datos: Tareas Resultados y Tareas Corrección, siendo este último una especialización del primero. En Tareas Resultados se realiza el seguimiento únicamente de la primera entrega realizada por alumno y el tiempo medio de corrección empleado por el profesor desde la fecha establecida como entrega. Sin embargo, en Tareas Corrección se tiene en cuenta que una misma tarea puede ser corregida más de una vez, en el caso de que estén permitidos los reenvíos, contabilizando cada uno de ellos como una nueva tarea y aplicando siempre el mismo criterio de corrección en todos los casos. Observamos que el número de tareas entregadas es recogido en ambos informes en el campo Nº Total de Entregas, obteniendo resultados diferentes, ya que en el segundo caso se suman también los reenvíos.

Para el ejemplo analizado se establece un tiempo máximo de corrección de tareas de 15 días, siendo aconsejable el intervalo de tiempo entre 7 y 15 días. Los resultados que estén por encima de dicho tiempo máximo se reflejan en color rojo. En cambio, si el tiempo de corrección es inferior a 7 días, existe una mejora de los criterios fijados y por tanto este valor se muestra de color verde. Finalmente, si el tiempo de corrección se acerca al límite entre los parámetros establecidos se presentará de color naranja. Es importante resaltar que aquellos campos cuyos valores se muestran en color gris representan información adicional que no estaba recogida en la interfaz principal de OnlineData (ver Figura 3), como por ejemplo el número de tareas entregadas por los alumnos o el ratio de entrega según el número de alumnos.

Existe un tercer y último nivel de detalle sobre la evolución de uso de una herramienta concreta por parte del profesor. Un ejemplo de este nivel de detalle máximo aparece en la Figura 5, donde se muestra el tiempo medio de reacción de un profesor en la herramienta Foros. Este tiempo de reacción se define como el tiempo medio transcurrido desde que se publica un post en la herramienta Foros por un alumno y es leído por el profesor. De este modo se pueden obtener conclusiones relevantes para periodos de interés concreto, como observar si se produce un acceso mayor a la lectura de foros en periodo de exámenes y un menor acceso en periodo vacacional. En la Figura 5 se observa que el tiempo medio de lectura es de 64 horas, considerado dentro del intervalo medio de reacción en esta herramienta.

Figura 5. Vista detallada sobre el tiempo de reacción de un profesor en la herramienta “Foros”

Vista detallada sobre el tiempo de reacción de un profesor en la herramienta “Foros”

[Descargar tamaño completo]

 

Es importante resaltar que la herramienta OnlineData se ha desarrollado de manera independiente con respecto a Sakai. Este desarrollo independiente ofrece dos ventajas: por un lado, tener separada la parte de control de la titulación de la parte de gestión de sus asignaturas; y por otro, la posibilidad de utilizar la herramienta con otros EVA como Moodle con los cambios pertinentes al módulo de la herramienta que consulta la base de datos de eventos de la plataforma.

4.3. Etapa Tercera

En esta etapa se recogen las conclusiones obtenidas de las reuniones realizadas por los grupos de discusión y se muestran los resultados de las encuestas realizadas a coordinadores.

La primera reunión del grupo de discusión tuvo lugar al finalizar la fase 1.1 dentro de la primera etapa. La valoración general sobre los informes generados por la herramienta Estadísticas de Sakai fue que, a pesar de que los datos reflejados eran de cierta utilidad, la forma de obtenerlos representaba una gran dificultad e inversión de tiempo para los coordinadores. Concretamente, se aprecia que las herramientas estadísticas propias del EVA, aunque proporcionan una flexibilidad aceptable en las consultas, reportan inconvenientes importantes para los coordinadores: (1) el manejo de la herramienta Estadísticas de Sakai resulta poco intuitivo, (2) dada la naturaleza de los informes, generados bajo demanda, se hace difícil llevar a cabo una monitorización proactiva, y (3) el tiempo que el coordinador invierte en la detección de incidencias es demasiado elevado.

Como resultado, el impacto de este tipo de monitorización era mínimo y sólo se realizaba en los casos en los que se detectaba por otros canales algún tipo de incidencia (monitorización reactiva). Además, se obtuvo una lista de mejoras con respecto a las métricas que se deseaban analizar y que no aparecían en estos informes, como se ha indicado en la etapa primera de resultados (ver sección 4.1).

En la segunda reunión, realizada al final de la fase 1.2 de la primera etapa, se valoró la validez de los informes extendidos en formato tabular. En esta valoración se destaca que, gracias a estos informes, el seguimiento y la periodicidad de consulta por parte de los coordinadores es superior que en la fase 1.1. Aun así, no se alcanzaron los resultados de mejora esperados a causa de la poca ayuda en análisis visual de la interfaz, como por ejemplo la falta de alertas visuales para resaltar las incidencias. Por otro lado se resaltó como aspecto negativo la pérdida de la interacción con la herramienta con respecto a la fase anterior, debido a que al ser una tabla estática no es posible de ocultar ciertos datos cuando no se están estudiando o establecer otras fechas concretas diferentes a las disponibles.

En la última reunión realizada al final de la etapa 2 se valoró la herramienta OnlineData, donde se obtuvieron los mejores resultados de valoración. Se destaca una importante mejora en el tiempo de uso gracias a las alertas visuales basadas en colores e interfaces con diferente nivel de detalle para obtener rápidamente una situación global de la titulación. El acceso a la herramienta a través de un navegador web sin necesidad de instalar ningún programa adicional también fue valorado muy positivamente. Únicamente se detectaron algunos problemas a la hora de manejar la herramienta las primeras veces, debido a las configuraciones iniciales de los parámetros asociados a las métricas de interés, lo que ha impedido valorar la experiencia de usuario como alta.

La Tabla VI presenta los resultados obtenidos de las encuestas teniendo en cuenta las dimensiones establecidas y los niveles marcados como deseados por la Unidad de Enseñanza Online. Se señalan con (*) aquellos objetivos que alcanzan el nivel deseado por la Unidad de Enseñanza Online.

Tabla VI. Resultados encuestas coordinadores agrupados por las dimensiones a valorar

Resultados encuestas coordinadores agrupados por las dimensiones a valorar

[Descargar tamaño completo]

 

Tanto en la fase 1.1 como en la fase 1.2 que conforman la primera etapa no se alcanzan todos los objetivos marcados por la Unidad de Enseñanza Online. En la fase 1.1 la valoración a las cuatro dimensiones indicadas por la Unidad de Enseñanza Online fue bastante negativa excepto para la referente a la utilidad. En la fase 1.2, aunque se consiguen mejoras en aspectos como la frecuencia y el tiempo de uso, se requieren grandes esfuerzos en cuanto a la experiencia de usuario, es decir, las destrezas necesarias para utilizar la información suministrada. Esta dimensión se consigue fijar en niveles medios en la etapa 2, conservando los niveles de utilidad y frecuencia de uso e incluso reduciendo el tiempo invertido por el coordinador hasta la obtención de las incidencias.

Finalmente indicar que la validación cruzada de los datos almacenados en Sakai con los datos mostrados por OnlineData se realizó con éxito.

 

5. DISCUSIÓN Top

Tras analizar los resultados obtenidos podemos afirmar que OnlineData reporta varias ventajas en la tarea de monitorización del profesorado: se mejora notablemente el proceso de seguimiento de actividad del profesorado, permitiendo una monitorización proactiva; los ítems a evaluar son totalmente parametrizables de manera flexible, mejorando la usabilidad con respecto a las herramientas de análisis integradas de un EVA; el análisis de resultados se realiza de manera visual e intuitiva, con una curva de aprendizaje mínima para interpretar los resultados; y por último, es una herramienta independiente de la plataforma de aprendizaje virtual de la que se obtienen los datos para su análisis.

Respecto a las limitaciones de nuestro trabajo, se ha detectado que a pesar de que OnlineData ofrece información fidedigna sobre las actividades realizadas por el profesorado, ante resultados que indican una incidencia algunos coordinadores recurren al propio EVA para validar que dicha incidencia existe. Esta reacción se puede considerar normal (aun siendo innecesaria) en las primeras fases del uso de la herramienta, y sería aconsejable entonces ofrecer un acceso directo que permita comprobar los datos en el EVA desde OnlineData y viceversa. Por otro lado, algunos coordinadores han indicado que no existe una vista agrupada de todas las asignaturas que imparte un profesor, lo cual sería interesante para detectar patrones repetitivos de incidencias de dicho profesor, con el fin de analizar errores en su metodología de trabajo y aplicar las acciones correctivas pertinentes.

Como futuros trabajos existen diferentes vías de desarrollo para aumentar las prestaciones de OnlineData, como por ejemplo generar autoinformes de seguimiento en diferentes formatos basados en los datos analizados. El cuadro de mandos que define los criterios para filtrar los datos de las vistas se puede mejorar con nuevas funcionalidades, tales como analizar correlaciones entre los eventos generados por el profesorado (por ejemplo, la relación entre el número de conexiones del profesor y el tiempo medio invertido en corregir tareas, para medir su eficiencia). Otro propuesta que estamos evaluando es la integración de algoritmos inteligentes en la herramienta para detectar de manera automática patrones comunes de comportamiento entre las titulaciones, materias y profesorado y su posterior análisis. Finalmente, también se valora la posibilidad de mandar alertas automáticas mediante e-mail a los coordinadores cuando alguna métrica sea clasificada como no admisible.

 

6. CONCLUSIONES Top

Este artículo se centra en cómo mejorar la interacción de los coordinadores de titulación con un EVA (Entorno Virtual de Aprendizaje) para monitorizar el desempeño del profesorado de una manera intuitiva y eficiente. Se han planteado tres objetivos para tal fin, los cuales han guiado el proceso metodológico del trabajo.

El primer objetivo ha consistido en identificar las limitaciones de las herramientas de seguimiento integradas en los EVA actuales. Las principales deficiencias encontradas han sido la falta de una visión global del estado de la titulación y el tiempo invertido en obtener los informes sobre las métricas de interés. Como segundo objetivo se ha propuesto el desarrollo de una herramienta llamada OnlineData que, basada en técnicas de análisis visual, ofrezca diferentes vistas sobre las métricas de herramientas en EVA relacionadas con la actividad docente. Los distintos niveles de detalle y el uso de un sencillo código de colores para indicar incidencias permiten a los coordinadores una supervisión rápida del estado de su titulación. Como último objetivo se ha valorado empíricamente mediante grupos de discusión y encuestas la validez y eficiencia del desarrollo del trabajo planteado en este artículo, cuyos resultados indican que la herramienta OnlineData satisface las necesidades de los coordinadores.

 

AGRADECIMIENTOSTop

Este trabajo ha sido apoyado por la Universidad Católica San Antonio de Murcia mediante el proyecto del Ministerio de Economía y Competitividad con el identificador TIN2016-78799-P. Los autores quieren agradecer a la Unidad de Enseñanza Online de esta Universidad y a las personas que han trabajado en el desarrollo de la herramienta Online Data su participación en este proyecto. Igualmente agradecer a todos los coordinadores y profesores que han participado en el estudio de este artículo.

This work has been supported by the Catholic University of Murcia through the Spanish MINECO under grant TIN2016-78799-P. Authors would like to thank the Online Department of this University for their participation in this paper. They would also like to thank coordinators and lecturers involved in the study.

 

REFERENCIASTop

Bhuasiri, W.; Xaymoungkhoun, O.; Zo, H.; Rho, J. J.; Ciganek, A. P. (2012). Critical success factors for e-learning in developing countries: A comparative analysis between ICT experts and faculty. Computers & Education, 58, pp. 843-855. http://dx.doi.org/10.1016/j.compedu.2011.10.010.
Bootstrap (2016). Bootstrap: framework for front-end web. (http://goo.gl/dPHuah) [20-05-2016].
Campus Computing Project (2013). Campus Computing Survey. (http://goo.gl/7kUznn) [30-09-2015].
Canvas LMS (2015). Canvas Guide. (https://goo.gl/JZ2B5I) [28-09-2015].
Chiang, C. F.; Tseng, H. C.; Chiang, C. C.; Hung, J. L. (2015). A case study on learning analytics using Experience API. En: Slykhuis, D.; Marks, G. (coords.), Society for Information Technology & Teacher Education International Conference, vol. 2015 (Nº. 1), pp. 2273-2278. Las Vegas: EdITLib.
Cole, J.; Foster, H. (2007). Using Moodle: Teaching with the popular open source course management system. Sebastopol: O’Reilly Media, Inc.
Delgado, F. J.; Fernández-Llera, R. (2012). Sobre la evaluación del profesorado universitario (especial referencia a ciencias económicas y jurídicas). Revista Española de Documentación Científica, 35 (2), pp. 361-375. http://dx.doi.org/10.3989/redc.2012.2.861.
Dodero, J. M.; García-Peñalvo, F. J. y otros (2014). Development of E-Learning Solutions: Different Approaches, a Common Mission. Revista Iberoamericana de Tecnologías del Aprendizaje, IEEE-RITA, 9 (2), pp. 72-80.
ECBCheck (2015). E-Learning for Capacity Building. (http://goo.gl/nH7SDi) [15-09-2016].
Ellis, R. A.; Calvo, R. A. (2007). Minimum indicators to assure quality of LMS-supported blended learning. Educational Technology & Society, 10 (2), pp. 60-70.
Galán, B. M.; Mateos, D. R. (2012). La Evaluación de la Formación Universitaria Semipresencial y en Línea en el Contexto del EEES mediante el Uso de los Informes de Actividad de la Plataforma Moodle. Revista Iberoamericana de Educación a Distancia, 15 (1), pp. 159-178. http://dx.doi.org/10.5944/ried.1.15.782.
Gómez-Aguilar, D. A.; García-Peñalvo, F. J.; Therón, R. (2014). Analítica Visual en e-learning. El Profesional de la Información, 23 (3), pp. 1386-6710. DOI: http://dx.doi.org/10.3145/epi.2014.may.03.
Hibernate ORM (2016). Hibernate object-relational mapping framework. (http://goo.gl/B7E9Dg) [20-05-2016].
Hilera González, J. R. (2008). UNE 66181: 2008, el primer estándar sobre calidad de la formación virtual. RED. Revista de Educación a Distancia, Monográfico VII, pp. 1-6.
Hilera, J. R.; Hoya, R. (2010). Estándares de e-learning: Guía de consulta. Alcalá de Henares (Madrid): Editorial Universidad de Alcalá.
JQuery (2016). JQuery library. (https://goo.gl/6Wou4c) [20-05-2016].
Li, X.; Zhang, X.; Fu, W.; Liu, X. (2015). E-Learning with visual analytics. En: 2015 IEEE Conference on e-Learning, e-Management and e-Services (IC3e), pp. 125-130. Melaka, Malaysia: IEEE. http://dx.doi.org/10.1109/IC3e.2015.7403499.
Maldonado, U. P. T.; Khan, G. F.; Moon, J.; Rho, J. J. (2011). E-learning motivation and educational portal acceptance in developing countries. Online Information Review, 35 (1), pp. 66-85.
Peter, S. E.; Bacon, E.; Dastbaz, M. (2010). Adaptable, personalised e-learning incorporating learning styles. Campus-Wide Information Systems, 27, pp. 91-100.
Poltrack, J.; Hruska, N.; Johnson, A.; Haag, J. (2012). The next generation of SCORM: Innovation for the global force. En: The Interservice/Industry Training, Simulation & Education Conference (I/ITSEC), vol. 2012 (Nº. 1). Orlando: National Training System Association.
Mondrian (2016). Mondrian: Online Analytical Processing server (OLAP). (http://goo.gl/GKe7SB) [20-05-2016].
Patterson, R. E.; Blaha, L. M.; Grinstein y otros (2014). A human cognition framework for information visualization. Computers & Graphics, 42, pp. 42-58. http://dx.doi.org/10.1016/j.cag.2014.03.002.
Pawlowski, J. M. (2007). The quality adaptation model: adaptation and adoption of the quality standard ISO/IEC 19796-1 for learning, education, and training. Educational Technology & Society, 10 (2), pp. 3-16.
Pressman, R. S. (1997). Ingeniería del Software: Un enfoque práctico (7.ª ed.). Editorial Mc Graw Hill.
Retalis, S.; Papasalouros, A.; Psaromiligkos, Y.; Siscos, S.; Kargidis, T. (2006). Towards networked learning analytics–A concept and a tool. Proceedings of the fifth international conference on networked learning, pp. 1-8. Lancaster, UK.
Sakai (2015). Sakai Features. (https://goo.gl/UQ7W1a) [30-09-2016].
Sánchez, V. G.; Arrufat, M. J. G. (2015). Modelo de análisis de metodologías didácticas semipresenciales blended learning en educación superior. Educación XX1. En prensa.
Siemens, G.; Long, P. (2011). Penetrating the Fog: Analytics in Learning and Education. EDUCAUSE review, 46 (5), pp. 31-40.
Steel, C.; Levy, M. (2009). Creativity and constraint: Understanding teacher beliefs and the use of LMS technologies. En: Atkinson, R. J.; McBeath, C. (coords.), Same places, different spaces. Proceedings of the 26th Annual ascilite International Conference, pp. 1013-1022. Auckland: Servicio de publicaciones de la Universidad de Auckland.
Van Leeuwen, A.; Janssen, J.; Erkens, G.; Brekelmans, M. (2014). Supporting teachers in guiding collaborating students: Effects of learning analytics in CSCL. Computers & Education, 79, pp. 28-39.


Copyright (c) 2016 Consejo Superior de Investigaciones Científicas (CSIC)

Licencia de Creative Commons
Esta obra está bajo una licencia de Creative Commons Reconocimiento 4.0 Internacional.


Contacte con la revista redc.cchs@cchs.csic.es

Soporte técnico soporte.tecnico.revistas@csic.es