En la primera etapa se define el proceso que nos ayudará a detectar aquellas carencias que presentan las herramientas de monitorización incluidas en los EVA. Esta etapa se divide en dos fases: la primera establece cómo y qué tipos de datos estadísticos se van a obtener del EVA, mientras que la segunda está orientada a que los coordinadores establezcan las limitaciones y deficiencias encontradas en los informes generados desde dicho EVA.

En esta segunda etapa se describe el proceso seguido para desarrollar la herramienta OnlineData, centrada en mejorar la interacción y experiencia del coordinador con un EVA para monitorizar el estado de las asignaturas de su titulación.

La metodología para el desarrollo de la herramienta OnlineData está fundamentada en la Metodología Incremental para desarrollo del Software (Pressman, 1997). Con esta metodología se obtiene un producto basado en un desarrollo iterativo y creciente con toma de decisiones basadas en la experiencia de los productos creados en las iteraciones anteriores. En cada iteración se siguen cuatro fases: Análisis, Diseño, Implementación y Pruebas. En la fase de análisis se recogen los requisitos esenciales de la aplicación desde el punto de vista de los coordinadores. En la fase de Diseño se estudian las tecnologías y métodos más apropiados para conseguir los requisitos demandados. En la fase de Implementación se lleva el resultado del diseño a un software determinado. Por último, en la fase de Pruebas se comprueba que se cumplen los requisitos abordados y se registran los fallos y requisitos todavía no conseguidos para pasar a una nueva iteración.

El objetivo de la herramienta OnlineData atiende a dos requisitos de interacción principalmente: (1) una alta flexibilidad en la selección de las métricas a evaluar, manteniendo un nivel de sencillez en su configuración y (2) una visualización de los valores de dichas métricas para todas las asignaturas de una titulación de manera centralizada, con diferentes niveles de detalle y que permita detectar deficiencias a través de algún tipo de alerta.

Para lograr el primer requisito, OnlineData permite mostrar distintos informes de resultados gracias a la selección previa de los parámetros disponibles en las métricas a evaluar. Se podrán escoger aquellas herramientas de seguimiento a ser evaluadas, tipos de recursos, intervalos de tiempo a visualizar, distintas agrupaciones de resultados y búsquedas por profesor a monitorizar. La Tabla II recoge los principales parámetros de configuración.

Para lograr el segundo requisito referente al análisis visual de las métricas se propone un diseño de interfaces top-down (Patterson y otros, 2014), en el que se muestran las métricas de interés de un nivel más global a un nivel más específico. Así, las interfaces de más alto nivel muestran indicadores de uso de las herramientas para todas las asignaturas de una titulación, mientras que las interfaces de más bajo nivel se centran en la evolución del uso de una herramienta específica en una asignatura concreta.

Siguiendo con este segundo requisito y respecto a la técnica visual para detectar deficiencias, se decide utilizar colores para valorar el nivel de uso de las distintas herramientas y así indicar diferentes tipos de alertas. En particular, se utilizan los colores rojo, naranja y verde para indicar el nivel de alerta, siendo rojo un valor no admisible para la métrica evaluada, naranja un valor límite dentro de los parámetros establecidos y verde un valor admisible dentro de los parámetros establecidos. Además, los rangos de valores para los niveles de alerta de cada métrica son parametrizables por el coordinador, dependiendo de la metodología aplicada y el tipo de asignatura. Por ejemplo, el número esperado de participaciones del profesor en foros no será el mismo para una asignatura presencial que para la misma asignatura en modalidad a distancia. Las métricas y sus correspondientes alertas se mostrarán para cada asignatura y herramienta seleccionada por el coordinador, de manera que obtenga el estado global de su titulación en una sola interfaz.

Para aclarar el uso de colores en la gestión de alertas pongamos como ejemplo la métrica correspondiente al número de foros no leídos por parte de un profesor en la titulación de Psicología a distancia. Así, un número de foros no leídos mayor de 10 se indicará en rojo, si el número es exactamente 10 se marcará en naranja y un número por debajo de 10 se marcará en verde. La Tabla III muestra este ejemplo concreto para tres asignaturas.

Para el desarrollo de la herramienta OnlineData se opta por utilizar el patrón de arquitectura software Modelo Vista Controlador (Pressman, 1997), separando los datos de la lógica de negocio. De esta manera, por un lado se definen los componentes para la representación de la información y por otro lado los componentes para la interacción del usuario. Se utilizan tecnologías de programación orientada a objetos, en concreto el lenguaje Java versión 7 con la herramienta de desarrollo Hibernate (Hibernate ORM, 2016). Como framework para gestionar la comunicación entre la aplicación y la base de datos utilizamos Mondrian (Mondrian, 2016). Puesto que la base de datos de Sakai es Oracle 11g, el lenguaje utilizado para la realización de los scripts de consulta ha sido PL/SQL. Finalmente, para modelar el diseño de la aplicación se utilizan hojas de estilo JQuery (JQuery, 2016) y Bootstrap (Bootstrap, 2016). El acceso a la aplicación se va a realizar a través de un navegador web sin necesidad de instalar ningún programa adicional.

En esta última etapa se evalúa la validez y eficiencia de las herramientas de análisis utilizadas en las etapas anteriores. Para su evaluación se utilizarán dos métodos empíricos: (1) Grupos de discusión y (2) encuestas de valoración.

En los grupos de discusión se valora la opinión de los coordinadores de las titulaciones y del comité de expertos de la Unidad de Enseñanza Online que han intervenido en el estudio. El grupo de discusión está formado por un total de 18 participantes (14 coordinadores y 4 miembros del comité de expertos). Dicho grupo se convoca al final de cada etapa para generar un informe por cada facultad sobre la valoración de las herramientas presentadas, donde se recogen las ventajas y limitaciones de los resultados obtenidos en cada una de las etapas.

Como segundo método se realizan encuestas de valoración a los coordinadores que participan en el grupo de discusión, obteniendo los resultados de forma cualitativa. Se establecen 4 dimensiones a valorar, que se identifican con los objetivos marcados por la Unidad de Enseñanza Online de la UCAM: (1) utilidad, (2) experiencia del usuario, (3) frecuencia de uso y (4) tiempo de uso. Se proporciona además un valor deseado a alcanzar en cada una de ellas. Las encuestas están compuestas de 7 preguntas de tipo Likert formuladas atendiendo a las dimensiones a valorar indicadas anteriormente (ver Tabla IV). Se establece una clasificación ordinal (Baja, Baja-Media, Media, Media-Alta y Alta) para la evaluación de cada una de ellas. Los coordinadores repetirán las encuestas en tres ocasiones, para la fase 1.1 y fase 1.2 de la primera etapa y para la segunda etapa.

Finalmente se tiene en cuenta la necesidad de realizar una validación cruzada de los datos almacenados en Sakai con los datos mostrados por OnlineData, comprobando en todo momento que existe una correspondencia exacta entre dichos datos.

En esta etapa se describe el resultado del desarrollo de la herramienta OnlineData. Atendiendo a los requisitos establecidos durante la fase de análisis de la herramienta, OnlineData ha sido diseñada para ofrecer distintos niveles de granularidad sobre las métricas recogidas de cualquier herramienta propia de entornos EVA, permitiendo diferentes formas de visualizar la información según la necesidad de los coordinadores. A continuación vamos a explicar las interfaces más relevantes de la herramienta, de la más general a la más específica siguiendo el diseño top-down adoptado. En la Tabla V se incluye un resumen de las interfaces escogidas para mostrar el funcionamiento de la herramienta.

La Figura 3 muestra dos capturas de la interfaz principal de OnlineData donde se resume la información sobre dos titulaciones de una de las facultades consideradas en este trabajo. En la Figura 3a se muestra el estado de una titulación con un buen desempeño del profesorado, mientras que la Figura 3b corresponde a una titulación donde los profesores muestran un desempeño medio.

La vista general de la aplicación, tal como se observa en la Figura 3, ofrece un resumen global de la actividad del profesorado, agrupado por asignaturas/materias que forman una titulación y docentes que las imparten, señalando su trabajo en cada una de las actividades soportadas por las herramientas del EVA. Para facilitar el análisis de las métricas mostradas, las evidencias sobre las actividades docentes se presentan en dos grupos de indicadores: Recursos y Seguimiento.

Por una parte, el grupo de indicadores “Recursos” hace referencia a los diferentes tipos de materiales didácticos publicados por el profesor. Para los coordinadores es importante comprobar que se publica un número adecuado de cada tipo de material según las directrices de su titulación. Como se explicó en la sección de Metodología, mediante un código de colores los coordinadores pueden comprobar rápidamente si estas directrices se están cumpliendo en cada asignatura. Así, un código de color verde indica que se ha superado el número aconsejado de cada tipo de material, un código de color naranja significa que está dentro del intervalo aconsejado, y un código de color rojo significa que no se está cumpliendo el mínimo de publicaciones exigidas de un tipo de material.

Por otro lado, las evidencias del grupo Seguimiento monitorizan la actividad del profesorado en las herramientas de tutorización a los estudiantes: Foros, Tareas, Mensajes Privados, Chats y Videoconferencias. En esta interfaz principal se muestra el número de ítems que el profesor no ha respondido y su tiempo medio de respuesta en cada herramienta como parámetros principales a evaluar. Dependiendo del intervalo definido por el coordinador para ambos parámetros, se clasifica la actividad del profesorado en cada herramienta según las tres categorías asociadas a los colores explicados en la sección de Metodología: aceptable (verde), en un valor límite (naranja) y no admisible (rojo).

En este primer nivel de interfaz también es posible acceder a la información de una asignatura o profesor a evaluar haciendo uso del campo «Buscar», característica integrada en la herramienta, mejorando la usabilidad de la vista general al mostrar sólo la información acotada sobre un criterio determinado.

Además de la vista global de la titulación, se puede acceder rápidamente a una vista detallada sobre la actividad del profesorado en una asignatura de interés. La Figura 4 muestra los detalles de actividad de un profesor en la herramienta Tareas asociada a la asignatura que imparte.

Para ilustrar la interacción con esta vista analizamos la Figura 4. Tomamos como caso de estudio la herramienta Tareas y como factor a evaluar el tiempo transcurrido entre la fecha de entrega de una tarea y su corrección. Distinguimos dos resúmenes de los datos: Tareas Resultados y Tareas Corrección, siendo este último una especialización del primero. En Tareas Resultados se realiza el seguimiento únicamente de la primera entrega realizada por alumno y el tiempo medio de corrección empleado por el profesor desde la fecha establecida como entrega. Sin embargo, en Tareas Corrección se tiene en cuenta que una misma tarea puede ser corregida más de una vez, en el caso de que estén permitidos los reenvíos, contabilizando cada uno de ellos como una nueva tarea y aplicando siempre el mismo criterio de corrección en todos los casos. Observamos que el número de tareas entregadas es recogido en ambos informes en el campo Nº Total de Entregas, obteniendo resultados diferentes, ya que en el segundo caso se suman también los reenvíos.

Para el ejemplo analizado se establece un tiempo máximo de corrección de tareas de 15 días, siendo aconsejable el intervalo de tiempo entre 7 y 15 días. Los resultados que estén por encima de dicho tiempo máximo se reflejan en color rojo. En cambio, si el tiempo de corrección es inferior a 7 días, existe una mejora de los criterios fijados y por tanto este valor se muestra de color verde. Finalmente, si el tiempo de corrección se acerca al límite entre los parámetros establecidos se presentará de color naranja. Es importante resaltar que aquellos campos cuyos valores se muestran en color gris representan información adicional que no estaba recogida en la interfaz principal de OnlineData (ver Figura 3), como por ejemplo el número de tareas entregadas por los alumnos o el ratio de entrega según el número de alumnos.

Existe un tercer y último nivel de detalle sobre la evolución de uso de una herramienta concreta por parte del profesor. Un ejemplo de este nivel de detalle máximo aparece en la Figura 5, donde se muestra el tiempo medio de reacción de un profesor en la herramienta Foros. Este tiempo de reacción se define como el tiempo medio transcurrido desde que se publica un post en la herramienta Foros por un alumno y es leído por el profesor. De este modo se pueden obtener conclusiones relevantes para periodos de interés concreto, como observar si se produce un acceso mayor a la lectura de foros en periodo de exámenes y un menor acceso en periodo vacacional. En la Figura 5 se observa que el tiempo medio de lectura es de 64 horas, considerado dentro del intervalo medio de reacción en esta herramienta.

Es importante resaltar que la herramienta OnlineData se ha desarrollado de manera independiente con respecto a Sakai. Este desarrollo independiente ofrece dos ventajas: por un lado, tener separada la parte de control de la titulación de la parte de gestión de sus asignaturas; y por otro, la posibilidad de utilizar la herramienta con otros EVA como Moodle con los cambios pertinentes al módulo de la herramienta que consulta la base de datos de eventos de la plataforma.

En esta etapa se recogen las conclusiones obtenidas de las reuniones realizadas por los grupos de discusión y se muestran los resultados de las encuestas realizadas a coordinadores.

La primera reunión del grupo de discusión tuvo lugar al finalizar la fase 1.1 dentro de la primera etapa. La valoración general sobre los informes generados por la herramienta Estadísticas de Sakai fue que, a pesar de que los datos reflejados eran de cierta utilidad, la forma de obtenerlos representaba una gran dificultad e inversión de tiempo para los coordinadores. Concretamente, se aprecia que las herramientas estadísticas propias del EVA, aunque proporcionan una flexibilidad aceptable en las consultas, reportan inconvenientes importantes para los coordinadores: (1) el manejo de la herramienta Estadísticas de Sakai resulta poco intuitivo, (2) dada la naturaleza de los informes, generados bajo demanda, se hace difícil llevar a cabo una monitorización proactiva, y (3) el tiempo que el coordinador invierte en la detección de incidencias es demasiado elevado.

Como resultado, el impacto de este tipo de monitorización era mínimo y sólo se realizaba en los casos en los que se detectaba por otros canales algún tipo de incidencia (monitorización reactiva). Además, se obtuvo una lista de mejoras con respecto a las métricas que se deseaban analizar y que no aparecían en estos informes, como se ha indicado en la etapa primera de resultados (ver sección 4.1).

En la segunda reunión, realizada al final de la fase 1.2 de la primera etapa, se valoró la validez de los informes extendidos en formato tabular. En esta valoración se destaca que, gracias a estos informes, el seguimiento y la periodicidad de consulta por parte de los coordinadores es superior que en la fase 1.1. Aun así, no se alcanzaron los resultados de mejora esperados a causa de la poca ayuda en análisis visual de la interfaz, como por ejemplo la falta de alertas visuales para resaltar las incidencias. Por otro lado se resaltó como aspecto negativo la pérdida de la interacción con la herramienta con respecto a la fase anterior, debido a que al ser una tabla estática no es posible de ocultar ciertos datos cuando no se están estudiando o establecer otras fechas concretas diferentes a las disponibles.

En la última reunión realizada al final de la etapa 2 se valoró la herramienta OnlineData, donde se obtuvieron los mejores resultados de valoración. Se destaca una importante mejora en el tiempo de uso gracias a las alertas visuales basadas en colores e interfaces con diferente nivel de detalle para obtener rápidamente una situación global de la titulación. El acceso a la herramienta a través de un navegador web sin necesidad de instalar ningún programa adicional también fue valorado muy positivamente. Únicamente se detectaron algunos problemas a la hora de manejar la herramienta las primeras veces, debido a las configuraciones iniciales de los parámetros asociados a las métricas de interés, lo que ha impedido valorar la experiencia de usuario como alta.

La Tabla VI presenta los resultados obtenidos de las encuestas teniendo en cuenta las dimensiones establecidas y los niveles marcados como deseados por la Unidad de Enseñanza Online. Se señalan con (*) aquellos objetivos que alcanzan el nivel deseado por la Unidad de Enseñanza Online.

Tanto en la fase 1.1 como en la fase 1.2 que conforman la primera etapa no se alcanzan todos los objetivos marcados por la Unidad de Enseñanza Online. En la fase 1.1 la valoración a las cuatro dimensiones indicadas por la Unidad de Enseñanza Online fue bastante negativa excepto para la referente a la utilidad. En la fase 1.2, aunque se consiguen mejoras en aspectos como la frecuencia y el tiempo de uso, se requieren grandes esfuerzos en cuanto a la experiencia de usuario, es decir, las destrezas necesarias para utilizar la información suministrada. Esta dimensión se consigue fijar en niveles medios en la etapa 2, conservando los niveles de utilidad y frecuencia de uso e incluso reduciendo el tiempo invertido por el coordinador hasta la obtención de las incidencias.

Finalmente indicar que la validación cruzada de los datos almacenados en Sakai con los datos mostrados por OnlineData se realizó con éxito.