La búsqueda bibliográfica se orientó a la localización de publicaciones que tratasen sobre tutoriales de CI, para posteriormente seleccionar aquellas que pudiesen ser de utilidad para lograr los objetivos propuestos. Se llevó a cabo en las bases de datos LISA y LISTA en la primera semana de julio de 2014 y se utilizó como estrategia de búsqueda la combinación de términos relativos a CI (“library instruction”, “library education”, “information skills”, “information literacy”, “information competences”) con términos relativos a formación en línea (“computer assisted instruction”, “distance education”, “web-based instruction”, “tutorials”, “online instruction”) en los campos título y abstract, así como los descriptores correspondientes en cada base de datos. Se limitó a los últimos 10 años (desde 2004) y a los idiomas inglés y español. Los registros recuperados en ambas bases de datos fueron exportados al gestor de referencias Endnote y se eliminaron los duplicados, quedando finalmente 1070 referencias únicas.

El estudio se ha centrado en tutoriales en línea sobre CI, entendidos éstos como materiales didácticos en línea orientados a la formación en CI que permiten a los alumnos controlar su proceso de aprendizaje. Se excluyen por tanto las guías, cuyo propósito es la difusión de los recursos y servicios de la biblioteca y no el aprendizaje de CI (Somoza-Fernández y Abadal, 2009). Por otro lado, se ha limitado a los tutoriales que se utilizan en bibliotecas universitarias para formar a estudiantes, puesto que es en el ámbito de la educación superior donde más desarrollo ha tenido este tipo de formación. Finalmente, puesto que la literatura que aborda las características y procesos que pueden contribuir al éxito de un tutorial es muy heterogénea en cuanto al grado de evidencia que aporta, únicamente se han incluido cuatro tipos de estudios: los tres primeros con el fin de recoger la mejor evidencia disponible, basada en datos primarios relativos a factores de éxito a partir de experiencias reales en tutoriales, y el cuarto con la idea de recoger también las aportaciones de carácter teórico.

El término éxito se ha considerado en función de resultados y aceptación, según las dos acepciones recogidas en el Diccionario de la Real Academia Española. Por ello se han considerado las siguientes medidas como indicadores de éxito:

La selección de los trabajos que se ajustaban a los criterios de inclusión y que finalmente formarían parte del análisis se hizo en tres etapas. Primeramente, se procedió a la lectura de título y abstract de todos los registros recuperados, descartándose 687. Posteriormente, se accedió al texto completo de los 383 restantes y se seleccionaron 84. El número final de trabajos incluidos en el análisis fue de 91, puesto que se añadieron otros 7 identificados a partir de la bibliografía de los trabajos incluidos anteriormente.

Los 91 artículos identificados en la etapa anterior fueron clasificados en función de los cuatro tipos de estudios que se incluyeron en este trabajo y la información pertinente de cada uno de ellos fue recogida en una de las cuatro plantillas diseñadas con ese fin. Puesto que, a efectos de esta investigación, la información relevante de cada tipo de estudio era diferente, las plantillas de recogida de datos también lo fueron. Así, por ejemplo, en los estudios sobre opiniones de usuarios se consignaron datos sobre aspectos positivos y negativos de los tutoriales que utilizaron, y en los estudios que comparaban varios tipos de tutoriales se recogió información sobre la temática, la medida de resultados empleada o qué tipo de tutoriales se comparaban.

Una vez extraída en las plantillas toda la información relevante de los documentos, se procedió a su sistematización. Se empezó por el análisis de los estudios teóricos, con el fin de crear una batería de características y procesos que posteriormente pudiera utilizarse para codificar la información de los otros tipos de trabajos. Se creó un amplio listado con los ítems identificados para cada una de estas dos categorías y se procedió a su análisis para detectar elementos similares que habían sido designados de forma diferente. Por ejemplo, “repartir tareas” y “establecer responsabilidades entre los miembros del equipo” se consideraron como un solo ítem, ya que ambos se referían a un mismo proceso. En vista de que la batería de ítems era aún demasiado prolija y susceptible de ser reducida, se agruparon algunos de ellos en función de su afinidad semántica y cuando se consideró que el mantenimiento de todos ellos tendría que dar lugar a una distinción entre procesos y subprocesos o entre características y subcategorías. Por ejemplo, se agruparon los procesos “examinar otros tutoriales” y “revisar la literatura científica”, al considerarse que ambos tenían una estrecha relación en su significado (conocer el tema). Las premisas para hacer esta agrupación fueron no dejar fuera ningún elemento importante y no unir ítems inconexos. Finalmente se agruparon los ítems resultantes en grandes categorías, dando lugar a una serie de dimensiones. La batería de características y procesos, que se explicará más detalladamente en los resultados, puede verse en la tabla I y tabla II.

Los estudios comparativos presentaban, a efectos de la presente investigación, la información más rica y valiosa, puesto que en ellos se medía de forma experimental el éxito de varios tutoriales con características diferentes en cuanto a resultados y aceptación. Los estudios de este tipo fueron analizados en detalle y de ellos se recogió información sobre qué tipos de tutoriales se comparaban; cuáles eran las características que los diferenciaban y cuyo efecto se quería medir en la evaluación de resultados y/o aceptación (las variables independientes en los estudios experimentales o cuasi-experimentales); la temática de los tutoriales, puesto que se consideró una variable que podía tener relación con los resultados de las comparaciones; el tipo de medida de éxito (aprendizaje, autoconfianza, uso, preferencia o comportamiento informacional); y los resultados de las comparaciones, es decir, qué tutoriales funcionaron mejor.

Con respecto a los otros dos tipos de estudios, se recogieron de forma diferenciada las opiniones de los usuarios sobre qué características o procesos debían mejorarse y cuáles valoraban positivamente y, por otro lado, las características o procesos que los autores destacaron como factores que condicionaron el éxito de los tutoriales que habían evaluado y los que consideraron que debían mejorarse. Estas características y procesos se extrajeron y codificaron utilizando los ítems de la batería resultante del análisis de los estudios teóricos. Los procesos y características detectados en esta etapa que no hubiesen sido recogidos inicialmente fueron añadidos a la batería inicial. Posteriormente se hizo un análisis de frecuencias de cada uno de los ítems, teniendo en cuenta si habían sido señalados de forma positiva o negativa.

Finalmente, se compararon los resultados del análisis de las investigaciones de carácter aplicado con las propuestas teóricas, identificándose qué procesos y características han sido más destacados en ambos tipos de estudios, qué grado de evidencia hay sobre la utilidad de cada uno de ellos en términos de éxito (resultados y aceptación) y qué diferencias y similitudes hay entre lo que dice la teoría sobre tutoriales en línea de CI y lo que se observa en la práctica.

Los trabajos que proponen pautas y recomendaciones son bastante heterogéneos respecto a su estructura, metodología utilizada, enfoque y aspecto en el que se centran. Casi todos ellos se basan en la revisión de la literatura y en la identificación de buenas prácticas, pero también es frecuente que se incluyan recomendaciones a partir de la experiencia de los autores en la creación o evaluación de tutoriales. Aunque en algunos casos el planteamiento inicial sea únicamente la descripción de las características deseables de un tutorial (Cordes, 2011) o la propuesta de procesos a tener en cuenta, algunos adaptados de modelos ya conocidos en el ámbito de la pedagogía (Koneru, 2010; Summey y Valenti, 2013), lo habitual es que mencionen o puedan inferirse tanto procesos como características. A pesar de que se han incluido trabajos centrados en un tipo específico de tutorial, como los videotutoriales (Betty, 2008; Brown-Sica y otros, 2009; Charnigo, 2009; Oud, 2009) o los tutoriales integrados en plataformas educativas, tipo Moodle o Sakai (Hoffman y Ramin, 2010; York y Vance, 2009), las características y procesos que se han extraído son a priori aplicables a cualquier tipo de tutorial.

En su conjunto, se aprecia una gran profusión de recomendaciones, todas ellas útiles y valiosas, pero que difícilmente podrían considerarse igual de importantes. De hecho, como puede observarse en las tablas I y II, hay procesos y características que se mencionan muy frecuentemente y otras que solo aparecen en uno o unos pocos trabajos, no existiendo ninguna publicación que las recoja todas.

Los procesos o pautas de creación de tutoriales en línea de CI obtenidos tras el análisis y síntesis de los trabajos teóricos han sido 23 y se han agrupado en 6 dimensiones, que se comentan a continuación y cuya frecuencia de aparición en la literatura puede verse en la tabla I.

Planificación. En esta dimensión se ha incluido el estudio de necesidades, cuyo fin es determinar qué carencias existen y qué necesidades concretas deben satisfacerse; la identificación de los usuarios potenciales, para orientar el tutorial a un público general o específico (de una titulación, de un curso académico, etc.); el establecimiento de objetivos, es decir, qué se espera lograr con el tutorial; el examen de la literatura científica sobre el tema y de otros tutoriales, para poder recabar información sobre experiencias similares, problemas a los que se han enfrentado, casos de éxito, etc.; el análisis de los requerimientos de software; y la estimación de costes y tiempo que implica su desarrollo y mantenimiento.

Desarrollo. En esta dimensión se contempla la utilización de estándares e indicadores de asociaciones bibliotecarias como base para el desarrollo de los contenidos; la creación de un guión o un script, que sirva para establecer a priori la estructura y las secuencia de los contenidos; ajustar el formato al contenido, incluyendo cuando sea necesario texto, vídeo o imágenes; establecer políticas de actualización y mantenimiento; y fijar los resultados de aprendizaje que se esperan de los alumnos.

Colaboración. Se considera muy recomendable el trabajo colaborativo con diversos actores: principalmente con los profesores, por su valiosa opinión sobre las necesidades de los alumnos y las competencias que deben adquirir, y con el personal informático, diseñadores y administradores de campus virtuales para las cuestiones técnicas. También se consideró aquí la colaboración con otras instituciones mediante el trabajo conjunto y el uso de herramientas de acceso abierto que permitan su compartición, de forma que cada biblioteca pueda utilizarlo o adaptarlo.

Evaluación del tutorial. Se incluyen aquí el pilotaje de una versión de prueba con un grupo de usuarios antes de su lanzamiento, con el fin de detectar errores y hacer las modificaciones pertinentes; la recogida periódica de las opiniones de los usuarios, mediante test de usabilidad, encuestas o cualquier otro procedimiento formal; y la recogida de datos de uso (número de usuarios, tiempo por sesión, etc.).

Evaluación de resultados. Se trata de verificar que el tutorial realmente ha cumplido sus objetivos a nivel de aprendizaje y mejora de las CI de los usuarios. Las tres principales formas detectadas han sido la administración de tests antes y después del uso del tutorial, que permiten ver en qué grado se ha mejorado; la evaluación de diferentes ejercicios prácticos o portfolios, que permiten ver cómo los usuarios aplican sus conocimientos y habilidades a tareas prácticas; y el análisis de cómo ha influido la formación en su comportamiento informacional (labores académicas, uso de los servicios y recursos de la biblioteca, etc.).

Marketing. En esta dimensión se han incluido la ubicación, que tiene que ver no solo con dónde se alojará el tutorial (campus virtual, biblioteca, repositorio, web propia), sino también con los diferentes puntos de acceso a través de enlaces; y la difusión, que estaría orientada tanto a profesores, para que se lo recomienden a sus alumnos, como directamente a estudiantes a través de la biblioteca y de los servicios de información de la universidad.

Con respecto a las características deseables que se han encontrado en la literatura científica, se han identificado un total de 32, que se han agrupado en 5 dimensiones y cuyas frecuencias de mención en la literatura figuran en la tabla II.

Contenidos. Se aconseja que los tutoriales cuenten con una sección introductoria en la que figuren los objetivos, estructura, competencias e instrucciones de uso en caso de que sean necesarias; que se enseñen conceptos y no meras tareas; que se evite en la medida de lo posible la jerga bibliotecaria y se utilice un lenguaje sencillo, acorde a las características de la audiencia diana; que los contenidos tengan relación con las necesidades académicas de los usuarios a los que va dirigido el tutorial; que sea breve y conciso; que no esté sobrecargado de texto y se utilicen otras formas de presentar la información; que se indique la duración aproximada del tutorial para que los usuarios sepan el tiempo que les puede llevar; y que se indique la fecha de elaboración o actualización para que puedan estimar su vigencia.

Aprendizaje activo. Se recomienda que el tutorial cuente con algún tipo de actividad que permita a los alumnos poner en práctica los conocimientos adquiridos; que incluya ejemplos o simulaciones; que incluya test de conocimientos y habilidades para que los alumnos puedan verificar sus conocimientos; feedback por parte del instructor o del propio sistema; aprendizaje colaborativo mediante algún sistema que permita a los alumnos interactuar entre ellos; y que incluya alguna modalidad de aprendizaje síncrono, como el chat o la videoconferencia.

Aspectos didácticos y afectivos. En esta dimensión se contemplan recomendaciones sobre el uso de distintas formas de presentar los contenidos para ajustarse a los diferentes estilos de aprendizaje (visual, kinestético, activo, reflexivo, etc.); el ajuste del tutorial a usuarios con distintos niveles de conocimientos, desde principiantes a niveles avanzados; una modularidad adecuada, que facilite su consulta y permita a los alumnos acceder a las secciones que les interesen en cada momento; que aparezcan datos de contacto de la biblioteca; y que se identifique al bibliotecario encargado de la formación.

Diseño. Con respecto a esta dimensión, se aconseja que el tutorial se ajuste a las pautas generales de diseño de páginas web (colores, consistencia, facilidad de uso, rapidez, etc.), así como destacar de alguna forma las cuestiones o conceptos más importantes y que no se sobrecargue el recurso con elementos gráficos, visuales o sonoros que tengan únicamente una finalidad ornamental y puedan distraer la atención.

Accesibilidad. Se aconseja también ajustarse a las pautas de accesibilidad para páginas web, en especial en la literatura se recomienda incluir subtítulos en el audio y audio en el texto, descripción de pantallas, posibilidad de uso con diferentes navegadores y la posibilidad de imprimir los contenidos.

Como puede apreciarse en la tabla III, únicamente se han encontrado 9 publicaciones que comparen, en términos de resultados o aceptación, tutoriales con diferentes características. Sin embargo, debido a la variabilidad de las características analizadas, de las medidas de resultados y de la temática de los tutoriales, así como al reducido tamaño de las muestras utilizadas y a que en su mayoría son estudios cuasiexperimentales en vez de experimentales, se hace difícil la generalización de los resultados. No obstante, en base a estos estudios, parece que la interactividad, la brevedad, la facilidad de uso y la inclusión de ejemplos contribuirían a mejorar el aprendizaje de los alumnos y a incrementar su aceptación.

Las comparaciones entre videotutoriales y tutoriales basados en texto e imágenes fijas ofrecen resultados dispares en cuanto a aprendizaje: en el estudio de Craig y Friehs (2013) los estudiantes que utilizaron el videotutorial obtuvieron mejores resultados, en el de Mery y otros (2014) ambos grupos obtuvieron resultados similares y en el de Mestre (2012b) tanto la preferencia como los resultados fueron mejores en el grupo que utilizó el tutorial basado en texto e imágenes fijas. Por otro lado, en el estudio de Bowen (2014) se compara un tutorial en Libguide y otro creado como página web, obteniéndose resultados similares en aprendizaje y preferencias de los usuarios. Este estudio tiene implicaciones prácticas, puesto que, según el autor, es más fácil crear un tutorial con la aplicación Libguide.

Con respecto al aprendizaje activo, una de las dimensiones con más importancia en los estudios teóricos, en los dos estudios que comparan esta característica sí que se aprecian mejores resultados en los tutoriales con mayor grado de interactividad. Tanto en el estudio de Anderson y Wilson (2009) como en el de Sachs y otros (2013) los alumnos prefirieron el tutorial más interactivo, mientras que los resultados de aprendizaje fueron mejores en el primero y similares en el segundo.

En el estudio de Archambault (2011) se comparó el aprendizaje de un grupo de estudiantes que utilizó la primera versión de un tutorial con el de otro grupo que utilizó una nueva versión más breve y con más ejemplos, observándose mejores resultados en la versión nueva. Baker (2014) comparó la preferencia de los alumnos con respecto a cuatro videotutoriales con diferente duración, velocidad de narración y presentación, encontrando que los que más gustaron fueron los más breves y sencillos. Este autor concluyó, tras una serie de entrevistas, que este tipo de videotutoriales debían tener una duración no mayor a 3 minutos, una velocidad de narración en torno a 3 palabras por segundo y debían usar el zoom para destacar la información importante solo cuando fuese necesario (unas 4 veces por minuto).

Por último, Blevins y Besaw (2011) investigan la preferencia de dos grupos de estudiantes con respecto a la ubicación de los tests de evaluación de conocimientos dentro de un tutorial y si dicha ubicación influye en su autoconfianza. Los resultados muestran que a nivel de preferencias no hay diferencias entre los dos grupos, pero que el nivel de autoconfianza de los usuarios fue mayor en el grupo que utilizó el tutorial con tests intercalados que en el grupo que utilizó un tutorial con tests ubicados al final. En base a los resultados, los autores argumentan que los tests ubicados justo después de cada sección refuerzan y consolidan lo aprendido.

A pesar de que existen numerosos artículos que recogen opiniones de usuarios sobre los tutoriales que han utilizado, solo se han encontrado 40 que cumplieran los criterios de inclusión. El resto fueron descartados porque únicamente se mencionaba algún comentario informal de los alumnos, es decir, información no recogida de forma sistemática, o porque sus opiniones eran muy generales (si les ha gustado o si recomendarían su uso) y no especificaban qué características del tutorial valoraban positiva o negativamente. Las opiniones recogidas se refieren tanto a las características que los alumnos han destacado favorablemente como, sobre todo, a las que deben mejorarse. Estas últimas se recogen en la figura 1.

Destaca la duración del tutorial como el aspecto que más frecuentemente critican los alumnos, aconsejando reducir su duración en la gran mayoría de los casos. Como se pone de manifiesto, entre otros, en los trabajos de Crawford y Broertjes (2010), Lim (2010), Moyo (2011) o Weiner (2012), los alumnos no quieren emplear más tiempo del imprescindible en completar un tutorial, no esperan la extensión o profundidad de un manual o de un libro de texto, sino que prefieren que se centre en lo realmente importante y en caso de necesitar información complementaria buscarla en otro tipo de documento. De hecho, en algunos de los tutoriales más aplaudidos por los alumnos se destacaba la brevedad y concisión como una de sus principales fortalezas (Armstrong y Georgas, 2006; Bury y Oud, 2005; Friehs y Craig, 2008; Martin y otros, 2010).

Otras de las quejas más frecuentes de los alumnos tienen que ver con la excesiva textualidad de algunos tutoriales (Bury y Oud, 2005; Flatley y Jefferson, 2006; Lim, 2010; Tooman y Sibthorpe, 2012), lo que se podría solucionar aprovechando las posibilidades que brindan las tecnologías para incorporar elementos gráficos, sonoros o de otro tipo al tutorial, y con el uso de un lenguaje técnico demasiado específico que no conocen y en algunos casos intimida (Bowles-Terry y otros, 2010; Lee y Yaegle, 2006; Lim, 2010; Scaramozzino, 2008). A este respecto, Scaramozzino (2008) aconseja incluir un glosario en el caso de que sea inevitable el uso de ciertas palabras técnicas.

La inclusión de actividades prácticas en los tutoriales también es una demanda frecuente de los alumnos, que podemos encontrar en muchos artículos, como los de Blake (2009), Jacklin y Robinson (2013), Lindsay y otros (2006), Lund y Pors (2012), Rodríguez y otros (2014) o Knievel (2008). Este tipo de actividades permiten poner en práctica y consolidar lo aprendido, siendo especialmente útiles cuando se trata de cuestiones aplicadas, como el manejo de un programa o una fuente de información, la evaluación de recursos en internet o el uso de citas en trabajos académicos.

Otras características, como la adecuación del tutorial a distintos estilos de aprendizaje (Bowles-Terry y otros, 2010; Markey y otros, 2005; Rodríguez y otros, 2014; Weiner y otros, 2012), la modularidad de los contenidos (Dawson y otros, 2010; Lim, 2010; Mestre, 2010; Weiner y otros, 2012), una sección introductoria en la que figuren claramente las instrucciones y los objetivos (Catalano, 2014; Jacklin y Robinson, 2013; Lim, 2010), la reducción o eliminación de elementos superfluos que supongan una distracción (Bowles-Terry y otros, 2010; Lim, 2010; Noe y Bishop, 2005), o un mejor acceso al tutorial mediante una ubicación más adecuada (Bowles-Terry y otros, 2010; Lindsay y otros, 2006; Moyo, 2011), también han sido señaladas por los alumnos como aspectos a mejorar, aunque menos frecuentemente.

Entre las características mejor valoradas por los alumnos en los tutoriales que han utilizado, destacan la facilidad de uso y navegación (Friehs y Craig, 2008; Ganster y Walsh, 2008; Partridge y otros, 2008; Russelly otros, 2013; Stiwinter, 2013), que sea ameno y entretenido (Armstrong y Georgas, 2006; Markey y otros, 2005; Martin y otros, 2010), que los contenidos estén relacionados con el currículum (Martin y otros, 2010; Rodríguez y otros, 2014; Xiao, 2010) y el feedback por parte del instructor (Mestre, 2010; Seiler, 2010; Seiler, y otros, 2012).

Debido a una observación estricta de los criterios de inclusión definidos en la metodología, solo se han incluido 36 estudios en esta sección. A pesar de que había estudios muy interesantes sobre cómo se han creado tutoriales concretos, en los que se habla de cada etapa seguida, de los problemas que han tenido en su desarrollo y de las características del producto, no se han incluido puesto que no hacían mención a la evaluación de resultados, como por ejemplo el trabajo de Holliday y otros (2006). En otros casos (Malingre y otros, 2013; Oakleaf, 2008) se describen tutoriales excelentes, de los que sí se tienen buenos resultados, pero no se han incluido puesto que no se detallan los factores clave que han contribuido a tal éxito.

Al contrario de lo que ocurría con las opiniones de los alumnos, que en su mayoría se referían a características que debían ser mejoradas, las opiniones de los autores son en su mayor parte relativas a los procesos que han considerado determinantes en el éxito del tutorial y aparecen recogidas en la figura 2.

La colaboración con los profesores es el factor de éxito más destacado por la mayoría de los autores, como por ejemplo Bravo y otros (2013), Chisholm y Lamond (2012), Georgas (2014), Greer y otros (2012), Kumar y Edwards (2013) o Lowe y otros (2014). Es especialmente útil cuando el tutorial se dirige a los alumnos de un curso o una titulación, ya que los profesores conocen sus habilidades y necesidades y pueden dar orientaciones sobre las CI en las que hay que incidir más, las actividades que mejor se ajustan a sus necesidades o el nivel de profundidad que deben tener los contenidos. Si además se consigue la integración del tutorial en alguna asignatura y que sea puntuable, o al menos que los profesores lo recomienden, su uso se incrementará notablemente.

La relación de los contenidos con el currículum es un factor de éxito que ya habían señalado los alumnos y en el que también inciden los autores (Diekema y otros, 2011; Knecht y Reid, 2009; Robbins, 2012; Weiner y otros, 2012), que consideran que aumenta la percepción de utilidad del tutorial y resulta más estimulante para los alumnos. Si los contenidos son presentados de una forma demasiado abstracta o general puede que los alumnos no vean su aplicación real y no les concedan importancia, pero si están enfocados a sus necesidades académicas y a las materias que cursan su utilidad será mucho más evidente y los comprenderán mejor.

El otro factor de éxito señalado recurrentemente por los autores es la recogida del feedback de los alumnos, bien mediante tests de usabilidad, comentarios informales, encuestas de satisfacción o cualquier otra forma que permita conocer la opinión de los usuarios sobre el tutorial (Edwards y Black, 2012; Lee y Yaegle, 2006; Mages y Garson, 2010; Pinto y Doucet, 2007). Este feedback aporta valiosa información sobre sus preferencias y motivaciones y debe tenerse en cuenta a la hora de diseñar o modificar un tutorial. Por ejemplo, Bury y Oud (2005) describen cómo se hizo un test de usabilidad con un grupo de alumnos, se detectaron áreas de mejora, se hicieron modificaciones y se volvió a testar el tutorial. La opinión de los usuarios mejoró notablemente en la nueva versión. Este proceso es aconsejable llevarlo a cabo con una versión de prueba antes de lanzar la versión final, pero también debe hacerse posteriormente y de forma regular una vez que el tutorial está operativo.

Otros factores de éxito identificados por los autores, aunque con menos frecuencia, son la inclusión de actividades prácticas (Lee y Yaegle, 2006; Mestre, 2010; Partridge y otros, 2008; Tooman y Sibthorpe, 2012), la cooperación con otros posibles colaboradores, como personal informático, diseñadores o administradores de campus virtuales (Greer y otros, 2012; Mages y Garson, 2010; Thornton y Kaya, 2013), y la inclusión de tests de conocimientos y habilidades al inicio y al final del tutorial para poder comprobar lo que los alumnos han aprendido (Knecht y Reid, 2009; Kumar y Edwards, 2013; Mulherrin y otros, 2004). Otro factor, no identificado en los estudios teóricos, que ha resultado ser exitoso en varios estudios, es el uso de una plataforma educativa como Moodle o Sakai, puesto que tanto los profesores como los alumnos están familiarizados con esas herramientas y ofrecen una gran variedad de posibilidades y utilidades didácticas (Costello y otros, 2004; Lowe y otros, 2014; Xiao, 2010).

Cuando los resultados de los tutoriales no han sido tan positivos como se esperaban, los autores lo han achacado principalmente a la falta de difusión del tutorial (Kratochvíl, 2013; Moyo, 2011; Rodríguez y otros, 2014; Seiler y otros, 2012), a la falta de colaboración con profesores (Befus y Byrne, 2011; Kumar y Ochoa, 2012; Noe y Bishop, 2005; Russell y otros, 2013), a una pobre modularidad (Oehrli y otros 2011; Pinto y Doucet, 2007; Rodríguez y otros, 2014) o a no contemplar distintos estilos de aprendizaje (Kratochvíl, 2013; Kumar y Ochoa, 2012; Noe y Bishop, 2005).