El incremento de uso de los dispositivos móviles, tales como los teléfonos inteligentes (smartphones) y tablet-PCs, ha propiciado que un número continuamente creciente de personas lleven siempre consigo un dispositivo con numerosas modalidades de presentación de la información, sensores y posibilidades de conectividad. Ello ha generado nuevos escenarios de interacción que requieren interfaces persona-máquina más sofisticadas (McTear y Callejas, 2013; Becker y otros, 2013).

Los sistemas de diálogo multimodales van un paso más allá de las interfaces gráficas de usuario tradicionales (GUI), posibilitando la comunicación con estos dispositivos a través de otros modos de interacción, como el habla, de forma táctil y/o visual (McTear y Callejas, 2013; Pieraccini, 2012; Pérez-Marín y Pascual-Nieto, 2011).

Estos sistemas son programas de ordenador desarrollados para emular las capacidades de comunicación de los seres humanos mediante diferentes modalidades, con la finalidad de proporcionarles información o servicios automatizados de una forma más natural. La interacción se lleva a cabo mediante turnos de un tipo de diálogo que los investigadores intentan que se parezca lo más posible al diálogo real que se lleva a cabo entre las personas, en lo que se refiere a naturalidad, inteligencia e incluso contenido afectivo.

Sin embargo, los sistemas de diálogo se diseñan generalmente ad-hoc para su dominio específico de aplicación, utilizando modelos y estándares en los que los desarrolladores deben especificar las reglas a seguir que debe seguir el sistema tras cada intervención del usuario (Larson, 2002). De este modo, la adaptación del sistema teniendo en cuenta las preferencias específicas de los usuarios o la aplicación del sistema a nuevos dominios de interacción es un proceso que requiere un tiempo y esfuerzo considerables (Paek y Pieraccini, 2008).

Además, los dispositivos móviles han originado un nuevo paradigma que posibilita recopilar información del usuario de modo no intrusivo. Ello permite construir modelos de usuario más complejos que pueden emplearse no sólo para proporcionar la funcionalidad específica del sistema, sino también para mejorar su rendimiento. Sin embargo, esta información no se suele considerar al diseñar el modelo de diálogo del sistema (Seneff y otros, 2007). Por esta razón, en la mayoría de sistemas de diálogo, la respuesta proporcionada por el sistema en cada uno de los casos definidos es la misma para todos los usuarios, de forma que éstos normalmente no tienen ningún control sobre el contenido o la presentación del servicio prestado.

Para resolver este problema, es necesario diseñar cuidadosamente tanto el modelo de usuario como la estrategia de gestión del diálogo. La aplicación de metodologías estadísticas para lograr este propósito posibilita que ambos modelos puedan entrenarse a partir de diálogos reales, modelando la variabilidad de comportamientos de los usuarios (Griol y otros, 2014). Aunque la parametrización de los modelos estadísticos depende del conocimiento experto de la tarea, los sistemas de diálogo resultantes tienen un comportamiento más robusto, una mayor portabilidad, y son más fáciles de adaptarse a diferentes perfiles de usuario o tareas (Schatzmann y otros, 2006).

En este trabajo, proponemos una arquitectura para el desarrollo de sistemas multimodales adaptados al contexto de la interacción y orientados a su funcionamiento en dispositivos móviles. Nuestra propuesta se basa en la definición de una metodología estadística para el modelado de usuario que estima la intención del usuario durante el diálogo, modelando ésta el siguiente paso que debe llevar a cabo el usuario tras cada una de las intervenciones del sistema.

En nuestra propuesta, la información proporcionada por el modelo de usuario se enriquece al considerar también información correspondiente al contexto externo de la interacción. Esta información se adquiere por medio de los sensores integrados en los dispositivos móviles. Actualmente el 75% de los teléfonos inteligentes y las tablet-PCs integran el sistema operativo Android (McTear y Callejas, 2013). Además, existe una comunidad activa de desarrolladores que utilizan el proyecto Android Open Source y que han desarrollado ya más de un millón de aplicaciones disponibles actualmente en la Play Store oficial, muchas de ellas totalmente gratuitas. Por estas razones, nuestra propuesta utiliza diferentes funcionalidades integradas actualmente en los dispositivos móviles Android.

El contexto interno y externo, respectivamente, en relación con la predicción de la intención del usuario por el modelo de usuario y la información proporcionada por los sensores, permiten adaptar el sistema de forma dinámica teniendo en cuenta estas valiosas fuentes de información. Para ello, se utiliza un modelo de diálogo estadístico basado en redes neuronales, que tiene en cuenta la información contextual y la historia de diálogo hasta el momento actual para decidir la siguiente respuesta del sistema. La codificación de la información y la definición de una estructura de datos que tiene en cuenta la historia del diálogo posibilitan el aprendizaje del modelo de diálogo de los datos de entrenamiento y dominios prácticos y manejables.

El resto del artículo se estructura de la siguiente forma. La Sección 2 describe brevemente la motivación de nuestra propuesta y el estado del arte relacionado con la misma. La Sección 3 describe la arquitectura propuesta para desarrollar interfaces multimodales adaptados al contexto para interfaces móviles. La Sección 4 describe la aplicación práctica de nuestra propuesta para el desarrollo de una aplicación multimodal sensible al contexto que proporciona servicios bibliotecarios avanzados que incorporan dinámicamente necesidades específicas del usuario y sus preferencias, así como características propias del entorno en el que están interactuando con la aplicación. La Sección 5 muestra los resultados de la evaluación de dicho sistema con usuarios reales. Finalmente, la Sección 6 presenta las conclusiones del trabajo y las líneas de trabajo futuro.

La información digital permite el almacenamiento, acceso y transmisión de millones de recursos de forma sencilla, casi instantánea y desde prácticamente cualquier lugar gracias a los dispositivos móviles. Las bibliotecas digitales constituyen un ejemplo muy importante de estos recursos, pudiéndose definir como una extensión de las bibliotecas clásicas donde la información sobre las diferentes temáticas puede consultarse a través de la web (Balagué y otros, 2014; Ross y Sennyey, 2008). La aparición de estas bibliotecas ha cambiado la percepción tradicional de las mismas (Díaz-Valenzuela y otros, 2013; Liu, 2006).

En nuestro trabajo estamos especialmente interesados en las Bibliotecas Digitales Universitarias (University Digital Libraries, UDL) (Vassilakaki y Garoufallou, 2013). Este tipo de bibliotecas almacenan información sobre libros, artículos científicos en revistas y congresos, diarios oficiales, y usuarios registrados (Renda y Straccia, 2005; Smeaton y Callan, 2005; Calhoun, 2002). Los avances tecnológicos asociados con la denominada Web 2.0 (O’Reilly, 2005) han posibilitado la aparición de un gran número de nuevos paradigmas y servicios relacionados con las UDL, en los que el usuario es el actor principal y puede crear, modificar y publicar de forma sencilla nuevos contenidos web en colaboración con otros usuarios a través de nuevas aplicaciones y dispositivos como los blogs, wikis, chats, podcasts, gestores RSS (formato para compartir contenido en la web, abreviado del inglés: Really Simple Syndication), las redes sociales o los nuevos dispositivos móviles inteligentes (Fagan, 2014). Ello ha originado la aparición del término Bibliotecas 2.0 (Library 2.0) (Casey y Savastinuk, 2007).

La aplicación de estas tecnologías y uso de estos nuevos dispositivos es uno de los objetivos de nuestro trabajo para extender el concepto de Biblioteca 2.0. Para ello, nos hemos basado en las recomendaciones para el desarrollo de las bibliotecas de la era Web recopiladas por estudios y trabajos tan importantes como (Orduña-Malea, 2013; Chen y Albee, 2012), (Calhoun y Cellentani, 2009; Mann, 2008) en los que se proponen aspectos como:

Un gran número de trabajos han aplicado estas recomendaciones basándose en aspectos tan importantes como el uso de programas y aplicaciones de código y acceso libre para la colaboración y creación de consorcios bibliotecarios con un bajo coste económico (Park y otros, 2009; Chen y Albee, 2012; Helling, 2010; Evergreen, 2010); la utilización de dispositivos RFID (Radio Frequency IDentification) para facilitar los servicios de inventariado, catalogación y préstamo (Moreno y otros, 2014; Dwivedi y otros, 2013; Sanz-Santacruz y otros, 2013); la utilización de tecnologías de realidad virtual y realidad aumentada, conjuntamente con los nuevos dispositivos móviles, para el desarrollo de aplicaciones bibliotecarias inmersivas (Shatte y otros, 2014; Chen y Tsai, 2012; González-Fernández-Villavicencio, 2014); o la incorporación de los sistemas de recomendación para proveer servicios bibliotecarios adaptados a los requerimientos y preferencias de los usuarios (Tejeda-Lorente, y otros, 2014; Tsuji y otros, 2014; Porcel y Herrera-Viedma, 2010; Porcel y otros, 2009; Renda y Straccia, 2005; Serrano-Guerrero y otros, 2011).

En el caso especial de aplicación de nuevas tecnologías para el apoyo de los servicios de una biblioteca destaca el trabajo realizado por Castaño y otros, 2013. En el trabajo se utiliza tecnología RFID para la localización de los libros y la orientación en el edificio de la Biblioteca Municipal de Meco (Madrid). En línea con estos sistemas, y tal y como se ha descrito en la introducción del artículo, nuestro trabajo se centra en la aplicación de los sistemas de diálogo multimodal para la consecución de las recomendaciones descritas para proporcionar servicios bibliotecarios avanzados. El diccionario de la Real Academia Española de la Lengua define el diálogo como la plática entre dos o más personas que alternativamente muestran sus ideas o afectos. La acción de conversar es el modo más natural para resolver un gran número de acciones cotidianas entre los seres humanos: obtener una determinada información, contratar un servicio, solicitar un pedido, conocer el estado de un determinado proceso, etc.

Por este motivo, un interés histórico dentro del campo de las Tecnologías del Habla ha sido utilizar estas tecnologías en aplicaciones reales, especialmente en aplicaciones que permitan a una persona utilizar su voz para obtener información mediante la interacción directa con una máquina o para controlar un determinado sistema. El objetivo es disponer de sistemas que faciliten la comunicación persona-máquina del modo más natural posible, es decir, a través de la conversación.

Construir una aplicación informática que pueda mantener una conversación con una persona de manera natural sigue siendo hoy en día un reto, dada la gran cantidad de fuentes de conocimiento que son necesarias y las limitaciones de las tecnologías utilizadas para obtener información del usuario. No obstante, los constantes avances de la investigación en Tecnologías del Habla han permitido que sean factibles actualmente sistemas de comunicación persona-máquina mediante la voz, capaces de interactuar con cierto grado de flexibilidad. A nuestro entender, no existen trabajos previos que hayan aplicado el desarrollo de sistema de diálogo multimodal para la provisión de servicios bibliotecarios, posibilitando además que estos servicios sean accesibles de forma personalizada para cada uno de los usuarios y mediante los requisitos y posibilidades que ofrecen actualmente los dispositivos móviles avanzados.

La Figura 1 muestra la arquitectura propuesta para el desarrollo de sistemas de diálogo multimodales adaptados al usuario y orientados a dispositivos móviles. Un sistema de diálogo hablado integra cinco módulos fundamentales: Reconocedor Automático del Habla, Módulo de Comprensión del Habla, Gestor de Diálogo, Generador de Lenguaje Natural y Sintetizador de Texto a Voz.

Durante el proceso de comunicación, el sistema genera un mensaje inicial, normalmente para dar la bienvenida o informar al usuario sobre las características y funcionalidades del sistema. Tras cada intervención del usuario, el sistema debe realizar un conjunto de acciones básicas que se repiten cíclicamente como respuesta a cada acción del usuario: reconocer la secuencia de palabras mencionadas por el usuario; extraer el significado de dichas palabras (es decir, comprender qué información es útil en el dominio del sistema), realizar operaciones de acceso a base de datos u otros repositorios del sistema, en los que se almacena la información que solicita el usuario o se registran las operaciones que desea conocer; decidir qué acción o acciones deben realizarse a continuación de cada solicitud del usuario, es decir, qué respuesta debe suministrar el sistema, reproducir un mensaje hablado que informe al usuario qué acción ha seleccionado el sistema.

La aplicación Android desarrollada consiste en un asistente virtual multimodal cuya función es la de proporcionar, a través de un sistema de diálogo multimodal, información relativa a un servicio de biblioteca digital atendiendo a los gustos y preferencias del usuario. La aplicación recibe el nombre de Calimaco en honor a Calimaco de Cirene, director de la Biblioteca de Alejandría hasta el 240 A.C. y creador de los pinakes en el 260 A.C. (primeros catálogos de libros que sirvieron como índices de contenidos de la biblioteca).

Al ser una aplicación multimodal, la aplicación permite al usuario introducir su petición mediante el modo táctil, mediante la voz o combinando ambos modos. Las siguientes subsecciones describen las tecnologías utilizadas para desarrollar la aplicación y principales funcionalidades que ofrece.

La metodología utilizada para evaluar la aplicación multimodal se basa en un conjunto de estudios relativos a la evaluación fiable de sistemas de diálogo multimodales (Metze y otros, 2009). Según dichos estudios, todo desarrollo y evaluación de un sistema de diálogo multimodal requiere valorar el rendimiento del sistema en sus distintas modalidades. Para ello, se propone un análisis de la usabilidad del sistema a través de cuestionarios de opinión, cuyas preguntas están orientadas a evaluar el sistema multimodal además de la interacción mediante el modo táctil o mediante la voz. La Tabla I muestra el cuestionario que hemos elaborado para evaluar la aplicación en sus diferentes modalidades.

El cuestionario consta de 9 preguntas, en las que las preguntas 3-9 se han evaluado para usuarios interactuando con la aplicación mediante el modo táctil, el modo oral y el modo multimodal combinando ambas modalidades de entrada y de salida. Cada pregunta tiene 5 posibles respuestas de las que sólo se puede elegir una de ellas. Tal y como se observa, los aspectos que se han querido analizar para las distintas modalidades del sistema son: el grado en el cual el usuario valora que es entendido por el sistema y entiende los mensajes del mismo, la velocidad percibida de la de interacción, el nivel de dificultad del sistema, la presencia de errores, la seguridad de lo que se debe hacer en cada momento, y el nivel de satisfacción con el sistema global. Además, la información adicional de los usuarios sobre su grado de conocimiento y experiencia previa con los interfaces multimodales y los interfaces orales sirve para hacerse una idea del perfil de los usuarios.

En la evaluación han participado 25 usuarios hispanoparlantes (12 hombres, 13 mujeres) con edad comprendida entre 22 y 54 años. En primer lugar, los usuarios evaluaron el sistema utilizando el modo táctil. Posteriormente, evaluaron el sistema utilizando los interfaces orales. Finalmente, evaluaron el sistema multimodal combinando la utilización de los interfaces tradicionales (pantalla y teclado) con los interfaces orales. Los usuarios eligieron libremente las acciones a realizar durante la evaluación de la aplicación por lo que los módulos y submódulos a los que accedieron fueron variados.

La Tabla II recopila las estadísticas correspondientes a las distintas preguntas y aspectos evaluados. En cuanto a los resultados obtenidos en las preguntas referidas a la evaluación del nivel de experiencia previa de los usuarios con interfaces orales y multimodales, se concluye que el nivel de conocimiento de los usuarios a los que se les ha realizado la encuesta es variado, siendo mayor el número de usuarios que poseen un conocimiento medio en la utilización de ambos modos de acceso. Se ha intentado seleccionar tanto a usuarios familiarizados con los interfaces multimodales y orales como a usuarios que no tenían experiencia previa con el objetivo de extraer conclusiones más fiables.

En cuanto al grado en el cual el usuario valora que es entendido por el sistema, para el modo táctil se esperaba obtener estos resultados de antemano. Para el modo oral y el modo multimodal estos resultados han sido posibles gracias a la eficacia del sistema de reconocimiento de voz de Google, que está en continua evolución y es capaz en la actualidad, de reconocer perfectamente cualquier secuencia de voz que el usuario emita. Además, para mejorar esta característica en el módulo búsqueda de material bibliográfico, se ha tenido en cuenta que el título pueda no estar traducido, por lo que se permite al usuario pronunciar el título en su idioma original, seleccionando por adelantado dicho idioma.

Con respecto al grado en el cual el usuario valora que entiende los mensajes generados por el sistema, antes de la evaluación de esta característica, se esperaba que el modo multimodal obtuviese los mejores resultados de la encuesta ya que permite combinar el modo táctil con el oral y por lo tanto aprovechar las ventajas de ambos. Sin embargo, a pesar de que los usuarios hayan valorado en general que entienden muy bien los mensajes generados por el sistema en el modo multimodal, el modo que ha obtenido los mejores resultados ha sido el modo táctil, seguido del modo multimodal y finalmente del modo oral, siendo este último el que ha obtenido los peores resultados.

En cuanto al modo táctil no se esperaba obtener tan buenos resultados, ya que se presuponía de antemano que los usuarios con problemas de visión iban a tener mayores dificultades para leer la información en la pantalla del dispositivo y que les fuese más cómodo por lo tanto utilizar el modo oral o el modo multimodal. Sin embargo, al diseñar la aplicación se intentó que los resultados se mostrasen de forma clara por pantalla, utilizando un tamaño de fuente grande, por lo que todos los usuarios han entendido a la perfección los mensajes que ha generado el sistema. El modo oral ha obtenido resultados satisfactorios aunque peores que los esperados. Los resultados en el modo oral se han visto afectados negativamente por dos factores:

En cuanto a la velocidad percibida de la interacción, los usuarios han valorado que la velocidad de la interacción en el modo multimodal ha sido muy rápida, en el modo táctil ha sido buena y en el modo oral ha sido adecuada. Cabe destacar que la velocidad en interacción oral entre el usuario y la aplicación se ha visto dificultada al no existir un mecanismo en Android para que la síntesis de voz se detenga cuando el usuario desee comenzar a hablar. Esto resulta incómodo para el usuario considerando que este va aprendiendo cómo funciona la aplicación según va utilizándola, y no le resulta necesario esperar a que termine de hablar la aplicación para emitirle sus peticiones a través del reconocedor de voz. El modo multimodal ha obtenido los mejores resultados para esta característica ya que el usuario puede seleccionar la modalidad que le resulte más cómoda y rápida de utilizar en todo momento. Además, puede pulsar un botón para pausar la síntesis y un botón para iniciar el reconocimiento de voz, evitando por lo tanto la desventaja principal del modo oral.

Con respecto al nivel de dificultad del sistema, los usuarios han valorado que la utilización de la aplicación en modo multimodal ha sido la más fácil de utilizar. También han valorado la interacción con la aplicación en modo táctil como muy fácil y la interacción en modo oral como fácil. El modo multimodal ha obtenido los mejores resultados para esta característica ya que el usuario puede seleccionar la modalidad que le resulte más cómoda y fácil de utilizar en todo momento, sin estar restringido a las dificultades que pueda encontrar en un único modo y evitar de esta forma quedarse atascado sin saber qué decisión tomar. En el modo multimodal y oral se emiten por voz instrucciones de utilización de la aplicación lo que facilita la interacción con la misma. El modo táctil no muestra por pantalla las instrucciones de utilización por lo que el usuario ha de apoyarse únicamente en su intuición a la hora de decidir qué decisión tomar.

En cuanto a la presencia de errores, los usuarios no han percibido en general errores en su interacción con la aplicación en modo táctil. En el modo multimodal y oral han percibido algunos errores pero que no han dificultado en absoluto su interacción con la aplicación. Aún así, el modo oral es el que se ha visto más afectado ante la presencia de errores ya que el usuario puede sentirse más inseguro a la hora de tomar una decisión después de la ocurrencia de un error al no haber aun un mecanismo de retroalimentación lo suficientemente logrado en el modo oral. Por lo general, el usuario valora que es más fácil apoyarse en lo que ve por pantalla cuando ha sucedido algún error.

Con respecto a la seguridad del usuario en lo que debe hacer en cada momento, los usuarios han sentido una mayor seguridad en lo que debían hacer en cada momento con la interacción en modo multimodal, seguido de la interacción en modo oral y finalmente del modo táctil. A pesar de ello, ha sido fácil tomar decisiones en los tres modos de acceso a la aplicación. El motivo principal por el cual el modo multimodal y el modo oral resultan más ventajosos en comparativa con el modo táctil en cuanto a esta característica es que, tal y como se ha explicado anteriormente, la aplicación en estos modos emite instrucciones de utilización de la aplicación y cuenta con más mecanismos de ayuda. El modo táctil se apoya únicamente en la intuición que tiene el usuario a la hora de decidir qué acción tomar. Aun así, el usuario se siente más cómodo utilizando el modo multimodal que el modo oral ya que si no entiende alguna instrucción u ocurre algún error puede apoyarse también en lo que ve por pantalla.

Finalmente, con respecto al nivel de satisfacción con el sistema global, los usuarios de la aplicación encuestados se han sentido muy satisfechos con el modo multimodal y táctil, y satisfechos con el modo oral. El modo multimodal ha sido el mejor valorado por los usuarios ya que como se desprende de las conclusiones extraídas del resto de preguntas de la encuesta, el usuario prefiere combinar el modo táctil y el modo oral según le resulte más eficaz, aprovechando todas las ventajas y evitando todas las desventajas de ambos modos.

Los sistemas interactivos multimodales ofrecen al usuario una combinación de modalidades de entrada y salida para interactuar con sus dispositivos, pudiendo aprovechar las ventajas que proporcionan modalidades más naturales de acceso a la información como es el habla. Diferentes proveedores ofrecen APIs para el desarrollo de aplicaciones que utilizan el habla como una posible modalidad de entrada y de salida, pero los desarrolladores tienen que diseñar soluciones ad-hoc para poner en práctica la gestión de la interacción. En nuestro trabajo aportamos una arquitectura para desarrollar agentes conversacionales multimodales sensibles al contexto que se pueden integrar fácilmente en dispositivos móviles Android. La arquitectura engloba un conjunto de módulos que cooperan para proporcionar servicios adaptados y definen un modo de representación para el intercambio de conocimiento entre los diferentes componentes de la arquitectura.

En nuestra propuesta, la interacción se gestiona dinámicamente mediante un proceso de clasificación que selecciona la mejor respuesta para el agente, teniendo en cuenta la historia previa de la interacción. Hemos adaptado esta metodología para desarrollar un gestor de diálogo sensible al contexto que utiliza una estructura de datos que almacena no sólo la información proporcionada por el usuario con respecto a la tarea específica del sistema, sino además la información proporcionada por un reconocedor de la intención del usuario y el contexto externo proporcionado por los sensores en el dispositivo móvil. Para almacenar la información de contexto y la intención hemos definido una estructura de datos que también permite gestionar perfiles de usuario. Estos perfiles incluyen información acerca de sus preferencias y necesidades, algunas de ellas extraídas automáticamente de las interacciones previas con la aplicación. Mediante la arquitectura propuesta es posible desarrollar interfaces multimodales que optimizan la gestión de la interacción e integran diferentes fuentes de información que posibilitan que la aplicación se adapte al usuario y al contexto de la interacción.

Para mostrar el potencial de nuestra propuesta, hemos implementado una aplicación multimodal Android que proporciona servicios bibliotecarios avanzados, que incorporan dinámicamente necesidades específicas del usuario y sus preferencias, así como las características específicas del entorno en el que se produce interacción, con el fin de mejorar y personalizar el servicio que se proporciona mediante un dispositivo móvil con acceso a Internet. Para desarrollar este sistema, hemos definido los requisitos completos para la tarea y desarrollado los diferentes módulos, y la información necesaria incorporada en los perfiles de usuario.

Hemos completado una evaluación del agente desarrollado para evaluar los beneficios de la interacción multimodal y la sensibilidad al contexto. En cuanto a la interacción multimodal, los usuarios han evaluado la aplicación utilizando únicamente el interfaz táctil-visual, sólo la voz y el modo multimodal. Los resultados muestran que las tasas máximas de satisfacción se alcanzan con el modo multimodal.

Como trabajo futuro, estamos ampliando actualmente las funcionalidades de adaptación de la aplicación al usuario, utilizando un registro para almacenar las interacciones previas con la misma y utilizando esta información para adaptar el funcionamiento de la aplicación según las preferencias específicas de cada usuario, errores detectados en la interacción y consultas más frecuentes. Con los resultados de estas actividades, optimizaremos el sistema para posibilitar su disponibilidad en Google Play, así como en el repositorio de herramientas multimedia de nuestra universidad. Queremos además ampliar la aplicación para posibilitar su uso en dispositivos móviles con otros sistemas operativos, especialmente iOS y Windows Phone.