2009 06 25 Workshop Científico INREDIS PT4

453 views
402 views

Published on

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
453
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
8
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide
  • … .
  • con la experiencia en puntos de información multimedia como el Smartpoint y Clip Channel, o SOPAT que habían hecho converger información personalizada, interoperable y accesible para todos.
  • Multimodalidad: la capacidad de utilizar varios “modos” de comunicación e interacción entre las personas (a través de todas sus capacidades sensoriales) y los servicios presentes en su entorno tecnológico, teniendo en cuenta factores específicos personales, ambientales y situacionales.
  • VÍDEO 1
  • El dispositivo de usuario es el sistema portable MyTobii P10 que integra en una única unidad un monitor de 15’’, el dispositivo de eye-tracking y un ordenador dotado con Sistema Operativo Windows XP. Concretamente, se ha implementado en el dispositivo de usuario una aplicación en Visual Studio C# 2005 Professional Edition que se ejecuta en el entorno MyTobii Environment , entorno en el que se ejecutan las aplicaciones desarrolladas utilizando la API facilitada por el fabricante. La comunicación con UCH se lleva a cabo mediante el protocolo URC-HTTP. La aplicación conoce de antemano los targets, la interfaz de usuario está preprogramada, es decir, no se genera de forma dinámica.
  • El prototipo 4.4 trata de realizar el control del entorno doméstico mediante interacciones por voz, usando lenguaje natural, y considerando como dispositivo de usuario un teléfono móvil. Así, llamando a un número telefónico determinado, se expresa mediante lenguaje natural la acción que se desea realizar sobre el entorno doméstico (por ejemplo: “enciende el aire acondicionado y ponlo a 18 grados”). Esta locución se traslada a un SMS o Blog mediante conversión voz-texto. Ese texto en lenguaje natural se convierte en órdenes al sistema (por ejemplo: TURN_HEAT = ON; TEMPERATURE = 18). Esas órdenes se pasan a la arquitectura de interoperabilidad que sirve de pasarela para el sistema y ejecuta las acciones correspondientes. Como respuesta, el sistema genera un listado de variables que describen el estado del sistema (por ejemplo: HEAT = ON, TEMPERATURE = 18; TV = OFF; LIGHT = OFF, etc). Mediante generación de respuestas con lenguaje natural, el sistema genera un texto (por ejemplo: “Estado del sistema: El aire acondicionado está encendido a 18 grados centígrados. La televisión y las luces del salón están apagadas”.), el cual se envía al usuario mediante un SMS como confirmación del servicio.
  • Se ha recurrido a la tecnologias de la compañía Immersion que facilitan el desarrollo de prototipos de aplicaciones que incluyan patrones de vibración. Estos efectos se pueden generar partiendo de cero y definiendo intervalos de vibración y pausa, así como valores de intensidad para la vibración; o de forma más sofisticada, importando ficheros de audio MIDI que permiten adaptar la vibración a la melodia en cuestión. Sin embargo, cabe resaltar que esta no es la única alternativa disponible, ya que, actualmente, todas las plataformas destinadas a dispositivos móviles (Android, Symbian, iPhone, etc) incluyen APIs para controlar la vibración en el teminal, proporcionando operaciones métodos que permiten iniciar y detener los actuadores y motores de los terminales para crear patrones de vibración determinados que pueden utilizarse como indicaciones de llamada entrante, alertas y ayudas en la navegación. El sistema cliente para este prototipo esta formado por un dispositivo de usuario movil, Samsung SGH-i718, equipado con puerto Bluetooth, una pasarela Bluetooth/UCH-http para comunicación con la plataforma de interoperatibilidad UCH, y una aplicación SW que se ejecuta en el dispositivo movil y que permite al usuario acceder y controlar elementos objetivos (targets) utilizando las facilidades tactiles que ofrece este dispositivo movil: Interfaz de selección mediante pantalla tactil con emulación grafica de teclado para entrada de datos alfanuméricos Interfaz de salida vibrotactil Para el desarrollo de la aplicación del controlador en el móvil, se ha aprovechado la plataforma Compact FrameWork de Windows (.NET CF) y el uso del lenguaje de programación C# para los siguientes módulos: Módulo de interfaz gráfico y gestión de eventos relacionados con la pantalla táctil. Módulo de gestión de la comunicación con la plataforma de interconexión UCH (a nivel de presentación, y, aplicación, de acuerdo al modelo de 7 niveles OSI). Módulo de gestión del acceso a las facilidades de vibración. Además se han incluido 2 librerías dinámicas desarrolladas en C++: Dll para acceso a comunicaciones Bluetooth. Dll para acceso a las facilidades de vibración de tecnología Immersion a través de la librería API escrita en C.
  • This work explores how integration Shape Memory Fabrics boosts the interaction of People with Disability (PWD) and environment, via special fabric. In this respect, the transmission of haptic information is performed using different materials, like Nitinol Alloys and Electro Active Polymers; and also, through the design of a vibration system in order to create a communication tool. A key concept in our work is that of the user’s perceptions, since they are aware of their needs better than anyone else. One of the biggest barriers in accessibility in urban environment is the mobility; we try to develop a service in which Geographic Information System can be transmitting by an interface textile. In addition, we develop a singular application to get better the blood circulation to people who use wheelchair, or when make a long travel. The potential users are: • People with deaf-blindness because their natural brain input is via haptic information. • People who use wheelchairs; in this case, we study to prevent or reduce pressure ulcers. • People with cognitive disability; try to create an intuitive communication, and stimulated their perception. • People who work in risky place, like firefighters.
  • 2009 06 25 Workshop Científico INREDIS PT4

    1. 1. <ul><li>Madrid, 25 de junio de 2009 </li></ul>PT4: Tecnologías de interacción persona-ordenador
    2. 2. PT 4. Tecnologías de interacción persona-máquina. <ul><ul><li>Empresas participantes: Barclays, IHMAN, Sabia, Technosite, TMT Factory y Vía Libre </li></ul></ul><ul><ul><li>Centros de investigación: Cetemmsa, Fundación CIM, La Salle, UCM, UMA, UPC, UVEG y Vicomtech </li></ul></ul><ul><ul><li>Lidera: TMT Factory </li></ul></ul>
    3. 3. 0. Índice de contenidos <ul><ul><li>1. Descripción PT 4 </li></ul></ul><ul><ul><li>2. Objetivos PT 4 </li></ul></ul><ul><ul><li>3. Líneas de investigación </li></ul></ul><ul><ul><li>4. Resultados de investigación </li></ul></ul><ul><ul><li>5. Plataformas experimentales </li></ul></ul><ul><ul><ul><li>5.1. Plataforma experimental 4.1+4.3+4.5 </li></ul></ul></ul><ul><ul><ul><li>5.2. Plataforma experimental 4.2+4.4+4.6 </li></ul></ul></ul><ul><ul><ul><li>5.3. Plataforma experimental 4.7 </li></ul></ul></ul><ul><ul><li>6. Conclusiones </li></ul></ul><ul><ul><li>7. Debate moderado </li></ul></ul>
    4. 4. 1. Descripción PT 4 <ul><ul><li>La interacción persona-ordenador estudia cómo interactúan las personas (usuarios) con las máquinas (ordenadores, teléfonos, TV, lavadoras, coches, etc.) </li></ul></ul><ul><ul><ul><li>Es una disciplina que estudia el diseño, evaluación e implementación de sistemas interactivos para personas y su entorno. </li></ul></ul></ul><ul><ul><li>Las interacciones entre personas y ordenadores ocurren en una interfaz de usuario , que puede incluir software o hardware para su acto comunicativo. </li></ul></ul><ul><ul><ul><li>El volante del coche, un mouse y un teclado, o la voz. </li></ul></ul></ul><ul><ul><li>El objetivo de las futuras interacciones es mejorar las interacciones haciéndolas más usables y adaptadas a las necesidades de los usuarios. </li></ul></ul>
    5. 5. 1. Descripción PT 4 <ul><ul><li>En INREDIS se investigan las: </li></ul></ul><ul><ul><ul><li>Tecnologías del procesamiento de la voz </li></ul></ul></ul><ul><ul><ul><li>Tecnologías basadas en la psicofisiología </li></ul></ul></ul><ul><ul><ul><li>Tecnologías de procesado de imagen </li></ul></ul></ul><ul><ul><ul><li>Tecnologías de procesado de texto </li></ul></ul></ul><ul><ul><ul><li>Tecnologías multimodales emocionales </li></ul></ul></ul><ul><ul><ul><li>Tecnologías hápticas </li></ul></ul></ul><ul><ul><ul><li>Tecnologías basadas en textil inteligente </li></ul></ul></ul>
    6. 6. <ul><ul><li>Investigar, diseñar y testear las tecnologías más innovadoras de interacción persona-ordenador para minimizar las barreras entre usuarios y ordenadores desde el punto de vista técnico, de diseño, de usabilidad y de contenidos. </li></ul></ul><ul><ul><li>Diseño e implementación de plataformas experimentales: </li></ul></ul><ul><ul><ul><ul><li>Conseguir humanizar las interacciones. </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Adaptación de los contenidos y los modos de interacción a las necesidades de los usuarios. </li></ul></ul></ul></ul>2. Objetivos PT 4
    7. 7. <ul><ul><li>Estudio del estado del arte de las tecnologías seleccionadas en el PT4. </li></ul></ul><ul><ul><li>Selección de las tecnologías de interacción más innovadoras para el análisis de una plataforma genérica para cada una de las tecnologías. </li></ul></ul><ul><ul><li>Diseño y desarrollo de plataformas específicas que integran diversas tecnologías de interacción innovadoras. </li></ul></ul><ul><ul><li>Test de usuarios para complementar los desarrollos de las plataformas experimentales. </li></ul></ul>3. Líneas de investigación PT 4
    8. 8. 4. Resultados de investigación <ul><ul><li>Estados del arte de las tecnologías multimodales del PT4 </li></ul></ul><ul><ul><li>Creación de plataformas genéricas y específicas con tecnologías innovadoras. </li></ul></ul><ul><ul><li>Desarrollo de una arquitectura distribuida multimodal a partir de la arquitectura multimodal del W3C. </li></ul></ul><ul><ul><li>Integración de las plataformas experimentales dentro de la arquitectura de INREDIS. </li></ul></ul><ul><ul><li>Tests y validación. </li></ul></ul>
    9. 9. 5. Plataformas experimentales <ul><ul><li>Plataforma experimental 4.1+4.3+4.5 </li></ul></ul><ul><ul><ul><li>Procesado de voz </li></ul></ul></ul><ul><ul><ul><li>Procesado de imagen </li></ul></ul></ul><ul><ul><ul><li>Tecnologías emocionales multimodales </li></ul></ul></ul><ul><ul><li>Plataforma experimental 4.2+4.4+4.6 </li></ul></ul><ul><ul><ul><li>Tecnologías psicofisiológicas </li></ul></ul></ul><ul><ul><ul><li>Procesado de texto </li></ul></ul></ul><ul><ul><ul><li>Tecnologías hápticas </li></ul></ul></ul><ul><ul><li>Plataforma experimental 4.7 </li></ul></ul><ul><ul><ul><li>Tecnologías de textil inteligente </li></ul></ul></ul>
    10. 10. 5.1. Plataforma experimental 4.1+4.3+4.5 <ul><ul><li>La plataforma experimental 4.1+ 4.3 + 4.5 pretende introducir la multimodalidad dentro de puntos de información multimedia para ciudadanos y turistas. </li></ul></ul><ul><ul><li>En esta plataforma se integran conceptos de multimodalidad, arquitectura distribuida, y tecnologías web en un entorno urbano. </li></ul></ul><ul><ul><li>TMT Factory es responsable de esta plataforma experimental juntamente con UPC, UVEG, La Salle URL, Fundació CIM y Vicomtech. </li></ul></ul>
    11. 11. 5.1. Plataforma experimental 4.1+4.3+4.5 <ul><ul><li>Multimodalidad </li></ul></ul><ul><ul><ul><li>Entrada: </li></ul></ul></ul><ul><ul><ul><ul><li>Voz </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Lenguaje de signos castellano </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Interfaz táctil </li></ul></ul></ul></ul><ul><ul><ul><li>Salida: </li></ul></ul></ul><ul><ul><ul><ul><li>Voz expresiva </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Avatar </li></ul></ul></ul></ul><ul><ul><ul><ul><ul><li>Lenguaje de signos castellano </li></ul></ul></ul></ul></ul><ul><ul><ul><ul><ul><li>Voz y expresividad </li></ul></ul></ul></ul></ul><ul><ul><ul><ul><li>Interfaz web </li></ul></ul></ul></ul><ul><ul><ul><li>Emoción </li></ul></ul></ul><ul><ul><ul><ul><li>Detección de emociones </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Predicción emocional para ofrecer una respuesta acorde. </li></ul></ul></ul></ul>
    12. 12. 5.1. Plataforma experimental 4.1+4.3+4.5
    13. 13. 5.2. Plataforma experimental 4.2+4.4+4.6 <ul><ul><li>Las plataformas experimentales de las tareas 4.2, 4.4 y 4.6 pretenden controlar dispositivos objetivos desarrollados en el PT3. </li></ul></ul><ul><ul><li>El objetivo de estas plataformas experimentales son: </li></ul></ul><ul><ul><ul><li>Recibir una notificación en el dispositivo de usuario cuando se pulsa un timbre o un portero automático. </li></ul></ul></ul><ul><ul><ul><li>Desbloquear una cerradura desde el dispositivo del usuario. </li></ul></ul></ul><ul><ul><ul><li>Controlar las funciones básicas de la televisión (encender/apagar, canales, volumen y brillo). </li></ul></ul></ul><ul><ul><ul><li>Controlar la televisión digital a través de Windows Media Center. </li></ul></ul></ul><ul><ul><ul><li>Poder encender y apagar una lámpara. </li></ul></ul></ul><ul><ul><li>Los responsables de la plataforma experimental han sido Technosite, en colaboración con UMA. </li></ul></ul>
    14. 14. 5.2. Plataforma experimental 4.2+4.4+4.6 <ul><ul><li>Plataforma experimental 4.2: </li></ul></ul><ul><ul><ul><li>Esta plataforma permite controlar una serie de dispositivos con la mirada. </li></ul></ul></ul>Dispositivo con seguimiento de la mirada (myTobii P10) UCH URC-HTTP Cerradura Timbre Televisión Lámpara Windows Media Center
    15. 15. 5.2. Plataforma experimental 4.2+4.4+4.6 <ul><ul><li>Plataforma experimental 4.4: </li></ul></ul><ul><ul><ul><li>Esta plataforma permite controlar dispositivos objetivo a través de comandos por voz emitidos mediante un teléfono móvil. </li></ul></ul></ul>UCH URC-HTTP Cerradura Timbre Televisión Lámpara Pasarela VOZ (lenguaje natural)
    16. 16. 5.2. Plataforma experimental 4.2+4.4+4.6 <ul><ul><li>Plataforma experimental 4.6: </li></ul></ul><ul><ul><ul><li>Esta plataforma pretende probar la viabilidad del uso de un lenguaje háptico para reforzar la comunicación visual con el usuario, prescindiendo de canales auditivos. </li></ul></ul></ul>Móvil Samsung SGH-i718 UCH URC-HTTP Cerradura Timbre Televisión Lámpara Windows Media Center PC pasarela Bluetooth (RFCOMM)
    17. 17. 5.3 Plataforma experimental 4.7 <ul><ul><li>Esta plataforma experimental 4.7 introducir textil inteligente para avisar a personas con diversidad funcional, aunque también su funcionalidad se puede extender a otros colectivos. </li></ul></ul><ul><ul><li>Una de las principales barreras de los usuarios con diversidad funcional es la movilidad en entornos urbanos. En esta plataforma experimental, la introducción de textil inteligente como el Nitinol Alloys y Electro Active Polymers permite guiar usuarios con diversidad funcional por las calles, mediante un lenguaje háptico. </li></ul></ul><ul><ul><li>Los responsables de la plataforma experimental han sido Vía Libre, en colaboración con Cetemmsa. </li></ul></ul>
    18. 18. 5.3 Plataforma experimental 4.7 <ul><ul><li>Los usuarios a quienes van orientados esta plataforma experimental son: </li></ul></ul><ul><ul><ul><li>Personas con sordo-ceguera, que interactúan con el entorno mediante pulsaciones. </li></ul></ul></ul><ul><ul><ul><li>Personas con diversidad funcional cognitiva, para estimular su percepción. </li></ul></ul></ul><ul><ul><ul><li>Personas con trabajos de riesgo (bomberos) o con presión alta. </li></ul></ul></ul>
    19. 19. 6. Conclusiones <ul><ul><li>Estados del arte de tecnologías innovadoras en la interacción. </li></ul></ul><ul><ul><li>Multimodalidad + Arquitectura multimodal. </li></ul></ul><ul><ul><li>Conexión entre el PT3 y PT4. </li></ul></ul><ul><ul><li>Plataformas experimentales de interacción persona-ordenador como resultados intermedios del proyecto INREDIS. </li></ul></ul>
    20. 20. <ul><li>¿Cómo interactuarán los usuarios con interfaces? </li></ul><ul><li>¿Están preparados los sistemas actuales a “mejorar” sus modos de interacción? </li></ul><ul><li>¿Los usuarios con diversidad funcional preferirán usar interacciones más naturales? </li></ul><ul><li>¿Usarán los usuarios otros dispositivos como teléfonos móviles o preferirán interactuar directamente con la interfaz? </li></ul><ul><li>¿Y la privacidad? </li></ul><ul><li>¿Se pueden ofrecer servicios de procesado de interacción de forma distribuida? ¿O debemos continuar con procesos locales y costosos? </li></ul>8. Debate moderado

    ×