Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Interacción basada en webcam (DRT4All 2007)

354 views

Published on

  • Be the first to comment

  • Be the first to like this

Interacción basada en webcam (DRT4All 2007)

  1. 1. Interacción basada en webcam Joaquin Fonoll jfonoll@xtec.cat Ambrosio Gassol agassol@xtec.cat http://www.xtec.cat/dnee/udc/ Resumen Durante años hemos estado desarrollando herramientas informáticas destinadas a las atención educativa de personas discapacitadas que facilitaran su acceso al ordenador y a las actividades de clase. Recientemente hemos utilizados técnicas elementales de visión artificial basadas en webcam que, integradas en desarrollos anteriores, han transformado la interfaz tradicional basada en el paradigma teclado, ratón, pantalla. Con todo ello hemos ampliado el número de usuarios potenciales y la tipología de actividades que podemos desarrollar. SiMuove: un ejemplo de nuestro trabajo SiMuove es un programa de ordenador que no se maneja ni con el teclado ni con el ratón, sino que responde directamente a los movimientos captados por la webcam, gracias a un uso elemental de tecnologías de visión artificial. SiMuove se podría catalogar como un programa de causa– efecto semejante a NetSwitch, el Pictures and Music y otros que se utilizan para la atención temprana, la educación infantil o la rehabilitación. SiMuove se ha concebido como un entorno abierto que se puede personalizar. Existe un programa editor con el que el profesional puede modificar los contenidos o crear nuevas actividades para ajustarse a los intereses o necesidades del usuario. Para el usuario la interacción con SiMuove es semejante a los juegos para EyeToy de la PS2 o el Camgoo para PC. En la pantalla se muestra la imagen real del jugador, captada por la webcam, junto a unos objetos virtuales generados por el ordenador. Al tocar virtualmente los objetos, éstos se animan según el modo en que se haya programado. En SiMuove los objetos son zonas estáticas definidas en el campo de visión de la webcam, isomórfica con la pantalla. Cada zona u objeto dispone de secuencias de imágenes y sonidos que, como un carrusel de diapositivas, avanzan cuando se detecta movimiento, o retroceden
  2. 2. al quedarse estático. Es semejante a un juguete elástico que avanza con el movimiento, pero luego se recupera. Si se alcanza el final de la secuencia el programa ofrece un “premio” Podemos configurar diferentes parámetros para regular la sensibilidad del programa para avanzar, retroceder, crear una secuencia de ejercicios, así como utilizar imágenes con colores transparentes, obteniendo un interesante efecto “croma”. SiMuove requiere un ordenador, funcionando con Windows XP o Suse 10, con capacidad para procesar la señal de vídeo a 15 fps, así como los recursos gráficos y de sonido del programa. La interacción mediante técnicas de visión artificial permite que una misma actividad de SiMuove pueda realizarse a corta, media o larga distancia, en función del dispositivo que capture las imágenes. Con una webcam deberemos trabajar a una distancia corta y movimientos pequeños, pero con una videocámara digital podremos trabajar a grandes distancias y los movimientos deberán ser mucho más amplios. A partir de este esquema elemental hemos desarrollado diversas actividades que pueden servir de ejemplo para desarrollos posteriores. Animaciones Es el más simple de los ejercicios. Muestra en la pantalla una sola imagen que se anima cuando detecta nuestro movimiento. Este ejercicio trabaja la relación causa efecto y la motricidad, estimulando la movilidad y la coordinación del jugador. Carreras de coches Imagen 1 Portada SiMuove Imagen 2 usuario de SiMuove
  3. 3. Simula la conducción de un coche que avanza con nuestros movimientos. En la pantalla se muestra un coche, en cuyo interior nos vemos a nosotros mismos a través del parabrisas, que avanza por el paisaje cuando nos movemos. Ejercita el control postural y estimula la atención y la motricidad Adivina Muestra en la pantalla la construcción paso a paso de una imagen que hay que adivinar. Se trata de un ejercicio para estimular la observación, el pensamiento hipotético y la expresión oral. Disfrazar Aquí el ordenador se convierte en un fotomatón que combina la imagen real con un disfraz, en el que se ha dejado uno o más “agujeros” donde poner la cabeza o las manos. La exploración libre de los disfraces del programa no sólo se trata de una actividad lúdica, sino que permite trabajar el control postural de la cabeza, así como la expresión facial, cosa muy importante en usuarios gravemente afectados. Para trabajar mediante selección voluntaria del disfraz se ejercita la direccionalidad, el léxico oral, la memoria secuencial y la numeración. Simetrías Es el más complejo de los ejercicios realizados. En la pantalla hay dos zonas con mitades de una fotografía que debemos emparejar moviendo la mano derecha o izquierda en cada zona. No sólo ejercita la lateralidad derecha / izquierda y la coordinación óculo – manual, sino también la percepción de las formas y la memoria visual. SiMuove – Interfaz -Educación Imagen 3 SiMuove Disfraz Imagen 4 Usuario disfrazado
  4. 4. Ver a alumnos escolarizados en centros específicos trabajar con SiMuove nos ha facilitado comprender las ventajas e inconvenientes de esta nueva interfaz y el paradigma educativo asociado. La interacción mediante técnicas de visión artificial simplifica la interfaz del usuario, ya que el ordenador se maneja como una extensión del propio cuerpo, sin requerir, aparentemente, ningún dispositivo interpuesto. Por otra parte, el control mediante movimientos corporales reduce el esfuerzo físico a realizar, así como la precisión en los movimientos o los aprendizajes específicos para manejar dispositivos y programas. Esta simplicidad amplía el número potencial de usuarios, favoreciendo aquellos que no pueden manejar otros programas. La webcam como periférico crea un entorno de trabajo más “ecológico”, libre de cables, soportes y otros elementos invasivos, ya que sólo se requiere contacto visual. Trabajando con el zoom de cámaras fijas robotizadas, semejantes a las que se emplean en vídeo- vigilancia, se pueden crear espacios interactivos donde la tecnología sea invisible para el usuario. SiMuove amplifica las consecuencias de los movimientos del jugador, añadiéndoles efectos visuales y auditivos, con la intención de que los movimientos involuntarios o descontrolados pasen a la esfera del control voluntario y significativo. La integración de la propia imagen en un entorno virtual es un plus que favorece el autocontrol y la estimulación. La interfaz mediante webcam no requiere estar sentado frente al ordenador, sino dentro del campo visual que podemos modificar con el enfoque. Ello permite abordar otros contenidos menos “escolásticos”, como el control postural, la estimulación sensorial o la psicomotricidad, propios de la atención temprana, la educación infantil o la educación especial. Nuestro proyecto Interacción con webcam SiMuove no es el punto inicial o final de nuestro y trabajo, sino tan solo un ejemplo de lo que hemos conseguido gracias al estadio actual de desarrollo de las tecnologías que manejamos. En nuestra opinión las TIC han modificado profundamente aquellos sectores, como la banca, el comercio, el ocio o el turismo, donde se ha integrado, cosa que todavía no ha ocurrido en la educación.
  5. 5. El uso del ordenador debe ofrecer nuevas oportunidades para la educación, especialmente allí donde ésta ha conseguido menores resultados. Un caso evidente, como el propio nombre indica, es la atención a las necesidades específicas, alumnos a losque no les basta con las atenciones ordinarias. Algunos de los contenidos que se trabajan en la escuela desbordan el uso habitual de los ordenadores, pensados inicialmente para el trabajo de oficina. Aunque no todo el contenido educativo debe ser tratado con el ordenador, sí que hay modos alternativos, tal como muestran los videojuegos y la videoconsolas. Si superamos el paradigma del teclado y la pantalla como interfaz del ordenador, podremos atender a nuevos contenidos y usuarios. Antecedentes SiMuove es el fruto de un proceso que tiene ya una larga trayectoria. Nuestro recorrido se inició en 1980 instalando una aula de ordenadores en un centro de primaria y se consolido en 1987 con la creación del PIE, Programa de Informática Educativa – Generalitat de Catalunya que tenía como objetivo introducir la informática en el sistema educativo de Cataluña. Nuestro trabajo se caracteriza por centrarse en el ámbito educativo, tener muy próxima la demanda del usuario, disponer de facilidades para dialogar con él y ensayar los materiales. Por el contrario nuestro equipo es muy reducido y con limitaciones tecnológicas que nos impiden avanzar. Antes de 1990, introducimos los teclados de conceptos, como un acceso alternativo al teclado para el parvulario y las NEE, cuando los ordenadores era CGA y todavía no se vislumbraba el uso generalizado de los ratones. Nuestro teclado era una tableta digitalizadora de 32 x 32 cm y 10 dpi que se conceptualizaba como un teclado expandido alternativo o complementario al estándar. El teclado de conceptos nos obligó a resolver la interfaz gráfica para el usuario, mediante sistemas coherentes de pictogramas, así como técnicas de edición y distribución digital de los materiales para facilitar su distribución. De aquel proyecto nos queda un software, Tswin, que permite crear zonas en un mapa físico cualquiera y asociarles comandos para controlar el ordenador. Igualmente disponemos de más de 100 aplicaciones, que a diferencia de otros proyectos parecidos, hemos ido
  6. 6. actualizando, que pueden funcionar sobre Windows XP y actualmente los utilizan algunos alumnos invidentes de Cataluña. Después de las olimpiadas de Barcelona de 1992 dispusimos de pantallas táctiles donde desarrollamos actividades que se manejaban con los dedos, y el Tpwin, un teclado virtual en pantalla. A partir de esta experiencia comprendimos que las limitaciones físicas de la pantalla reducen el número de aplicaciones educativas y que sólo un número reducido de alumnos las necesita. A partir de 1997 desarrollamos el proyecto TocaToca, un sistema de autor para actividades de causa - efecto que son el inicio de la comunicación persona / ordenador y también permiten trabajar la comunicación persona / persona. Si habitualmente el niño trabaja estas actividades con el interruptor de la luz o con los juguetes musicales, TocaToca aprovecha las posibilidades multimedia del ordenador para crear espacios complejos y estructurados. El programa ha ido evolucionado con los años y actualmente, además del teclado y el ratón podemos trabajar con el sonido, con el joystic, el DancePad y otros periféricos parecidos. En el años 2000 Jordi Lagares, un profesor de física de un instituto, desarrolló el Proyecto Fressa http://www.lagares.org, que resuelve la interacción con el ordenador a través del sonido. En Fressa encontramos Globus, un programa de visualización del sonido, Recofone que reconoce patrones de voz o el Control del mouse por voz. En el 2003 trabajamos con el DancePad y otros periféricos procedentes de los videojuegos utilizándolos como ayudas técnicas para las personas con discapacidad. Ello supuso una doble economía. En primer lugar estos periféricos son más asequibles y accesibles que los periféricos específicos para la discapacidad. En segundo lugar, aplicamos la estrategia de incorporarlos en desarrollos anteriores, Tswin, Tpwin, TocaToca, lo que nos permitió aprovechar el trabajo realizado y disponer de un amplio abanico de actividades. En el 2004, Cesar Mauri, en aquel momento estudiante de la Universidad Rovida Virgili, desarrolló WebColor un sistema capaz, a tiempo real, de reconocer una marca de color determinado en la imagen que proporciona una webcam. Webcolor se distribuye como un API de programación con llamadas que retornan las coordenadas de la marca de color, y con ejemplos de programación en C++ y Vb.
  7. 7. Webcolor y las tecnologías de reconocimiento de color requieren entrenar el sistema antes de utilizarlo y, a menudo, se dan interferencias con la iluminación y los coloresexistentes en el ambiente. En el años 2000 Jordi Lagares, un profesor de físca de un instituto, desarrollo el Proyecto Fressa http://www.lagares.org, que resuelve la interacción con el ordenador a traves del sonido. En Fressa encontramos Globus un programa de visualización del sonido, Recofone que reconoce patrones de voz o el Control del mouse por voz. En el 2003 trabajamos con el DancePad y otros periféricos procedentes de los videojuegos utilizándolos como ayudas técnicas para las personas con discapacidad. Ello supuso una doble economía. En primer lugar estos periféricos son más asequibles y accesibles, que los periféricos específicos para la discapacidad. En segundo lugar aplicamos la estrategias de incorporarlos en desarrollos anteriores, Tswin, Tpwin, TocaToca, lo que nos permitió aprovechar el trabajo realizado y disponer de un amplio abanico de actividades. En el 2004, Cesar Mauri, en aquel momento estudiante de la Universidad Rovida Virgili, desarrolló WebColor un sistema capaz, a tiempo real, de reconocer una marca de color determinado en la imagen que proporciona una webcam. Webcolor se distribuye como un Api de programación con llamadas que retornan las coordenadas de la marca de color y con ejemplos de programación en C++ i Vb. Webcolor, y las tecnologías de reconocimiento de color, requieren entrenar el sistema antes de utilizarlo y a menudo se dan interferencias con la iluminación y los colores existentes en el ambiente. En el 2006 Jordi Sánchez, miembro de nuestro equipo y en aquel momento becario del Departamento de educación, desarrolló WebColorToy, un sistema basado en webcam que detecta el movimiento “restando” dos fotogramas consecutivos y devuelve, para un área, un índice de cambio. También se trata de un conjunto de módulos de programación utilizables, compatibles para Linux y Windows. La ventaja de trabajar con el movimiento, aunque se consiga menor precisión, es que el sistema no requiere de entrenamiento. Es decir, basta con situarse frente a la cámara para ponerse a trabajar.
  8. 8. Productos desarrollados A partir de las tecnologías que conocemos, combinándolas e integrándolas en desarrollos y proyectos anteriores, actualmente disponemos de un abanico de recursos educativos que se distribuyen gratuitamente Emulator Es un emulador de pulsador, mouse, joystick, o teclado de conceptos, que funciona con la webcam mediante técnicas de reconocimiento de color o de movimiento. Emulator, en versión para Windows y Linux, puede utilizarse como una Ayuda Técnica que de forma virtual sustituya a: • Pulsador. Hace clic sobre el programa activo cuando se muestra u oculta un color. • Ratón. El puntero de la pantalla se sitúa directamente allá donde señala el cursor de color. Esta aplicación permite trabajar a distancias alejadas, pero requiere un entrenamiento, para no salirnos del campo visual de la webcam, y sólo consigue una precisión semejante a una pantalla táctil manejada con los dedos. • Joystick. El puntero se desplaza en la dirección que señalamos y se detiene al situarnos en la zona central. • Tablero de conceptos. Partiendo de una impresión de la pantalla, al señalar el papel situamos el cursor de la pantalla en la zona indicada. En todos lo casos el clic se realiza por tiempo y se precede de señales visuales y acústicas. Imagen 5 Emulator como Joystick Imagen 6 Control cámara robotizada
  9. 9. Emular estas ayudas técnicas mediante la webcam tiene una evidente ventaja económica, así como una mayor flexibilidad en equipos, como los de los centros educativos, que son utilizados por diversos usuarios. Además los dispositivos basados en webcam tienen menos averías mecánicas, que pueden ser muy frecuentes en los dispositivos físicos. Una dificultad, que ha surgido de modo imprevisto, es que los usuarios no aceptan de igual modo los sistemas estándar físicos, con una mayor presencia social, que los virtuales que, además de ser menos conocidos, no proporcionan ninguna respuesta física. Tswin El editor de Tablero de conceptos ahora funciona con la webcam sin necesidad de ningún soporte físico. Basta situar la lámina frente a la webcam y señalar sus vértices para calibrarla. Permite mapear el campo de visión de la webcam, con independencia del tamaño físico que abarque, creando zonas a las que se asignan comandos. Esto convierte en interactiva cualquier superficie Funciona con tecnología de reconocimiento del color y puede tener problemas si nos separamos de la lámina, al proyectarse los movimientos 3D sobre un plano 2D. TocaToca TocaToca es nuestra solución para los ejercicios de causa efecto y ahora funciona con la webcam. El campo de visión de la webcam se divide en zonas, en relación isomórfica con la pantalla, que se activan por detección de color y de movimiento. Con esta nueva prestación, surgen nuevos ejercicios para estimular la motricidad y la coordinación de movimientos en los que podemos incluir la interacción con objetos reales. Imagen 7 TocaToca Fútbol Imagen 7 TocaToca contar pelotas
  10. 10. Así, el ordenador nos aplaude cuando marcamos un gol con una pelota en una portería real, o debemos responder arriba o abajo señalando sobre nuestro cuerpo… Estas nuevas prestaciones también nos han hecho descubrir nuevas dificultades. Por ejemplo, resulta difícil ubicarse sin salirse del campo visual de la webcam y es complicado tocar unas zonas sin invadir otras. SiMuove SiMuove es un desarrollo nuevo, específico para la webcam del que ya hemos hablado ampliamente WebColorToy Este programa es un juego con webcam en toda regla. El juego muestra varios objetos en movimiento y debemos atrapar algunos y evitar otros. Nuevamente se trata de un entorno de autor que permite definir los objetos, sus movimientos y cómo reaccionan. El juego se estructura en niveles y da vidas y puntos, y la persona puede verse integrada en la imagen. Las potencialidades de este programa están por desarrollar, aunque permitirá actividad de observación, discriminación y control motriz. Este juego permitirá retomar contenidos pedagógicos tradicionales, discriminación de letras o figuras mediante actividades más físicas. Hay que tener en cuenta que la actividad propiamente dicha se define por el tipo de objetos (figuras, formas, letras, colores) y las reglas del juego. DanceMusic Imagen 9 WebColorToy Imagen 10 usuarios con DanceMusic
  11. 11. Este programa es un generador MIDI que funciona a partir del movimiento de un cursor de color. Le damos al usuario una batuta o unos guantes de color y las coordenadas obtenidas se convierten en notas musicales. Funciona con el ratón y el joystick, y existen opciones del menú para escoger diferentes instrumentos. En esta actividad los usuarios exploran un espacio que es físico y, al mismo tiempo, sonoro con lo que permite desarrollar actividades de estimulación, psicomotricidad, danza y música. El uso de videocámara con zoom posibilita trabajar estas actividades en espacios de mesa, aula o patio. Permite actividades individuales o juegos de grupo, y trabajar sobre el plano vertical u horizontal. Una vez más, lo importante no es lo que ocurre en el ordenador, sino lo que hace el alumno. Frío y caliente Es un juego donde hay que encontrar un objeto escondido por el ordenador, por ejemplo: una canción, siguiendo sus instrucciones. Debemos mover nuestro cursor de color al dictado de las órdenes derecha, izquierda, arriba, abajo, o de las señales acústicas del programa. Este programa es una actividad de discriminación auditiva y orientación espacial. Exige rigor en el control del movimiento para resolver el ejercicio, ya que de otro modo no se consigue. Nuevamente es un entorno programable, en el que podemos variar las imágenes y sonidos que utilizamos como refuerzo final. A modo de conclusión Algunos usuarios no pueden utilizar el ordenador con la interfaz actual y algunas de las alternativas disponibles resultan costosas o aparatosas. Muchos de los contenidos a trabajar son propios de la atención temprana, la estimulación sensorial o la discapacidad, y no pueden trabajarse con la interfaz actual basada en el paradigma del teclado, el ratón y la pantalla. Disponemos de muchas herramientas para crear una nueva interfaz alternativa: • Programas abiertos, con múltiples ejercicios, que responden a diferentes necesidades educativas.
  12. 12. • La webcam como un sistema de acceso de bajo coste, basado en técnicas elementales de visión artificial que utilizan dos tecnologías de reconocimiento del color o del movimiento, con exigencias y resultado diversos. • Disponemos de módulos de programación de libre acceso que podemos emplear para : o Desarrollar emuladores u otras Ayudas Técnicas o Integrar los nuevos periféricos en programas anteriores, lo que supone una economía de esfuerzos o Desarrollar ejercicios nuevos que optimicen las prestaciones La webcam como interfaz La webcam nos proporciona un nuevo paradigma de interfaz que no requiere estar sentado frente al ordenador en una ubicación específica. Se minimiza el esfuerzo físico, las necesidades de aprendizajes previos, el contacto físico. El uso de dispositivos ópticos, y quizás otros inalámbricos, permite un efecto escala que admite trabajar por un igual en grandes espacios o en reducidos. Todo ello lleva a una desmaterialización de la tecnología que, haciéndose invisible, se transforma en ubicua, ampliándose las situaciones y los usuarios potenciales. A pesar de nuestra pequeñez, la tecnología elemental que empleamos ha proporcionado sus frutos que estamos interesados en compartir con otros equipos e instituciones. Creemos poder desarrollar sistemas con 2 o más cámaras que identifiquen distintas marcas de colores. Ello posibilitaría desarrollar situaciones más complejas. También hemos hecho ensayos con cámaras robotizadas que desearíamos integrarlas en aulas de estimulación sensorial o instalaciones semejantes. Toda nuestra experiencia la ponemos a disposición de aquellos que quieran acompañarnos en esta aventura. Bibliografía González Rus, G. (2002). Pulsadores, conmutadores e interruptores: sistemas de acceso para el discapacitado motórico. En Las nuevas tecnologías en la respuesta educativa a la diversidad. Actas del II Congreso Nacional de Nuevas Tecnologías y Necesidades Educativas (TECNONEET) [en línea]. Murcia: Consejería de Educación y
  13. 13. Cultura. Disponible en http://www.tecnoneet.org/actas2002.php Fonoll, J.; Gassol, A. (2004) “Las TIC al servicio d’una escuela inclusiva” 1r congreso Sobre educación inclusiva- Vic Fonoll, J. (2004) “Nuevos periféricos utilizados como ayudas técnicas para personas con discapacidad ” Taller Tecnoneet 2004 – Murcia Fonoll, J.; Gassol, A. (2006) “Webcam como sistema de acceso en actividades de estimulación, psicomotricidad y ayudas técnicas” Taller Tecnoneet 2006 – Murcia Enlaces http://www.camgoo.com/ Enlace a la empresa camgoo con demos a juegos comerciales basados en webcam http://www.crea-si.com/ Enlace a la web de CREA-SI desarrolldores del webcolor, y el raton facial http://www.lagares.org Enlace a la web del Fressa. Contiene numerosos programas para el reconocimiento del sonido y la discapacidad http://www.xtec.cat/~jfonoll/tocatoca/ Enlace a la web del TocaToca con el programa y las actividades desarrolladas http://www.xtec.cat/dnee/udc/ Enlace a la web del poyecto UDC que contiene programas con interfaz basada en webcam desarrollados en el Departamento Educación Generalitat de Cataluña http://www.xtec.cat/dnee/udc/act_simuove.htm enlace a la pagina web del SiMuove y las activiades educativas asociadas http://www.xtec.cat/dnee/udc/english/main.html Enlace a la web del Computer Accessibilty Group http://www.xtec.cat/recursos/tauleta/ Enlace a la web de la tauleta sensible teclado de conceptos distribuidompor la Genrealitat de Cataluña http://www.pnte.cfnavarra.es/creena/010tecnologias/Estimulacion_Sensorial.htm Enlace al NETSwich tradicdo al español por el Centro de Recursos de Educación Especial de Navarra.

×