Visión Artificial,
Accesibilidad y Android

Visión Artificial Accesibilidad y Android
MVRLab, & Neosistec
Contenido

1. Introducción
2. Qué es Qt?
3. Necessitas
4. Visión estéreo y Android
5. Detección de obstáculos aéreos

Visi...
1. Introducción
Aplicaciones de alto rendimiento en Android

C Nativo

NEON
Intrinsics

JDK
NDK
Visión Artificial Accesibi...
2. Qué es Qt?
- Biblioteca multiplataforma de código abierto para desarrollo GUI, bajo
licencia LGPL.

Necessitas
Bodgan V...
2. Qué es Qt?
- Lo que hace único a Qt son sus cualidades multiplataforma

- Soporta lenguajes nativos C++ y QML y binding...
2. Qué es Qt?
- Además del FrameWork, Qt proporciona un completo entorno de desarrollo,
denominado QtCreator:

- Además de...
2. Qué es Qt?
-Qt proporciona un conjunto de objetos (QImage, QPixmap, QPainter…)
acelerados por hardware para el tratamie...
3. Necessitas
-Variación de Qt para desarrollo de aplicaciones Android
- Incorporado recientemente a Qt 5.1 por Digia

SDK...
3. Necessitas
- El SDK es muy voluminoso

Ministro
Necessitas Libs

Visión Artificial Accesibilidad y Android
MVRLab, & Ne...
3. Necessitas
-Ejemplo de desarrollo: TouchTheSound
- Audiograma
- Conversión a vibración
- Orientado a personas con sorde...
3. Necessitas
-Visión con Necessitas: QtMultimediaKit aún no está desarrollado

JDK

JNI
QtCameraPatch.cpp
QtCameraPatch.h...
4. Visión estéreo y Android
- Móviles 3D (HTC Evo 3D y LG Optimus 3D): teléfonos 3d basados
en lo que se denomina “3d sin ...
4. Visión estéreo y Android
- La pantalla se basa en parallax barrier.
- Cada ojo recibe la imagen de una
cámara, creando ...
4. Visión estéreo y Android
- La pantalla se basa en parallax barrier.
- Cada ojo recibe la imagen de una
cámara, creando ...
4. Visión estéreo y Android
- Para lograr separar las imágenes y que
cada ojo observe una imagen distinta, se
muestran amb...
4. Visión estéreo y Android
-

Herramientas: Necessitas Qt, OpenCV, OpenGL ES, Neon
Lenguajes: Java (android), C++, C
Algo...
4. Detección de obstáculos aéreos
- Obstáculos que no pueden ser detectados
por el bastón o el perro guía, al no tener
pro...
4. Detección de obstáculos aéreos
- Basado en visión estéreo:

IBERAMIA (2002),
ICRA (2004)

L

CVPR (2005),
ECCV (2008)

...
4. Detección de obstáculos aéreos
Observación 3D

Proyección del
cuerpo
Dirección de
movimiento
(K-Means)

Clasificación
(...
4. Detección de obstáculos aéreos
Aerial Obstacles Testing (front-end de test)
Aerial Obstacles (front-end para ciegos)

P...
Vídeos de la presentación:
http://www.youtube.com/watch?v=T9PDkLhdAuw
http://www.youtube.com/watch?v=4pEw6YPFYAQ
Más vídeo...
Upcoming SlideShare
Loading in …5
×

Visión Artificial, Accesibilidad y Android

771 views
661 views

Published on

Ponencia ofrecida por Juan Manuel Sáez Martínez, profesor de la Universidad de Alicante. Sinopsis: En esta charla descubriremos una herramienta de desarrollo en android, el entorno Qt. Una biblioteca multiplataforma de código abierto para desarrollo GUI, bajo licencia LGPL. Además del FrameWork, Qt proporciona un completo entorno de desarrollo, denominado QtCreator. Junto a ello la visión estéreo y android permitirán dar forma a software de detección de obstáculos aéreos.

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
771
On SlideShare
0
From Embeds
0
Number of Embeds
219
Actions
Shares
0
Downloads
19
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Visión Artificial, Accesibilidad y Android

  1. 1. Visión Artificial, Accesibilidad y Android Visión Artificial Accesibilidad y Android MVRLab, & Neosistec
  2. 2. Contenido 1. Introducción 2. Qué es Qt? 3. Necessitas 4. Visión estéreo y Android 5. Detección de obstáculos aéreos Visión Artificial Accesibilidad y Android MVRLab, & Neosistec
  3. 3. 1. Introducción Aplicaciones de alto rendimiento en Android C Nativo NEON Intrinsics JDK NDK Visión Artificial Accesibilidad y Android MVRLab, & Neosistec
  4. 4. 2. Qué es Qt? - Biblioteca multiplataforma de código abierto para desarrollo GUI, bajo licencia LGPL. Necessitas Bodgan Vatra et al. Visión Artificial Accesibilidad y Android MVRLab, & Neosistec
  5. 5. 2. Qué es Qt? - Lo que hace único a Qt son sus cualidades multiplataforma - Soporta lenguajes nativos C++ y QML y bindings Java, PERL, PHP, Phyton, … Visión Artificial Accesibilidad y Android MVRLab, & Neosistec
  6. 6. 2. Qué es Qt? - Además del FrameWork, Qt proporciona un completo entorno de desarrollo, denominado QtCreator: - Además de los servicios de documentación y ayuda de Digia, al ser un proyecto de código abierto posee una extensa comunidad de usuarios. Visión Artificial Accesibilidad y Android MVRLab, & Neosistec
  7. 7. 2. Qué es Qt? -Qt proporciona un conjunto de objetos (QImage, QPixmap, QPainter…) acelerados por hardware para el tratamiento de imágenes. J.M. Sáez, A. Úbeda, M. Alejandro, José R. Díaz, ECOPEZON (Análisis computerizado de ecografías del pezón), 2012 Visión Artificial Accesibilidad y Android MVRLab, & Neosistec
  8. 8. 3. Necessitas -Variación de Qt para desarrollo de aplicaciones Android - Incorporado recientemente a Qt 5.1 por Digia SDK en C/C++ nativo optimizado con NEON JDK NDK Visión Artificial Accesibilidad y Android MVRLab, & Neosistec
  9. 9. 3. Necessitas - El SDK es muy voluminoso Ministro Necessitas Libs Visión Artificial Accesibilidad y Android MVRLab, & Neosistec
  10. 10. 3. Necessitas -Ejemplo de desarrollo: TouchTheSound - Audiograma - Conversión a vibración - Orientado a personas con sordera Visión Artificial Accesibilidad y Android MVRLab, & Neosistec
  11. 11. 3. Necessitas -Visión con Necessitas: QtMultimediaKit aún no está desarrollado JDK JNI QtCameraPatch.cpp QtCameraPatch.h QtCameraPatch.java -Además hay que salvar dos cuellos de botella: - Acceso a cámara lento en Java -> buffer de cámara y procesado a JNI - Representación lenta en pantalla -> representación directa con OpenGl ES Visión Artificial Accesibilidad y Android MVRLab, & Neosistec
  12. 12. 4. Visión estéreo y Android - Móviles 3D (HTC Evo 3D y LG Optimus 3D): teléfonos 3d basados en lo que se denomina “3d sin gafas” - Contienen dos cámaras frontales paralelas con disparo global, rectificadas y alineadas para evitar la aberración. Visión Artificial Accesibilidad y Android MVRLab, & Neosistec
  13. 13. 4. Visión estéreo y Android - La pantalla se basa en parallax barrier. - Cada ojo recibe la imagen de una cámara, creando la ilusión de profundidad. - La disparidad (separación de los objetos en ambas imágenes) es inversamente proporcional a la distancia. L R Visión Artificial Accesibilidad y Android MVRLab, & Neosistec
  14. 14. 4. Visión estéreo y Android - La pantalla se basa en parallax barrier. - Cada ojo recibe la imagen de una cámara, creando la ilusión de profundidad. - La disparidad (separación de los objetos en ambas imágenes) es inversamente proporcional a la distancia. - A menor disparidad mayor distancia. L R Visión Artificial Accesibilidad y Android MVRLab, & Neosistec
  15. 15. 4. Visión estéreo y Android - Para lograr separar las imágenes y que cada ojo observe una imagen distinta, se muestran ambas imágenes entrelazando sus columnas (impares de L con pares de R). - Para ocultar la visión frontal, se utiliza una malla microperforada. - En modo 2D se muestra la misma imagen dos veces. - Por esta razón, el efecto 3D solo se consigue desde un determinado punto de vista L R L R L R L R L R Visión Artificial Accesibilidad y Android MVRLab, & Neosistec
  16. 16. 4. Visión estéreo y Android - Herramientas: Necessitas Qt, OpenCV, OpenGL ES, Neon Lenguajes: Java (android), C++, C Algoritmos: - Block Matching (K. Konolige) -> correspondencia Camera Calibraton (Y. Zhang) -> calibración estéreo Kanade-Lucas-Tomasi Tracker (KLT) -> medidas + = Visión Artificial Accesibilidad y Android MVRLab, & Neosistec
  17. 17. 4. Detección de obstáculos aéreos - Obstáculos que no pueden ser detectados por el bastón o el perro guía, al no tener proyección contra el suelo. - Sistema complementario integrado en un smartphone 3D Visión Artificial Accesibilidad y Android MVRLab, & Neosistec
  18. 18. 4. Detección de obstáculos aéreos - Basado en visión estéreo: IBERAMIA (2002), ICRA (2004) L CVPR (2005), ECCV (2008) R 3D smartphones (2010-2011) Visión Artificial Accesibilidad y Android MVRLab, & Neosistec
  19. 19. 4. Detección de obstáculos aéreos Observación 3D Proyección del cuerpo Dirección de movimiento (K-Means) Clasificación (Mean-Shift) Visión Artificial Accesibilidad y Android MVRLab, & Neosistec
  20. 20. 4. Detección de obstáculos aéreos Aerial Obstacles Testing (front-end de test) Aerial Obstacles (front-end para ciegos) Premio Vodafone a la Innovación en Telecomunicaciones 2013 Visión Artificial Accesibilidad y Android MVRLab, & Neosistec
  21. 21. Vídeos de la presentación: http://www.youtube.com/watch?v=T9PDkLhdAuw http://www.youtube.com/watch?v=4pEw6YPFYAQ Más vídeos relacionados en: http://www.youtube.com/user/jmsaez1974/videos Contacto: Juan Manuel Sáez (MVRLab): jmsaez@dccia.ua.es Javier Pita (Neosistec): javierpita@neosistec.com Visión Artificial Accesibilidad y Android MVRLab, & Neosistec

×