Dissertazione finale del Master Open Téchne 2013. La Realtà Aumentata (AR) è una rappresentazione alterata della realtà, nella quale oltre alla normale realtà percepita attraverso i sensi umani, vengono sovrapposte informazioni ed elementi artificiali e virtuali. Solitamente è basata sull'utilizzo di un marker, ovvero un elemento grafico facilmente riconoscibile e tracciabile. Dispositivi sempre più potenti permettono oggi lo sviluppo di applicazioni di AR che utilizzano tecniche basate su Computer Vision, come l'Image Recognition e SLAM. Nel seguente articolo verranno illustrate tali tecniche denominate markerless,poichè non necessitano di un marker specifico, illustrandone potenzialità e limiti. Infine verranno illustrati alcuni tool di sviluppo e verranno descritte alcune demo che mostrano le loro potenzialità , soprattutto in ambito di fruizione di BBCC. http://www.istitutoficlu.org/iniziative/master-open-techne-2012-2013-discussione-finale/

1. Realtà aumentata markerless basata su
algoritmi di Image Recognition e SLAM
Simone Sabbatini
sabbatini.simone@gmail.com
Sede dello stage: Interplay Software
Tutor: Giovanni Cortese

2. OBIETTIVI
• Comprendere funzionamento della Realtà
Aumentata
• Approfondire tecniche markerless
• Image Recognition
• SLAM
• Test tool di sviluppo
• Realizzazione demo

3. Realtà aumentata – che cos’è
Realtà Aumentata (AR)
Realtà Virtuale (VR)
Rappresentazione alterata della realtà
Non si ha percezione
della realtà
Alla realtà percepita attraverso i sensi umani
vengono sovrapposte informazioni ed elementi
virtuali ed artificiali

4. Realtà aumentata – come funziona
Marker-based
Basata su riconoscimento di marker
bidimensionali
Fotocamera
Modello 3D
Marker
Webcam

5. Realtà aumentata – come funziona
Location-based
Basata sulla locazione geografica

6. Realtà aumentata – come funziona
Marker-less
Non necessita di marker
Basata su algoritmi di Computer Vision
IMAGE
RECOGNITION
(IR)
SIMULTANEOUS
LOCALIZATION AND
MAPPING
(SLAM)

7. IMAGE RECOGNITION
Analisi immagine
Acquisizione
immagine
Individuazione
features significative
Classificazione
immagine

8. Simultaneous Localization and Mapping
Problema affrontato nel campo della robotica
“Where I am?”
LOCALIZZAZIONE
MAPPING
“What does the world look like?”

9. Simultaneous Localization and Mapping
E’ considerato un problema risolto
Crea una mappa 3D
dell’ambiente circostante
utilizzando i sensori dei robot
No riferimenti metrici e
sistema di riferimento non
noto
Esistono varie implementazioni ( alcune Open Source! )
Visual SLAM : risolve il problema della SLAM utilizzando
solamente la camera come sensore

10. STRUMENTI di SVILUPPO
TOOL AR
IR
SLAM
SDK
Frameworks
OpenSource

11. DEMO – Image Recognition
Obiettivo:
Riconoscimento quadri interi o dettagli
Visualizzare informazioni relative al quadro
riconosciuto
Visualizzare collegamenti a “Scheda Autore” e
“Contesto storico”
https://github.com/SimoneSabba/DemoIR-PointCloud

12. DEMO – Image Recognition

13. DEMO – Image Recognition

14. DEMO – Image Recognition

15. DEMO – Image Recognition

16. DEMO – Image Recognition
Dettaglio del cavallo
Dettaglio donna che urla

17. DEMO – Image Recognition
Obiettivo:
Riconoscere immagine ed
“aumentarla” con contenuti
3D e video
https://github.com/SimoneSabba/DemoIR-Android-Metaio

18. DEMO – Image Recognition

19. DEMO – Image Recognition
Riproduzione Video

20. DEMO – SLAM
Obiettivo:
Demo misurazione ambiente
Problemi:
Mappa non scalata metricamente
Sistema di riferimento non noto
Soluzione:
Utilizzo di Image Recognition + SLAM
https://github.com/SimoneSabba/DemoSLAM-PointCloud

21. DEMO – SLAM

22. DEMO – SLAM

23. DEMO – SLAM
Obiettivo:
Visualizzazione modello 3D
Problemi:
Mappa non scalata metricamente
Sistema di riferimento non noto
Soluzione:
Utilizzo di Image Recognition + SLAM
https://github.com/SimoneSabba/DemoSLAM-Android-Metaio

24. DEMO – SLAM
Creazione mappa 3D

25. DEMO – SLAM
Mappa 3D non calibrata

26. DEMO – SLAM
Mappa 3D calibrata

27. DEMO – SLAM
Aumentazione
M o d e l l o 3 D
visualizzato nella
scena inquadrata
dalla fotocamera

28. CONCLUSIONI
Nuove soluzioni di AR basate su Image Recognition e SLAM
possibili grazie a dispositivi mobili sempre più “evoluti”
Esperienza d’uso più stimolante ed immersiva per l’utente
Nuovi scenari di utilizzo grazie a Google Glass ed affini
Riconoscimento basato su SLAM sensibile ai cambiamenti
esterni della scena (cambi di luce e variazione della scena)
Problematica superabile grazie a nuove features quali tracking
basato su modello CAD

29. https://github.com/SimoneSabba