Progetto di Ubiquitous

1. LA REALTÀ AUMENTATA
Università di Milano Bicocca
Corso di Laurea Magistrale in Teoria e Tecnologia della Comunicazione
Corso di Ubiquitous Computing Context-Aware
A cura di
Davide Atro, Dara Bellinvia e Lorenza Dellacasa

2. 2
1. Realtà virtuale vs. Realtà aumentata
2. Che cos’è la realtà aumentata?
3. Un po' di storia
→ Il presente
→ Google Glass
→ Il futuro: Samsung Gear Blink
4. Come funziona?
5. Come si aumenta la realtà?
6. Costruzione dell’ambiente aumentato

3. 3
7. Tipologie di Realtà Aumentata
→ Geolocation AR
→ Vision-based AR
→ Vision-based AR con utilizzo di marker
→ Vision-based AR con utilizzo di natural marker
→ Vision-based AR senza utilizzo di marker
8. Ambiti di applicazione
→ Realtà aumentata nell’Intrattenimento
→ Realtà aumentata in Medicina e Chirurgia
→ Realtà aumentata nel Turismo
→ Realtà aumentata nel Settore Estetico
→ Realtà aumentata nell'Architettura
→ Realtà aumentata nell'Arte nei musei
9. Aspetti futuri
→ Intervista a Mirko Compagno

4. REALTÀ VIRTUALE VS REALTÀ AUMENTA4
Realtà Virtuale Realtà Aumentata
Le informazioni che arricchiscono la realtà lo
fanno in maniera preponderante al punto che la
persona è interamente immersa all’interno di una
realtà finta creata attraverso l’uso del computer.
Offre alla persona la sensazione di essere presente
all’interno della realtà fisica percepita attraverso i
cinque sensi anche se quest’ultima è arricchita di
informazioni aggiuntive o manipolata da queste.
Mondo Virtuale Mondo Reale + Oggetti Virtuali

5. CHE COS’E’ LA REALTÀ
AUMENTATA
La realtà aumentata (AR, dall'inglese
Augmented Reality) è una branca della
computer graphics che studia e sviluppa
sistemi in grado di combinare immagini
provenienti dal mondo reale con informazioni
e oggetti generati da computer.
L’utente di un’applicazione di AR, utilizzando
opportuni dispositivi, è nella condizione di
vivere un’esperienza sensoriale arricchita di
informazioni ed elementi virtuali, a volte
anche interagendo con loro.
5

6. UN PO’ DI STORIA6
SENSORAMA
1966
Morton Heilig
1962
HEAD-MOUNTED DISPLAY
Morton Heilig
VIDEOPLACE
Myron Krueger
1975
1990
REALTÀ AUMENTA
T. Caudell & D. Mizell
ARTOOLKIT
Hirokazu Kato
1999
2000
ARQUAKE
T Bruce Thomas
WIKITUDE
Wikitude GmbH
2008

7. IL PRESENTE7
Dal 2009 assistiamo alla diffusione su
ampia scala della AR, grazie al crescente
sviluppo di dispositivi mobili per l’accesso
ad internet in mobilità (tablet, netbook,
smartphone…). Questi terminali segnano
un ritorno al paradigma dei primi
prototipi: arricchimento dell’ambiente
circostante con informazioni di contesto.
Il prossimo passo segue la Wearable
Revolution dell’informatica,
implementando la AR sui nuovi dispositivi
indossabili.

8. IL PRESENTE: Google Glass8
▹ Primo e più famoso dispositivo di AR
commerciale;
▹ Occhiale da indossare: visualizza
informazioni e dati all’interno del
campo visivo, su un piccolo display
posto sopra l’occhio dell’utente;
▹ Punto di forza è la profonda
integrazione con i dispositivi Android:
comunicando con smartphone e
tablet sono in grado di mostrare
all’utente notifiche, messaggi, ecc
senza obbligarlo a toccare il
touchscreen;
▹ La fotocamera può essere attivata
mediante comandi vocali.

9. IL FUTURO:
Samsung Gear Blink9
▹ Lenti a contatto a realtà aumentata;
▹ Per il momento rimane solo un brevetto;
▹ Presentano un micro display
incorporato nella lente, una
videocamera, un’ antenna radio e dei
sensori per percepire il movimento degli
occhi;
▹ I battiti delle palpebre controllerebbero
le funzioni;
▹ Devono essere connesse, tramite
wireless, allo smartphone che prende in
carico tutte le operazioni di elaborazione
dei dati.

10. COME FUNZIONA?10
Questa tecnologia utilizza un software dotato di particolari dispositivi di rendering e
tracciamento.
Individuando dei punti fissi in uno spazio, tali dispositivi tracciano degli oggetti o delle forme e
vi agganciano gli oggetti virtuali desiderati (immagini, flusso video, oggetti, scritte 3D,
personaggi virtuali, ecc.), permettendogli di seguire tutti i movimenti che avvengono in tempo
reale.
L’operazione di rendering può avvenire anche attraverso un tracciamento radio, aumentando
notevolmente la precisione dell’applicazione.
Per realizzare ed assistere a performance in Realtà Aumentata non è necessario usare occhiali
speciali o indossare dispositivi che rendano possibile il tracciamento, eccetto in alcune
occasioni particolari.

11. COME SI AUMENTA LA
REALTÀ?
Gli elementi che “aumentano” la realtà possono essere aggiunti attraverso un programma che
può girare su diversi dispositivi:
11
dispositivi mobile
(smartphone, ipad)
pc dotati
di webcam
dispositivi di visione
(es. occhiali)

12. COSTRUZIONE
DELL’AMBIENTE
AUMENTATO
Si basa su 3 fasi principali:
▹ analisi della realtà;
▹ creazione delle nuove informazioni sulla base della realtà;
▹ rappresentazione della realtà con aggiunta delle informazioni.
12

13. TIPOLOGIE APPLICAZIONI DI
REALTÀ AUMENTATA
Esistono due tipologie di applicazioni:
13
VISION - BASED AR
(non geolocalizzata)
GEOLOCATION AR
(geolocalizzata)

14. GEOLOCATION AR
È basata sull’utilizzo di sensori hardware di
posizione (GPS) e di orientamento
(accelerometro e bussola) presenti sul
dispositivo.
Tipicamente viene utilizzata su dispositivi
mobili come smartphone e tablet.
14

15. VISION - BASED AR
È basata sull’uso di forme bidimensionali, disegni o caratteristiche geometriche che
permettono al programma di individuare la posizione e l’orientamento dell’oggetto
virtuale da sovrapporre all’immagine reale.
15
▹ Con l’utilizzo di marker
▹ Con l’utilizzo di natural markers
▹ Senza utilizzo di marker (markerless)
Esistono tre tipologie di vision based AR:

16. UTILIZZO DI MARKER
Questo tipo di applicazione prevede un
meccanismo di riconoscimento di un
particolare elemento grafico detto
marker (es. QR code), un sistema di
tracciamento dei movimenti (della
webcam o del marker) e un engine per la
creazione e l’animazione di oggetti
tridimensionali
I marker sono degli elementi grafici, su
cui è stampato un simbolo facilmente
riconoscibile, che vengono “individuati e
tracciati” attraverso una videocamera.
16

17. UTILIZZO DI NATURAL
MARKER
Applicazioni più sofisticate ed evolute
sono in grado di compiere le azioni di
sincronizzazione utilizzando al posto di un
marker specifico direttamente
un’immagine o una figura o comunque un
oggetto bidimensionale, utilizzando
tecnologie di image recognition ormai
consolidate nella computer vision.
Questo tipo di applicazioni basate sul
riconoscimento effettuato su immagini è
comunemente considerata basata su
natural marker
17

18. SENZA L’UTILIZZO DI
MARKER
Al posto di un elemento grafico o di una
immagine bidimensionale, il
riconoscimento viene effettuato
direttamente sugli elementi
tridimensionali presenti nell’ambiente,
utilizzando tecnologie di geometric
features recognition in via di
consolidamento nella computer vision.
Questo tipo di applicazioni basate su
immagini è comunemente detta
markerless, proprio in quanto non
necessitano di alcun marker
18

19. AMBITI DI APPLICAZIONE19
REALTÀ AUMENTATA
MILITARE
TURISMO
DESIGN INTRATTENIMENTO
ARCHITETTURA
ARTE
ESTETICA
MEDICINA

20. AMBITI ED ESEMPI
INTRATTENIMENTO
MEDICINA E CHIRURGIA
TURISMO
SETTORE ESTETICO
ARCHITETTURA
ARTE NEI MUSEI
20
UNBELIEVABLE BUS SHELTER
ANATOMY 4D
GEOTRAVEL
MODYFACE
SMART REALITY APP
PROGETTO MULTIMEDIALE NEO GROUP

21. INTRATTENIMENTO:
GIOCHI, TV, PUBBLICITÀ
▹ Creare videogiochi coinvolgenti;
▹ Creare iniziative promozionali in
luoghi pubblici;
▹ Avvisi pubblicitari durante la
programmazione;
▹ Personalizzazione cataloghi.
⟹ Futuro: L’azienda InAir vuole
arricchire la televisione con
informazioni no-stop in tempo
reale e contenuti web da
visualizzare durante la visione.
21

22. UNBELIEVABLE BUS
SHELTER: IL CASO PEPSI
▹ Pepsi Max, ha sorpreso i
pendolari con un incredibile
installazione di realtà
aumentata ad una fermata del
bus ad Oxford Street, Londra.
▹
▹ Gli inventori hanno posto uno
speciale display nel lato esterno
di un cartellone pubblicitario,
posto in una pensilina del bus,
che proiettava in modo del tutto
realistico delle scene a dir poco
assurde.
22

23. MEDICINA E CHIRURGIA
▹ Visualizzazione di modelli 3D degli
organi del paziente, ottenuti dalle
immagini mediche
▹
▹ Può aiutare il chirurgo ad inserire l’ago
nel miglior modo possibile
▹
▹ Sistema in grado di avvertire il chirurgo
di un possibile contatto con altri organi
situati vicino l’organo di interesse,
utilizzando informazioni visive e audio.
▹
▹ Pianificazione pre-operatoria.
23

24. ANATOMY 4D
▹ Riproduce attraverso il display
dello smartphone le varie parti
del corpo umano;
▹ E’ necessario stampare una delle
immagini presenti nella sezione
Target Library e inquadrarla con
la fotocamera del device;
▹ L'app mostra all'utente l'interno
del corpo umano: le distanze tra
gli organi, lo stomaco, le costole, i
muscoli, lo scheletro e i segreti
del cuore;
▹ Utile per lo studio
24

25. TURISMO
▹ Possibilità di ricevere informazioni
sul territorio circostante grazie a
dispositivi mobili;
▹ Ricevere approfondimenti specifici
su un determinato punto di
interesse;
▹ Possibilità di vedere ricostruzioni
3d di luoghi andati distrutti /
deteriorati;
▹ Fornire servizi di supporto al
viaggio.
25

26. GEOTRAVEL
▹ Si tratta, di una piccola guida
turistica che sfrutta tutte le
potenzialità della realtà aumentata,
segnalando luoghi di interesse e
monumenti, con relative
informazioni prese direttamente da
Wikipedia.
▹ Sarà sufficiente puntare con la
fotocamera un punto di interesse
per vedere sul display tutte le
informazioni relative.
26

27. SETTORE ESTETICO
▹ Simulazione di make-up
attraverso i virtual mirror;
▹ Possibilità di provare piu' look con
varie palette di colori;
▹ Migliorare e rendere interattiva
l’esperienza nei punti vendita
trovare un rimedio
all’impossibilità di provare capi,
cosmetici e make-up.
27

28. APP MODIFACE
▹ Applicazione che permette, in
tempo reale, attraverso uno
specchio virtuale, la
simulazione di qualsiasi tipo
di trucco, con abbinamenti di
colori.
▹ Gli utenti possono vedere il
prima e il dopo di una
particolare scelta estetica ed
è possibile visualizzare il
proprio volto anche da
diverse angolazioni.
28

29. ARCHITETTURA
▹ Creazione di modelli 3D per aiutare a
panificare lo spazio e la visualizzazione
del design.
⟹ Futuro: Quando l’avvento di nuove
tecnologie permetterà il libero utilizzo
delle mani, il mondo dell’architettura
potrà avvalersi della RA sia per la fase
di progettazione sia per quella di
comunicazione con il cliente.
29

30. SMART REALITY APP
▹ E’ disponibile come beta test;
▹ Permette di inserire un modello
3D in un contesto, visualizzabile
attraverso iPad o iPhone.
L'utente puntando la fotocamera
su un disegno, avrà la possibilità,
attraverso l'utilizzo dell'app, di
vedere un modello virtuale 3d del
progetto che sta realizzando.
30

31. ARTE NEI MUSEI
▹ Permette di arricchire la percezione
sensoriale della realtà attraverso
l’aggiunta di informazioni multimediali
(video, foto, audio, testi, ricostruzioni
virtuali);
▹ Ognuno ha la possibilità di scegliere un
percorso per approfondire ciò che
ritiene più interessante e interagire con
esso;
▹ Possibilità di confrontare un’opera con
un’altra;
▹ Possibilità di esaminare i metodi con
cui l’artista ha realizzato l’opera.
31

32. PROGETTO MULTIMEDIALE
NOE GROUP
▹ All'interno del progetto di didattica e
segnaletica museale hanno sviluppato
una applicazione per dispositivi mobile
per rendere più esaustiva e affascinante
la visita all'interno del museo.
▹ Durante la visita museale i soggetti, le
storie e i particolari vengono evidenziati
direttamente sull'opera facilitando e
rendendo avvincente la comprensione
dell'opera.
▹ E’ possibile ricevere informazioni e
visualizzare particolari anche delle
opere meno accessibili, come
decorazioni di volte o particolari
architettonici.
32

33. ASPETTI FUTURI
Le potenzialità della realtà aumentata sono elevatissime, e le interfacce grafiche che
abbiamo visto e vediamo in film e videogiochi fantascientifici sembrano destinate a
diventare realtà.
Tuttavia, la tecnologia attuale non consente di realizzare quanto voluto nella maniera
desiderata e, soprattutto, i device mobile come gli smartglass hanno un costo ancora
troppo elevato per il pubblico, che incrementerebbe ulteriormente se gli venissero
affiancati dispositivi di controllo come i guanti attualmente in studio.
Quindi, per il momento, possiamo dire di essere solo all'alba di quella che si rivelerà una
rivoluzione tecnologia.
33

34. INTERVISTA A MIRKO COMPAGNO
Ricercatore Tor Vergata - Roma
Come vedi il futuro di questa tecnologia? Siamo destinati a fruirne su ogni dispositivo possibile
nei prossimi anni o si tratterà comunque di un’esperienza confinata a contesti specifici?
Credo fortemente che questo sia un nuovo medium e che come tale vada trattato. Anche la AR
arriverà a definire le proprie modalità espressive e diventerà pervasiva quanto gli smartphone e
l’utilizzo di internet: non se ne potrà fare a meno.
Questa tecnologia può arricchirci e aiutarci in tantissimi settori: gli smartglass hanno applicazioni nei
settori della chirurgia, per esempio, ma anche la psicoterapia può avvalersi delle applicazioni di
Realtà Aumentata. [..]Sono allo studio anche applicazioni nell’ambito del trattamento di pazienti
affetti da morbo di Parkinson e di Alzheimer.
In futuro questa tecnologia potrà essere utilizzata per automatizzare molte operazioni quotidiane,
permettendoci di risparmiare tempo e concentrarci su altro. Personalmente sono anche convinto
che la Realtà Aumentata salverà i libri. [.. ]i libri di testo potranno essere più leggeri dal punto di vista
dei contenuti, perché questi potranno essere integrati da un supporto in realtà aumentata e da
piattaforme di e-learning.
34

35. GRAZIE PER
L’ATTENZIONE!
35