Augmented reality (AR) allows to integrate real-time virtual 3D objects in a real environment. There are several AR application sectors, including the medical, the entertainment industry, the military and industrial area with particular regard to maintenance, assembly and repair of components and devices. The instructions to execute, to assemble, to maintain or to repair an object may be easier to understand if they were available, not as manuals with images but rather as animated 3D drawings in the real scene. There are many different technologies integrable in augmented reality systems. It ranges from a simple computer with a webcam, to mobile devices (eg smartphones), or even to viewers HMD (Head Mounted Displays), available in two types: optical see-through and video see-through. Such devices have the advantage of providing a feeling of immersion in the AR and, at the same time, they release the user from always keep the same rigid position during the interaction with the "increased" environment. As regards the mode of recognition objects in the scene there are essentially two types of AR systems; the first systems are marker based, the second, instead, are marker less. In this thesis was made an AR see-through video prototype for mobile platforms with the aim of demonstrating the feasibility of train an unexperienced user to perform an assembly/disassembly procedure of electronic devices. The proposed system uses smartphone’s camera as capture device and the potential of computing/rendering device for tracking and augmentation of the user observed scene. Having been designed for mobile platforms, the system also operates on HMD Cardboard Google and Samsung Gear VR. The objects identification and tracking in the scene are made through tracking techniques using marker-less system able to use the natural objects as features. In this regard it was used the framework Vuforia for "scan" the target of interest from multiple angles and points of view so as to provide an identification system flexible and robust. The experimental results show that users have a high level of confidence with the system, completing the procedure in significantly shorter time and without errors. The results confirm the validity of the proposed methodology stressing that a maintenance system based on AR is favored over traditional paper manuals.

1. Tecniche di tracking markerless per sistemi di
manutenzione ed assemblaggio in Realtà
Aumentata
Candidato
Gino Farisano
Matr. 0522500248
Relatori
Ch.mo Prof. Andrea Francesco Abate
Dott. Fabio Narducci
Dott. Stefano Ricciardi

2. Outline
L’AR nel settore
della manutenzione
Sistemi di tracking
marker-less
Implementazione
Risultati
Conclusioni
e
sviluppi futuri

3. “
Ronald Azuma
An AR system supplements the real
world with virtual (computer-
generated) objects
that appear to coexist in the
same space as the real world

4. L’AR nel settore dell’assemblaggio e della manutenzione: riflessioni
◈ Alcune attività di assemblaggio richiedono ancora manodopera umana. La
manutenzione è svolta in modo manuale
◈ Il mercato ha introdotto nuove necessità: elevata varietà dei prodotti,
customizzazione, costi bassi
◈ Produzione agile I sistemi di produzione dovrebbero essere in grado di
fornire capacità produttiva on demand
◈ La formazione di operai esperti richiede molto tempo e denaro

5. La realtà aumentata: produzione agile al minor costo
◈ La realtà aumentata è complementare ai processi cognitivi umani
◈ Progetto ARVIKA e ARTESAS: applicabilità della realtà aumentata nel
settore industriale
◈ Numerosi studi confermano che l’AR può apportare dei benefici significativi
nell’espletamento di procedure di manutenzione

6. Outline
Sistemi di tracking
marker-less
Implementazione
Risultati
Conclusioni
e
sviluppi futuri
L’AR nel settore della
manutenzione

7. Sistemi di
tracking marker
based

8. Sistemi di tracking marker-less
◈ Utilizzano le caratteristiche naturali degli oggetti come features
◈ Non c’è bisogno di preparare la scena con marker intrusivi
◈ Peggiore qualità di tracciamento e maggiore potenza di calcolo richiesta
Massima distanza
riconoscimento
(cm)
Massima distanza
tracking (cm)
Massima
occlusione
Minimo angolo
(gradi)
Qualità tracking
(0-6)
Falsi negativi (0-6) Falsi positivi (0-6)
Tempo per il
riconoscimento
(sec)
WikitudeSLAM 30 40 1/2 70 1 5 5 0
KudanSLAM 100 300 1 0 4 6 6 0
PTAM 55 110 1/2 60 3 1 2 2
Vuforia
ObjectTarget
65 280 3/4 10 4 0 0 1
◈ Massima distanza tracking (cm): una volta che il target è stato
riconosciuto quanto ci si può allontanare prima che il tracking fallisca?
◈ Qualità del tracking: 0 – cattivo, 6 eccellente
◈ Falsi negativi e falsi positivi: 0 - eccellente, 6 cattivo

9. Outline
Sistemi di tracking
marker-less
Implementazione
Risultati
Conclusioni
e
sviluppi futuri
L’AR nel settore della
manutenzione

10. Selezione delle componenti
VGA2 e RAM2 sono stati introdotti per confondere gli utenti
Ram
2
Ram
1
Scheda madre
CPU
Giravite
VGA
2
VGA
1
Modem
56K PCI

11. Scansione della scheda madre da più punti di vista con Vuforia Scanner
Gli altri oggetti sono stati scansionati da un solo lato

12. Creazione di un motore AR con Unity3D e Vuforia Object
Target
◈Avvia tutti i trackers: ogni lato della scheda madre è
osservato da un tracker differente.
◈Acquisisci gli oggetti virtuali: preleva gli oggetti virtuali
da Augmentations e gli assegna la componente Transform
contenuta in AugmentationsPositions. Non consente agli altri
trackers di accedere all’aumentazione corrente
◈ Rendi accessibile il controllo delle aumentazione:
riporta gli oggetti virtuali nel contenitore Augmentations così
che gli altri trackers possano accedervi
Inizio
Avvia tutti i trackers
Fine
L’utente
vuole abbandonare
il programma?
Il target
è stato
riconosciuto da
un tracker?
Acquisisci gli oggetti
virtuali
Mostra aumentazione
Il target è
ancora
tracciato?
Rendi accessibile il
controllo delle
aumentazione
Si
No
No Si
SiNo

13. Analisi comparativa algoritmo con con cinque scansioni VS
algoritmo con una sola scansione
Nulla è
tracciato
Nulla è
tracciato
Ad entrambi gli algoritmi è stato dato in pasto un video di 15
minuti in cui il target è osservato da tutte le angolazioni
23%
21%
10%
15%
13%
18%
49%
51%

14. Creazione di modelli 3D con Blender

15. Nexus 5 - Nexus 5 + VR Box
FOV 70°, risoluzione (1920x1080)/2, 15-30 FPS

16. Outline
Sistemi di tracking
marker-less
Implementazione
Risultati
Conclusioni
e
sviluppi futuri
L’AR nel settore della
manutenzione

17. Sperimentazione: manuale tradizionale VS sistemi AR
◈ I test sono stati condotti in un quasi-experimet su campione di 18
persone
◈ Variabili indipendenti: tratment con manuale tradizionale, sistema AR
hand held display e sistema AR utilizzante un Head Mounted Display
◈ Variabili dipendenti: tempo impiegato per eseguire i task di
manutenzione richiesti, numero di errori commessi, workload
soggettivo misurato con il NASA-TLX
◈ I task da eseguire sulla scheda madre sono 20. I primi due non sono
stati oggetto di analisi
◈ Design principles: blocking e balancing

18. Sperimentazione: strumenti statistici utilizzati
◈ Analysis of variance (ANOVA): verifica della normalità dei dati
con il test di Shapiro e Wilk; l’ipotesi di omoschedasticità è
stata verificata con il test di Barlet
◈ Metodo di Kruskal-Wallis: corrispondente non parametrico
dell’ANOVA. Consigliato quando il campione a disposizione è
relativamente piccolo
◈ Alpha level fissato a 0.05
◈ Post hoc comparison: test delle differenze oneste di Tukey

19. Ipotesi nulla H0: Time(PaperManual)=Time(ARHHD)=Time(ARHMD)
Task 6, 11, 18, 21: localizzazione di
componenti o operazioni molto
semplici
Task 7 e 16: avvita e svita le viti
Task 9 e 14: operazioni complesse
Task 20: operazione di precisione

20. 35%Ipotesi nulla H0: accolta!

21. Ipotesi nulla H1: Error(PaperManual)=Error(ARHHD)=Error(ARHMD)
Task 3, 6, 11, 18, 21: localizzazione di
componenti o operazioni molto
semplici
Task 7 e 16: ordine prestabilito
Task 9 e 14: operazioni complesse
Task 12: componente poco visibile
Task 20: operazione di precisione

22. 21%Ipotesi nulla H1: accolta!

23. NASA Task Load Index
Mental Demand
Quanta attività mentale e percettiva era
richiesta (es., pensare, decidere, calcolare,
ricordare, osservare, cercare, ecc.)? Il
compito era facile o difficile, semplice o
complesso, impegnativo o leggero?
Physical Demand
Quanta attività fisica era richiesta (es.
spingere, tirare, girare, controllare, attivare,
ecc,)? Il compito era facile o impegnativo,
lento o rapido,leggero o pesante, riposante
o faticoso?
Temporal Demand
Quanta pressione temporale hai avvertito a
causa della frequenza o del ritmo con cui i
compiti, o le fasi del compito, si
susseguivano? Il ritmo era lento e tranquillo
o rapido e frenetico?
Performance
Quanto pensi di aver raggiunto gli obiettivi
del compito stabiliti dallo sperimentatore (o
da te stesso)? Quanto sei soddisfatto della
tua prestazione nel raggiungere questi
obiettivi?
Effort
Quanto hai dovuto impegnarti
(mentalmente e fisicamente) per
raggiungere il tuo livello di prestazione?
Frutration
Durante il compito, quanto ti sei sentito
incerto, scoraggiato, irritato, stressato e
infastidito rispetto a sicuro, gratificato,
appagato, rilassato e soddisfatto?

24. Ipotesi nulla H2: WorkLoad(PaperManual)=WorkLoad(ARHHD)=WorkLoad(ARHMD)

25. 0,3%Ipotesi nulla H2: respinta!
54%Post-hoc manuale tradizionale VS sistema AR HHD
2%Post-hoc manuale tradizionale VS sistema AR HMD
Post-hoc sistema AR HMD VS sistema AR HHD

26. Conclusioni
◈ Gli utenti hanno valutato positivamente la soluzione AR hand held display
◈ Alcuni task, difficili da comprendere con il manuale cartaceo, sono eseguiti in
tempi più brevi e con meno errori se si utilizza la realtà aumentata
◈ Sono necessarie ulteriori analisi per comprendere se HMD di qualità superiore
siano maggiormente accettati dagli utenti
◈ Al crescere della potenza di calcolo dei dispositivi mobile soluzioni marker-less
dense (DTAM e LSD-SLAM) potranno essere impiegate efficientemente in
applicazioni di realtà aumentata in real-time.

27. Thanks!