SlideShare a Scribd company logo
1 of 44
Download to read offline
UNIVERSITÀ DEGLI STUDI
DI TRIESTE
DIPARTIMENTO DI INGEGNERIA E ARCHITETTURA
Corso di laurea triennale in Ingegneria elettronica e informatica
Implementazione di un sistema per la generazione di
stimoli visivi e la contemporanea acquisizione dei
movimenti di tracking oculare delle immagini
Relatore:
Prof. Agostino Accardo
Laureando: Correlatore:
Edoardo Romeo Dott. Aleksandar Miladinović
Anno accademico 2020/2021
Indice
1. Introduzione....................................................................................................................... 2
2. Movimenti oculari ............................................................................................................. 4
2.1 Movimenti saccadici (saccadi) .................................................................................... 5
2.2 Movimento di inseguimento lento (smooth pursuit) ................................................... 5
2.3 Sistema di fissazione ................................................................................................... 5
2.4 Riflesso vestibolo-oculomotore................................................................................... 5
2.5 Nistagmo optocinetico................................................................................................. 5
3. Eye tracking....................................................................................................................... 7
3.1 Cenni storici................................................................................................................. 7
4. Sistemi di rilevamento dei movimenti oculari................................................................. 11
4.1 Bobina sclerale (SSCS) ............................................................................................. 11
4.2 Video-oculografia (VOG) ......................................................................................... 11
4.3 IROG ......................................................................................................................... 12
4.4 Comparativa .............................................................................................................. 13
5. Tipologie di stimolazione visiva ..................................................................................... 14
6. Configurazione del dispositivo........................................................................................ 15
7. Scheda NI 6008 ............................................................................................................... 18
7.1 Schema a blocchi....................................................................................................... 18
8. LabVIEW ........................................................................................................................ 20
9. MATLAB: Calibrazione.................................................................................................. 22
10. MATLAB: Stimolazione visiva .................................................................................... 25
11. MATLAB: Elaborazione movimenti oculari................................................................. 26
12. Tipologie di errori.......................................................................................................... 32
13. Esempio di applicazione................................................................................................ 33
14. Conclusioni.................................................................................................................... 39
Bibliografia.......................................................................................................................... 41
2
1. Introduzione
Lo studio dei movimenti oculari e delle tecniche di tracciamento degli stessi sono cresciuti
esponenzialmente negli ultimi decenni, assumendo un ruolo di fondamentale importanza in ambiti
quali la medicina, la psicologia, la linguistica cognitiva, il settore militare, il marketing e la
tecnologia.
Dal punto di vista medico, solo per fare un esempio, informazioni riguardanti il movimento della
pupilla sono utilizzate nella prevenzione, nella diagnosi e nella terapia delle malattie dell'apparato
visivo, nonché nella rilevazione di patologie neurologiche.
Le stesse informazioni, poi, hanno ed avranno il potenziale sempre maggiore di integrarsi nello
sviluppo di interfacce uomo-macchina sempre più funzionali. Robuste tecniche per la rilevazione
dei movimenti oculari sono quindi di interesse sempre maggiore.
Tra i metodi di tracciamento conosciuti vi sono quelli della video-oculografia (VOG) e della bobina
sclerale (SSCS), che verranno approfonditi in seguito. Parallelamente ad essi, inoltre, sono state
sviluppate ulteriori tecnologie, tra cui sistemi ottici ad infrarossi, che permettono il monitoraggio e
la registrazione dei movimenti oculari al buio.
All’interno del presente elaborato è presentata l’implementazione di un sistema di video-
oculografia ad infrarosso (IROG) in grado di generare stimoli visivi con la finalità di acquisire ed
analizzare i movimenti di tracking oculare a partire da una sequenza di immagini: irradiando
l’occhio con alcuni diodi a emissione di raggi infrarossi e rilevando il raggio riflesso è possibile
determinare ad ogni istante la posizione oculare, sfruttando il fatto che cornea e sclera possiedono
differenti indici di riflessione. Dopo una prima descrizione sulle principali tipologie di movimenti
oculari vi sarà una parentesi storica sull’eye tracking a cui seguirà un confronto tra VOG, SSCS ed
IROG. Si passerà poi alla descrizione dell’apparato e dell’esperimento a cui hanno preso parte 27
soggetti in salute di età compresa tra i 15 e i 59 anni.
Le caratteristiche richieste per l’apparato sono state:
• Un setup semplice, non invasivo e di durata ragionevole per il paziente: fissaggio del
casco, allineamento degli illuminatori infrarossi con le pupille, tempistiche relative a
calibrazione e stimolazione visiva.
• L’implementazione tramite Matlab di un primo programma per il processo di calibrazione
e di un secondo programma per il processo di elaborazione dei dati relativi alla
stimolazione visiva tramite immagini.
• Una sufficiente precisione dei segnali oculari.
• La presenza di un’interfaccia grafica completa e user-friendly per la visualizzazione dei
segnali e che permettesse il salvataggio dei dati acquisiti.
3
In base alle caratteristiche precedenti vi sarà inoltre una breve sezione dell’elaborato riguardante
l’ambiente di sviluppo Labview (utilizzo di un’interfaccia semplice che permetta lo start/stop del
programma desiderato, la visualizzazione dei segnali di stimolazione/risposta su un grafico durante
l’esecuzione e il salvataggio dei dati in formato Excel) e la scheda di acquisizione NI 6008.
Infine, vi sarà un’analisi dettagliata dei dati raccolti con plot esplicativi e conclusioni
sull’esperimento.
4
2. Movimenti oculari
Il sistema oculomotore ha come obiettivo l’orientamento rapido della fovea (punto ove cade l’asse
ottico dell’occhio, cioè dove si concentra il fuoco dei raggi luminosi, corrispondente alla zona di
massima acutezza visiva) verso un bersaglio che si trovi nel campo visivo e sul quale si rivolge
l’interesse dell’osservatore.
Per mantenere l’occhio in posizione su un bersaglio è necessaria una certa frequenza di scarica -lo
stesso principio sussiste nel mantenere in posizione un qualsiasi altro muscolo del corpo-. Il
mantenimento della posizione corrisponde ad una certa contrazione muscolare, e le frequenze
necessarie all’occhio sono più alte che in qualsiasi altro muscolo.
I movimenti oculari si dividono in:
• Duzioni: movimenti monoculari in ogni direzione.
• Versioni: movimenti coniugati in cui gli occhi si muovono nella stessa direzione (Figura 1).
Figura 1 – Versione oculare
• Vergenze: movimenti disgiunti in cui gli occhi si muovono in direzioni opposte. Si verificano
tipicamente guardando un oggetto avvicinarsi o allontanarsi. Gli occhi convergono per
mantenere lo sguardo su un oggetto che si avvicina, e divergono quando questo si allontana.
Più vicino è il punto di fissazione e maggiore sarà il movimento di vergenza (Figura 2).
Figura 2 – Vergenza oculare
5
Un’ulteriore differenziazione si basa sulla velocità di tali movimenti: si parla di movimenti lenti e
rapidi.
2.1 Movimenti saccadici (saccadi)
Sono la tipologia di movimenti dell’occhio più frequente. Essi hanno la funzione di spostare nella
zona retinica di massima sensibilità, cioè nella fovea, i vari punti importanti dell'ambiente esterno
che si osservano. In genere la loro ampiezza massima è di circa 20°. Oltre tale angolazione di solito
entra in gioco la rotazione della testa.
Sono movimenti estremamente rapidi: la loro massima velocità angolare può raggiungere i 900°/s.
La latenza di una saccade è, in media, di circa 0,2s (tra la comparsa del bersaglio e l'inizio della
saccade passano circa 0,2s). Una saccade ha una durata media di circa 0,05s. Sono di natura
balistica, una volta iniziato questo tipo di movimento può essere corretto con difficoltà durante
l’esecuzione, non è infatti possibile generare un altro stimolo prima di 0,2s dal precedente.
2.2 Movimento di inseguimento lento (smooth pursuit)
Volontario, viene innescato dal movimento di un’immagine all’interno del campo visivo. Se questo
movimento è al di sotto dei 100°/sec, i nostri occhi sono in grado di seguire l’immagine e
mantenerla ferma sulla retina, permettendoci di apprezzarne i dettagli. Questo movimento è anche
in grado di anticipare l’immagine se il suo movimento segue una traiettoria prevedibile.
2.3 Sistema di fissazione
Si presenta quando fissiamo un oggetto non in movimento. È costituito da diversi piccoli
movimenti lenti di deriva e saccadici di riposizionamento della fovea sul punto di interesse.
2.4 Riflesso vestibolo-oculomotore
Movimento involontario la cui funzione è quella di mantenere lo sguardo su un punto fissato
compensando i movimenti della testa. È mediato dal sistema vestibolare, in grado di calcolare la
posizione relativa della testa e i suoi spostamenti nello spazio. Tale riflesso è presente anche nei
soggetti in stato di coma, ed è utile per valutare l’integrità del tronco encefalico: se ruotando la
testa del paziente lo sguardo rimane fisso su un punto allora il riflesso è ancora presente.
2.5 Nistagmo optocinetico
Movimento ondulatorio ma involontario. È un riflesso che appare ogni volta che si fissano degli
oggetti che presentano un rapido movimento regolare come ad esempio lo scorrere del paesaggio
6
osservato dal finestrino di un treno. È composto da un lento movimento a seguire un oggetto e da
un rapido ritorno quando l'oggetto esce dal campo visivo, in modo che gli occhi possano
nuovamente inseguire un altro oggetto. In altre parole, presenta le due fasi:
• Lenta, in cui la fovea rimane fissa sull’oggetto fissato
• Rapida, in cui si realizza un movimento saccadico per la fissazione di un nuovo punto
7
3. Eye tracking
L’eye tracking è un processo che monitora i movimenti oculari per determinare ove un soggetto sta
rivolgendo il suo sguardo, cosa sta guardando e per quanto tempo lo sguardo si sofferma in un
determinato punto dello spazio. L’occhio può essere modellizzato come una sfera rotante attorno a
tre assi detti di Fick (Figura 3).
Figura 3 – Assi di Fick
Il tracciamento dei movimenti oculari avviene attraverso appositi dispositivi, e la
rilevazione/l’interpretazione dei dati associabili è elaborata tramite software, attraverso tecniche
differenti.
3.1 Cenni storici
Il tracciamento oculare -e di conseguenza lo sviluppo della relativa tecnologia- sembra essere un
concetto moderno, tuttavia le sue radici possono essere collocate attorno al XIX secolo, con l’inizio
degli studi sul processo di lettura (G. Bente 2005) [10].
Durante questa prima fase, i ricercatori studiavano i movimenti oculari senza l’ausilio di strumenti
o attrezzature di misura precisi, basandosi su semplici osservazioni. Solo per fare un esempio, uno
specchio poteva essere posto sulle pagine di un libro letto da un soggetto e un osservatore posto
dietro poteva monitorarne il movimento degli occhi. Nonostante la scarsa precisione di questi
metodi, sono state prodotte alcune interessanti conclusioni sulla percezione visiva durante la
lettura.
La maggior parte delle fonti identifica l’oculista francese Louis Émile Javal come il primo
ricercatore ad aver descritto il movimento degli occhi durante tale processo, alla fine del 1870, anni
considerati come l’inizio dell'era degli studi sull'eye tracking.
Gli esperimenti portarono L.É. Javal alla conclusione, nel 1879, che gli occhi non si muovessero in
modo continuativo e lineare lungo una riga di testo, come ipotizzato in precedenza.
8
La lettura piuttosto consisteva in brevi movimenti rapidi (saccadi) inframezzati da pause, o brevi
fissazioni oculari, su alcuni elementi.
Si legge, in un articolo di E.B. Huey: “[...] Lamare, lavorando con Javal, scoprendo che il
movimento dell'occhio nella lettura non era continuo, ma per piccoli scatti (“per saccadi”), escogitò
il seguente metodo per contare tali movimenti: una punta smussata posta sulla palpebra superiore
del lettore aziona un microfono, il cui suono, trasmesso da un tubo di gomma, rende noto ogni
movimento all'orecchio dell’ascoltatore; i piccoli movimenti di lettura provocano un suono breve,
mentre gli ampi movimenti fatti nel passare dalla fine della riga all'inizio della successiva,
provocano un suono più prolungato” (E.B. Huey 1900: 285).
Gli esperimenti furono descritti anche da L.É. Javal stesso: “[...] A seguito della ricerca di M.
Lamare nel nostro laboratorio, l'occhio fa diversi saccadi durante il passaggio su ogni riga, circa
uno ogni 15-18 lettere.” (L.É. Javal 1879: 252).
Uno dei contributi di L.É. Javal è stato l’introduzione del termine "saccadi" per la prima volta.
Attorno al 1898 fu proposto, da E. Huey, un altro metodo che sfruttava una sorta di lente a contatto
con un'apertura per l'iride, collegata a un indicatore di alluminio che mostrava i movimenti oculari.
Questo metodo, tuttavia, era tanto invasivo da richiedere la somministrazione di cocaina ai soggetti
per ridurre il dolore durante l’esperimento.
Sempre durante lo stesso periodo (1898) fu elaborato da E.B. Delbarre un metodo meccanico
altrettanto invasivo -non a caso l’occhio richiedeva di essere anestetizzato- in grado di disegnare i
movimenti oculari orizzontali sulla superficie di un cilindro cinematografico. Va notato come lo
stesso Delabarre non fosse in grado di determinare se il metodo fosse sicuro per l'occhio: aveva
semplicemente affermato che dopo aver registrato i movimenti per oltre un'ora, si riprendeva entro
una settimana.
Il primo eye tracker non invasivo e preciso fu creato nel 1901 dagli americani R. Dodge e T.S.
Cline, con l’avvio della fase degli eye tracker ottici. Sono stati i primi a utilizzare la luce riflessa
dalla superficie della cornea catturandola, attraverso un sistema ottico, su una lastra fotografica
fotosensibile in movimento, lasciando così traccia del movimento. Il loro dispositivo, chiamato
"TheDodge Photochronograph” (Figura 4), ha rappresentato una svolta nello sviluppo della
tecnologia di tracciamento oculare e ha reso popolari i dispositivi che sfruttavano il riflesso
corneale. Il dispositivo, tuttavia, riscontrava due problematiche: registrava solo i movimenti
orizzontali e richiedeva ai soggetti di mantenere la testa ferma. Ciò nonostante, grazie a questi studi
si è scoperto che una persona non riceve informazioni dal mondo circostante in concomitanza ai
movimenti saccadici.
9
Figura 4 – "TheDodge Photochronograph”
Il successivo passo in avanti nella ricerca sull'eye tracking si realizzò con la costruzione di un
dispositivo in grado di registrare i movimenti oculari sia orizzontali che verticali. Fu presentato
pochi anni dopo, nel 1905, da Ch.H. Judd, C.N. McAlister e W.M. Steel. Posizionarono un piccolo
indicatore meccanico sull'occhio del soggetto in grado di riflettere un punto luminoso e a seconda
della posizione oculare, tale punto luminoso imprimeva il movimento su un nastro fotosensibile. Il
vantaggio del metodo era rappresentato dal fatto che non ci fosse contatto meccanico con l'occhio,
ma richiedeva che la testa del soggetto fosse completamente ferma.
L'era iniziale della ricerca sull'eye tracking ha prodotto risultati che hanno gettato le basi per i
successivi decenni di studi. Al centro della ricerca a quel tempo vi erano problematiche quali la
soppressione saccadica (non si ricevono informazioni durante un saccade), la latenza saccadica
(tempo necessario per iniziare un movimento oculare) e l’effettivo campo visivo disponibile.
La seconda era della ricerca sui movimenti oculari inizia con le riprese cinematografiche degli anni
'20, anni in cui si delineano nuove tecniche di eye tracking.
Contemporaneamente ai metodi già in uso si stava sviluppando una tecnologia che sfruttava la
differenza di potenziale tra la parte posteriore e la parte anteriore dell'occhio, risultante dall’attività
elettrica della retina. Degli elettrodi venivano posizionati vicino all'occhio, di solito su entrambi i
lati, per consentire la registrazione dei cambiamenti di potenziale a seguito del movimento oculare
(J. Grobelny et al. 2006). Nel 1922 E. Schott utilizza l'elettro-oculografia, sfruttando la variabilità
dei potenziali elettrici della cornea e della retina. L'uso di tale metodo migliora di molto la
precisione e la credibilità dei risultati.
Un passo avanti in termini di comfort per i soggetti è stato raggiunto in seguito allo sviluppo della
tecnologia mobile dell’eye tracker. La tecnologia è stata perfezionata negli anni '60, da B. Shackel
(1960) e N.H. Mackworth e E.L. Thomas (1962).
Altri ricercatori hanno poi utilizzato lenti a contatto speciali dotate di bobine, sfruttando il principio
dell'induzione elettromagnetica: si registrano i cambiamenti di potenza indotti nelle bobine sotto
l'influenza dei movimenti oculari, essendo la testa immersa in un campo magnetico. Vi era però un
10
grande svantaggio: i dati ottenuti erano accessibili solo dopo una lunga elaborazione e i risultati
non erano visibili continuativamente.
La terza fase della ricerca sull'eye tracking risale alla metà degli anni '70, parallelamente alla
nascita di una base teorica e metodologica per la psicologia cognitiva.
Gli anni '60 hanno visto la creazione del primo dispositivo di tracciamento oculare moderno. È
stato realizzato per la US Air Force (J. Merchant 1966, 1969; J. Merchant et al. 1974) ed è stato
chiamato "oculometro". Grazie ad algoritmi informatici l'iride è stata riconosciuta su uno schermo
ed è stato possibile determinare il suo centro geometrico, nonché la direzione dello sguardo.
Nel frattempo, nella ricerca medica, dispositivi basati sull’induzione elettromagnetica/sull’elettro-
oculografia hanno avuto larga diffusione.
La fase successiva della ricerca sull'eye tracking è iniziata negli anni '90, favorita dal rapido
sviluppo dei computer e delle capacità di elaborazione dei dati. I dispositivi sono diventati così più
tolleranti ai movimenti della testa, permettendo di evitare la totale immobilizzazione del soggetto.
11
4. Sistemi di rilevamento dei movimenti oculari
Come detto in precedenza vi sono -e vi sono stati- differenti metodi per determinare la posizione
oculare in un dato arco di tempo. Taluni possono essere più invasivi di altri, altri sono attuabili in
un ambiente con scarsa luminosità, altri ancora richiedono una quasi immobilità della testa per una
maggiore precisione.
Tra le metodologie conosciute vi sono:
• Bobina sclerale (scleral search coil system)
• Video-oculografia
• Infrarosso
4.1 Bobina sclerale (SSCS)
Uno dei metodi più accurati per registrare i movimenti oculari è quello della bobina sclerale
(scleral coil), che richiede l’applicazione di una speciale lente a contatto all’interno della quale è
presente una bobina.
La testa del soggetto, in questo caso, deve essere posizionata all’interno di un campo magnetico:
quando la bobina è immersa nel campo magnetico, genera un potenziale elettrico che è funzione
dell’angolo creato tra l’orientamento della bobina e la direzione del campo magnetico. Questo
metodo offre un’alta accuratezza (dell’ordine di alcuni centesimi di grado); a causa della sua
invasività non è però utilizzata frequentemente: la lente a contatto risulta particolarmente scomoda
data la presenza della bobina e di un filo elettrico che fuoriesce dalla lente stessa (Figura 5).
Figura 5 – Soggetto che sta indossando una bobina sclerale. Il conduttore di rame fuoriesce dalla sede in cui è alloggiata
la bobina
4.2 Video-oculografia (VOG)
La video-oculografia (VOG) è un esame non invasivo che permette lo studio dettagliato dei
movimenti oculari (misurazione delle componenti di posizione orizzontale, verticale e torsionale
dei movimenti di entrambi gli occhi) attraverso la presentazione di stimoli visivi personalizzati a
12
monitor ed un sistema di registrazione ad alta velocità basato sul riconoscimento pupillare. La
misurazione delle componenti orizzontali e verticali è una tecnologia consolidata che utilizza il
tracciamento della pupilla e/o il tracciamento del riflesso corneale (Figura 6). Tra le principali
applicazioni ci sono lo studio delle saccadi, dei movimenti d’inseguimento e l’identificazione e la
diagnosi del nistagmo.
Figura 6 – Setup per il metodo della VOG [7]
4.3 IROG
L’oculografia all’infrarosso è una metodica di acquisizione e studio dei movimenti oculari che
consente di registrare e di visualizzare simultaneamente i movimenti oculari nelle condizioni
sperimentali ottimali, e cioè al buio e ad occhi aperti (Dufour, 1995; Kumar and Krol, 1992;
Pagnini et al, 1994; Vicini and Campanini, 1995) [10]
Nella tecnologia descritta all’interno del presente elaborato si sfruttano, come fonte di
illuminazione, raggi infrarossi con spettro di emissione al di fuori della sensibilità dell'occhio
umano, la cui pupilla, non percependo tale frequenza, mantiene una dimensione inalterata durante
l’arco della misurazione. Per un buon esito è importante che il paziente rimanga in un ambiente con
scarsa luminosità. Sotto l’occhio vengono posti quindi dei fotodiodi che permettono di rilevare la
riflessione della luce, noto che la sclera riflette più dell’iride (Figura 7).
È così possibile effettuare il limbus tracking, ovvero tracciare il movimento del bordo dell’iride. Il
posizionamento dei fotodiodi può risultare difficoltoso per i movimenti verticali, poiché la palpebra
copre il bordo dell’iride superiormente, ed è sempre necessaria una taratura diversa per ogni
paziente. I movimenti possono arrivare quindi ad un massimo di 20-25° per i movimenti
orizzontali, 15° verso il basso, 10° verso l’alto. In generale è richiesta l’immobilizzazione della
testa (come in questo esperimento, effettuato tramite casco e mentoniera), oppure è necessario un
meccanismo di rilevazione dei movimenti del capo. Durante l’utilizzo i raggi infrarossi possono
scaldare l’occhio portandolo a uno stato di leggera secchezza e sebbene questo possa causare un
lieve fastidio per il paziente non comporta rischi.
13
Vantaggi:
• Elevata precisione di misura
• Immunità da rumore elettrico
• Semplice uso e applicazione
Svantaggi:
• Intervallo di misura limitato (+25°/-25° in orizzontale)
• Difficoltoso per movimenti verticali
• Segnale alterato durante le chiusure palpebrali
• Necessaria immobilità della testa
Figura 7– Emettitore e sensore a infrarossi per l’IROG
4.4 Comparativa
Invasività Frequenza di campionamento Risoluzione Costo
Alto SSCS SSCS, VOG SSCS SSCS
Medio IROG,VOG IROG,VOG
Basso IROG,VOG VOG
Tabella 1
Come mostrato in Tabella 1, tra i dispositivi presi in esame alcuni non si prestano ad un uso clinico
per ragioni di praticità (SSCS), mentre tra le alternative, l’EOG, ampiamente usata in campo
clinico, presenta problemi a causa del rumore e della estrema variabilità nel tempo dei parametri,
anche se il costo ridotto e la praticità l’hanno resa molto comune.
14
5. Tipologie di stimolazione visiva
All’interno del presente lavoro prenderemo in esame 2 tipologie di stimolazione visiva da
sottoporre all’occhio: la stimolazione casuale e quella periodica.
La stimolazione casuale consiste nello stimolare l’occhio con una sequenza visiva alla volta, a
differenze di tempo variabili in un certo range di valori. In questo esperimento rientra in tale
tipologia la stimolazione tramite immagini, mescolate randomicamente e differenti per ogni
soggetto.
La casualità della sequenza è importante per salvaguardare la non predicibilità del prossimo
stimolo da parte del paziente, che potrebbe anticipare il movimento.
La latenza dei movimenti saccadici è legata alla centralità del target o, in generale, all’ampiezza
dello spostamento di mira.
I normali movimenti saccadici hanno una latenza compresa tra i 200ms e i 230ms, mentre i
movimenti saccadici di correzione hanno una latenza di 150ms circa.
Le stimolazioni periodiche sono invece realizzate presentando delle mire in posizioni fisse ad
intervalli di tempo regolari. Rientra in questa tipologia il processo di calibrazione, che in questo
esperimento segue un pattern di posizioni fisse che, al termine del primo ciclo, si ripetono senza
ulteriori variazioni. Le saccadi predittive, a differenza di quelle normali hanno una latenza fino a
100ms.
15
6. Configurazione del dispositivo
Figura 8–Schema a blocchi del circuito
La Figura 8 rappresenta in maniera schematica l’apparato di calibrazione e stimolazione visiva con
annessa acquisizione dei dati relativi ai movimenti oculari.
L’apparato si compone di un casco (Figura 9) ove il soggetto inserisce la testa, collegato a un case
esterno contenente i circuiti di trattamento e amplificazione del segnale. Il casco viene fissato sul
capo del soggetto in modo da ridurre quanto più possibile i movimenti, favorendo così una
maggiore precisione nelle misurazioni.
Figura 9 – Casco con mentoniera
16
Prima dell’inizio della calibrazione mediante fotodiodo -che verrà approfondita in seguito-, e della
stimolazione visiva, si regolano gli illuminatori infrarossi presenti sul casco, in modo tale che le
tacche di riferimento siano allineate con il centro delle pupille (Figura 10).
Figura 10 – I riferimenti presenti su Right e Left si allineano rispettivamente alle pupille degli occhi destro e sinistro
Come mostrato in Figura 11, mentre il casco rileva i movimenti oculari è possibile agire, tramite il
sistema per il condizionamento del segnale (Figura 12), su guadagno e offset per ogni canale
oculare, in modo da poter effettuare un cambio di scala per segnali che in uscita appaiono o troppo
grandi (segnali che andrebbero oltre 5V ad esempio) o troppo piccoli (segnali la cui variazione non
risulterebbe chiaramente visibile se molto piccola).
Gain e offset vanno impostati in modo differente per ogni soggetto.
Figura 11
Figura 12 – Sistema per il condizionamento del segnale: gain e offset si impostano in modo che l’intero segnale possa
oscillare nel range [-5V;+5V]
17
Normalmente le massime frequenze dei canali oculari sono di 70/80 Hz. Al fine di acquisire tali
segnali e soddisfare così le caratteristiche di frequenza, si è optato per la scheda NI 6008, che
permette di misurare una tensione in entrata di [-10V;+10V] e copre ampiamente l’intervallo di
frequenze misurabili. Al fine di non sovraccaricare il buffer, per tale esperimento è stata scelta una
frequenza di campionamento di 300Hz.
La praticità di questo sistema risiede nel fatto di poter gestire calibrazione e stimolazione,
implementati in ambiente MATLAB, e acquisizione dei dati, da un semplice computer collegato
tramite USB alla scheda NI 6008. Tramite il software LabVIEW è stato poi implementato il
pannello di controllo per l’uso dell’apparecchiatura e per il salvataggio dei dati.
Per ovviare al problema di eventuali ritardi di commutazione delle uscite, ed evitare quindi di non
riuscire ad associare una risposta allo stimolo corrispondente, è stato inserito un DAC, come
mostrato ad inizio capitolo in Figura 8, che comporta una variazione di tensione quasi istantanea al
momento della calibrazione e della stimolazione. In tal modo è possibile conoscere l’esatto
momento di commutazione e quindi valutare il tempo di risposta oculare.
18
7. Scheda NI 6008
Figura 13 – Scheda NI 6008
La scheda DAQ NI-6008 USB (National Instruments) è un dispositivo DAQ multifunzione a basso
costo che offre un sistema I/O analogico e digitale e un counter a 32 bit. È dotato di un
alloggiamento meccanico ed è alimentato tramite bus per una facile portabilità. I canali di ingresso
permettono di acquisire segnali in tensione fino a 10kHz, pertanto, lo strumento non risulta adatto
per alte frequenze. Ai fini dell’esperimento, in ogni caso, tenuto conto delle frequenze di
campionamento, risulta essere particolarmente indicato e versatile. Lo strumento fornisce 8 canali
di ingresso analogici (AI), 2 canali di uscita analogici (AO), 12 canali digitali di ingresso/uscita
(DIO) e un contatore a 32 bit.
7.1 Schema a blocchi
Figura 14 – Circuito di ingresso per i canali analogici della scheda DAQ
MUX: compito del multiplexer è quello di instradare il canale di input analogico desiderato al
blocco successivo. È possibile campionare alla massima frequenza di acquisizione solo un singolo
canale tenendo il MUX collegato all’ingresso interessato, mentre invece se i canali di ingresso sono
due, il MUX deve commutare tra l’uno e l’altro, dimezzando la frequenza di campionamento.
19
È possibile avere un segnale di ingresso single ended, considerato in riferimento alla massa, oppure
è possibile effettuare misure differential, dove il segnale viene considerato come differenza di
potenziale tra i due capi dell’ingresso e non più riferito a massa.
ADC: convertitore analogico/digitale che permette la conversione della tensione analogica in input,
in segnale digitale.
AI FIFO: buffer che permette la conservazione dei dati durante l’acquisizione dell’input analogico,
in modo da non perdere informazioni.
20
8. LabVIEW
L’ambiente di sviluppo scelto per la scheda NI 6008 è stato LabVIEW. Esso è stato utilizzato per il
salvataggio dei dati acquisiti durante le misurazioni (Figura 15).
Figura 15 – Per il salvataggio dei dati si è optato per la creazione di un file excel contenente le informazioni relative ad
ogni canale di acquisizione: movimento orizzontale, verticale e fotodiodo
Tale processo, grazie a Labview, è di facile implementazione grazie agli schemi a blocchi forniti
dal programma stesso e facilmente intuibili dall’utente, come il Block Diagram (Figura 16), la cui
voce File I/O permette di agire su Write To Measurement File al fine di adottare, tra gli
innumerevoli tipi disponibili, un documento excel per il salvataggio e il trattamento successivo dei
dati.
Figura 16 – Block Diagram
Il DAQ Assistant è un modulo che permette di creare ed eseguire un task (insieme di uno o più
canali interfacciati) sfruttando i driver forniti. È possibile sia acquisire che generare un segnale, in
21
entrambi i casi esso può essere analogico o digitale, in tensione o corrente. Come detto in
precedenza è stata scelta una frequenza di campionamento di 300Hz (Figura 17).
Figura 17 – Schermata di configurazione del DAQ Assistant. Frequenza di campionamento impostata a 300Hz per i 3
canali Voltage_0, Voltage_1 e Voltage2
L’interfaccia grafica (Figura 18) permette infine di visualizzare i segnali interessati in un grafico: il
primo canale, in bianco, relativo ai movimenti orizzontali, il secondo canale, in rosso, relativo ai
movimenti verticali e il terzo canale, in verde, relativo al fotodiodo.
Figura 18
22
9. MATLAB: Calibrazione
La prima e l’ultima fase dell’esperimento sono costituite dal processo di calibrazione dell’apparato.
La calibrazione iniziale è necessaria per settare gain e offset e regolare così la scala per la
successiva acquisizione dei dati relativi alla stimolazione visiva tramite sequenza di immagini. La
seconda calibrazione invece, al termine della stimolazione, è stata adottata per osservare eventuali
discrepanze con la prima: nel caso ideale i dati di prima e seconda calibrazione dovrebbero
coincidere, nel caso reale invece si punta alla massima somiglianza possibile tra essi, indice del
fatto che il soggetto, durante tutta la durata dell’esperimento, ha mantenuto il capo quanto più
fermo possibile, fornendo così una maggior precisione nelle misurazioni.
Un dettaglio molto importante di cui è stato necessario tenere conto durante le fasi di calibrazione e
di stimolazione è stato l’aver operato all’interno di un luogo con scarsa illuminazione al fine di non
interferire con gli illuminatori infrarossi del casco (Figura 19).
Figura 19 – Illuminatori infrarossi
A una distanza di circa 120cm dal casco è stato posizionato un monitor. Un problema riscontrato in
tale fase è stato quello della sincronizzazione di inizio calibrazione con l’effettivo inizio di
acquisizione dei dati. Al fine di ridurre al minimo il possibile delay tra stimolo e acquisizione è
stato adottato un fotodiodo collegato meccanicamente al monitor stesso. La funzione di tale
fotodiodo è stata quella di associare un cambio di intensità luminosa con l’inizio della calibrazione,
o un particolare momento di essa. La sequenza di calibrazione sviluppata quindi è stata ottenuta
con due differenti tipologie di immagini per ogni movimento: una con schermo completamente
nero e indicatore bianco mentre l’altra identica alla precedente ma con un quadratino bianco in alto
a sinistra.
Il fotodiodo è stato quindi attaccato al monitor proprio in corrispondenza di tale area (Figura 20),
che accendendosi e spegnendosi scandisce il clock per ogni ciclo di calibrazione, oltre ai
movimenti di destra, sinistra, alto, basso e centro.
23
Figura 20 – Nelle immagini di dimensione 1590x1060 pixel è stato inserito un quadrato bianco di 80x80 pixel
nell’angolo in alto a sinistra (foto a destra, sotto il tappo) al fine di attivare il fotodiodo e determinare il momento
corrispondente di inizio calibrazione o il passaggio dell’indicatore bianco a monitor da una posizione a un'altra (esempio
da centro ad alto, o da centro a destra o viceversa)
Il ciclo di calibrazione (Figura 21) è stato quindi sviluppato nel seguente modo:
• 1,5s per l’immagine con indicatore bianco al centro + trigger (quadrato bianco nell’angolo
in alto a sinistra), 0,5s per la medesima immagine senza trigger (angolo in alto a sinistra
nero);
• 1s per l’immagine con indicatore bianco a destra + trigger, 1s per la medesima immagine
senza trigger;
• 1s per l’immagine con indicatore bianco al centro + trigger, 1s per la medesima immagine
senza trigger;
• 1s per l’immagine con indicatore bianco a sinistra + trigger, 1s per la medesima immagine
senza trigger;
• 1s per l’immagine con indicatore bianco al centro + trigger, 1s per la medesima immagine
senza trigger;
• 1s per l’immagine con indicatore bianco sopra + trigger, 1s per la medesima immagine
senza trigger;
• 1s per l’immagine con indicatore bianco al centro + trigger, 1s per la medesima immagine
senza trigger;
• 1s per l’immagine con indicatore bianco sotto + trigger, 1s per la medesima immagine
senza trigger.
A questo punto il ciclo ricomincia. La differenziazione del trigger iniziale (1,5s) ha permesso di
stabilire a posteriori l’inizio di ciascun ciclo di calibrazione con le relative acquisizioni dati.
Durante la calibrazione, inoltre, sono stati settati gain e offset in previsione della successiva
stimolazione visiva tramite immagini.
24
Figura 21 – Ogni coppia di immagini rappresenta un movimento della calibrazione: le immagini a sinistra provviste di
trigger nell’angolo in alto a sinistra, quelle a destra sprovviste
25
10. MATLAB: Stimolazione visiva
Al termine della calibrazione iniziale al soggetto test è stata sottoposta una sequenza di 9 immagini
come stimolazione visiva . Obiettivo di tale fase dell’esperimento è il tracking oculare.
A tal fine si è optato per un tempo a monitor di 4s a immagine, sufficiente a permettere al soggetto
di visionarla. Tali immagini sono poi state intervallate dall’immagine di calibrazione con
l’indicatore al centro e senza trigger, della durata di 0,4s, in modo che l’occhio si riposizionasse al
centro del monitor in attesa dell’immagine successiva.
Le caratteristiche delle immagini sono le seguenti: 45cm di larghezza e 30 cm di altezza,
corrispondenti rispettivamente a spostamenti angolari massimi di ±10,5° (movimenti orizzontali) e
±7,07° (movimenti verticali).
Anche in questa fase, come per la calibrazione, essendo immagini non nere, è stato possibile
sfruttare il fotodiodo per associare i dati acquisiti a ciascuna immagine (il trigger, infatti, si attiva
non appena compare un’immagine a monitor, essendo l’angolo in alto a sinistra dell’immagine non
nero).
26
11. MATLAB: Elaborazione movimenti oculari
Al termine dell’acquisizione e del salvataggio in formato .xls dei dati relativi a calibrazioni e
stimolazione visiva, si è passati alla fase di elaborazione dei movimenti oculari. Di seguito si
prenderà come riferimento il soggetto test numero 1 e si mostreranno i vari plot ottenuti dai dati
acquisiti. La linea guida adottata per elaborare i risultati è la stessa per i restanti 26 soggetti
(chiaramente sussisteranno differenze tra soggetti diversi, sia nel modo di osservare le immagini sia
nella precisione durante le misurazioni).
La Figura 22 mostra i 2 plot relativi alla calibrazione e alla stimolazione visiva: in funzione del
tempo (ascisse) sono state registrate le variazioni di intensità luminosa del fotodiodo, tradotte in
tensione (ordinate).
Figura 22 – A sinistra il plot relativo alla calibrazione: in funzione del tempo, le 2 fasce di punti presenti -quella più
bassa attorno a 0,6V e quella più alta attorno a 1,2V–1,4V- sono associabili alle 2 tipologie di immagini: “con” (fascia
più alta) e “senza” trigger (fascia più bassa). A destra il plot relativo alla stimolazione visiva: vi sono 9 blocchi di punti,
tante quante sono le immagini, intervallati dal riposizionamento dell’occhio al centro (immagine senza trigger con
puntatore al centro, sempre attorno a 0,6V come nel plot della calibrazione a sinistra) tra un’immagine e la successiva
La Figura 23 si riferisce al processo di calibrazione e descrive contemporaneamente gli spostamenti
oculari verticali, evidenziati in rosso, e orizzontali, evidenziati in nero, in funzione del tempo. Per
ogni istante è quindi possibile stabilire, qualora non vi siano errori grossolani nel posizionamento
dell’apparecchiatura, il punto di osservazione a monitor da parte del soggetto in esame.
Idealmente, date le caratteristiche delle immagini create per la calibrazione e data la distanza del
soggetto test dal monitor (circa 120cm), gli spostamenti oculari verticali avranno uno spostamento
27
massimo di ±10cm -assumendo come posizione iniziale quella con il puntatore al centro del
monitor-, corrispondenti a un’ampiezza massima di ±4,72°, mentre gli spostamenti oculari
orizzontali avranno uno spostamento massimo di ±15cm, corrispondenti a un’ampiezza massima di
±7,07°.
I punti dove invece i tratti orizzontali o verticali registrano picchi fuori dal range sono da attribuire
ad una chiusura palpebrale o anche al fatto che i raggi infrarossi, durante la riflessione, possano
essere ostruiti dalla palpebra, che copre parzialmente parte dell’iride.
Figura 23 – Plot dei movimenti oculari verticali (in rosso) e orizzontali (in nero) in funzione del tempo. I tratti verticali
mostrano, in funzione del tempo, spostamenti angolari prossimi a ±4,72°, mentre quelli orizzontali prossimi a ±7,07°.
Poco prima di 25s, per il soggetto test 1 in esame, è possibile notare un picco verso il basso nel tracciato relativo ai
movimenti verticali, causato molto probabilmente da una chiusura palpebrale
In Figura 24 sono mostrate la correzione dei punti di calibrazione tramite mapping e le posizioni
medie dei target di calibrazione, fino all’ottenimento dei punti di fissazione, confrontabili con
quelli ideali. Tale stima è utile a verificare la precisione delle misurazioni nella successiva
stimolazione visiva tramite immagini.
28
Figura 24 – A partire dal plot in alto a sinistra fino a quello in basso a destra: calibrazione espressa tramite spostamenti
angolari per movimenti verticali e orizzontali (prima immagine: tensioni (V) in funzione del tempo (t)), punti di
osservazione a monitor (seconda immagine: tensioni (V) su entrambi gli assi, una relativa ai movimenti orizzontali e una
a quelli verticali), correzione tramite mapping e stima delle aree di “centro”, “destra”, “sinistra”, “alto” e “basso”
confrontabili con quelle ideali, identificate dai cerchi vuoti (terza, quarta, quinta e sesta immagine: mapping per il
passaggio tensioni→gradi, su entrambi gli assi)
Elaborati i plot sulla calibrazione e sulla sua correzione si sono ottenuti:
1) i plot con gli spostamenti angolari relativi ai movimenti orizzontali e verticali durante
l’osservazione delle 9 immagini (figura 25)
2) i plot del punto 1) corretti sfruttando il processo di mapping utilizzato durante la fase di
calibrazione (figura 26)
3) i plot coi tracciati originali dei punti di osservazione a monitor per ciascuna immagine (Figura
27)
4) i plot del punto 3) corretti sfruttando il processo di mapping utilizzato durante la fase di
calibrazione (Figura 28)
5) i plot con gli spostamenti angolari relativi ai punti di fissazione (con correzione) per ciascuna
immagine (Figura 29)
6) i plot coi tracciati dei punti di fissazione (con correzione) a monitor per ciascuna immagine
(Figura 30)
29
Figura 25 – Tracciati degli spostamenti angolari orizzontali (in nero) e verticali (in rosso), espressi come tensioni (V) in
funzione del tempo (t), per ciascuna delle 9 immagini
Figura 26 – Tracciati degli spostamenti angolari orizzontali (in nero) e verticali (in rosso) corretti tramite processo di
mapping (tensioni→gradi, su entrambi gli assi) utilizzato durante la fase di calibrazione, per ciascuna delle 9 immagini
30
Figura 27 – Tracciati originali dei punti di osservazione a monitor (tensioni (V) su entrambi gli assi, una relativa ai
movimenti orizzontali e una a quelli verticali), per ciascuna delle 9 immagini
Figura 28 – Tracciati originali dei punti di osservazione a monitor, corretti tramite processo di mapping (tensioni→gradi,
su entrambi gli assi) utilizzato durante la fase di calibrazione, per ciascuna delle 9 immagini
31
Figura 29 – Tracciati degli spostamenti angolari relativi ai punti di fissazione (con correzione), espressi come tensioni
(V) in funzione del tempo (t), per ciascuna delle 9 immagini
Figura 30 – Tracciati (mapping: tensioni→gradi, su entrambi gli assi) dei punti di fissazione (con correzione) a monitor,
per ciascuna delle 9 immagini
32
12. Tipologie di errori
Le irregolarità riscontrate dall’analisi dei grafici sono quasi sempre implicabili ad errori umani, e le
principali cause sono:
• Errato posizionamento del casco. È infatti importante che gli indicatori degli illuminatori
infrarossi siano posizionati quanto più precisamente possibile all’altezza del centro di
ciascuna pupilla. Spesso tale processo risulta difficoltoso in quanto potenzialmente affetto
da errore di parallasse, oltre che ostruito dalla palpebra stessa, in grado di coprire parte
della pupilla (Figura 31).
• Movimenti del capo. La testa, infatti, se non è fissata alla mentoniera in modo saldo, avrà
più probabilità di compiere movimenti anche involontari compromettendo così la
precisione delle misurazioni (ricordiamo che durante la calibrazione si settano i parametri
di gain e offset e tali settaggi dovrebbero avvenire a testa completamente immobile)
• Esposizione eccessiva agli infrarossi. Se, infatti, un soggetto indossa per un tempo
prolungato il casco è portato ad avere una lacrimazione più consistente rispetto alle
condizioni ambientali standard, che si traduce in uno sbattimento palpebrale più frequente
in grado di sottrarre regolarità al segnale (Figura 32).
• Saturazione del segnale. È possibile che successivamente alla regolazione di gain e offset il
segnale saturi e venga tagliato, con conseguente perdita di informazione.
• Movimenti di anticipo di uno stimolo se un soggetto tende a prevedere la posizione futura
dello stimolo (ad esempio durante la calibrazione dove il pattern dei movimenti
dell’indicatore è il medesimo per ogni ciclo), o movimenti correttivi durante gli stimoli.
Figura 31 – Il soggetto test 10 molto probabilmente ha posizionato in modo errato il casco: i punti di fissazione trovati
risultano infatti totalmente non confrontabili con quelli ideali (figura in basso a destra)
33
Figura 32 – Il soggetto test 25 presenta dei picchi anomali verso il basso (tracciato in nero, relativo ai movimenti
orizzontali), indice probabilmente di una chiusura frequente delle palpebre
13. Esempio di applicazione
Di seguito, per mostrare un esempio del tracking oculare risultante dalla completa elaborazione dei
dati di calibrazione e sequenza visiva, prenderemo come riferimento il soggetto test numero 20 e
mostreremo il confronto tra i punti di fissazione (mapping: tensioni→gradi, su entrambi gli assi)
registrati per alcune delle immagini e l’area di interesse effettiva delle immagini stesse:
34
35
36
37
38
39
14. Conclusioni
Il presente elaborato ha avuto come scopo l’implementazione di un sistema per la generazione di
stimoli visivi con la possibilità di acquisire ed elaborare i dati relativi al tracking oculare delle
immagini. Tra le diverse tecnologie esistenti si è optato per la video-oculografia ad infrarosso
(IROG): essa presenta un buon compromesso tra praticità, costo e precisione nelle misurazioni (il
rumore che disturba il segnale risulta trascurabile).
Ricordiamo infatti che, ad esempio, la bobina sclerale fornisce un’alta precisione nelle misurazioni
ma risulta eccessivamente invasiva, dato non trascurabile date le tempistiche dell’esperimento,
seppur contenute; oppure ancora la VOG che, nonostante i costi ridotti e l’ampio campo di misura,
presenta problematiche relative al rumore o alla variabilità dei parametri nel tempo.
L’ambiente di sviluppo Labview usato per il salvataggio in formato Excel dei dati relativi ai 3
differenti canali di acquisizione -movimenti orizzontali, movimenti verticali e fotodiodo- si è
rivelato particolarmente indicato e versatile in termini di compatibilità e semplicità di utilizzo.
L’interfaccia grafica molto intuitiva ha infatti permesso l’inserimento di un grafico con andamento
run-time dei segnali oculari e del trigger.
Dall’analisi dei plot di calibrazione e stimolazione visiva si può concludere che il sistema si è
rivelato affidabile: in circa un terzo dei soggetti la calibrazione è sufficientemente buona da poter
avere risultati attendibili, in un altro terzo vi sono state delle correzioni che hanno permesso di
stabilire le aree delle immagini fissate dal soggetto.
È risultato inoltre sufficientemente preciso, e le cause d’errore, come visto poc’anzi, sono di
carattere umano. Con ulteriori accorgimenti e perfezionamenti tali errori possono essere mitigati,
rendendo il sistema ancora più preciso. Ciò nonostante, è stato possibile osservare, tramite
Labview, in uno dei tracciati oculari, un possibile nistagmo optocinetico (Figura 33), forma di
movimento oculare involontaria evocata in un soggetto sano come parte del riflesso vestibolo-
oculare, atto ad agganciare e mantenere un’immagine stabile sulla retina.
40
Figura 33 – Il tracciato presenta picchi regolari di ampiezza ridotta come quello evidenziato in figura, possibile indice di
un movimento involontario durante il mantenimento di un’immagine sulla retina
41
Bibliografia
[1] A Fast Center of Pupil Detection Algorithm for VOG-Based Eye Movement Tracking, S. I.
Kim, J. M. Cho, J. Y. Jung, S. H. Kim, J. H. Lim, T. W. Nam, J. H. Kim. Department of
Biomedical Engineering, Inje University, Kimhae, 621-749, Korea
[2] Movimenti oculari, F. Casalboni
[3] I movimenti oculari, Chiara Della Libera. DSNV Università di Verona Sezione di
Fisiologia Umana
[4] Studio del sistema vestibulo-oculomotorio rapido (saccadici), Prof. Tanzariello
[5] Eye Motor Physiology, Dr Besharati MD
[6] Comparing the accuracy of video-oculography and the scleral search coil system in human
eye movement analysis, Takao Imai, Kazunori Sekine, Kousuke Hattori, Noriaki Takeda,
Izumi Koizuka, Koji Nakamae, Katsuyoshi Miura, Hiromu Fujioka, Takeshi Kubo
[7] Video-oculografía: Exploración y registro de la motilidad ocular, José Perea
[8] Innovations, advantages and limitations of the infrared video-nystagmography, Acta
otorhinolaryngologica Italica: organo ufficiale della Società italiana di otorinolaringologia
e chirurgia cervico-facciale
[9] The First Hundred Years: a History of Eye Tracking as a Research Method, Monika
PŁUŻYCZKA Uniwersytet Warszawski/ University of Warsaw
[10] La videonistagmografia all'infrarosso nella diagnostica vestibolare, Antonio Frisina, Fabio
Piazza, Nicola Quaranta. Istituto di Scíenze Otorinolaringologiche. Clinica
otorinolaringoiatrica, Microchirurgia Otologica e Otoneurologica, Università degli Studi di
Parma
[11] Pupil Detection and TrackingUsing Multiple Light Sources, Carlos Marimoto, Dave
Koons, Arnon Amir, Myron Flickner. IBM Almaden Research Center
[12] LabVIEW User Manual - National Instruments
[13] USER GUIDE NI USB-6008/6009 / Bus-Powered Multifunction DAQ USB Device
42
Ringraziamenti
Solitamente al termine di un’avventura degna di nota ci si volta indietro per osservare quanta strada
si è riusciti a percorrere, ricordando le tappe salienti, gli stati d’animo, le persone incrociate che in
qualche modo hanno lasciato un semino pronto a germogliare in futuro...
Credo che questo percorso possa essere definito una gran bell’avventura. Di strada ne è stata
percorsa molta, le emozioni non sono mancate e il privilegio di aver potuto incontrare persone
stupende mi è stato concesso. Ringrazio quindi nel suo insieme questo cammino per avermi
arricchito come persona e per avermi messo alla prova nel non mollare di fronte alle difficoltà.
E ora che sono giunto al termine ci tengo a ricordare e ringraziare alcune persone.
Grazie mamma e Vale, la mia famiglia, per il sostegno morale ed economico, per avermi dato
consigli, per avermi sopportato, per aver avuto fiducia in me e per tutto l’affetto dimostrato.
Grazie a nonna Tina -chiacchierate alla “gatto&volpe” ne abbiamo fatte parecchie ah? (e ancora ne
abbiamo da fare)-, nonno Vincenzo e zio Massimo per tutto l’aiuto che mi avete dato, per aver
gioito con me delle mie vittorie come fossero le vostre. Grazie a nonna Giovanna, zia Pina e cugini,
che nonostante la distanza geografica mi sostenete e mi incoraggiate sempre.
Grazie a mio fratello mancato: Alessio. Grazie amico mio -e grazie anche alla tua famiglia- per
essere stato, ed essere tuttora, una spalla su cui poter contare per qualsiasi cosa, per avermi
incoraggiato sempre, per avermi ascoltato (senza dubbio ricorderemo la tua pazienza da santo per
tutte le chiamate a cui non ho risposto quando ero in università o studiavo).
Un ringraziamento va a tutti i miei coinquilini di questi anni a Trieste: Riu, Giulia, Vale, le Robi,
Jeremy, Rocco. Abbiamo passato innumerevoli momenti a non tirare più fiato dal ridere, a parlare
per ore (o no Malu?), a riflettere e a sostenerci a vicenda. Come dimenticarsi in particolare del mio
compagno di stanza, Riu: sono felice di aver condiviso con te tanti dei momenti più divertenti in
assoluto, di essermi potuto confrontare su tanti aspetti e ti ringrazio per avermi mostrato altre
prospettive da cui osservare le cose.
(Ah, e ringrazio tutti i miei coinquilini per avermi fatto monopolizzare il freezer con pollai interi,
perché alla domanda “che mangi oggi?” la risposta era sempre “riso&pollo”).
Ringrazio Antonio che, assieme a Jeremy, è stata la persona con cui ho condiviso maggiormente “Il
Pezzo”, fino a notte inoltrata a preparare esami per poi non capire più niente e scoppiare a ridere
senza motivo. Grazie, inoltre, per avermi trasmesso la tua fame travolgente di crescita personale.
Grazie a Michelle, per tutti i film visti, per i pranzi e le lunghe chiacchierate.
Grazie a Davide, Letizia e Daniele, per tutte le volte che siete stati presenti lungo questo cammino
e per avermi sempre spronato a dare il meglio.
Grazie a Franci per aver fatto di casa tua il mio campo base quando scrivevo la tesi, per le studiate
folli fino a notte fonda, per i tuoi caffè da 24h, e per tutti i confronti arricchenti che abbiamo avuto.
43
Ringrazio tutte le persone di vecchia e nuova data con cui ho avuto, ed ho ancora, il piacere di
condividere molto: Enrico, Brian, Nicholas, Stefano, Annalisa, Colu, Elisa, Naina.
Un ringraziamento per questa tesi lo rivolgo al mio correlatore, Aleksandar, per la sua disponibilità,
per la sua simpatia e per avermi fornito molte delucidazioni sui programmi di elaborazione di
tracking oculare.
Vorrei infine ringraziare il mio Van Loon, come canterebbe Guccini: papà. Grazie per aver creduto
in me sin dall’inizio. Grazie per avermi lasciato un messaggio prezioso come l’oro -che hai usato
anche per appianare i miei dubbi sulla riuscita di tale percorso- ricordandomi, senza alcun indugio,
che: “tu, con la testa che hai, nella vita, puoi fare quello che vuoi”.
Sono sicuro che oggi saresti orgoglioso di me.

More Related Content

Similar to Implementazione di un sistema per la generazione di stimoli visivi e la contemporanea acquisizione dei movimenti di tracking oculare delle immagini

Analisi dei movimenti dell'articolazione tibio-tarsica in pazienti affetti da...
Analisi dei movimenti dell'articolazione tibio-tarsica in pazienti affetti da...Analisi dei movimenti dell'articolazione tibio-tarsica in pazienti affetti da...
Analisi dei movimenti dell'articolazione tibio-tarsica in pazienti affetti da...AnnaCapponi1
 
RapWords – Tachistoscopio: un’app per esercitare e migliorare la velocità e ...
RapWords – Tachistoscopio: un’app per esercitare e migliorare la velocità e ...RapWords – Tachistoscopio: un’app per esercitare e migliorare la velocità e ...
RapWords – Tachistoscopio: un’app per esercitare e migliorare la velocità e ...Anastasis Soc. Coop.
 
vLezione 25 3-2010 mg
 vLezione 25 3-2010 mg vLezione 25 3-2010 mg
vLezione 25 3-2010 mgimartini
 
Tesi di laurea di Josip Mihovilović
Tesi di laurea di Josip MihovilovićTesi di laurea di Josip Mihovilović
Tesi di laurea di Josip MihovilovićJosip Mihovilovic
 
Realizzazione di una base di dati per la memorizzazione di dati provenienti d...
Realizzazione di una base di dati per la memorizzazione di dati provenienti d...Realizzazione di una base di dati per la memorizzazione di dati provenienti d...
Realizzazione di una base di dati per la memorizzazione di dati provenienti d...mfurlanetto
 

Similar to Implementazione di un sistema per la generazione di stimoli visivi e la contemporanea acquisizione dei movimenti di tracking oculare delle immagini (8)

Analisi dei movimenti dell'articolazione tibio-tarsica in pazienti affetti da...
Analisi dei movimenti dell'articolazione tibio-tarsica in pazienti affetti da...Analisi dei movimenti dell'articolazione tibio-tarsica in pazienti affetti da...
Analisi dei movimenti dell'articolazione tibio-tarsica in pazienti affetti da...
 
RapWords – Tachistoscopio: un’app per esercitare e migliorare la velocità e ...
RapWords – Tachistoscopio: un’app per esercitare e migliorare la velocità e ...RapWords – Tachistoscopio: un’app per esercitare e migliorare la velocità e ...
RapWords – Tachistoscopio: un’app per esercitare e migliorare la velocità e ...
 
vLezione 25 3-2010 mg
 vLezione 25 3-2010 mg vLezione 25 3-2010 mg
vLezione 25 3-2010 mg
 
305 ircss linee-guida_prevenzione_vista
305   ircss linee-guida_prevenzione_vista305   ircss linee-guida_prevenzione_vista
305 ircss linee-guida_prevenzione_vista
 
Tesi
TesiTesi
Tesi
 
Tesi di laurea di Josip Mihovilović
Tesi di laurea di Josip MihovilovićTesi di laurea di Josip Mihovilović
Tesi di laurea di Josip Mihovilović
 
235 ircss linee-guida_prevenzione_vista
235   ircss linee-guida_prevenzione_vista235   ircss linee-guida_prevenzione_vista
235 ircss linee-guida_prevenzione_vista
 
Realizzazione di una base di dati per la memorizzazione di dati provenienti d...
Realizzazione di una base di dati per la memorizzazione di dati provenienti d...Realizzazione di una base di dati per la memorizzazione di dati provenienti d...
Realizzazione di una base di dati per la memorizzazione di dati provenienti d...
 

Recently uploaded

Webinar 07/05/2024 | Nuova Direttiva Europea sulle acque reflue municipali
Webinar 07/05/2024 | Nuova Direttiva Europea sulle acque reflue municipaliWebinar 07/05/2024 | Nuova Direttiva Europea sulle acque reflue municipali
Webinar 07/05/2024 | Nuova Direttiva Europea sulle acque reflue municipaliServizi a rete
 
"Qui si fa il ponte!" La storia di un’innovativa opera in cemento armato: il ...
"Qui si fa il ponte!" La storia di un’innovativa opera in cemento armato: il ..."Qui si fa il ponte!" La storia di un’innovativa opera in cemento armato: il ...
"Qui si fa il ponte!" La storia di un’innovativa opera in cemento armato: il ...Sergio Primo Del Bello
 
Convegno 07-05-2024 | Presentazione Antonio De Vito
Convegno 07-05-2024 | Presentazione Antonio De VitoConvegno 07-05-2024 | Presentazione Antonio De Vito
Convegno 07-05-2024 | Presentazione Antonio De VitoServizi a rete
 
Convegno 07-05-2024 | Presentazione Romina Bonaccorsi
Convegno 07-05-2024 | Presentazione Romina BonaccorsiConvegno 07-05-2024 | Presentazione Romina Bonaccorsi
Convegno 07-05-2024 | Presentazione Romina BonaccorsiServizi a rete
 
Convegno 07-05-2024 | Presentazione Francesca Medda
Convegno 07-05-2024 | Presentazione Francesca MeddaConvegno 07-05-2024 | Presentazione Francesca Medda
Convegno 07-05-2024 | Presentazione Francesca MeddaServizi a rete
 
Convegno 07-05-2024 | Presentazione Giuseppe Barberio
Convegno 07-05-2024 | Presentazione Giuseppe BarberioConvegno 07-05-2024 | Presentazione Giuseppe Barberio
Convegno 07-05-2024 | Presentazione Giuseppe BarberioServizi a rete
 

Recently uploaded (6)

Webinar 07/05/2024 | Nuova Direttiva Europea sulle acque reflue municipali
Webinar 07/05/2024 | Nuova Direttiva Europea sulle acque reflue municipaliWebinar 07/05/2024 | Nuova Direttiva Europea sulle acque reflue municipali
Webinar 07/05/2024 | Nuova Direttiva Europea sulle acque reflue municipali
 
"Qui si fa il ponte!" La storia di un’innovativa opera in cemento armato: il ...
"Qui si fa il ponte!" La storia di un’innovativa opera in cemento armato: il ..."Qui si fa il ponte!" La storia di un’innovativa opera in cemento armato: il ...
"Qui si fa il ponte!" La storia di un’innovativa opera in cemento armato: il ...
 
Convegno 07-05-2024 | Presentazione Antonio De Vito
Convegno 07-05-2024 | Presentazione Antonio De VitoConvegno 07-05-2024 | Presentazione Antonio De Vito
Convegno 07-05-2024 | Presentazione Antonio De Vito
 
Convegno 07-05-2024 | Presentazione Romina Bonaccorsi
Convegno 07-05-2024 | Presentazione Romina BonaccorsiConvegno 07-05-2024 | Presentazione Romina Bonaccorsi
Convegno 07-05-2024 | Presentazione Romina Bonaccorsi
 
Convegno 07-05-2024 | Presentazione Francesca Medda
Convegno 07-05-2024 | Presentazione Francesca MeddaConvegno 07-05-2024 | Presentazione Francesca Medda
Convegno 07-05-2024 | Presentazione Francesca Medda
 
Convegno 07-05-2024 | Presentazione Giuseppe Barberio
Convegno 07-05-2024 | Presentazione Giuseppe BarberioConvegno 07-05-2024 | Presentazione Giuseppe Barberio
Convegno 07-05-2024 | Presentazione Giuseppe Barberio
 

Implementazione di un sistema per la generazione di stimoli visivi e la contemporanea acquisizione dei movimenti di tracking oculare delle immagini

  • 1. UNIVERSITÀ DEGLI STUDI DI TRIESTE DIPARTIMENTO DI INGEGNERIA E ARCHITETTURA Corso di laurea triennale in Ingegneria elettronica e informatica Implementazione di un sistema per la generazione di stimoli visivi e la contemporanea acquisizione dei movimenti di tracking oculare delle immagini Relatore: Prof. Agostino Accardo Laureando: Correlatore: Edoardo Romeo Dott. Aleksandar Miladinović Anno accademico 2020/2021
  • 2. Indice 1. Introduzione....................................................................................................................... 2 2. Movimenti oculari ............................................................................................................. 4 2.1 Movimenti saccadici (saccadi) .................................................................................... 5 2.2 Movimento di inseguimento lento (smooth pursuit) ................................................... 5 2.3 Sistema di fissazione ................................................................................................... 5 2.4 Riflesso vestibolo-oculomotore................................................................................... 5 2.5 Nistagmo optocinetico................................................................................................. 5 3. Eye tracking....................................................................................................................... 7 3.1 Cenni storici................................................................................................................. 7 4. Sistemi di rilevamento dei movimenti oculari................................................................. 11 4.1 Bobina sclerale (SSCS) ............................................................................................. 11 4.2 Video-oculografia (VOG) ......................................................................................... 11 4.3 IROG ......................................................................................................................... 12 4.4 Comparativa .............................................................................................................. 13 5. Tipologie di stimolazione visiva ..................................................................................... 14 6. Configurazione del dispositivo........................................................................................ 15 7. Scheda NI 6008 ............................................................................................................... 18 7.1 Schema a blocchi....................................................................................................... 18 8. LabVIEW ........................................................................................................................ 20 9. MATLAB: Calibrazione.................................................................................................. 22 10. MATLAB: Stimolazione visiva .................................................................................... 25 11. MATLAB: Elaborazione movimenti oculari................................................................. 26 12. Tipologie di errori.......................................................................................................... 32 13. Esempio di applicazione................................................................................................ 33 14. Conclusioni.................................................................................................................... 39 Bibliografia.......................................................................................................................... 41
  • 3. 2 1. Introduzione Lo studio dei movimenti oculari e delle tecniche di tracciamento degli stessi sono cresciuti esponenzialmente negli ultimi decenni, assumendo un ruolo di fondamentale importanza in ambiti quali la medicina, la psicologia, la linguistica cognitiva, il settore militare, il marketing e la tecnologia. Dal punto di vista medico, solo per fare un esempio, informazioni riguardanti il movimento della pupilla sono utilizzate nella prevenzione, nella diagnosi e nella terapia delle malattie dell'apparato visivo, nonché nella rilevazione di patologie neurologiche. Le stesse informazioni, poi, hanno ed avranno il potenziale sempre maggiore di integrarsi nello sviluppo di interfacce uomo-macchina sempre più funzionali. Robuste tecniche per la rilevazione dei movimenti oculari sono quindi di interesse sempre maggiore. Tra i metodi di tracciamento conosciuti vi sono quelli della video-oculografia (VOG) e della bobina sclerale (SSCS), che verranno approfonditi in seguito. Parallelamente ad essi, inoltre, sono state sviluppate ulteriori tecnologie, tra cui sistemi ottici ad infrarossi, che permettono il monitoraggio e la registrazione dei movimenti oculari al buio. All’interno del presente elaborato è presentata l’implementazione di un sistema di video- oculografia ad infrarosso (IROG) in grado di generare stimoli visivi con la finalità di acquisire ed analizzare i movimenti di tracking oculare a partire da una sequenza di immagini: irradiando l’occhio con alcuni diodi a emissione di raggi infrarossi e rilevando il raggio riflesso è possibile determinare ad ogni istante la posizione oculare, sfruttando il fatto che cornea e sclera possiedono differenti indici di riflessione. Dopo una prima descrizione sulle principali tipologie di movimenti oculari vi sarà una parentesi storica sull’eye tracking a cui seguirà un confronto tra VOG, SSCS ed IROG. Si passerà poi alla descrizione dell’apparato e dell’esperimento a cui hanno preso parte 27 soggetti in salute di età compresa tra i 15 e i 59 anni. Le caratteristiche richieste per l’apparato sono state: • Un setup semplice, non invasivo e di durata ragionevole per il paziente: fissaggio del casco, allineamento degli illuminatori infrarossi con le pupille, tempistiche relative a calibrazione e stimolazione visiva. • L’implementazione tramite Matlab di un primo programma per il processo di calibrazione e di un secondo programma per il processo di elaborazione dei dati relativi alla stimolazione visiva tramite immagini. • Una sufficiente precisione dei segnali oculari. • La presenza di un’interfaccia grafica completa e user-friendly per la visualizzazione dei segnali e che permettesse il salvataggio dei dati acquisiti.
  • 4. 3 In base alle caratteristiche precedenti vi sarà inoltre una breve sezione dell’elaborato riguardante l’ambiente di sviluppo Labview (utilizzo di un’interfaccia semplice che permetta lo start/stop del programma desiderato, la visualizzazione dei segnali di stimolazione/risposta su un grafico durante l’esecuzione e il salvataggio dei dati in formato Excel) e la scheda di acquisizione NI 6008. Infine, vi sarà un’analisi dettagliata dei dati raccolti con plot esplicativi e conclusioni sull’esperimento.
  • 5. 4 2. Movimenti oculari Il sistema oculomotore ha come obiettivo l’orientamento rapido della fovea (punto ove cade l’asse ottico dell’occhio, cioè dove si concentra il fuoco dei raggi luminosi, corrispondente alla zona di massima acutezza visiva) verso un bersaglio che si trovi nel campo visivo e sul quale si rivolge l’interesse dell’osservatore. Per mantenere l’occhio in posizione su un bersaglio è necessaria una certa frequenza di scarica -lo stesso principio sussiste nel mantenere in posizione un qualsiasi altro muscolo del corpo-. Il mantenimento della posizione corrisponde ad una certa contrazione muscolare, e le frequenze necessarie all’occhio sono più alte che in qualsiasi altro muscolo. I movimenti oculari si dividono in: • Duzioni: movimenti monoculari in ogni direzione. • Versioni: movimenti coniugati in cui gli occhi si muovono nella stessa direzione (Figura 1). Figura 1 – Versione oculare • Vergenze: movimenti disgiunti in cui gli occhi si muovono in direzioni opposte. Si verificano tipicamente guardando un oggetto avvicinarsi o allontanarsi. Gli occhi convergono per mantenere lo sguardo su un oggetto che si avvicina, e divergono quando questo si allontana. Più vicino è il punto di fissazione e maggiore sarà il movimento di vergenza (Figura 2). Figura 2 – Vergenza oculare
  • 6. 5 Un’ulteriore differenziazione si basa sulla velocità di tali movimenti: si parla di movimenti lenti e rapidi. 2.1 Movimenti saccadici (saccadi) Sono la tipologia di movimenti dell’occhio più frequente. Essi hanno la funzione di spostare nella zona retinica di massima sensibilità, cioè nella fovea, i vari punti importanti dell'ambiente esterno che si osservano. In genere la loro ampiezza massima è di circa 20°. Oltre tale angolazione di solito entra in gioco la rotazione della testa. Sono movimenti estremamente rapidi: la loro massima velocità angolare può raggiungere i 900°/s. La latenza di una saccade è, in media, di circa 0,2s (tra la comparsa del bersaglio e l'inizio della saccade passano circa 0,2s). Una saccade ha una durata media di circa 0,05s. Sono di natura balistica, una volta iniziato questo tipo di movimento può essere corretto con difficoltà durante l’esecuzione, non è infatti possibile generare un altro stimolo prima di 0,2s dal precedente. 2.2 Movimento di inseguimento lento (smooth pursuit) Volontario, viene innescato dal movimento di un’immagine all’interno del campo visivo. Se questo movimento è al di sotto dei 100°/sec, i nostri occhi sono in grado di seguire l’immagine e mantenerla ferma sulla retina, permettendoci di apprezzarne i dettagli. Questo movimento è anche in grado di anticipare l’immagine se il suo movimento segue una traiettoria prevedibile. 2.3 Sistema di fissazione Si presenta quando fissiamo un oggetto non in movimento. È costituito da diversi piccoli movimenti lenti di deriva e saccadici di riposizionamento della fovea sul punto di interesse. 2.4 Riflesso vestibolo-oculomotore Movimento involontario la cui funzione è quella di mantenere lo sguardo su un punto fissato compensando i movimenti della testa. È mediato dal sistema vestibolare, in grado di calcolare la posizione relativa della testa e i suoi spostamenti nello spazio. Tale riflesso è presente anche nei soggetti in stato di coma, ed è utile per valutare l’integrità del tronco encefalico: se ruotando la testa del paziente lo sguardo rimane fisso su un punto allora il riflesso è ancora presente. 2.5 Nistagmo optocinetico Movimento ondulatorio ma involontario. È un riflesso che appare ogni volta che si fissano degli oggetti che presentano un rapido movimento regolare come ad esempio lo scorrere del paesaggio
  • 7. 6 osservato dal finestrino di un treno. È composto da un lento movimento a seguire un oggetto e da un rapido ritorno quando l'oggetto esce dal campo visivo, in modo che gli occhi possano nuovamente inseguire un altro oggetto. In altre parole, presenta le due fasi: • Lenta, in cui la fovea rimane fissa sull’oggetto fissato • Rapida, in cui si realizza un movimento saccadico per la fissazione di un nuovo punto
  • 8. 7 3. Eye tracking L’eye tracking è un processo che monitora i movimenti oculari per determinare ove un soggetto sta rivolgendo il suo sguardo, cosa sta guardando e per quanto tempo lo sguardo si sofferma in un determinato punto dello spazio. L’occhio può essere modellizzato come una sfera rotante attorno a tre assi detti di Fick (Figura 3). Figura 3 – Assi di Fick Il tracciamento dei movimenti oculari avviene attraverso appositi dispositivi, e la rilevazione/l’interpretazione dei dati associabili è elaborata tramite software, attraverso tecniche differenti. 3.1 Cenni storici Il tracciamento oculare -e di conseguenza lo sviluppo della relativa tecnologia- sembra essere un concetto moderno, tuttavia le sue radici possono essere collocate attorno al XIX secolo, con l’inizio degli studi sul processo di lettura (G. Bente 2005) [10]. Durante questa prima fase, i ricercatori studiavano i movimenti oculari senza l’ausilio di strumenti o attrezzature di misura precisi, basandosi su semplici osservazioni. Solo per fare un esempio, uno specchio poteva essere posto sulle pagine di un libro letto da un soggetto e un osservatore posto dietro poteva monitorarne il movimento degli occhi. Nonostante la scarsa precisione di questi metodi, sono state prodotte alcune interessanti conclusioni sulla percezione visiva durante la lettura. La maggior parte delle fonti identifica l’oculista francese Louis Émile Javal come il primo ricercatore ad aver descritto il movimento degli occhi durante tale processo, alla fine del 1870, anni considerati come l’inizio dell'era degli studi sull'eye tracking. Gli esperimenti portarono L.É. Javal alla conclusione, nel 1879, che gli occhi non si muovessero in modo continuativo e lineare lungo una riga di testo, come ipotizzato in precedenza.
  • 9. 8 La lettura piuttosto consisteva in brevi movimenti rapidi (saccadi) inframezzati da pause, o brevi fissazioni oculari, su alcuni elementi. Si legge, in un articolo di E.B. Huey: “[...] Lamare, lavorando con Javal, scoprendo che il movimento dell'occhio nella lettura non era continuo, ma per piccoli scatti (“per saccadi”), escogitò il seguente metodo per contare tali movimenti: una punta smussata posta sulla palpebra superiore del lettore aziona un microfono, il cui suono, trasmesso da un tubo di gomma, rende noto ogni movimento all'orecchio dell’ascoltatore; i piccoli movimenti di lettura provocano un suono breve, mentre gli ampi movimenti fatti nel passare dalla fine della riga all'inizio della successiva, provocano un suono più prolungato” (E.B. Huey 1900: 285). Gli esperimenti furono descritti anche da L.É. Javal stesso: “[...] A seguito della ricerca di M. Lamare nel nostro laboratorio, l'occhio fa diversi saccadi durante il passaggio su ogni riga, circa uno ogni 15-18 lettere.” (L.É. Javal 1879: 252). Uno dei contributi di L.É. Javal è stato l’introduzione del termine "saccadi" per la prima volta. Attorno al 1898 fu proposto, da E. Huey, un altro metodo che sfruttava una sorta di lente a contatto con un'apertura per l'iride, collegata a un indicatore di alluminio che mostrava i movimenti oculari. Questo metodo, tuttavia, era tanto invasivo da richiedere la somministrazione di cocaina ai soggetti per ridurre il dolore durante l’esperimento. Sempre durante lo stesso periodo (1898) fu elaborato da E.B. Delbarre un metodo meccanico altrettanto invasivo -non a caso l’occhio richiedeva di essere anestetizzato- in grado di disegnare i movimenti oculari orizzontali sulla superficie di un cilindro cinematografico. Va notato come lo stesso Delabarre non fosse in grado di determinare se il metodo fosse sicuro per l'occhio: aveva semplicemente affermato che dopo aver registrato i movimenti per oltre un'ora, si riprendeva entro una settimana. Il primo eye tracker non invasivo e preciso fu creato nel 1901 dagli americani R. Dodge e T.S. Cline, con l’avvio della fase degli eye tracker ottici. Sono stati i primi a utilizzare la luce riflessa dalla superficie della cornea catturandola, attraverso un sistema ottico, su una lastra fotografica fotosensibile in movimento, lasciando così traccia del movimento. Il loro dispositivo, chiamato "TheDodge Photochronograph” (Figura 4), ha rappresentato una svolta nello sviluppo della tecnologia di tracciamento oculare e ha reso popolari i dispositivi che sfruttavano il riflesso corneale. Il dispositivo, tuttavia, riscontrava due problematiche: registrava solo i movimenti orizzontali e richiedeva ai soggetti di mantenere la testa ferma. Ciò nonostante, grazie a questi studi si è scoperto che una persona non riceve informazioni dal mondo circostante in concomitanza ai movimenti saccadici.
  • 10. 9 Figura 4 – "TheDodge Photochronograph” Il successivo passo in avanti nella ricerca sull'eye tracking si realizzò con la costruzione di un dispositivo in grado di registrare i movimenti oculari sia orizzontali che verticali. Fu presentato pochi anni dopo, nel 1905, da Ch.H. Judd, C.N. McAlister e W.M. Steel. Posizionarono un piccolo indicatore meccanico sull'occhio del soggetto in grado di riflettere un punto luminoso e a seconda della posizione oculare, tale punto luminoso imprimeva il movimento su un nastro fotosensibile. Il vantaggio del metodo era rappresentato dal fatto che non ci fosse contatto meccanico con l'occhio, ma richiedeva che la testa del soggetto fosse completamente ferma. L'era iniziale della ricerca sull'eye tracking ha prodotto risultati che hanno gettato le basi per i successivi decenni di studi. Al centro della ricerca a quel tempo vi erano problematiche quali la soppressione saccadica (non si ricevono informazioni durante un saccade), la latenza saccadica (tempo necessario per iniziare un movimento oculare) e l’effettivo campo visivo disponibile. La seconda era della ricerca sui movimenti oculari inizia con le riprese cinematografiche degli anni '20, anni in cui si delineano nuove tecniche di eye tracking. Contemporaneamente ai metodi già in uso si stava sviluppando una tecnologia che sfruttava la differenza di potenziale tra la parte posteriore e la parte anteriore dell'occhio, risultante dall’attività elettrica della retina. Degli elettrodi venivano posizionati vicino all'occhio, di solito su entrambi i lati, per consentire la registrazione dei cambiamenti di potenziale a seguito del movimento oculare (J. Grobelny et al. 2006). Nel 1922 E. Schott utilizza l'elettro-oculografia, sfruttando la variabilità dei potenziali elettrici della cornea e della retina. L'uso di tale metodo migliora di molto la precisione e la credibilità dei risultati. Un passo avanti in termini di comfort per i soggetti è stato raggiunto in seguito allo sviluppo della tecnologia mobile dell’eye tracker. La tecnologia è stata perfezionata negli anni '60, da B. Shackel (1960) e N.H. Mackworth e E.L. Thomas (1962). Altri ricercatori hanno poi utilizzato lenti a contatto speciali dotate di bobine, sfruttando il principio dell'induzione elettromagnetica: si registrano i cambiamenti di potenza indotti nelle bobine sotto l'influenza dei movimenti oculari, essendo la testa immersa in un campo magnetico. Vi era però un
  • 11. 10 grande svantaggio: i dati ottenuti erano accessibili solo dopo una lunga elaborazione e i risultati non erano visibili continuativamente. La terza fase della ricerca sull'eye tracking risale alla metà degli anni '70, parallelamente alla nascita di una base teorica e metodologica per la psicologia cognitiva. Gli anni '60 hanno visto la creazione del primo dispositivo di tracciamento oculare moderno. È stato realizzato per la US Air Force (J. Merchant 1966, 1969; J. Merchant et al. 1974) ed è stato chiamato "oculometro". Grazie ad algoritmi informatici l'iride è stata riconosciuta su uno schermo ed è stato possibile determinare il suo centro geometrico, nonché la direzione dello sguardo. Nel frattempo, nella ricerca medica, dispositivi basati sull’induzione elettromagnetica/sull’elettro- oculografia hanno avuto larga diffusione. La fase successiva della ricerca sull'eye tracking è iniziata negli anni '90, favorita dal rapido sviluppo dei computer e delle capacità di elaborazione dei dati. I dispositivi sono diventati così più tolleranti ai movimenti della testa, permettendo di evitare la totale immobilizzazione del soggetto.
  • 12. 11 4. Sistemi di rilevamento dei movimenti oculari Come detto in precedenza vi sono -e vi sono stati- differenti metodi per determinare la posizione oculare in un dato arco di tempo. Taluni possono essere più invasivi di altri, altri sono attuabili in un ambiente con scarsa luminosità, altri ancora richiedono una quasi immobilità della testa per una maggiore precisione. Tra le metodologie conosciute vi sono: • Bobina sclerale (scleral search coil system) • Video-oculografia • Infrarosso 4.1 Bobina sclerale (SSCS) Uno dei metodi più accurati per registrare i movimenti oculari è quello della bobina sclerale (scleral coil), che richiede l’applicazione di una speciale lente a contatto all’interno della quale è presente una bobina. La testa del soggetto, in questo caso, deve essere posizionata all’interno di un campo magnetico: quando la bobina è immersa nel campo magnetico, genera un potenziale elettrico che è funzione dell’angolo creato tra l’orientamento della bobina e la direzione del campo magnetico. Questo metodo offre un’alta accuratezza (dell’ordine di alcuni centesimi di grado); a causa della sua invasività non è però utilizzata frequentemente: la lente a contatto risulta particolarmente scomoda data la presenza della bobina e di un filo elettrico che fuoriesce dalla lente stessa (Figura 5). Figura 5 – Soggetto che sta indossando una bobina sclerale. Il conduttore di rame fuoriesce dalla sede in cui è alloggiata la bobina 4.2 Video-oculografia (VOG) La video-oculografia (VOG) è un esame non invasivo che permette lo studio dettagliato dei movimenti oculari (misurazione delle componenti di posizione orizzontale, verticale e torsionale dei movimenti di entrambi gli occhi) attraverso la presentazione di stimoli visivi personalizzati a
  • 13. 12 monitor ed un sistema di registrazione ad alta velocità basato sul riconoscimento pupillare. La misurazione delle componenti orizzontali e verticali è una tecnologia consolidata che utilizza il tracciamento della pupilla e/o il tracciamento del riflesso corneale (Figura 6). Tra le principali applicazioni ci sono lo studio delle saccadi, dei movimenti d’inseguimento e l’identificazione e la diagnosi del nistagmo. Figura 6 – Setup per il metodo della VOG [7] 4.3 IROG L’oculografia all’infrarosso è una metodica di acquisizione e studio dei movimenti oculari che consente di registrare e di visualizzare simultaneamente i movimenti oculari nelle condizioni sperimentali ottimali, e cioè al buio e ad occhi aperti (Dufour, 1995; Kumar and Krol, 1992; Pagnini et al, 1994; Vicini and Campanini, 1995) [10] Nella tecnologia descritta all’interno del presente elaborato si sfruttano, come fonte di illuminazione, raggi infrarossi con spettro di emissione al di fuori della sensibilità dell'occhio umano, la cui pupilla, non percependo tale frequenza, mantiene una dimensione inalterata durante l’arco della misurazione. Per un buon esito è importante che il paziente rimanga in un ambiente con scarsa luminosità. Sotto l’occhio vengono posti quindi dei fotodiodi che permettono di rilevare la riflessione della luce, noto che la sclera riflette più dell’iride (Figura 7). È così possibile effettuare il limbus tracking, ovvero tracciare il movimento del bordo dell’iride. Il posizionamento dei fotodiodi può risultare difficoltoso per i movimenti verticali, poiché la palpebra copre il bordo dell’iride superiormente, ed è sempre necessaria una taratura diversa per ogni paziente. I movimenti possono arrivare quindi ad un massimo di 20-25° per i movimenti orizzontali, 15° verso il basso, 10° verso l’alto. In generale è richiesta l’immobilizzazione della testa (come in questo esperimento, effettuato tramite casco e mentoniera), oppure è necessario un meccanismo di rilevazione dei movimenti del capo. Durante l’utilizzo i raggi infrarossi possono scaldare l’occhio portandolo a uno stato di leggera secchezza e sebbene questo possa causare un lieve fastidio per il paziente non comporta rischi.
  • 14. 13 Vantaggi: • Elevata precisione di misura • Immunità da rumore elettrico • Semplice uso e applicazione Svantaggi: • Intervallo di misura limitato (+25°/-25° in orizzontale) • Difficoltoso per movimenti verticali • Segnale alterato durante le chiusure palpebrali • Necessaria immobilità della testa Figura 7– Emettitore e sensore a infrarossi per l’IROG 4.4 Comparativa Invasività Frequenza di campionamento Risoluzione Costo Alto SSCS SSCS, VOG SSCS SSCS Medio IROG,VOG IROG,VOG Basso IROG,VOG VOG Tabella 1 Come mostrato in Tabella 1, tra i dispositivi presi in esame alcuni non si prestano ad un uso clinico per ragioni di praticità (SSCS), mentre tra le alternative, l’EOG, ampiamente usata in campo clinico, presenta problemi a causa del rumore e della estrema variabilità nel tempo dei parametri, anche se il costo ridotto e la praticità l’hanno resa molto comune.
  • 15. 14 5. Tipologie di stimolazione visiva All’interno del presente lavoro prenderemo in esame 2 tipologie di stimolazione visiva da sottoporre all’occhio: la stimolazione casuale e quella periodica. La stimolazione casuale consiste nello stimolare l’occhio con una sequenza visiva alla volta, a differenze di tempo variabili in un certo range di valori. In questo esperimento rientra in tale tipologia la stimolazione tramite immagini, mescolate randomicamente e differenti per ogni soggetto. La casualità della sequenza è importante per salvaguardare la non predicibilità del prossimo stimolo da parte del paziente, che potrebbe anticipare il movimento. La latenza dei movimenti saccadici è legata alla centralità del target o, in generale, all’ampiezza dello spostamento di mira. I normali movimenti saccadici hanno una latenza compresa tra i 200ms e i 230ms, mentre i movimenti saccadici di correzione hanno una latenza di 150ms circa. Le stimolazioni periodiche sono invece realizzate presentando delle mire in posizioni fisse ad intervalli di tempo regolari. Rientra in questa tipologia il processo di calibrazione, che in questo esperimento segue un pattern di posizioni fisse che, al termine del primo ciclo, si ripetono senza ulteriori variazioni. Le saccadi predittive, a differenza di quelle normali hanno una latenza fino a 100ms.
  • 16. 15 6. Configurazione del dispositivo Figura 8–Schema a blocchi del circuito La Figura 8 rappresenta in maniera schematica l’apparato di calibrazione e stimolazione visiva con annessa acquisizione dei dati relativi ai movimenti oculari. L’apparato si compone di un casco (Figura 9) ove il soggetto inserisce la testa, collegato a un case esterno contenente i circuiti di trattamento e amplificazione del segnale. Il casco viene fissato sul capo del soggetto in modo da ridurre quanto più possibile i movimenti, favorendo così una maggiore precisione nelle misurazioni. Figura 9 – Casco con mentoniera
  • 17. 16 Prima dell’inizio della calibrazione mediante fotodiodo -che verrà approfondita in seguito-, e della stimolazione visiva, si regolano gli illuminatori infrarossi presenti sul casco, in modo tale che le tacche di riferimento siano allineate con il centro delle pupille (Figura 10). Figura 10 – I riferimenti presenti su Right e Left si allineano rispettivamente alle pupille degli occhi destro e sinistro Come mostrato in Figura 11, mentre il casco rileva i movimenti oculari è possibile agire, tramite il sistema per il condizionamento del segnale (Figura 12), su guadagno e offset per ogni canale oculare, in modo da poter effettuare un cambio di scala per segnali che in uscita appaiono o troppo grandi (segnali che andrebbero oltre 5V ad esempio) o troppo piccoli (segnali la cui variazione non risulterebbe chiaramente visibile se molto piccola). Gain e offset vanno impostati in modo differente per ogni soggetto. Figura 11 Figura 12 – Sistema per il condizionamento del segnale: gain e offset si impostano in modo che l’intero segnale possa oscillare nel range [-5V;+5V]
  • 18. 17 Normalmente le massime frequenze dei canali oculari sono di 70/80 Hz. Al fine di acquisire tali segnali e soddisfare così le caratteristiche di frequenza, si è optato per la scheda NI 6008, che permette di misurare una tensione in entrata di [-10V;+10V] e copre ampiamente l’intervallo di frequenze misurabili. Al fine di non sovraccaricare il buffer, per tale esperimento è stata scelta una frequenza di campionamento di 300Hz. La praticità di questo sistema risiede nel fatto di poter gestire calibrazione e stimolazione, implementati in ambiente MATLAB, e acquisizione dei dati, da un semplice computer collegato tramite USB alla scheda NI 6008. Tramite il software LabVIEW è stato poi implementato il pannello di controllo per l’uso dell’apparecchiatura e per il salvataggio dei dati. Per ovviare al problema di eventuali ritardi di commutazione delle uscite, ed evitare quindi di non riuscire ad associare una risposta allo stimolo corrispondente, è stato inserito un DAC, come mostrato ad inizio capitolo in Figura 8, che comporta una variazione di tensione quasi istantanea al momento della calibrazione e della stimolazione. In tal modo è possibile conoscere l’esatto momento di commutazione e quindi valutare il tempo di risposta oculare.
  • 19. 18 7. Scheda NI 6008 Figura 13 – Scheda NI 6008 La scheda DAQ NI-6008 USB (National Instruments) è un dispositivo DAQ multifunzione a basso costo che offre un sistema I/O analogico e digitale e un counter a 32 bit. È dotato di un alloggiamento meccanico ed è alimentato tramite bus per una facile portabilità. I canali di ingresso permettono di acquisire segnali in tensione fino a 10kHz, pertanto, lo strumento non risulta adatto per alte frequenze. Ai fini dell’esperimento, in ogni caso, tenuto conto delle frequenze di campionamento, risulta essere particolarmente indicato e versatile. Lo strumento fornisce 8 canali di ingresso analogici (AI), 2 canali di uscita analogici (AO), 12 canali digitali di ingresso/uscita (DIO) e un contatore a 32 bit. 7.1 Schema a blocchi Figura 14 – Circuito di ingresso per i canali analogici della scheda DAQ MUX: compito del multiplexer è quello di instradare il canale di input analogico desiderato al blocco successivo. È possibile campionare alla massima frequenza di acquisizione solo un singolo canale tenendo il MUX collegato all’ingresso interessato, mentre invece se i canali di ingresso sono due, il MUX deve commutare tra l’uno e l’altro, dimezzando la frequenza di campionamento.
  • 20. 19 È possibile avere un segnale di ingresso single ended, considerato in riferimento alla massa, oppure è possibile effettuare misure differential, dove il segnale viene considerato come differenza di potenziale tra i due capi dell’ingresso e non più riferito a massa. ADC: convertitore analogico/digitale che permette la conversione della tensione analogica in input, in segnale digitale. AI FIFO: buffer che permette la conservazione dei dati durante l’acquisizione dell’input analogico, in modo da non perdere informazioni.
  • 21. 20 8. LabVIEW L’ambiente di sviluppo scelto per la scheda NI 6008 è stato LabVIEW. Esso è stato utilizzato per il salvataggio dei dati acquisiti durante le misurazioni (Figura 15). Figura 15 – Per il salvataggio dei dati si è optato per la creazione di un file excel contenente le informazioni relative ad ogni canale di acquisizione: movimento orizzontale, verticale e fotodiodo Tale processo, grazie a Labview, è di facile implementazione grazie agli schemi a blocchi forniti dal programma stesso e facilmente intuibili dall’utente, come il Block Diagram (Figura 16), la cui voce File I/O permette di agire su Write To Measurement File al fine di adottare, tra gli innumerevoli tipi disponibili, un documento excel per il salvataggio e il trattamento successivo dei dati. Figura 16 – Block Diagram Il DAQ Assistant è un modulo che permette di creare ed eseguire un task (insieme di uno o più canali interfacciati) sfruttando i driver forniti. È possibile sia acquisire che generare un segnale, in
  • 22. 21 entrambi i casi esso può essere analogico o digitale, in tensione o corrente. Come detto in precedenza è stata scelta una frequenza di campionamento di 300Hz (Figura 17). Figura 17 – Schermata di configurazione del DAQ Assistant. Frequenza di campionamento impostata a 300Hz per i 3 canali Voltage_0, Voltage_1 e Voltage2 L’interfaccia grafica (Figura 18) permette infine di visualizzare i segnali interessati in un grafico: il primo canale, in bianco, relativo ai movimenti orizzontali, il secondo canale, in rosso, relativo ai movimenti verticali e il terzo canale, in verde, relativo al fotodiodo. Figura 18
  • 23. 22 9. MATLAB: Calibrazione La prima e l’ultima fase dell’esperimento sono costituite dal processo di calibrazione dell’apparato. La calibrazione iniziale è necessaria per settare gain e offset e regolare così la scala per la successiva acquisizione dei dati relativi alla stimolazione visiva tramite sequenza di immagini. La seconda calibrazione invece, al termine della stimolazione, è stata adottata per osservare eventuali discrepanze con la prima: nel caso ideale i dati di prima e seconda calibrazione dovrebbero coincidere, nel caso reale invece si punta alla massima somiglianza possibile tra essi, indice del fatto che il soggetto, durante tutta la durata dell’esperimento, ha mantenuto il capo quanto più fermo possibile, fornendo così una maggior precisione nelle misurazioni. Un dettaglio molto importante di cui è stato necessario tenere conto durante le fasi di calibrazione e di stimolazione è stato l’aver operato all’interno di un luogo con scarsa illuminazione al fine di non interferire con gli illuminatori infrarossi del casco (Figura 19). Figura 19 – Illuminatori infrarossi A una distanza di circa 120cm dal casco è stato posizionato un monitor. Un problema riscontrato in tale fase è stato quello della sincronizzazione di inizio calibrazione con l’effettivo inizio di acquisizione dei dati. Al fine di ridurre al minimo il possibile delay tra stimolo e acquisizione è stato adottato un fotodiodo collegato meccanicamente al monitor stesso. La funzione di tale fotodiodo è stata quella di associare un cambio di intensità luminosa con l’inizio della calibrazione, o un particolare momento di essa. La sequenza di calibrazione sviluppata quindi è stata ottenuta con due differenti tipologie di immagini per ogni movimento: una con schermo completamente nero e indicatore bianco mentre l’altra identica alla precedente ma con un quadratino bianco in alto a sinistra. Il fotodiodo è stato quindi attaccato al monitor proprio in corrispondenza di tale area (Figura 20), che accendendosi e spegnendosi scandisce il clock per ogni ciclo di calibrazione, oltre ai movimenti di destra, sinistra, alto, basso e centro.
  • 24. 23 Figura 20 – Nelle immagini di dimensione 1590x1060 pixel è stato inserito un quadrato bianco di 80x80 pixel nell’angolo in alto a sinistra (foto a destra, sotto il tappo) al fine di attivare il fotodiodo e determinare il momento corrispondente di inizio calibrazione o il passaggio dell’indicatore bianco a monitor da una posizione a un'altra (esempio da centro ad alto, o da centro a destra o viceversa) Il ciclo di calibrazione (Figura 21) è stato quindi sviluppato nel seguente modo: • 1,5s per l’immagine con indicatore bianco al centro + trigger (quadrato bianco nell’angolo in alto a sinistra), 0,5s per la medesima immagine senza trigger (angolo in alto a sinistra nero); • 1s per l’immagine con indicatore bianco a destra + trigger, 1s per la medesima immagine senza trigger; • 1s per l’immagine con indicatore bianco al centro + trigger, 1s per la medesima immagine senza trigger; • 1s per l’immagine con indicatore bianco a sinistra + trigger, 1s per la medesima immagine senza trigger; • 1s per l’immagine con indicatore bianco al centro + trigger, 1s per la medesima immagine senza trigger; • 1s per l’immagine con indicatore bianco sopra + trigger, 1s per la medesima immagine senza trigger; • 1s per l’immagine con indicatore bianco al centro + trigger, 1s per la medesima immagine senza trigger; • 1s per l’immagine con indicatore bianco sotto + trigger, 1s per la medesima immagine senza trigger. A questo punto il ciclo ricomincia. La differenziazione del trigger iniziale (1,5s) ha permesso di stabilire a posteriori l’inizio di ciascun ciclo di calibrazione con le relative acquisizioni dati. Durante la calibrazione, inoltre, sono stati settati gain e offset in previsione della successiva stimolazione visiva tramite immagini.
  • 25. 24 Figura 21 – Ogni coppia di immagini rappresenta un movimento della calibrazione: le immagini a sinistra provviste di trigger nell’angolo in alto a sinistra, quelle a destra sprovviste
  • 26. 25 10. MATLAB: Stimolazione visiva Al termine della calibrazione iniziale al soggetto test è stata sottoposta una sequenza di 9 immagini come stimolazione visiva . Obiettivo di tale fase dell’esperimento è il tracking oculare. A tal fine si è optato per un tempo a monitor di 4s a immagine, sufficiente a permettere al soggetto di visionarla. Tali immagini sono poi state intervallate dall’immagine di calibrazione con l’indicatore al centro e senza trigger, della durata di 0,4s, in modo che l’occhio si riposizionasse al centro del monitor in attesa dell’immagine successiva. Le caratteristiche delle immagini sono le seguenti: 45cm di larghezza e 30 cm di altezza, corrispondenti rispettivamente a spostamenti angolari massimi di ±10,5° (movimenti orizzontali) e ±7,07° (movimenti verticali). Anche in questa fase, come per la calibrazione, essendo immagini non nere, è stato possibile sfruttare il fotodiodo per associare i dati acquisiti a ciascuna immagine (il trigger, infatti, si attiva non appena compare un’immagine a monitor, essendo l’angolo in alto a sinistra dell’immagine non nero).
  • 27. 26 11. MATLAB: Elaborazione movimenti oculari Al termine dell’acquisizione e del salvataggio in formato .xls dei dati relativi a calibrazioni e stimolazione visiva, si è passati alla fase di elaborazione dei movimenti oculari. Di seguito si prenderà come riferimento il soggetto test numero 1 e si mostreranno i vari plot ottenuti dai dati acquisiti. La linea guida adottata per elaborare i risultati è la stessa per i restanti 26 soggetti (chiaramente sussisteranno differenze tra soggetti diversi, sia nel modo di osservare le immagini sia nella precisione durante le misurazioni). La Figura 22 mostra i 2 plot relativi alla calibrazione e alla stimolazione visiva: in funzione del tempo (ascisse) sono state registrate le variazioni di intensità luminosa del fotodiodo, tradotte in tensione (ordinate). Figura 22 – A sinistra il plot relativo alla calibrazione: in funzione del tempo, le 2 fasce di punti presenti -quella più bassa attorno a 0,6V e quella più alta attorno a 1,2V–1,4V- sono associabili alle 2 tipologie di immagini: “con” (fascia più alta) e “senza” trigger (fascia più bassa). A destra il plot relativo alla stimolazione visiva: vi sono 9 blocchi di punti, tante quante sono le immagini, intervallati dal riposizionamento dell’occhio al centro (immagine senza trigger con puntatore al centro, sempre attorno a 0,6V come nel plot della calibrazione a sinistra) tra un’immagine e la successiva La Figura 23 si riferisce al processo di calibrazione e descrive contemporaneamente gli spostamenti oculari verticali, evidenziati in rosso, e orizzontali, evidenziati in nero, in funzione del tempo. Per ogni istante è quindi possibile stabilire, qualora non vi siano errori grossolani nel posizionamento dell’apparecchiatura, il punto di osservazione a monitor da parte del soggetto in esame. Idealmente, date le caratteristiche delle immagini create per la calibrazione e data la distanza del soggetto test dal monitor (circa 120cm), gli spostamenti oculari verticali avranno uno spostamento
  • 28. 27 massimo di ±10cm -assumendo come posizione iniziale quella con il puntatore al centro del monitor-, corrispondenti a un’ampiezza massima di ±4,72°, mentre gli spostamenti oculari orizzontali avranno uno spostamento massimo di ±15cm, corrispondenti a un’ampiezza massima di ±7,07°. I punti dove invece i tratti orizzontali o verticali registrano picchi fuori dal range sono da attribuire ad una chiusura palpebrale o anche al fatto che i raggi infrarossi, durante la riflessione, possano essere ostruiti dalla palpebra, che copre parzialmente parte dell’iride. Figura 23 – Plot dei movimenti oculari verticali (in rosso) e orizzontali (in nero) in funzione del tempo. I tratti verticali mostrano, in funzione del tempo, spostamenti angolari prossimi a ±4,72°, mentre quelli orizzontali prossimi a ±7,07°. Poco prima di 25s, per il soggetto test 1 in esame, è possibile notare un picco verso il basso nel tracciato relativo ai movimenti verticali, causato molto probabilmente da una chiusura palpebrale In Figura 24 sono mostrate la correzione dei punti di calibrazione tramite mapping e le posizioni medie dei target di calibrazione, fino all’ottenimento dei punti di fissazione, confrontabili con quelli ideali. Tale stima è utile a verificare la precisione delle misurazioni nella successiva stimolazione visiva tramite immagini.
  • 29. 28 Figura 24 – A partire dal plot in alto a sinistra fino a quello in basso a destra: calibrazione espressa tramite spostamenti angolari per movimenti verticali e orizzontali (prima immagine: tensioni (V) in funzione del tempo (t)), punti di osservazione a monitor (seconda immagine: tensioni (V) su entrambi gli assi, una relativa ai movimenti orizzontali e una a quelli verticali), correzione tramite mapping e stima delle aree di “centro”, “destra”, “sinistra”, “alto” e “basso” confrontabili con quelle ideali, identificate dai cerchi vuoti (terza, quarta, quinta e sesta immagine: mapping per il passaggio tensioni→gradi, su entrambi gli assi) Elaborati i plot sulla calibrazione e sulla sua correzione si sono ottenuti: 1) i plot con gli spostamenti angolari relativi ai movimenti orizzontali e verticali durante l’osservazione delle 9 immagini (figura 25) 2) i plot del punto 1) corretti sfruttando il processo di mapping utilizzato durante la fase di calibrazione (figura 26) 3) i plot coi tracciati originali dei punti di osservazione a monitor per ciascuna immagine (Figura 27) 4) i plot del punto 3) corretti sfruttando il processo di mapping utilizzato durante la fase di calibrazione (Figura 28) 5) i plot con gli spostamenti angolari relativi ai punti di fissazione (con correzione) per ciascuna immagine (Figura 29) 6) i plot coi tracciati dei punti di fissazione (con correzione) a monitor per ciascuna immagine (Figura 30)
  • 30. 29 Figura 25 – Tracciati degli spostamenti angolari orizzontali (in nero) e verticali (in rosso), espressi come tensioni (V) in funzione del tempo (t), per ciascuna delle 9 immagini Figura 26 – Tracciati degli spostamenti angolari orizzontali (in nero) e verticali (in rosso) corretti tramite processo di mapping (tensioni→gradi, su entrambi gli assi) utilizzato durante la fase di calibrazione, per ciascuna delle 9 immagini
  • 31. 30 Figura 27 – Tracciati originali dei punti di osservazione a monitor (tensioni (V) su entrambi gli assi, una relativa ai movimenti orizzontali e una a quelli verticali), per ciascuna delle 9 immagini Figura 28 – Tracciati originali dei punti di osservazione a monitor, corretti tramite processo di mapping (tensioni→gradi, su entrambi gli assi) utilizzato durante la fase di calibrazione, per ciascuna delle 9 immagini
  • 32. 31 Figura 29 – Tracciati degli spostamenti angolari relativi ai punti di fissazione (con correzione), espressi come tensioni (V) in funzione del tempo (t), per ciascuna delle 9 immagini Figura 30 – Tracciati (mapping: tensioni→gradi, su entrambi gli assi) dei punti di fissazione (con correzione) a monitor, per ciascuna delle 9 immagini
  • 33. 32 12. Tipologie di errori Le irregolarità riscontrate dall’analisi dei grafici sono quasi sempre implicabili ad errori umani, e le principali cause sono: • Errato posizionamento del casco. È infatti importante che gli indicatori degli illuminatori infrarossi siano posizionati quanto più precisamente possibile all’altezza del centro di ciascuna pupilla. Spesso tale processo risulta difficoltoso in quanto potenzialmente affetto da errore di parallasse, oltre che ostruito dalla palpebra stessa, in grado di coprire parte della pupilla (Figura 31). • Movimenti del capo. La testa, infatti, se non è fissata alla mentoniera in modo saldo, avrà più probabilità di compiere movimenti anche involontari compromettendo così la precisione delle misurazioni (ricordiamo che durante la calibrazione si settano i parametri di gain e offset e tali settaggi dovrebbero avvenire a testa completamente immobile) • Esposizione eccessiva agli infrarossi. Se, infatti, un soggetto indossa per un tempo prolungato il casco è portato ad avere una lacrimazione più consistente rispetto alle condizioni ambientali standard, che si traduce in uno sbattimento palpebrale più frequente in grado di sottrarre regolarità al segnale (Figura 32). • Saturazione del segnale. È possibile che successivamente alla regolazione di gain e offset il segnale saturi e venga tagliato, con conseguente perdita di informazione. • Movimenti di anticipo di uno stimolo se un soggetto tende a prevedere la posizione futura dello stimolo (ad esempio durante la calibrazione dove il pattern dei movimenti dell’indicatore è il medesimo per ogni ciclo), o movimenti correttivi durante gli stimoli. Figura 31 – Il soggetto test 10 molto probabilmente ha posizionato in modo errato il casco: i punti di fissazione trovati risultano infatti totalmente non confrontabili con quelli ideali (figura in basso a destra)
  • 34. 33 Figura 32 – Il soggetto test 25 presenta dei picchi anomali verso il basso (tracciato in nero, relativo ai movimenti orizzontali), indice probabilmente di una chiusura frequente delle palpebre 13. Esempio di applicazione Di seguito, per mostrare un esempio del tracking oculare risultante dalla completa elaborazione dei dati di calibrazione e sequenza visiva, prenderemo come riferimento il soggetto test numero 20 e mostreremo il confronto tra i punti di fissazione (mapping: tensioni→gradi, su entrambi gli assi) registrati per alcune delle immagini e l’area di interesse effettiva delle immagini stesse:
  • 35. 34
  • 36. 35
  • 37. 36
  • 38. 37
  • 39. 38
  • 40. 39 14. Conclusioni Il presente elaborato ha avuto come scopo l’implementazione di un sistema per la generazione di stimoli visivi con la possibilità di acquisire ed elaborare i dati relativi al tracking oculare delle immagini. Tra le diverse tecnologie esistenti si è optato per la video-oculografia ad infrarosso (IROG): essa presenta un buon compromesso tra praticità, costo e precisione nelle misurazioni (il rumore che disturba il segnale risulta trascurabile). Ricordiamo infatti che, ad esempio, la bobina sclerale fornisce un’alta precisione nelle misurazioni ma risulta eccessivamente invasiva, dato non trascurabile date le tempistiche dell’esperimento, seppur contenute; oppure ancora la VOG che, nonostante i costi ridotti e l’ampio campo di misura, presenta problematiche relative al rumore o alla variabilità dei parametri nel tempo. L’ambiente di sviluppo Labview usato per il salvataggio in formato Excel dei dati relativi ai 3 differenti canali di acquisizione -movimenti orizzontali, movimenti verticali e fotodiodo- si è rivelato particolarmente indicato e versatile in termini di compatibilità e semplicità di utilizzo. L’interfaccia grafica molto intuitiva ha infatti permesso l’inserimento di un grafico con andamento run-time dei segnali oculari e del trigger. Dall’analisi dei plot di calibrazione e stimolazione visiva si può concludere che il sistema si è rivelato affidabile: in circa un terzo dei soggetti la calibrazione è sufficientemente buona da poter avere risultati attendibili, in un altro terzo vi sono state delle correzioni che hanno permesso di stabilire le aree delle immagini fissate dal soggetto. È risultato inoltre sufficientemente preciso, e le cause d’errore, come visto poc’anzi, sono di carattere umano. Con ulteriori accorgimenti e perfezionamenti tali errori possono essere mitigati, rendendo il sistema ancora più preciso. Ciò nonostante, è stato possibile osservare, tramite Labview, in uno dei tracciati oculari, un possibile nistagmo optocinetico (Figura 33), forma di movimento oculare involontaria evocata in un soggetto sano come parte del riflesso vestibolo- oculare, atto ad agganciare e mantenere un’immagine stabile sulla retina.
  • 41. 40 Figura 33 – Il tracciato presenta picchi regolari di ampiezza ridotta come quello evidenziato in figura, possibile indice di un movimento involontario durante il mantenimento di un’immagine sulla retina
  • 42. 41 Bibliografia [1] A Fast Center of Pupil Detection Algorithm for VOG-Based Eye Movement Tracking, S. I. Kim, J. M. Cho, J. Y. Jung, S. H. Kim, J. H. Lim, T. W. Nam, J. H. Kim. Department of Biomedical Engineering, Inje University, Kimhae, 621-749, Korea [2] Movimenti oculari, F. Casalboni [3] I movimenti oculari, Chiara Della Libera. DSNV Università di Verona Sezione di Fisiologia Umana [4] Studio del sistema vestibulo-oculomotorio rapido (saccadici), Prof. Tanzariello [5] Eye Motor Physiology, Dr Besharati MD [6] Comparing the accuracy of video-oculography and the scleral search coil system in human eye movement analysis, Takao Imai, Kazunori Sekine, Kousuke Hattori, Noriaki Takeda, Izumi Koizuka, Koji Nakamae, Katsuyoshi Miura, Hiromu Fujioka, Takeshi Kubo [7] Video-oculografía: Exploración y registro de la motilidad ocular, José Perea [8] Innovations, advantages and limitations of the infrared video-nystagmography, Acta otorhinolaryngologica Italica: organo ufficiale della Società italiana di otorinolaringologia e chirurgia cervico-facciale [9] The First Hundred Years: a History of Eye Tracking as a Research Method, Monika PŁUŻYCZKA Uniwersytet Warszawski/ University of Warsaw [10] La videonistagmografia all'infrarosso nella diagnostica vestibolare, Antonio Frisina, Fabio Piazza, Nicola Quaranta. Istituto di Scíenze Otorinolaringologiche. Clinica otorinolaringoiatrica, Microchirurgia Otologica e Otoneurologica, Università degli Studi di Parma [11] Pupil Detection and TrackingUsing Multiple Light Sources, Carlos Marimoto, Dave Koons, Arnon Amir, Myron Flickner. IBM Almaden Research Center [12] LabVIEW User Manual - National Instruments [13] USER GUIDE NI USB-6008/6009 / Bus-Powered Multifunction DAQ USB Device
  • 43. 42 Ringraziamenti Solitamente al termine di un’avventura degna di nota ci si volta indietro per osservare quanta strada si è riusciti a percorrere, ricordando le tappe salienti, gli stati d’animo, le persone incrociate che in qualche modo hanno lasciato un semino pronto a germogliare in futuro... Credo che questo percorso possa essere definito una gran bell’avventura. Di strada ne è stata percorsa molta, le emozioni non sono mancate e il privilegio di aver potuto incontrare persone stupende mi è stato concesso. Ringrazio quindi nel suo insieme questo cammino per avermi arricchito come persona e per avermi messo alla prova nel non mollare di fronte alle difficoltà. E ora che sono giunto al termine ci tengo a ricordare e ringraziare alcune persone. Grazie mamma e Vale, la mia famiglia, per il sostegno morale ed economico, per avermi dato consigli, per avermi sopportato, per aver avuto fiducia in me e per tutto l’affetto dimostrato. Grazie a nonna Tina -chiacchierate alla “gatto&volpe” ne abbiamo fatte parecchie ah? (e ancora ne abbiamo da fare)-, nonno Vincenzo e zio Massimo per tutto l’aiuto che mi avete dato, per aver gioito con me delle mie vittorie come fossero le vostre. Grazie a nonna Giovanna, zia Pina e cugini, che nonostante la distanza geografica mi sostenete e mi incoraggiate sempre. Grazie a mio fratello mancato: Alessio. Grazie amico mio -e grazie anche alla tua famiglia- per essere stato, ed essere tuttora, una spalla su cui poter contare per qualsiasi cosa, per avermi incoraggiato sempre, per avermi ascoltato (senza dubbio ricorderemo la tua pazienza da santo per tutte le chiamate a cui non ho risposto quando ero in università o studiavo). Un ringraziamento va a tutti i miei coinquilini di questi anni a Trieste: Riu, Giulia, Vale, le Robi, Jeremy, Rocco. Abbiamo passato innumerevoli momenti a non tirare più fiato dal ridere, a parlare per ore (o no Malu?), a riflettere e a sostenerci a vicenda. Come dimenticarsi in particolare del mio compagno di stanza, Riu: sono felice di aver condiviso con te tanti dei momenti più divertenti in assoluto, di essermi potuto confrontare su tanti aspetti e ti ringrazio per avermi mostrato altre prospettive da cui osservare le cose. (Ah, e ringrazio tutti i miei coinquilini per avermi fatto monopolizzare il freezer con pollai interi, perché alla domanda “che mangi oggi?” la risposta era sempre “riso&pollo”). Ringrazio Antonio che, assieme a Jeremy, è stata la persona con cui ho condiviso maggiormente “Il Pezzo”, fino a notte inoltrata a preparare esami per poi non capire più niente e scoppiare a ridere senza motivo. Grazie, inoltre, per avermi trasmesso la tua fame travolgente di crescita personale. Grazie a Michelle, per tutti i film visti, per i pranzi e le lunghe chiacchierate. Grazie a Davide, Letizia e Daniele, per tutte le volte che siete stati presenti lungo questo cammino e per avermi sempre spronato a dare il meglio. Grazie a Franci per aver fatto di casa tua il mio campo base quando scrivevo la tesi, per le studiate folli fino a notte fonda, per i tuoi caffè da 24h, e per tutti i confronti arricchenti che abbiamo avuto.
  • 44. 43 Ringrazio tutte le persone di vecchia e nuova data con cui ho avuto, ed ho ancora, il piacere di condividere molto: Enrico, Brian, Nicholas, Stefano, Annalisa, Colu, Elisa, Naina. Un ringraziamento per questa tesi lo rivolgo al mio correlatore, Aleksandar, per la sua disponibilità, per la sua simpatia e per avermi fornito molte delucidazioni sui programmi di elaborazione di tracking oculare. Vorrei infine ringraziare il mio Van Loon, come canterebbe Guccini: papà. Grazie per aver creduto in me sin dall’inizio. Grazie per avermi lasciato un messaggio prezioso come l’oro -che hai usato anche per appianare i miei dubbi sulla riuscita di tale percorso- ricordandomi, senza alcun indugio, che: “tu, con la testa che hai, nella vita, puoi fare quello che vuoi”. Sono sicuro che oggi saresti orgoglioso di me.