POLITECNICO DI TORINO
                                III Facoltà di Ingegneria
                       Corso di Laurea in Ingegneria Informatica




     Interfaccia utente basata su
      eye-tracking per sistemi di
         controllo ambientale



Relatori:                                                               Candidato:
Prof. Fulvio Corno                                                 Luigi De Russis
Dott. Emiliano Castellina
Contesto
Un utente (disabile) vuole interagire in maniera
autonoma con la sua casa.
Contesto
Un utente (disabile) vuole interagire in maniera
autonoma con la sua casa.
Contesto
Un utente (disabile) vuole interagire in maniera
autonoma con la sua casa.
Per farlo ha bisogno:

 •   domotica
Contesto
Un utente (disabile) vuole interagire in maniera
autonoma con la sua casa.
Per farlo ha bisogno:

 •   domotica

 •   eye-tracking
Contesto
Un utente (disabile) vuole interagire in maniera
autonoma con la sua casa.
Per farlo ha bisogno:
                   • tocco di Mida
 •  domotica       • precisione
 •   eye-tracking
Obiettivo generale
•   Problema: non esistono interfacce utente adatte
    all’utilizzo con eye-tracker per sistemi domotici
    (COGAIN, deliverable 2.5)

•   Soluzione: studio, progettazione e realizzazione di
    un’interfaccia utente basata su dispositivi di eye-
    tracking per funzionalità di controllo domotico

    •   Tale interfaccia prende il nome di DOGeye
Obiettivi di DOGeye
•   Rispetto delle linee guida COGAIN

•   Interazione con DOG

•   Utilizzo con mouse, tastiera ed eye-tracker (ETU-
    Driver)

•   Utilizzo di tecnologie allo stato dell’arte per la
    realizzazione dell’interfaccia (WPF)
Caratteristiche
•   Assoluta indipendenza dal tipo di ambiente
    domotico

•   Navigazione per stanze e per funzionalità

•   Modalità di selezione:

    •   singola

    •   multipla (per stanze e dispositivi)

    •   per tipo di dispositivi

•   Comando dei dispositivi e visualizzazione dello
    stato
Interfaccia utente
Interfaccia utente
        Area dei tab:
 vista funzionale della casa
Interfaccia utente




     Area di selezione:
vista strutturale della casa
Interfaccia utente




                       Area
                        di
                     comando
Interfaccia utente




Area di notifica e di allarme
Architettura generale
Demo
Conclusioni
L’interfaccia utente realizzata:
 •   rispetta tutte le linee guida COGAIN
     obbligatorie e quasi tutte quelle consigliate
 •   è utilizzabile con un eye-tracker
 •   interagisce senza problemi con DOG
 •   necessita di una valutazione qualitativa tramite
     test di usabilità
Possibili sviluppi
•   Porting per il web (Silverlight o WPF)
•   Localizzazione in più lingue
•   Possibilità per l’utente di personalizzare l’aspetto
    dell’interfaccia
•   Supporto a dispositivi domotici più complessi
Appendici
Windows Presentation
    Foundation
Windows Presentation
            Foundation

<Button
 Content="Hello World"
 Height="50"
 Width="100"
 Click="Button_Click"/>
Windows Presentation
             Foundation

<Button
 Content="Hello World"
 Height="50"
 Width="100"
 Click="Button_Click"/>
        private void Button_Click(object sender,
        RoutedEventArgs e)
          {
            MessageBox.Show("Hello World!");
          }
Linee guida COGAIN
1.1 Fornire un sistema di notifiche per gli allarmi veloce, facile da
                                                                        1
capire e multimodale
1.2 Fornire all’utente solo poche e chiare opzioni per gestire eventi
                                                                        2
di allarme
1.3 Fornire un’azione di default per affrontare un evento di allarme    1
1.4 Fornire una richiesta di conferma per le operazioni critiche e
                                                                        1
possibilmente dannose
1.5 Fornire una funzionalità di STOP che interrompa ogni operazione     1

2.1 Fornire una connessione con il COGAIN ETU-Driver                    1

2.2 Supportare differenti metodi di input                               2
2.3 Fornire un layout riconfigurabile, appropriato per diverse
                                                                        2
performance dell’eye-tracking e per diverse esigenze degli utenti
Linee guida COGAIN (II)
2.4 Supportare più metodi di input allo stesso momento               2
2.5 Gestire la perdita del controllo dell’input fornendo azioni di
                                                                     2
default automatiche
3.1 Rispondere agli eventi e ai comandi dell’ambiente domotico nel
                                                                     1
giusto tempo
3.2 Gestire eventi con diversa priorità temporale                    1

3.3 Eseguire comandi con diversa priorità                            1
3.4 Fornire un feedback quando vengono eseguite operazioni e
                                                                     2
comandi automatici
3.5 Gestire (creare, modificare, cancellare) scenari                  2

3.6 Conoscere lo stato corrente di ogni dispositivo                  2
Linee guida COGAIN (III)
4.1 Fornire una chiara visualizzazione di ciò che accade nella casa   1

4.2 Fornire un’interfaccia elegante e chiara                          2
4.3 Fornire una visualizzazione dello stato e della posizione dei
                                                                      2
dispositivi nella casa
4.4 Usare icone, colori e testo per evidenziare un cambiamento di
                                                                      2
stato
4.5 Fornire un metodo di selezione facile da imparare                 2

Presentazione tesi laurea magistrale

  • 1.
    POLITECNICO DI TORINO III Facoltà di Ingegneria Corso di Laurea in Ingegneria Informatica Interfaccia utente basata su eye-tracking per sistemi di controllo ambientale Relatori: Candidato: Prof. Fulvio Corno Luigi De Russis Dott. Emiliano Castellina
  • 2.
    Contesto Un utente (disabile)vuole interagire in maniera autonoma con la sua casa.
  • 3.
    Contesto Un utente (disabile)vuole interagire in maniera autonoma con la sua casa.
  • 4.
    Contesto Un utente (disabile)vuole interagire in maniera autonoma con la sua casa. Per farlo ha bisogno: • domotica
  • 5.
    Contesto Un utente (disabile)vuole interagire in maniera autonoma con la sua casa. Per farlo ha bisogno: • domotica • eye-tracking
  • 6.
    Contesto Un utente (disabile)vuole interagire in maniera autonoma con la sua casa. Per farlo ha bisogno: • tocco di Mida • domotica • precisione • eye-tracking
  • 7.
    Obiettivo generale • Problema: non esistono interfacce utente adatte all’utilizzo con eye-tracker per sistemi domotici (COGAIN, deliverable 2.5) • Soluzione: studio, progettazione e realizzazione di un’interfaccia utente basata su dispositivi di eye- tracking per funzionalità di controllo domotico • Tale interfaccia prende il nome di DOGeye
  • 8.
    Obiettivi di DOGeye • Rispetto delle linee guida COGAIN • Interazione con DOG • Utilizzo con mouse, tastiera ed eye-tracker (ETU- Driver) • Utilizzo di tecnologie allo stato dell’arte per la realizzazione dell’interfaccia (WPF)
  • 9.
    Caratteristiche • Assoluta indipendenza dal tipo di ambiente domotico • Navigazione per stanze e per funzionalità • Modalità di selezione: • singola • multipla (per stanze e dispositivi) • per tipo di dispositivi • Comando dei dispositivi e visualizzazione dello stato
  • 10.
  • 11.
    Interfaccia utente Area dei tab: vista funzionale della casa
  • 12.
    Interfaccia utente Area di selezione: vista strutturale della casa
  • 13.
    Interfaccia utente Area di comando
  • 14.
    Interfaccia utente Area dinotifica e di allarme
  • 15.
  • 16.
  • 17.
    Conclusioni L’interfaccia utente realizzata: • rispetta tutte le linee guida COGAIN obbligatorie e quasi tutte quelle consigliate • è utilizzabile con un eye-tracker • interagisce senza problemi con DOG • necessita di una valutazione qualitativa tramite test di usabilità
  • 18.
    Possibili sviluppi • Porting per il web (Silverlight o WPF) • Localizzazione in più lingue • Possibilità per l’utente di personalizzare l’aspetto dell’interfaccia • Supporto a dispositivi domotici più complessi
  • 19.
  • 20.
  • 21.
    Windows Presentation Foundation <Button Content="Hello World" Height="50" Width="100" Click="Button_Click"/>
  • 22.
    Windows Presentation Foundation <Button Content="Hello World" Height="50" Width="100" Click="Button_Click"/> private void Button_Click(object sender, RoutedEventArgs e) { MessageBox.Show("Hello World!"); }
  • 23.
    Linee guida COGAIN 1.1Fornire un sistema di notifiche per gli allarmi veloce, facile da 1 capire e multimodale 1.2 Fornire all’utente solo poche e chiare opzioni per gestire eventi 2 di allarme 1.3 Fornire un’azione di default per affrontare un evento di allarme 1 1.4 Fornire una richiesta di conferma per le operazioni critiche e 1 possibilmente dannose 1.5 Fornire una funzionalità di STOP che interrompa ogni operazione 1 2.1 Fornire una connessione con il COGAIN ETU-Driver 1 2.2 Supportare differenti metodi di input 2 2.3 Fornire un layout riconfigurabile, appropriato per diverse 2 performance dell’eye-tracking e per diverse esigenze degli utenti
  • 24.
    Linee guida COGAIN(II) 2.4 Supportare più metodi di input allo stesso momento 2 2.5 Gestire la perdita del controllo dell’input fornendo azioni di 2 default automatiche 3.1 Rispondere agli eventi e ai comandi dell’ambiente domotico nel 1 giusto tempo 3.2 Gestire eventi con diversa priorità temporale 1 3.3 Eseguire comandi con diversa priorità 1 3.4 Fornire un feedback quando vengono eseguite operazioni e 2 comandi automatici 3.5 Gestire (creare, modificare, cancellare) scenari 2 3.6 Conoscere lo stato corrente di ogni dispositivo 2
  • 25.
    Linee guida COGAIN(III) 4.1 Fornire una chiara visualizzazione di ciò che accade nella casa 1 4.2 Fornire un’interfaccia elegante e chiara 2 4.3 Fornire una visualizzazione dello stato e della posizione dei 2 dispositivi nella casa 4.4 Usare icone, colori e testo per evidenziare un cambiamento di 2 stato 4.5 Fornire un metodo di selezione facile da imparare 2