Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Componentistica hardware e software coordinata da smartphone e destinata alla domotica per utenti con disabilità

8,263 views

Published on

Presentazione della tesi di laurea inInformatica di Mario Lombardi svolta presso l'Università degli Studi di Napoli "Federico II".
In questo lavoro si è voluto estendere lo sviluppo del progetto «Spoken House» di Informatici Senza Frontiere, basato sul framework Freedomotic, conferendo al sistema una nuova e precisa direzione al fine di favorire l’interazione con l’ambiente domestico da parte di utenti con disabilità. Il caso d'uso proposto punta a semplificare la vita agli utenti con disabilità uditiva (parziale o totale) a cui risulta problematico interagire con persone che suonano al citofono della propria abitazione.

Published in: Technology
  • Be the first to like this

Componentistica hardware e software coordinata da smartphone e destinata alla domotica per utenti con disabilità

  1. 1. UNIVERSITÀ DEGLI STUDI DI NAPOLI “FEDERICO II” Componentistica hardware e software coordinata da smartphone e destinata alla domotica per utenti con disabilità Relatore Prof. Piero Andrea Bonatti Correlatore Ing. Saverio De Vito Candidato Mario Lombardi Matr. N86000637 Corso di Laurea in Informatica Anno Accademico 2016/2017
  2. 2. Mario Lombardi - N86000637 2/15 MOTIVAZIONI E FINALITÀ: SOGGETTI COINVOLTI: • ENEA - Agenzia nazionale per le nuove tecnologie, l’energia e lo sviluppo eco-sostenibile; • ISF - Informatici Senza Frontiere ONLUS. • Estendere lo sviluppo del progetto «Spoken House» di ISF, conferendo al sistema una nuova e precisa direzione al fine di favorire l’interazione con l’ambiente domestico da parte di utenti con disabilità; • Realizzare un caso d’uso concreto. INTRODUZIONE • Committenti • Sistema da ampliare SVILUPPO • Oggetto citofono • Plugin e WebSocket • Speech-to-Text e TTS • Schema hardware • Interfaccia IL PROGETTO • Nuova idea • Fasi di sviluppo CONCLUSIONI • Test di funzionamento • Sviluppi futuri • Fine
  3. 3. Mario Lombardi - N86000637 IL PROGETTO SPOKEN HOUSE: • Applicazione mobile cross-platform in grado di interfacciarsi con un sistema domotico e agevolare utenti con disabilità visive e/o uditive nel controllo dei dispositivi presenti nell’ambiente domestico. • Applicazione Spoken House; • Framework Freedomotic, per la virtualizzazione dell’ambiente domestico; • Edificio antropizzato. LE COMPONENTI: 3/15 INTRODUZIONE • Committenti • Sistema da ampliare SVILUPPO • Oggetto citofono • Plugin e WebSocket • Speech-to-Text e TTS • Schema hardware • Interfaccia IL PROGETTO • Nuova idea • Fasi di sviluppo CONCLUSIONI • Test di funzionamento • Sviluppi futuri • Fine
  4. 4. Mario Lombardi - N86000637 LA NUOVA IDEA DI SPOKEN HOUSE: • Interfaccia unificata per mezzo dell’applicazione “Spoken House” che, attraverso l’integrazione di micro-controllori, permette l’interazione di utenti diversamente abili (disabili visivi e/o uditivi) con un qualsiasi dispositivo domestico già presente in un’abitazione, non necessariamente <<domotizzata>>. IL CASO D’USO: • Utente con disabilità uditiva (parziale o totale) a cui risulta problematico interagire con persone che suonano al citofono della propria abitazione. 4/15 INTRODUZIONE • Committenti • Sistema da ampliare SVILUPPO • Oggetto citofono • Plugin e WebSocket • Speech-to-Text e TTS • Schema hardware • Interfaccia IL PROGETTO • Nuova idea • Fasi di sviluppo CONCLUSIONI • Test di funzionamento • Sviluppi futuri • Fine
  5. 5. Mario Lombardi - N86000637 FASI DI SVILUPPO: • Creazione oggetto <<Citofono>> su Freedomotic; • Nuovo plugin Freedomotic per: o WebSocket; o Speech-to-Text e Text-to-Speech; • Integrazioni sull’ applicazione Spoken House; • Schema hardware prototipale. 5/15 INTRODUZIONE • Committenti • Sistema da ampliare SVILUPPO • Oggetto citofono • Plugin e WebSocket • Speech-to-Text e TTS • Schema hardware • Interfaccia IL PROGETTO • Nuova idea • Fasi di sviluppo CONCLUSIONI • Test di funzionamento • Sviluppi futuri • Fine
  6. 6. Mario Lombardi - N86000637 CITOFONO COME AUTOMA A STATI FINITI: • Astrazione del funzionamento dell’oggetto reale; • Possibili stati: o Attesa; o Squillo; o Comunicazione; o Apertura. 6/15 INTRODUZIONE • Committenti • Sistema da ampliare SVILUPPO • Oggetto citofono (1) • Plugin e WebSocket • Speech-to-Text e TTS • Schema hardware • Interfaccia IL PROGETTO • Nuova idea • Fasi di sviluppo CONCLUSIONI • Test di funzionamento • Sviluppi futuri • Fine
  7. 7. Mario Lombardi - N86000637 OGGETTO CITOFONO SU FREEDOMOTIC: • File XML, per la definizione di caratteristiche e proprietà; • Classi Java, per la gestione del suo funzionamento oltre che per la definizione di vincoli. 7/15 INTRODUZIONE • Committenti • Sistema da ampliare SVILUPPO • Oggetto citofono (2) • Plugin e WebSocket • Speech-to-Text e TTS • Schema hardware • Interfaccia IL PROGETTO • Nuova idea • Fasi di sviluppo CONCLUSIONI • Test di funzionamento • Sviluppi futuri • Fine
  8. 8. Mario Lombardi - N86000637 PLUGIN PER FREEDOMOTIC: • Modulo per lo sviluppo e la gestione dei processi di funzionamento del caso d’uso. PERCHÈ WEBSOCKET? • Comunicazione bidirezionale e «full duplex»; • Sicurezza «origin-based»; • Trasmissione dati mascherata; • Semplificano le architetture applicative real-time; • E’ possibile implementarla in diversi linguaggi. 8/15 INTRODUZIONE • Committenti • Sistema da ampliare SVILUPPO • Oggetto citofono • Plugin e WebSocket (1) • Speech-to-Text e TTS • Schema hardware • Interfaccia IL PROGETTO • Nuova idea • Fasi di sviluppo CONCLUSIONI • Test di funzionamento • Sviluppi futuri • Fine
  9. 9. Mario Lombardi - N86000637 COMUNICAZIONE PER MEZZO DI WEBSOCKET: • Le classi: o FDWebSocket; o FDWebSocketHandler. • API Jetty; • Creazione e ricezione messaggi: o Il metodo OnMessage; o Formato JSON. 9/15 INTRODUZIONE • Committenti • Sistema da ampliare SVILUPPO • Oggetto citofono • Plugin e WebSocket (2) • Speech-to-Text e TTS • Schema hardware • Interfaccia IL PROGETTO • Nuova idea • Fasi di sviluppo CONCLUSIONI • Test di funzionamento • Sviluppi futuri • Fine
  10. 10. Mario Lombardi - N86000637 CONVERSAZIONE CITOFONICA: • Operazioni di Speech Recognition, da parlato a testo: • Google Cloud Speech API; • Possibilità per l’utente con disabilità uditiva di leggere ciò che dall’esterno viene detto. • Sintetizzazione vocale, da testo a parlato: • Integrazione del plugin MaryTTS; • Trasformazione in voce artificiale del testo che l’utilizzatore ha composto. • Si serve dei meccanismi di comunicazione implementati attraverso la WebSocket creata. Speech-To-Text Text-To-Speech 10/15 INTRODUZIONE • Committenti • Sistema da ampliare SVILUPPO • Oggetto citofono • Plugin e WebSocket • Speech-to-Text e TTS • Schema hardware • Interfaccia IL PROGETTO • Nuova idea • Fasi di sviluppo CONCLUSIONI • Test di funzionamento • Sviluppi futuri • Fine
  11. 11. SCHEMA HARDWARE PROTOTIPALE: Mario Lombardi - N86000637 11/15 INTRODUZIONE • Committenti • Sistema da ampliare SVILUPPO • Oggetto citofono • Plugin e WebSocket • Speech-to-Text e TTS • Schema hardware • Interfaccia IL PROGETTO • Nuova idea • Fasi di sviluppo CONCLUSIONI • Test di funzionamento • Sviluppi futuri • Fine
  12. 12. Mario Lombardi - N86000637 INTERFACCIA APPLICAZIONE SPOKEN HOUSE: • Interfaccia a quattro angoli; • Scambio di messaggi JSON con Freedomotic per mezzo di WebSocket; • Applicazione cross-platform, realizzata con Apache Cordova, utilizzando: o HTML5; o CSS3; o Javascript; o XML. • Gestione eventi legati al funzionamento del citofono. 12/15 INTRODUZIONE • Committenti • Sistema da ampliare SVILUPPO • Oggetto citofono • Plugin e WebSocket • Speech-to-Text e TTS • Schema hardware • Interfaccia IL PROGETTO • Nuova idea • Fasi di sviluppo CONCLUSIONI • Test di funzionamento • Sviluppi futuri • Fine
  13. 13. Mario Lombardi - N86000637 TEST DI FUNZIONAMENTO: • Utente: • Audioleso Postverbale; • Apparecchio retroauricolare. • Componentistica utilizzata: • Raspberry Pi 3; • Freedmotic installato sul Raspberry; • Breadboard collegata al Raspberry, avente pulsante e led; 13/15 INTRODUZIONE • Committenti • Sistema da ampliare SVILUPPO • Oggetto citofono • Plugin e WebSocket • Speech-to-Text e TTS • Schema hardware • Interfaccia IL PROGETTO • Nuova idea • Fasi di sviluppo CONCLUSIONI • Test di funzionamento • Sviluppi futuri • Fine
  14. 14. CONSIDERAZIONI: SVILUPPI FUTURI: • Sistema: o Passaggio da uno stato prototipale ad una messa in opera definitiva; o Rendere (semi)automatico il processo di rilevamento dei dispositivi domestici da parte di Spoken House (ZigBee/Z-Wave). • Conversazione citofonica: o Estensione del caso d’uso anche ad utenti non vedenti; o Perfezionamento del caso d’uso per i non udenti (pre-linguistici). • Maggior livello di concretezza raggiunto per il progetto «Spoken House» con realizzazione di uno scenario reale di utilizzo; • Il progetto realizzato sarà presentato ad ottobre al festival «Informatica e Tecnologie per un uso responsabile e ridurre le disuguaglianze». Mario Lombardi - N86000637 14/15 INTRODUZIONE • Committenti • Sistema da ampliare SVILUPPO • Oggetto citofono • Plugin e WebSocket • Speech-to-Text e TTS • Schema hardware • Interfaccia IL PROGETTO • Nuova idea • Fasi di sviluppo CONCLUSIONI • Test di funzionamento • Sviluppi futuri • Fine
  15. 15. GRAZIE A TUTTI PER L’ATTENZIONE! Mario Lombardi - N86000637 15/15 INTRODUZIONE • Committenti • Sistema da ampliare SVILUPPO • Oggetto citofono • Plugin e WebSocket • Speech-to-Text e TTS • Schema hardware • Interfaccia IL PROGETTO • Nuova idea • Fasi di sviluppo CONCLUSIONI • Test di funzionamento • Sviluppi futuri • Fine

×