Sistemi informativi multimediali                                                                     Docenti:             ...
INDICE• Riconoscere i funghi• Le tecnologie smartphone	• Un’applicazione per il riconoscimento di funghi in mobilità• L’ar...
RICONOSCERE I FUNGHI    Forma         Colore        Superficie                  Dimensioni/                                ...
LE TECNOLOGIE SMARTPHONE  Larga diffusione negli ultimi anni                               Fotocamera                     ...
APPLICAZIONE PER RICONOSCIMENTO FUNGHI   Scenario d’uso
ARCHITETTURA DI iFUNGUSTutto il processo di retrieval avverrà sullo smartphone, questo èpermesso da:• buona potenza di cal...
DATABASE DI iFUNGUS                                                                        Informazioni:                  ...
FEATURES EXTRACTION1.	 Scattare foto del fungo di scorcio.2.   Estrarlo dal contesto stabilendone la shape (Slope Magnitud...
SCATTARE LA FOTO DEL FUGNO DI SCORCIO            • Eliminare ostruzioni (rami, foglie)            • Posizionarsi a di circ...
SLOPE MAGNITUDE TECHINQUE  Edge: salto nell’intensità dell’immagine  Robert Operator: Gy per trovare il gradiente vertical...
CONVERSIONE EQUALIZZAZIONE ENORMALIZZAZIONE  •Resize dell’immagine in modo da essere della stessa dimensione del database ...
SEPARARE IL CAPPELLO DAL GAMBOAlgoritmo:•Contorno del fungo e partendo dal basso•Angolo che contraddistingue l’attaccatura...
ESTRAZIONE DELLE PROPORZIONI            Estrazione di features:            ●	 altezza complessiva del fungo            ●	 ...
RICONOSCIMENTO DEL COLORE        Features colore: Dynamic Color Distribution Entropy of        Neighborhoods        L’imma...
TEXTURE CAPPELLO         L’analisi della texture sarà effettuata sul cappello.         Viene utilizzato il Gabor Filter la...
INCERTEZZA INDIVIDUAZIONESe il riconoscimento dovesse fallire verrà chiesto all’utente di:•scattare una nuova foto del fun...
INDEXINGOrganizzazione del database utilizzando una struttura dati che sfrutti le relazioni spaziali tra i vettori.Struttu...
MATCHINGVector space model possiamo definire come un documento (d) l’insieme di tutte lefeatures (wj) estratte dalle immagi...
INTERAZIONE E UI    Splash screen    applicazione
INTERAZIONE E UI    L’utente deve porsi        ad una distanza         di 15-20 cm e       dovrà centrare il    fungo nell...
INTERAZIONE E UI      Se il fungo non è                    stato         completamente          catturato viene    data la...
INTERAZIONE E UI     Area completata a      mano dall’utente    che colora le parti            interessate
INTERAZIONE E UI     Risultati multipli                          Possibilità di                          affinare i risulta...
INTERAZIONE E UI      Scatto foto         dall’alto
INTERAZIONE E UI            Fungo      riconosciuto                     Grado di                     commestibilità
INTERAZIONE E UI      Informazioni      aggiuntive di         supporto
INTERAZIONE E UI            Fungo      riconosciuto,           tossico
INTERAZIONE E UI           Possibilità di              salvare la     posizione GPS in    cui è stato trovato
LIMITI• Progetto prettamente teorico che non permette di verificare la stabilità  del sistema.• Sarebbe opportuno popolare ...
SVILUPPI FUTURI• Utilizzo di un expert system• Tecnologia GPS
GRAZIE
Upcoming SlideShare
Loading in...5
×

iFungus

1,917

Published on

Published in: Technology
1 Comment
1 Like
Statistics
Notes
  • ciao come la scarico l' applicazione?
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
No Downloads
Views
Total Views
1,917
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
11
Comments
1
Likes
1
Embeds 0
No embeds

No notes for slide

iFungus

  1. 1. Sistemi informativi multimediali Docenti: Raimondo Schettini Gianluigi Ciocca iFUNGUS Un’applicazione per il riconoscimento dei funghi tramite smartphoneAngeloOldaniMichele Pierangeli
  2. 2. INDICE• Riconoscere i funghi• Le tecnologie smartphone • Un’applicazione per il riconoscimento di funghi in mobilità• L’architettura dell’applicazione• Il database • Features Extraction • Indexing • Matching • iFungus: interazione e user interface (UI) • Limiti del progetto • Sviluppi futuri
  3. 3. RICONOSCERE I FUNGHI Forma Colore Superficie Dimensioni/ Imenio cappello cappello cappello Proporzioni spianato ocra liscia lamelle cappello convesso marrone chiaro striata pori/tuboli gambo depresso marrone scuro scanalata aculei imbuto giallo vellutata ondulato rosso screpolata ovoidale arancio zonata alveoli viola verruche verde squame nero aculei ๏ Commestibili ๏ Immangiabili ๏ Tossici ๏ Mortali
  4. 4. LE TECNOLOGIE SMARTPHONE Larga diffusione negli ultimi anni Fotocamera GPS Internet in mobilità Market di applicazioni
  5. 5. APPLICAZIONE PER RICONOSCIMENTO FUNGHI Scenario d’uso
  6. 6. ARCHITETTURA DI iFUNGUSTutto il processo di retrieval avverrà sullo smartphone, questo èpermesso da:• buona potenza di calcolo• database ristretto• il contesto d’uso potrebbe non permettere una buona connessione dati
  7. 7. DATABASE DI iFUNGUS Informazioni: ● nome scientifico ● sinonimi e nomi comuni ● commestibilità ● habitat ● stagione ● eventuali curiosità Feature space: almeno 10 vettori per ogni specie di fungo tenendo conto dei differenti stadi di crescita.Thumbnail file: anteprima Feature vector:Access file: 960x640 pixel in formato .jpg ● Id del fungo ● shape ● area e dimensioni, cappello e gambo ● colore cappello e gambo ● texture
  8. 8. FEATURES EXTRACTION1. Scattare foto del fungo di scorcio.2. Estrarlo dal contesto stabilendone la shape (Slope Magnitude Technique).2. Convertire l’immagine alla stessa grandezza del database.3. Separare il cappello dal gambo e immagazzinare le proporzioni.4. Il colore della cappella e del gambo (Color distribution).5. Texture cappello (Gabor Filters).
  9. 9. SCATTARE LA FOTO DEL FUGNO DI SCORCIO • Eliminare ostruzioni (rami, foglie) • Posizionarsi a di circa 15 - 20 cm • Inquadrare il fungo e aspettare che venga delineato il contorno • Scattare la foto e controllare se il contorno è preciso • Nel caso non sia preciso aggiustarlo manualmente • Invio della query
  10. 10. SLOPE MAGNITUDE TECHINQUE Edge: salto nell’intensità dell’immagine Robert Operator: Gy per trovare il gradiente verticale e Gx per quello orizzontale Slope Magnitude Method trovare i punti di intersezione tra i gradienti
  11. 11. CONVERSIONE EQUALIZZAZIONE ENORMALIZZAZIONE •Resize dell’immagine in modo da essere della stessa dimensione del database di feature. •Eliminazione dello sfondo usando la shape. •Equalizzazione delle curve.
  12. 12. SEPARARE IL CAPPELLO DAL GAMBOAlgoritmo:•Contorno del fungo e partendo dal basso•Angolo che contraddistingue l’attaccatura del gambo col cappello•Sia da destra che da sinistra•Linea di divisione
  13. 13. ESTRAZIONE DELLE PROPORZIONI Estrazione di features: ● altezza complessiva del fungo ● altezza del cappello e del gambo ● larghezza del cappello e del gambo
  14. 14. RICONOSCIMENTO DEL COLORE Features colore: Dynamic Color Distribution Entropy of Neighborhoods L’immagine viene scannerizzata riga per riga da sinistra a destra delineando dei quartieri di colore simili e suddividendo l’immagine in aree colorate.
  15. 15. TEXTURE CAPPELLO L’analisi della texture sarà effettuata sul cappello. Viene utilizzato il Gabor Filter lavorare con ristrette larghezze di banda nel dominio delle frequenze spaziali permettendo una più approfondita analisi della texture.
  16. 16. INCERTEZZA INDIVIDUAZIONESe il riconoscimento dovesse fallire verrà chiesto all’utente di:•scattare una nuova foto del fungo, dall’alto, in modo da prendere soltanto il cappello e fare una nuova estrazione di features.•discriminare visivamente e scegliere quali tra i funghi presentati assomiglia di più al fungo fotografato.
  17. 17. INDEXINGOrganizzazione del database utilizzando una struttura dati che sfrutti le relazioni spaziali tra i vettori.Struttura ad albero: Modello k-d tree
  18. 18. MATCHINGVector space model possiamo definire come un documento (d) l’insieme di tutte lefeatures (wj) estratte dalle immagini prototipiche di una specie di un fungo.La query (q) sarà composta da tutte le features (wq) estratte dall’immagine scattata dall’utente.Come misura di similarità si è scelto di utilizzare il coseno degli angoli tra i due vettori presentenel feature space.Coseno vicino ad 1 = query molto simile al vettore comparatoCoseno vicno a 0 = query molto dissimile al vettore comparato
  19. 19. INTERAZIONE E UI Splash screen applicazione
  20. 20. INTERAZIONE E UI L’utente deve porsi ad una distanza di 15-20 cm e dovrà centrare il fungo nella sagoma verde
  21. 21. INTERAZIONE E UI Se il fungo non è stato completamente catturato viene data la possibilità di selezionare a mano l’area interessata
  22. 22. INTERAZIONE E UI Area completata a mano dall’utente che colora le parti interessate
  23. 23. INTERAZIONE E UI Risultati multipli Possibilità di affinare i risultati scattando una foto anche dall’alto.
  24. 24. INTERAZIONE E UI Scatto foto dall’alto
  25. 25. INTERAZIONE E UI Fungo riconosciuto Grado di commestibilità
  26. 26. INTERAZIONE E UI Informazioni aggiuntive di supporto
  27. 27. INTERAZIONE E UI Fungo riconosciuto, tossico
  28. 28. INTERAZIONE E UI Possibilità di salvare la posizione GPS in cui è stato trovato
  29. 29. LIMITI• Progetto prettamente teorico che non permette di verificare la stabilità del sistema.• Sarebbe opportuno popolare una vasto database di immagini.• Il contesto d’uso naturale rende l’utilizzo dell’applicazione più complesso a causa dei forti cambiamenti delle variabili ambientali.• Impossibilità o difficoltà di riconoscere la forma degli Imenofori.• Rischio nel riconoscimento di un fungo sbagliato.
  30. 30. SVILUPPI FUTURI• Utilizzo di un expert system• Tecnologia GPS
  31. 31. GRAZIE
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×