Sistemi informativi multimediali                                                                                  Docenti:...
INDICE    • Riconoscere i funghi    • Le tecnologie smartphone	    • Un’applicazione per il riconoscimento di funghi in mo...
RICONOSCERE I FUNGHI                       Forma         Colore        Superficie                  Dimensioni/             ...
LE TECNOLOGIE SMARTPHONE                 Larga diffusione negli ultimi annimartedì 5 giugno 12
LE TECNOLOGIE SMARTPHONE                 Larga diffusione negli ultimi anni                                              F...
LE TECNOLOGIE SMARTPHONE                 Larga diffusione negli ultimi anni                                              F...
LE TECNOLOGIE SMARTPHONE                 Larga diffusione negli ultimi anni                                              F...
LE TECNOLOGIE SMARTPHONE                 Larga diffusione negli ultimi anni                                              F...
APPLICAZIONE PER RICONOSCIMENTO FUNGHI                 Scenario d’usomartedì 5 giugno 12
APPLICAZIONE PER RICONOSCIMENTO FUNGHI                 Scenario d’usomartedì 5 giugno 12
ARCHITETTURA DI iFUNGUS  Tutto il processo di retrieval avverrà sullo smartphone, questo è  permesso da:  • buona potenza ...
DATABASE DI iFUNGUS                                                                            Informazioni:              ...
FEATURES EXTRACTION    1.	 Scattare foto del fungo di scorcio.    2.       Estrarlo dal contesto stabilendone la shape (Sl...
SCATTARE LA FOTO DEL FUGNO DI SCORCIO                      • Eliminare ostruzioni (rami, foglie)                      • Po...
SLOPE MAGNITUDE TECHINQUE                      Edge: salto nell’intensità dell’immagine                      Robert Operat...
CONVERSIONE EQUALIZZAZIONE E    NORMALIZZAZIONE            •Resize dell’immagine in modo da essere della stessa dimensione...
SEPARARE IL CAPPELLO DAL GAMBO        Algoritmo:        •Contorno del fungo e partendo dal basso        •Angolo che contra...
ESTRAZIONE DELLE PROPORZIONI                      Estrazione di features:                      ●	 altezza complessiva del ...
RICONOSCIMENTO DEL COLORE                      Features colore: Dynamic Color Distribution Entropy of                     ...
TEXTURE CAPPELLO                      L’analisi della texture sarà effettuata sul cappello.                      Viene uti...
INCERTEZZA INDIVIDUAZIONE  Se il riconoscimento dovesse fallire verrà chiesto all’utente di:  •scattare una nuova foto del...
INDEXING Organizzazione del database utilizzando una struttura dati che sfrutti le relazioni spaziali tra i vettori. Strut...
MATCHING         Vector space model possiamo definire come un documento (d) l’insieme di tutte le         features (wj) est...
INTERAZIONE E UI                      Splash screen                      applicazionemartedì 5 giugno 12
INTERAZIONE E UI                      L’utente deve porsi                          ad una distanza                        ...
INTERAZIONE E UI                        Se il fungo non è                                      stato                      ...
INTERAZIONE E UI                       Area completata a                        mano dall’utente                      che ...
INTERAZIONE E UI                      Risultati multipli                                           Possibilità di         ...
INTERAZIONE E UI                      Scatto foto                         dall’altomartedì 5 giugno 12
INTERAZIONE E UI                            Fungo                      riconosciuto                                     Gr...
INTERAZIONE E UI                      Informazioni                      aggiuntive di                         supportomart...
INTERAZIONE E UI                            Fungo                      riconosciuto,                           tossicomart...
INTERAZIONE E UI                             Possibilità di                                salvare la                     ...
LIMITI    • Progetto prettamente teorico che non permette di verificare la stabilità        del sistema.    • Sarebbe oppor...
SVILUPPI FUTURI    • Utilizzo di un expert system    • Tecnologia GPSmartedì 5 giugno 12
GRAZIEmartedì 5 giugno 12
Upcoming SlideShare
Loading in …5
×

iFungus - Un'applicazione per il riconoscimento dei funghi tramite smartphone

10,247 views
9,899 views

Published on

Progettazione di un'applicazione per il riconoscimento dei funghi tramite smartphone effettuata per il Corso di Sistemi Informativi Multimediali 2012 Università degli Studi di Milano Bicocca

Published in: Education
1 Comment
5 Likes
Statistics
Notes
  • Ciao a tutti voi vorrei sapere come si sacrica questo programma di funghi su iphon
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
No Downloads
Views
Total views
10,247
On SlideShare
0
From Embeds
0
Number of Embeds
78
Actions
Shares
0
Downloads
31
Comments
1
Likes
5
Embeds 0
No embeds

No notes for slide

iFungus - Un'applicazione per il riconoscimento dei funghi tramite smartphone

  1. 1. Sistemi informativi multimediali Docenti: Raimondo Schettini Gianluigi Ciocca iFUNGUS Un’applicazione per il riconoscimento dei funghi tramite smartphone AngeloOldani - 744818 Michele Pierangeli - 703989martedì 5 giugno 12
  2. 2. INDICE • Riconoscere i funghi • Le tecnologie smartphone • Un’applicazione per il riconoscimento di funghi in mobilità • L’architettura dell’applicazione • Il database • Features Extraction • Indexing • Matching • iFungus: interazione e user interface (UI) • Limiti del progetto • Sviluppi futuri martedì 5 giugno 12
  3. 3. RICONOSCERE I FUNGHI Forma Colore Superficie Dimensioni/ Imenio cappello cappello cappello Proporzioni spianato ocra liscia lamelle cappello convesso marrone chiaro striata pori/tuboli gambo depresso marrone scuro scanalata aculei imbuto giallo vellutata ondulato rosso screpolata ovoidale arancio zonata alveoli viola verruche verde squame nero aculei ๏ Commestibili ๏ Immangiabili ๏ Tossici ๏ Mortalimartedì 5 giugno 12
  4. 4. LE TECNOLOGIE SMARTPHONE Larga diffusione negli ultimi annimartedì 5 giugno 12
  5. 5. LE TECNOLOGIE SMARTPHONE Larga diffusione negli ultimi anni Fotocameramartedì 5 giugno 12
  6. 6. LE TECNOLOGIE SMARTPHONE Larga diffusione negli ultimi anni Fotocamera GPSmartedì 5 giugno 12
  7. 7. LE TECNOLOGIE SMARTPHONE Larga diffusione negli ultimi anni Fotocamera GPS Internet in mobilitàmartedì 5 giugno 12
  8. 8. LE TECNOLOGIE SMARTPHONE Larga diffusione negli ultimi anni Fotocamera GPS Internet in mobilità Market di applicazionimartedì 5 giugno 12
  9. 9. APPLICAZIONE PER RICONOSCIMENTO FUNGHI Scenario d’usomartedì 5 giugno 12
  10. 10. APPLICAZIONE PER RICONOSCIMENTO FUNGHI Scenario d’usomartedì 5 giugno 12
  11. 11. ARCHITETTURA DI iFUNGUS Tutto il processo di retrieval avverrà sullo smartphone, questo è permesso da: • buona potenza di calcolo • database ristretto • il contesto d’uso potrebbe non permettere una buona connessione datimartedì 5 giugno 12
  12. 12. DATABASE DI iFUNGUS Informazioni: ● nome scientifico ● sinonimi e nomi comuni ● commestibilità ● habitat ● stagione ● eventuali curiosità Feature space: almeno 10 vettori per ogni specie di fungo tenendo conto dei differenti stadi di crescita. Thumbnail file: anteprima Feature vector: Access file: 960x640 pixel in formato .jpg ● Id del fungo ● shape ● area e dimensioni, cappello e gambo ● colore cappello e gambo ● texturemartedì 5 giugno 12
  13. 13. FEATURES EXTRACTION 1. Scattare foto del fungo di scorcio. 2. Estrarlo dal contesto stabilendone la shape (Slope Magnitude Technique). 2. Convertire l’immagine alla stessa grandezza del database. 3. Separare il cappello dal gambo e immagazzinare le proporzioni. 4. Il colore della cappella e del gambo (Color distribution). 5. Texture cappello (Gabor Filters).martedì 5 giugno 12
  14. 14. SCATTARE LA FOTO DEL FUGNO DI SCORCIO • Eliminare ostruzioni (rami, foglie) • Posizionarsi a di circa 15 - 20 cm • Inquadrare il fungo e aspettare che venga delineato il contorno • Scattare la foto e controllare se il contorno è preciso • Nel caso non sia preciso aggiustarlo manualmente • Invio della querymartedì 5 giugno 12
  15. 15. SLOPE MAGNITUDE TECHINQUE Edge: salto nell’intensità dell’immagine Robert Operator: Gy per trovare il gradiente verticale e Gx per quello orizzontale Slope Magnitude Method trovare i punti di intersezione tra i gradientimartedì 5 giugno 12
  16. 16. CONVERSIONE EQUALIZZAZIONE E NORMALIZZAZIONE •Resize dell’immagine in modo da essere della stessa dimensione del database di feature. •Eliminazione dello sfondo usando la shape. •Equalizzazione delle curve.martedì 5 giugno 12
  17. 17. SEPARARE IL CAPPELLO DAL GAMBO Algoritmo: •Contorno del fungo e partendo dal basso •Angolo che contraddistingue l’attaccatura del gambo col cappello •Sia da destra che da sinistra •Linea di divisionemartedì 5 giugno 12
  18. 18. ESTRAZIONE DELLE PROPORZIONI Estrazione di features: ● altezza complessiva del fungo ● altezza del cappello e del gambo ● larghezza del cappello e del gambomartedì 5 giugno 12
  19. 19. RICONOSCIMENTO DEL COLORE Features colore: Dynamic Color Distribution Entropy of Neighborhoods L’immagine viene scannerizzata riga per riga da sinistra a destra delineando dei quartieri di colore simili e suddividendo l’immagine in aree colorate.martedì 5 giugno 12
  20. 20. TEXTURE CAPPELLO L’analisi della texture sarà effettuata sul cappello. Viene utilizzato il Gabor Filter lavorare con ristrette larghezze di banda nel dominio delle frequenze spaziali permettendo una più approfondita analisi della texture.martedì 5 giugno 12
  21. 21. INCERTEZZA INDIVIDUAZIONE Se il riconoscimento dovesse fallire verrà chiesto all’utente di: •scattare una nuova foto del fungo, dall’alto, in modo da prendere soltanto il cappello e fare una nuova estrazione di features. •discriminare visivamente e scegliere quali tra i funghi presentati assomiglia di più al fungo fotografato.martedì 5 giugno 12
  22. 22. INDEXING Organizzazione del database utilizzando una struttura dati che sfrutti le relazioni spaziali tra i vettori. Struttura ad albero: Modello k-d treemartedì 5 giugno 12
  23. 23. MATCHING Vector space model possiamo definire come un documento (d) l’insieme di tutte le features (wj) estratte dalle immagini prototipiche di una specie di un fungo. La query (q) sarà composta da tutte le features (wq) estratte dall’immagine scattata dall’utente. Come misura di similarità si è scelto di utilizzare il coseno degli angoli tra i due vettori presente nel feature space. Coseno vicino ad 1 = query molto simile al vettore comparato Coseno vicno a 0 = query molto dissimile al vettore comparatomartedì 5 giugno 12
  24. 24. INTERAZIONE E UI Splash screen applicazionemartedì 5 giugno 12
  25. 25. INTERAZIONE E UI L’utente deve porsi ad una distanza di 15-20 cm e dovrà centrare il fungo nella sagoma verdemartedì 5 giugno 12
  26. 26. INTERAZIONE E UI Se il fungo non è stato completamente catturato viene data la possibilità di selezionare a mano l’area interessatamartedì 5 giugno 12
  27. 27. INTERAZIONE E UI Area completata a mano dall’utente che colora le parti interessatemartedì 5 giugno 12
  28. 28. INTERAZIONE E UI Risultati multipli Possibilità di affinare i risultati scattando una foto anche dall’alto.martedì 5 giugno 12
  29. 29. INTERAZIONE E UI Scatto foto dall’altomartedì 5 giugno 12
  30. 30. INTERAZIONE E UI Fungo riconosciuto Grado di commestibilitàmartedì 5 giugno 12
  31. 31. INTERAZIONE E UI Informazioni aggiuntive di supportomartedì 5 giugno 12
  32. 32. INTERAZIONE E UI Fungo riconosciuto, tossicomartedì 5 giugno 12
  33. 33. INTERAZIONE E UI Possibilità di salvare la posizione GPS in cui è stato trovatomartedì 5 giugno 12
  34. 34. LIMITI • Progetto prettamente teorico che non permette di verificare la stabilità del sistema. • Sarebbe opportuno popolare una vasto database di immagini. • Il contesto d’uso naturale rende l’utilizzo dell’applicazione più complesso a causa dei forti cambiamenti delle variabili ambientali. • Impossibilità o difficoltà di riconoscere la forma degli Imenofori. • Rischio nel riconoscimento di un fungo sbagliato.martedì 5 giugno 12
  35. 35. SVILUPPI FUTURI • Utilizzo di un expert system • Tecnologia GPSmartedì 5 giugno 12
  36. 36. GRAZIEmartedì 5 giugno 12

×