Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Random Walker for
Content-Based Image Retrieval
     with Relevance Feedback

                  Massimo Rabbi
Contenuti della presentazione
  •   Image Retrieval
  •   CBIR: content-based VS text-based
  •   Relevance Feedback
  •  ...
La ricerca di immagini 1/3

 •   Che cos‟è l‟Image Retrieval?
 •   Perché cercare immagini?
     •   Le immagini sono info...
La ricerca di immagini 2/3
 •   Come interrogare un sistema di IR?
     •   Query by example
     •   Query by sketch
    ...
La ricerca di immagini 3/3
 •   Alcuni esempi:
CBIR: Ricerca su contenuti 1/3
•   Content-Based VS Text-Based:
    •   Impensabile annotazione manuale
    •   La stessa ...
CBIR: Ricerca su contenuti 2/3

•   Concetto di “informazione visuale”
    •   visuale è la query
    •   visuale è il rag...
CBIR: Ricerca su contenuti 3/3

•   Problemi e ambiti di ricerca aperti:
    •   la questione “semantic gap”
    •   domin...
Relevance feedback
•   Tecnica nata negli anni „60 nell‟ambito del document
    retrieval e ripresa con interesse dalla co...
Temi del relevance feedback
•   Modelli di feedback:
    •   positivo, positivo-negativo, positivo-neutro-negativo,
      ...
Analisi del lavoro di tesi svolto
•   Algoritmo di relevance feedback per l‟image
    retrieval, in particolare CBIR.
•   ...
Formulazione graph-based 1/2
•   Input del sistema: grafo pesato      , insieme
    di vertici          , funzione
•   Out...
Formulazione graph-based 2/2
•    Riscrivendo in forma matriciale:



•    e più precisamente come:



•    Derivando risp...
Random walk su grafi
•   I grafi come struttura per rappresentare i dati di un
    problema.
•   Un random walk su un graf...
Ispirazione dall’image segmentation
•   Algoritmo di image segmentation interattivo proposto
    da Leo Grady (2006).
•   ...
Ispirazione dall’image segmentation
•   Algoritmo di image segmentation interattivo proposto
    da Leo Grady (2006).
•   ...
Il problema di Dirichlet

•    Le probabilità del random walker possono essere
     ottenute risolvendo il problema di Dir...
Analogia con i circuiti elettrici
•    La soluzione al problema combinatorio di Dirichlet su
     un grafo arbitrario è da...
Analogia con i circuiti elettrici
•    La soluzione al problema combinatorio di Dirichlet su
     un grafo arbitrario è da...
Random walker per l’image retrieval
•   I nuovi nodi del grafo sono le immagini.
•   Gli unici due seed necessari sono le ...
Pseudo-codice dell’algoritmo
Codice Matlab dell’algoritmo
Test sperimentali – Datasets 1/2
 •   Wang Dataset – 1000 immagini – 10 categorie




 •   Oliva Dataset – 2688 immagini –...
Test sperimentali – Datasets 2/2
•   Custom-Caltech Dataset – 4920 immagini – 43 categorie
Test sperimentali – Features 1/4
•   Color Histogram:
    •   rappresentazione della distribuzione del colore in
        u...
Test sperimentali – Feature 2/4
•   Color Moments:
    •   la distribuzione del colore come distribuzione di
        proba...
Test sperimentali – Feature 3/4
•   Gray Level Co-Occurrence Matrix (GLCM):
    •   feature di tipo texture
    •   consid...
Test sperimentali – Feature 3/4
•   Gray Level Co-Occurrence Matrix (GLCM):
    •   feature di tipo texture
    •   consid...
Test sperimentali – Feature 4/4
•   Global scene (GIST):
    •   “The gist is an abstract representation of the scene that...
Test sperimentali – Feature 4/4
•   Global scene (GIST):
    •   “The gist is an abstract representation of the scene that...
Test Sperimentali:
Algoritmi e impostazioni
•   Algoritmi usati per i confronti:
    •   Feature Re-Weighting
    •   Rele...
Risultati – Esempio di query

    Immagine di query


    Risultati dopo k-NN



    Risultati dopo 1 RF



    Risult...
Risultati - Precisione della ricerca




     (a) Wang Dataset     (b) Oliva Dataset   (c) Custom-Caltech Dataset


•   Fe...
Risultati – Scelta delle features
Risultati – Performance sui tempi




     (a) Wang Dataset     (b) Oliva Dataset   (c) Custom-Caltech Dataset


•   Featu...
Risultati – Implementazione sparsa




•   Feature usata: Color Moments.
•   Random query: 500 query random su dataset Oli...
Conclusioni
•   Proposto un nuovo algoritmo per il CBIR con
    relevance feedback
•   Bontà dei risultati sperimentali ot...
Sviluppi futuri
 •   Modello di feedback: es.
 •   Query multi-immagine.
 •   Estendere la parte sperimentale:
     •   im...
The End…

  Grazie per l’attenzione!



                               contatti:
                        Massimo Rabbi
   ...
Bibliografia
Upcoming SlideShare
Loading in …5
×

Content-based Image Retrieval con Relevance Feedback

4,935 views

Published on

  • Be the first to comment

  • Be the first to like this

Content-based Image Retrieval con Relevance Feedback

  1. 1. Random Walker for Content-Based Image Retrieval with Relevance Feedback Massimo Rabbi
  2. 2. Contenuti della presentazione • Image Retrieval • CBIR: content-based VS text-based • Relevance Feedback • Analisi del lavoro di tesi • Formulazione graph-based • Caso dell‟image segmentation • Random walker per l‟image retrieval • Test sperimentali • Conclusioni e sviluppi futuri
  3. 3. La ricerca di immagini 1/3 • Che cos‟è l‟Image Retrieval? • Perché cercare immagini? • Le immagini sono informazioni • Cataloghi pubblici e privati di foto/immagini • Come cercare immagini? • Contenuto (Content-Based Image Retrieval) • Descrizione (Text-Based Image Retrieval) • Sistemi misti
  4. 4. La ricerca di immagini 2/3 • Come interrogare un sistema di IR? • Query by example • Query by sketch • Query by text • Alcune applicazioni • Sistemi di ricerca per il web • Sicurezza e biometria • GIS • Beni culturali • Diagnostica medicale • Giornalismo e pubblicità
  5. 5. La ricerca di immagini 3/3 • Alcuni esempi:
  6. 6. CBIR: Ricerca su contenuti 1/3 • Content-Based VS Text-Based: • Impensabile annotazione manuale • La stessa immagine ha significati diversi per persone diverse • Diversi livelli di dettaglio per descrivere un‟immagine • Esempio: • pascolo, mucche, pastore, persona, prato, montagna, alberi, animali…
  7. 7. CBIR: Ricerca su contenuti 2/3 • Concetto di “informazione visuale” • visuale è la query • visuale è il ragionamento che guida la similitudine • visuali sono i criteri usati per l‟indicizzazione • Il recupero delle immagini è legato agli elementi percettivi usati per “descrivere” le immagini: • features basate su colore, shape, texture etc. • features complesse, vedi SIFT o GIST
  8. 8. CBIR: Ricerca su contenuti 3/3 • Problemi e ambiti di ricerca aperti: • la questione “semantic gap” • domini delle immagini: narrow vs broad • features e misure di similarità • interazione dell‟utente • Il “semantic gap” è la fonte principale di problemi!
  9. 9. Relevance feedback • Tecnica nata negli anni „60 nell‟ambito del document retrieval e ripresa con interesse dalla comunità CBIR verso inizio-metà anni ‟90 • Metodo fondamentale per attaccare il problema del “semantic gap”. • Concetto chiave di “user-in-the-loop”.
  10. 10. Temi del relevance feedback • Modelli di feedback: • positivo, positivo-negativo, positivo-neutro-negativo, grado di rilevanza • Short-term VS Long-term learning. • Query localizzate e uso di sotto-immagini. • Incorporamento di metadati testuali. • Tecniche per sfruttare le immagini non etichettate: • semi-supervised learning e active learning • Ricalcolo del query-point e feature re-weighting. • Metodi kernel: approcci SVM-based. • Metodi probabilistici.
  11. 11. Analisi del lavoro di tesi svolto • Algoritmo di relevance feedback per l‟image retrieval, in particolare CBIR. • Approccio graph-based: • i nodi rappresentano le immagini; • i pesi sugli archi rappresentano la similarità • Concetto di base: random walker. • Analogie con algoritmo già esistente nel campo dell‟image segmentation. • Legami tra la teoria dei random walker su grafi, la teoria del potenziale nel discreto e i circuiti elettrici.
  12. 12. Formulazione graph-based 1/2 • Input del sistema: grafo pesato , insieme di vertici , funzione • Output del sistema: ranking vector • Problema di ottimizzazione: • con i vincoli: (a) (b)
  13. 13. Formulazione graph-based 2/2 • Riscrivendo in forma matriciale: • e più precisamente come: • Derivando rispetto a : • Risoluzione di un sistema di equazioni lineari nelle variabili .
  14. 14. Random walk su grafi • I grafi come struttura per rappresentare i dati di un problema. • Un random walk su un grafo indiretto corrisponde ad una catena di Markov time-reversible. • Il random walk soddisfa infatti la cosiddetta “Proprietà di Markov”: • Dato un grafo indiretto , i pesi sugli archi indicano la probabilità di spostarsi verso il nodo vicino. • Esempio di random walker: la navigazione di un utente nel web.
  15. 15. Ispirazione dall’image segmentation • Algoritmo di image segmentation interattivo proposto da Leo Grady (2006). • L‟immagine è un grafo i cui nodi sono i pixel. • Dati un certo numero di pixel predefiniti dall‟utente (seeds) viene calcolata la probabilità che un random walker li raggiunga, partendo da uno qualsiasi dei pixel non etichettati. • Ad ogni pixel viene assegnata l‟etichetta con la probabilità più alta.
  16. 16. Ispirazione dall’image segmentation • Algoritmo di image segmentation interattivo proposto da Leo Grady (2006). • L‟immagine è un grafo i cui nodi sono i pixel. • Dati un certo numero di pixel predefiniti dall‟utente (seeds) viene calcolata la probabilità che un random walker li raggiunga, partendo da uno qualsiasi dei pixel non etichettati. • Ad ogni pixel viene assegnata l‟etichetta con la probabilità più alta.
  17. 17. Il problema di Dirichlet • Le probabilità del random walker possono essere ottenute risolvendo il problema di Dirichlet. • La sua formulazione combinatoria è la seguente: • Riscrivendo otteniamo: • Derivando rispetto a :
  18. 18. Analogia con i circuiti elettrici • La soluzione al problema combinatorio di Dirichlet su un grafo arbitrario è data esattamente dalla distribuzione dei potenziali elettrici sui nodi di un circuito. • I resistori che collegano i nodi del circuito rappresentano l‟inverso dei pesi (conduttanza). • Le condizioni vengono imposte fissando il potenziale elettrico sui nodi specifici (seed).
  19. 19. Analogia con i circuiti elettrici • La soluzione al problema combinatorio di Dirichlet su un grafo arbitrario è data esattamente dalla distribuzione dei potenziali elettrici sui nodi di un circuito. • I resistori che collegano i nodi del circuito rappresentano l‟inverso dei pesi (conduttanza). • Le condizioni vengono imposte fissando il potenziale elettrico sui nodi specifici (seed).
  20. 20. Random walker per l’image retrieval • I nuovi nodi del grafo sono le immagini. • Gli unici due seed necessari sono le categorie “rilevante” e “non rilevante”. • I pesi sugli archi rappresentano la similarità tra coppie di immagini: • I round di feedback per “popolare” l‟insieme di seed.
  21. 21. Pseudo-codice dell’algoritmo
  22. 22. Codice Matlab dell’algoritmo
  23. 23. Test sperimentali – Datasets 1/2 • Wang Dataset – 1000 immagini – 10 categorie • Oliva Dataset – 2688 immagini – 8 categorie
  24. 24. Test sperimentali – Datasets 2/2 • Custom-Caltech Dataset – 4920 immagini – 43 categorie
  25. 25. Test sperimentali – Features 1/4 • Color Histogram: • rappresentazione della distribuzione del colore in un‟immagine • spazio dei colori HSV • 8 intervalli per canale H e 4 per canale S • vettore finale 32-D • Color Histogram Layout: • suddivisione dell‟immagine in 4 parti • feature Color Histogram applicata ad ogni sotto- immagine • vettore finale 32-D (HxSxSub-img = 4x4x2)
  26. 26. Test sperimentali – Feature 2/4 • Color Moments: • la distribuzione del colore come distribuzione di probabilità • spazio dei colori HSV • per ogni canale vengono estratti 3 color moment • 1) mean, valore medio • 2) deviazione standard, della distribuzione • 3) skewness, grado di simmetria della distribuzione • vettore finale 9-D
  27. 27. Test sperimentali – Feature 3/4 • Gray Level Co-Occurrence Matrix (GLCM): • feature di tipo texture • considera la relazione spaziale tra i pixel ecco perché detta anche Gray Level Spatial Dependence Matrix • vettore finale 20-D
  28. 28. Test sperimentali – Feature 3/4 • Gray Level Co-Occurrence Matrix (GLCM): • feature di tipo texture • considera la relazione spaziale tra i pixel ecco perché detta anche Gray Level Spatial Dependence Matrix • vettore finale 20-D
  29. 29. Test sperimentali – Feature 4/4 • Global scene (GIST): • “The gist is an abstract representation of the scene that spontaneously activates memory representations of scene categories (a city, a mountain, etc.)” [cit.] • tenta di dare una rappresentazione di immagini reali complesse usando le cosiddette Spatial Envelope properties • individuare la “shape-of-the-scene” • vettore finale 60-D
  30. 30. Test sperimentali – Feature 4/4 • Global scene (GIST): • “The gist is an abstract representation of the scene that spontaneously activates memory representations of scene categories (a city, a mountain, etc.)” [cit.] • tenta di dare una rappresentazione di immagini reali complesse usando le cosiddette Spatial Envelope properties • individuare la “shape-of-the-scene” • vettore finale 60-D
  31. 31. Test Sperimentali: Algoritmi e impostazioni • Algoritmi usati per i confronti: • Feature Re-Weighting • Relevance Score • Relevance Score Stabilized • Multiple Random Walk • 8 round di feedback. • Dimensioni dello scope: 20, 30, 40.
  32. 32. Risultati – Esempio di query  Immagine di query  Risultati dopo k-NN  Risultati dopo 1 RF  Risultati dopo 3 RF  Risultati dopo 6 RF
  33. 33. Risultati - Precisione della ricerca (a) Wang Dataset (b) Oliva Dataset (c) Custom-Caltech Dataset • Feature usata: Color Histogram. • Random query: 500 query per (a) e (b). 100 query (c). • Dimensione scope: 20 elementi.
  34. 34. Risultati – Scelta delle features
  35. 35. Risultati – Performance sui tempi (a) Wang Dataset (b) Oliva Dataset (c) Custom-Caltech Dataset • Feature usata: Color Histogram. • Random query: 500 query per (a) e (b). 100 query (c). • Dimensione scope: 20 elementi.
  36. 36. Risultati – Implementazione sparsa • Feature usata: Color Moments. • Random query: 500 query random su dataset Oliva. • Dimensione scope: 20 elementi. • Versione sparsa: regola di approssimazione k-nn con k = 20
  37. 37. Conclusioni • Proposto un nuovo algoritmo per il CBIR con relevance feedback • Bontà dei risultati sperimentali ottenuti. • Metodo semplice da implementare e parameter- free. • Possibilità di utilizzo in versione sparsa con dataset più grandi. • 11° European Conference on Computer Vision (ECCV 2010) – S. Rota Bulò, M. Rabbi, M. Pelillo – Paper submitted.
  38. 38. Sviluppi futuri • Modello di feedback: es. • Query multi-immagine. • Estendere la parte sperimentale: • implementazione sparsa • datasets • features • Implementazione di un sistema completo di IR.
  39. 39. The End… Grazie per l’attenzione! contatti: Massimo Rabbi massimo.rabbi@gmail.com http://www.securnetwork.net
  40. 40. Bibliografia

×