Random Walker for
Content-Based Image Retrieval
     with Relevance Feedback

                  Massimo Rabbi
Contenuti della presentazione
  •   Image Retrieval
  •   CBIR: content-based VS text-based
  •   Relevance Feedback
  •  ...
La ricerca di immagini 1/3

 •   Che cos‟è l‟Image Retrieval?
 •   Perché cercare immagini?
     •   Le immagini sono info...
La ricerca di immagini 2/3
 •   Come interrogare un sistema di IR?
     •   Query by example
     •   Query by sketch
    ...
La ricerca di immagini 3/3
 •   Alcuni esempi:
CBIR: Ricerca su contenuti 1/3
•   Content-Based VS Text-Based:
    •   Impensabile annotazione manuale
    •   La stessa ...
CBIR: Ricerca su contenuti 2/3

•   Concetto di “informazione visuale”
    •   visuale è la query
    •   visuale è il rag...
CBIR: Ricerca su contenuti 3/3

•   Problemi e ambiti di ricerca aperti:
    •   la questione “semantic gap”
    •   domin...
Relevance feedback
•   Tecnica nata negli anni „60 nell‟ambito del document
    retrieval e ripresa con interesse dalla co...
Temi del relevance feedback
•   Modelli di feedback:
    •   positivo, positivo-negativo, positivo-neutro-negativo,
      ...
Analisi del lavoro di tesi svolto
•   Algoritmo di relevance feedback per l‟image
    retrieval, in particolare CBIR.
•   ...
Formulazione graph-based 1/2
•   Input del sistema: grafo pesato      , insieme
    di vertici          , funzione
•   Out...
Formulazione graph-based 2/2
•    Riscrivendo in forma matriciale:



•    e più precisamente come:



•    Derivando risp...
Random walk su grafi
•   I grafi come struttura per rappresentare i dati di un
    problema.
•   Un random walk su un graf...
Ispirazione dall’image segmentation
•   Algoritmo di image segmentation interattivo proposto
    da Leo Grady (2006).
•   ...
Ispirazione dall’image segmentation
•   Algoritmo di image segmentation interattivo proposto
    da Leo Grady (2006).
•   ...
Il problema di Dirichlet

•    Le probabilità del random walker possono essere
     ottenute risolvendo il problema di Dir...
Analogia con i circuiti elettrici
•    La soluzione al problema combinatorio di Dirichlet su
     un grafo arbitrario è da...
Analogia con i circuiti elettrici
•    La soluzione al problema combinatorio di Dirichlet su
     un grafo arbitrario è da...
Random walker per l’image retrieval
•   I nuovi nodi del grafo sono le immagini.
•   Gli unici due seed necessari sono le ...
Pseudo-codice dell’algoritmo
Codice Matlab dell’algoritmo
Test sperimentali – Datasets 1/2
 •   Wang Dataset – 1000 immagini – 10 categorie




 •   Oliva Dataset – 2688 immagini –...
Test sperimentali – Datasets 2/2
•   Custom-Caltech Dataset – 4920 immagini – 43 categorie
Test sperimentali – Features 1/4
•   Color Histogram:
    •   rappresentazione della distribuzione del colore in
        u...
Test sperimentali – Feature 2/4
•   Color Moments:
    •   la distribuzione del colore come distribuzione di
        proba...
Test sperimentali – Feature 3/4
•   Gray Level Co-Occurrence Matrix (GLCM):
    •   feature di tipo texture
    •   consid...
Test sperimentali – Feature 3/4
•   Gray Level Co-Occurrence Matrix (GLCM):
    •   feature di tipo texture
    •   consid...
Test sperimentali – Feature 4/4
•   Global scene (GIST):
    •   “The gist is an abstract representation of the scene that...
Test sperimentali – Feature 4/4
•   Global scene (GIST):
    •   “The gist is an abstract representation of the scene that...
Test Sperimentali:
Algoritmi e impostazioni
•   Algoritmi usati per i confronti:
    •   Feature Re-Weighting
    •   Rele...
Risultati – Esempio di query

    Immagine di query


    Risultati dopo k-NN



    Risultati dopo 1 RF



    Risult...
Risultati - Precisione della ricerca




     (a) Wang Dataset     (b) Oliva Dataset   (c) Custom-Caltech Dataset


•   Fe...
Risultati – Scelta delle features
Risultati – Performance sui tempi




     (a) Wang Dataset     (b) Oliva Dataset   (c) Custom-Caltech Dataset


•   Featu...
Risultati – Implementazione sparsa




•   Feature usata: Color Moments.
•   Random query: 500 query random su dataset Oli...
Conclusioni
•   Proposto un nuovo algoritmo per il CBIR con
    relevance feedback
•   Bontà dei risultati sperimentali ot...
Sviluppi futuri
 •   Modello di feedback: es.
 •   Query multi-immagine.
 •   Estendere la parte sperimentale:
     •   im...
The End…

  Grazie per l’attenzione!



                               contatti:
                        Massimo Rabbi
   ...
Bibliografia
Upcoming SlideShare
Loading in …5
×

Content-based Image Retrieval con Relevance Feedback

4,849 views
4,735 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
4,849
On SlideShare
0
From Embeds
0
Number of Embeds
3,192
Actions
Shares
0
Downloads
30
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Content-based Image Retrieval con Relevance Feedback

  1. 1. Random Walker for Content-Based Image Retrieval with Relevance Feedback Massimo Rabbi
  2. 2. Contenuti della presentazione • Image Retrieval • CBIR: content-based VS text-based • Relevance Feedback • Analisi del lavoro di tesi • Formulazione graph-based • Caso dell‟image segmentation • Random walker per l‟image retrieval • Test sperimentali • Conclusioni e sviluppi futuri
  3. 3. La ricerca di immagini 1/3 • Che cos‟è l‟Image Retrieval? • Perché cercare immagini? • Le immagini sono informazioni • Cataloghi pubblici e privati di foto/immagini • Come cercare immagini? • Contenuto (Content-Based Image Retrieval) • Descrizione (Text-Based Image Retrieval) • Sistemi misti
  4. 4. La ricerca di immagini 2/3 • Come interrogare un sistema di IR? • Query by example • Query by sketch • Query by text • Alcune applicazioni • Sistemi di ricerca per il web • Sicurezza e biometria • GIS • Beni culturali • Diagnostica medicale • Giornalismo e pubblicità
  5. 5. La ricerca di immagini 3/3 • Alcuni esempi:
  6. 6. CBIR: Ricerca su contenuti 1/3 • Content-Based VS Text-Based: • Impensabile annotazione manuale • La stessa immagine ha significati diversi per persone diverse • Diversi livelli di dettaglio per descrivere un‟immagine • Esempio: • pascolo, mucche, pastore, persona, prato, montagna, alberi, animali…
  7. 7. CBIR: Ricerca su contenuti 2/3 • Concetto di “informazione visuale” • visuale è la query • visuale è il ragionamento che guida la similitudine • visuali sono i criteri usati per l‟indicizzazione • Il recupero delle immagini è legato agli elementi percettivi usati per “descrivere” le immagini: • features basate su colore, shape, texture etc. • features complesse, vedi SIFT o GIST
  8. 8. CBIR: Ricerca su contenuti 3/3 • Problemi e ambiti di ricerca aperti: • la questione “semantic gap” • domini delle immagini: narrow vs broad • features e misure di similarità • interazione dell‟utente • Il “semantic gap” è la fonte principale di problemi!
  9. 9. Relevance feedback • Tecnica nata negli anni „60 nell‟ambito del document retrieval e ripresa con interesse dalla comunità CBIR verso inizio-metà anni ‟90 • Metodo fondamentale per attaccare il problema del “semantic gap”. • Concetto chiave di “user-in-the-loop”.
  10. 10. Temi del relevance feedback • Modelli di feedback: • positivo, positivo-negativo, positivo-neutro-negativo, grado di rilevanza • Short-term VS Long-term learning. • Query localizzate e uso di sotto-immagini. • Incorporamento di metadati testuali. • Tecniche per sfruttare le immagini non etichettate: • semi-supervised learning e active learning • Ricalcolo del query-point e feature re-weighting. • Metodi kernel: approcci SVM-based. • Metodi probabilistici.
  11. 11. Analisi del lavoro di tesi svolto • Algoritmo di relevance feedback per l‟image retrieval, in particolare CBIR. • Approccio graph-based: • i nodi rappresentano le immagini; • i pesi sugli archi rappresentano la similarità • Concetto di base: random walker. • Analogie con algoritmo già esistente nel campo dell‟image segmentation. • Legami tra la teoria dei random walker su grafi, la teoria del potenziale nel discreto e i circuiti elettrici.
  12. 12. Formulazione graph-based 1/2 • Input del sistema: grafo pesato , insieme di vertici , funzione • Output del sistema: ranking vector • Problema di ottimizzazione: • con i vincoli: (a) (b)
  13. 13. Formulazione graph-based 2/2 • Riscrivendo in forma matriciale: • e più precisamente come: • Derivando rispetto a : • Risoluzione di un sistema di equazioni lineari nelle variabili .
  14. 14. Random walk su grafi • I grafi come struttura per rappresentare i dati di un problema. • Un random walk su un grafo indiretto corrisponde ad una catena di Markov time-reversible. • Il random walk soddisfa infatti la cosiddetta “Proprietà di Markov”: • Dato un grafo indiretto , i pesi sugli archi indicano la probabilità di spostarsi verso il nodo vicino. • Esempio di random walker: la navigazione di un utente nel web.
  15. 15. Ispirazione dall’image segmentation • Algoritmo di image segmentation interattivo proposto da Leo Grady (2006). • L‟immagine è un grafo i cui nodi sono i pixel. • Dati un certo numero di pixel predefiniti dall‟utente (seeds) viene calcolata la probabilità che un random walker li raggiunga, partendo da uno qualsiasi dei pixel non etichettati. • Ad ogni pixel viene assegnata l‟etichetta con la probabilità più alta.
  16. 16. Ispirazione dall’image segmentation • Algoritmo di image segmentation interattivo proposto da Leo Grady (2006). • L‟immagine è un grafo i cui nodi sono i pixel. • Dati un certo numero di pixel predefiniti dall‟utente (seeds) viene calcolata la probabilità che un random walker li raggiunga, partendo da uno qualsiasi dei pixel non etichettati. • Ad ogni pixel viene assegnata l‟etichetta con la probabilità più alta.
  17. 17. Il problema di Dirichlet • Le probabilità del random walker possono essere ottenute risolvendo il problema di Dirichlet. • La sua formulazione combinatoria è la seguente: • Riscrivendo otteniamo: • Derivando rispetto a :
  18. 18. Analogia con i circuiti elettrici • La soluzione al problema combinatorio di Dirichlet su un grafo arbitrario è data esattamente dalla distribuzione dei potenziali elettrici sui nodi di un circuito. • I resistori che collegano i nodi del circuito rappresentano l‟inverso dei pesi (conduttanza). • Le condizioni vengono imposte fissando il potenziale elettrico sui nodi specifici (seed).
  19. 19. Analogia con i circuiti elettrici • La soluzione al problema combinatorio di Dirichlet su un grafo arbitrario è data esattamente dalla distribuzione dei potenziali elettrici sui nodi di un circuito. • I resistori che collegano i nodi del circuito rappresentano l‟inverso dei pesi (conduttanza). • Le condizioni vengono imposte fissando il potenziale elettrico sui nodi specifici (seed).
  20. 20. Random walker per l’image retrieval • I nuovi nodi del grafo sono le immagini. • Gli unici due seed necessari sono le categorie “rilevante” e “non rilevante”. • I pesi sugli archi rappresentano la similarità tra coppie di immagini: • I round di feedback per “popolare” l‟insieme di seed.
  21. 21. Pseudo-codice dell’algoritmo
  22. 22. Codice Matlab dell’algoritmo
  23. 23. Test sperimentali – Datasets 1/2 • Wang Dataset – 1000 immagini – 10 categorie • Oliva Dataset – 2688 immagini – 8 categorie
  24. 24. Test sperimentali – Datasets 2/2 • Custom-Caltech Dataset – 4920 immagini – 43 categorie
  25. 25. Test sperimentali – Features 1/4 • Color Histogram: • rappresentazione della distribuzione del colore in un‟immagine • spazio dei colori HSV • 8 intervalli per canale H e 4 per canale S • vettore finale 32-D • Color Histogram Layout: • suddivisione dell‟immagine in 4 parti • feature Color Histogram applicata ad ogni sotto- immagine • vettore finale 32-D (HxSxSub-img = 4x4x2)
  26. 26. Test sperimentali – Feature 2/4 • Color Moments: • la distribuzione del colore come distribuzione di probabilità • spazio dei colori HSV • per ogni canale vengono estratti 3 color moment • 1) mean, valore medio • 2) deviazione standard, della distribuzione • 3) skewness, grado di simmetria della distribuzione • vettore finale 9-D
  27. 27. Test sperimentali – Feature 3/4 • Gray Level Co-Occurrence Matrix (GLCM): • feature di tipo texture • considera la relazione spaziale tra i pixel ecco perché detta anche Gray Level Spatial Dependence Matrix • vettore finale 20-D
  28. 28. Test sperimentali – Feature 3/4 • Gray Level Co-Occurrence Matrix (GLCM): • feature di tipo texture • considera la relazione spaziale tra i pixel ecco perché detta anche Gray Level Spatial Dependence Matrix • vettore finale 20-D
  29. 29. Test sperimentali – Feature 4/4 • Global scene (GIST): • “The gist is an abstract representation of the scene that spontaneously activates memory representations of scene categories (a city, a mountain, etc.)” [cit.] • tenta di dare una rappresentazione di immagini reali complesse usando le cosiddette Spatial Envelope properties • individuare la “shape-of-the-scene” • vettore finale 60-D
  30. 30. Test sperimentali – Feature 4/4 • Global scene (GIST): • “The gist is an abstract representation of the scene that spontaneously activates memory representations of scene categories (a city, a mountain, etc.)” [cit.] • tenta di dare una rappresentazione di immagini reali complesse usando le cosiddette Spatial Envelope properties • individuare la “shape-of-the-scene” • vettore finale 60-D
  31. 31. Test Sperimentali: Algoritmi e impostazioni • Algoritmi usati per i confronti: • Feature Re-Weighting • Relevance Score • Relevance Score Stabilized • Multiple Random Walk • 8 round di feedback. • Dimensioni dello scope: 20, 30, 40.
  32. 32. Risultati – Esempio di query  Immagine di query  Risultati dopo k-NN  Risultati dopo 1 RF  Risultati dopo 3 RF  Risultati dopo 6 RF
  33. 33. Risultati - Precisione della ricerca (a) Wang Dataset (b) Oliva Dataset (c) Custom-Caltech Dataset • Feature usata: Color Histogram. • Random query: 500 query per (a) e (b). 100 query (c). • Dimensione scope: 20 elementi.
  34. 34. Risultati – Scelta delle features
  35. 35. Risultati – Performance sui tempi (a) Wang Dataset (b) Oliva Dataset (c) Custom-Caltech Dataset • Feature usata: Color Histogram. • Random query: 500 query per (a) e (b). 100 query (c). • Dimensione scope: 20 elementi.
  36. 36. Risultati – Implementazione sparsa • Feature usata: Color Moments. • Random query: 500 query random su dataset Oliva. • Dimensione scope: 20 elementi. • Versione sparsa: regola di approssimazione k-nn con k = 20
  37. 37. Conclusioni • Proposto un nuovo algoritmo per il CBIR con relevance feedback • Bontà dei risultati sperimentali ottenuti. • Metodo semplice da implementare e parameter- free. • Possibilità di utilizzo in versione sparsa con dataset più grandi. • 11° European Conference on Computer Vision (ECCV 2010) – S. Rota Bulò, M. Rabbi, M. Pelillo – Paper submitted.
  38. 38. Sviluppi futuri • Modello di feedback: es. • Query multi-immagine. • Estendere la parte sperimentale: • implementazione sparsa • datasets • features • Implementazione di un sistema completo di IR.
  39. 39. The End… Grazie per l’attenzione! contatti: Massimo Rabbi massimo.rabbi@gmail.com http://www.securnetwork.net
  40. 40. Bibliografia

×