Your SlideShare is downloading. ×
Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens
Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens
Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens
Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens
Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens
Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens
Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens
Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens
Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens
Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens
Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens
Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens
Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens
Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens
Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens
Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens
Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens
Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens
Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens
Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens
Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens
Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens
Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens
Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens
Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens
Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens
Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens
Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens

93

Published on

Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens. …

Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens.

Carlos Alberto Fraga Pimentel Filho

Dentre as várias abordagens de recuperação de imagens existentes, o uso de uma imagem de rascunho permite que o usuário expresse o que deseja buscar de forma visual, simples e rápida. O maior desafio desta categoria de busca consiste em encontrar uma representação para o conteúdo visual que permita comparar de forma eficiente o rascunho do usuário e as imagens da base de dados, mantendo ainda a precisão dos resultados e tendo uma solução escalável. O sketch-finder é uma abordagem para recuperação de imagens com base em rascunho onde tanto o rascunho quanto as bordas das imagens da base de dados são representadas e comparadas no domínio da transformada de wavelet. Assim, apenas os dados mais relevantes, provenientes do rascunho e das imagens, são representados. Um índice invertido indexa as informações com o objetivo de prover uma abordagem eficiente e rápida para a comparação do rascunho com as imagens da base. Além do mais, a solução proposta permite o ajuste do tamanho do índice com base na taxa de compressão de dados. Esse ajuste reflete o balanço entre eficiência e precisão, podendo ser facilmente adequado aos recursos computacionais disponíveis. Uma avaliação comparativa entre o estado da arte usando uma base de imagens de Paris e um subconjunto da base do ImageNet com 535 mil amostras, revela que a presente solução preserva os mesmos níveis de precisão dos resultados ao mesmo tempo em que é bem mais rápida nas consultas.

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
93
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
3
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. 1 Sketch-Finder – A New Approach for Sketch-Based Image Retrieval Carlos Alberto F. Pimentel Filho fragapimentel@gmail.com Arnaldo de Albuquerque Araújo (UFMG) Michel Crucianu (CNAM)
  • 2. 2 Introduction Content-Based Image Retrieval (CBIR) Sketch-Based Image Retrieval (SBIR) Mind-Finder Approach Sketch-Finder Approach Experiments Conclusion Future Work
  • 3. 3 Content-Based Image Retrieval Query-by-Sketch: Query-by-Painting: Query-by-Example: Query-by-Icon: Query-by-Text: 3
  • 4. 4 Sketch-Based Image Retrieval SBIR fills two gaps in image retrieval (i) Allows specification details like object position, scale and rotation. (ii) Allows image retrieval when there is no example image to use. Our goal is: to retrieve in large datasets images visually similar to the query sketch object's shape at similar scale, position and rotation.
  • 5. 5 Sketch-Based Image Retrieval Why do We Care?
  • 6. 6 Web Image Retrieval Personal Image Retrieval Mobile Image Retrieval Video Retrieval
  • 7. Sketch-Based Image Retrieval Query-by-Sketch: osition Sensitive: Object's shape at similar scale, position and rotation. Approaches: Mind-Finder (EI) Sketch-Finder Compact Hash Bits Object Sensitive: Object's shape at any scale, position and rotation Approaches (BoW): HOG GF-HOG FISH SYM-FISH
  • 8. Mind-Finder (Edgel-Index)
  • 9. 9 Edgel-Index * Compares matching of edgels * Huge number of edgels for big dataset. * Edgel:
  • 10. 10 Sketch-Finder Image processing flow (dataset): Query flow:
  • 11. 11 Contour Detection & Threshold Clique para adicionar texto 11
  • 12. 12 Orientation and Dilation Clique para adicionar texto 12
  • 13. 13 Wavelet Transform Clique para adicionar texto Wedgel: Contour signature: set of wedgels
  • 14. 14 Similarity Measure
  • 15. 15 Why Wavelet Transform? Clique para adicionar texto
  • 16. 16 Indexing Structure Clique para adicionar texto 16
  • 17. 17 Dataset Evaluation For evaluating we are comparing Edgel-Index [1] with Sketch-Finder * Paris Dataset: 6412 images [2] * ImageNet Dataset: Subset of 535K images [3] [1] Yang Cao et al, Edgel index for large-scale sketch-based image search. [2] Visual Geometry Group - http://www.robots.ox.ac.uk/~vgg/data/parisbuildings/index.html [3] ImageNet: http://www.image-net.org/
  • 18. Genertic Algorithm
  • 19. Genertic Algorithm Population is a set of 100 Selection of the best results (mAP20) Crossover Mutation
  • 20. Some user sketches Also, the Paris dataset was used to compare the e↵ec- tiveness of our approach with the sketch-finder [9] and the mind-finder [3]. This e ciency was evaluated considering the precision of z best rank position, and in this paper we used the 20 best positions as in [17]. Figure 7: Examples of the Paris sketch dataset. To evaluate the e ciency of [9], [3] and our approach, we
  • 21. 21 Some Results (Paris Dataset) Clique para adicionar texto ults. rank must best gen- pa- ex- and ,000 ness para- 110 s re- rs a,
  • 22. 22 Effectiveness Precision vs. Recall We used the VGG ground-truth for the Paris dataset and built one for the ImageNet. The same sketches were used to evaluate Mind- Finder and Sketch-Finder
  • 23. 23 Average - Precision vs. Recall (75) 23
  • 24. 24 Efficiency Comparison - CPU
  • 25. 25 Efficiency Comparison – I/O
  • 26. 26 Conclusion Sketch-Finder: •  The number of retrieved inverted files is reduced to a small and fixed number; •  The volume of indexed data is 5% of the Edgel- Index; •  The speed of retrieval is faster due to less amount of data.
  • 27. 27 Future Work Build an android Sketch-Finder application
  • 28. 28 Thank You! Carlos Alberto Fraga Pimentel Filho fragapimentel@gmail.com

×