Анализ изображений и видеоЛекция 6: Поиск по подобию. Поиск нечеткихдубликатов.Наталья Васильеваnvassilieva@hp.comHP Labs ...
Поиск по визуальному подобию: описание     Задача: найти картинки, похожие на запрос             визуально и семантически ...
Поиск нечетких дубликатов: описание     Задача: найти группы нечетких дублей в коллекции                                  ...
Традиционная архитектура систем CBIR   Поиск по содержанию, по визуальному подобию   Content Based Image Retrieval (CBIR)4...
Индексирование изображений                                                        Построение                              ...
Поиск изображений                                                                                      • Данные высокой ра...
ИндексированиеКаждый вектор – точка в пространстве высокой размерности(например, dim= 128 для дескрипторов SIFT)7 © Copyri...
ИндексированиеСоседние точки в пространстве признаков соответствуют близким векторам,которые соответствуют подобию изображ...
Поиск ближайших соседей ε-Nearest Neighbor Search (ε - NNS) Для запроса q найти подмножество всех точек p ∈ P (P – метриче...
Поиск ближайших соседей k–Nearest Neighbor Search (Top-k search)                                       q Для запроса q най...
Наивный подход   Для запроса q   Вычислить dist(q,p) для всех точек p ∈ P   O(N) для каждого запроса!   (|P|=N)11 © Copyri...
Некоторые индексные структурыДеревья    – R-tree – подходит только для небольших размерностей (2D), пересечение узлов    –...
KD-Tree Construction                                                                                                      ...
KD-Tree Construction                                                                                                      ...
KD-Tree Construction                                                                                                      ...
KD-Tree Construction                                                                                                      ...
KD-Tree Construction          We can keep splitting the points in each set to create a          tree structure. Each node ...
KD-Tree Construction          We will keep around one additional piece of          information at each node. The (tight) b...
KD-Tree ConstructionUse heuristics to make splitting decisions:Which dimension do we split along? WidestWhich value do we ...
Nearest Neighbor with KD Trees    We traverse the tree looking for the nearest    neighbor of the query point.20 © Copyrig...
Nearest Neighbor with KD Trees    Examine nearby points first: Explore the branch of    the tree that is closest to the qu...
Nearest Neighbor with KD Trees    Examine nearby points first: Explore the branch of    the tree that is closest to the qu...
Nearest Neighbor with KD Trees    When we reach a leaf node: compute the distance    to each point in the node.23 © Copyri...
Nearest Neighbor with KD Trees    When we reach a leaf node: compute the distance    to each point in the node.24 © Copyri...
Nearest Neighbor with KD Trees    Then we can backtrack and try the other branch at    each node visited.25 © Copyright 20...
Nearest Neighbor with KD Trees    Each time a new closest node is found, we can    update the distance bounds.26 © Copyrig...
Nearest Neighbor with KD Trees    Using the distance bounds and the bounds of the    data below each node, we can prune pa...
Nearest Neighbor with KD Trees    Using the distance bounds and the bounds of the    data below each node, we can prune pa...
Nearest Neighbor with KD Trees    Using the distance bounds and the bounds of the    data below each node, we can prune pa...
Spheres vs. Rectangles                                            Volume(Sphere)                • ratio =                 ...
Метрические деревья31 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subje...
Vantage point method                                                                                                      ...
Как выбрать опорные точки?      •        Минимальная длина               разделяющей дуги      •       “Угловые” точки    ...
Построение VP-tree34 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subjec...
Обратный индекс                                                                                                           ...
«Визуальные слова»: основная идея   Извлечем локальные признаки из нескольких изображений…                                ...
«Визуальные слова»: основная идея   Извлечем локальные признаки из нескольких изображений…                                ...
«Визуальные слова»: основная идея     Извлечем локальные признаки из нескольких изображений…                              ...
«Визуальные слова»: основная идея     Извлечем локальные признаки из нескольких изображений…                              ...
«Визуальные слова»: основная идея     Извлечем локальные признаки из нескольких изображений…                              ...
41 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change withou...
42 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change withou...
«Визуальные слова»: основная идеяОтобразим дескрипторы в токены/слова путем квантованияпространства признаков             ...
«Визуальные слова»: основная идеяОтобразим дескрипторы в токены/слова путем квантованияпространства признаков             ...
Визуальные слова                                                                                                          ...
Обратный индекс изображений по визуальнымсловам                                                                           ...
«Мешок визуальных слов»Bag of visual words47 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information co...
«Мешок визуальных слов»Bag of visual wordsСловарь визуальных слов48 © Copyright 2012 Hewlett-Packard Development Company, ...
Как построить словарь?Основные вопросы:•   Как выбрать фрагменты изображений?•   Какой алгоритм квантования/кластеризации ...
Выбор фрагментов              Sparse, at interest                                                       Dense, uniformly  ...
Методы квантования/кластеризацииТрадиционные решения:• k-means, agglomerative clustering, mean-shift,…Использование иерарх...
Построение дерева52 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject...
Индексирование53 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to...
Индексирование54 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to...
Индексирование  • Каждый узел дерева –    обратный индекс  • Каждый узел дерева    хранит идентификаторы    изображений и ...
Поиск56 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change w...
Vocabulary Tree: Performance   Evaluated on large databases   • Indexing with up to 1M images   Online recognition for dat...
Locality Sensitive Hashing (LSH): motivation   • Similarity Search over High-Dimensional Data            − Image databases...
LSH: Key idea Hash the data-point using several LSH functions so that probability of collision is higher for closer object...
60 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change withou...
LSH (альтернативное определение)Пусть P множество объектов (точек в пространстве выскокой размерности),sim – функция подоб...
LSH: индексирование   Вход:   • Set of N points { p1 , …….. pn }   • L – длина хэша   • M – число хэш-таблиц   Выход:   • ...
LSH: индексирование                                                                                                       ...
LSH: поиск билижайшего соседаВход:• Запрос qВыход:• Приблизительный ближайший сосед p для qАлгоритм:Foreach    i = 1 , 2, ...
Использование LSH для поиска нечетких дубликатовШаг 1: Для каждого изображения коллекции вычислить набор локальныхдескрипт...
Оценка методов поиска  Что оценивать?    Быстродействие (efficiency)    • Важно в связи с большими объемами данных    Каче...
Проблемы оценки Необходимость наличия общей тестовой коллекции • Corel Photo CDs • Brodatz texture collection: http://www....
Оценка качества “You can see, that our results are better”68 © Copyright 2012 Hewlett-Packard Development Company, L.P. Th...
Численная оценка качестве Точность (precision), полнота (recall)      – Average recall/precision      – Recall at N, Preci...
Численная оценка • Error rate • Retrieval efficiency70 © Copyright 2012 Hewlett-Packard Development Company, L.P. The info...
Картиночные дорожки на                                                                      http://romip.ru         Поиск...
Поиск по визуальному подобию: наблюдения         Слабая согласованность оценок асессоров         • Число слаборелевантных ...
Заключение   Поиск изображений: необходимость индексировать данные высокой   размерности   • Использование классических ме...
Upcoming SlideShare
Loading in …5
×

2012 10-26 image-videoanalysis_lecture06

1,119 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,119
On SlideShare
0
From Embeds
0
Number of Embeds
553
Actions
Shares
0
Downloads
34
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

2012 10-26 image-videoanalysis_lecture06

  1. 1. Анализ изображений и видеоЛекция 6: Поиск по подобию. Поиск нечеткихдубликатов.Наталья Васильеваnvassilieva@hp.comHP Labs Russia26 октября 2012, Computer Science Center
  2. 2. Поиск по визуальному подобию: описание Задача: найти картинки, похожие на запрос визуально и семантически Похожи Отдаленно Не похожи2 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  3. 3. Поиск нечетких дубликатов: описание Задача: найти группы нечетких дублей в коллекции Дубли Не дубли3 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  4. 4. Традиционная архитектура систем CBIR Поиск по содержанию, по визуальному подобию Content Based Image Retrieval (CBIR)4 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  5. 5. Индексирование изображений Построение Помещение векторов векторов в хранилище, признаков построение индекса Fig. credit: http://www.vlfeat.org/5 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  6. 6. Поиск изображений • Данные высокой размерности − Среднее значение для каждого цветового канала: dim(x) = 3 − Гистограмма по одному каналу: dim(x) = 256 − ICA-based texture: dim(x) = 21*30 − SIFT: dim(x) = 128 * N • Поиск по подобию, поиск ближайших соседей Необходим способ так организовать хранение, чтобы можно было по запросу быстро и эффективно находить в хранилище наиболее похожие объекты6 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  7. 7. ИндексированиеКаждый вектор – точка в пространстве высокой размерности(например, dim= 128 для дескрипторов SIFT)7 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: K. Grauman, B. Leibe
  8. 8. ИндексированиеСоседние точки в пространстве признаков соответствуют близким векторам,которые соответствуют подобию изображений8 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Fig. credit: A. Zisserman
  9. 9. Поиск ближайших соседей ε-Nearest Neighbor Search (ε - NNS) Для запроса q найти подмножество всех точек p ∈ P (P – метрическое пространство), таких что: dist (q, p ) ≤ (1 + ε ) min dist (q, r ) r∈P Можно обобщить до k–nearest neighbor search ( K >1) (Top-K)9 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  10. 10. Поиск ближайших соседей k–Nearest Neighbor Search (Top-k search) q Для запроса q найти подмножество A ⊆ P (P – метрическое пространство): | A |= k , ∀p1 ∈ A ∀p2 ∈ P A : dist (q, p1 ) ≤ dist (q, p2 )10 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  11. 11. Наивный подход Для запроса q Вычислить dist(q,p) для всех точек p ∈ P O(N) для каждого запроса! (|P|=N)11 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  12. 12. Некоторые индексные структурыДеревья – R-tree – подходит только для небольших размерностей (2D), пересечение узлов – k-D tree – неэффективны в случае ассиметричных данных высокой размерности – Vantage-Point tree (VP tree) (один из вариантов метрических деревьев)Обратный индекс – Vocabulary treeХэширование – LSH12 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  13. 13. KD-Tree Construction Pt X Y 1 0.00 0.00 2 1.00 4.31 3 0.13 2.85 … … … We start with a list of n-dimensional points.13 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Brigham Anderson
  14. 14. KD-Tree Construction X>.5 NO YES Pt X Y Pt X Y 0.0 0.0 2 1.00 4.31 1 0 0 … … … 0.1 2.8 3 3 5 … … … We can split the points into 2 groups by choosing a dimension X and value V and separating the points into X > V and X <= V.14 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Brigham Anderson
  15. 15. KD-Tree Construction X>.5 NO YES Pt X Y Pt X Y 0.0 0.0 2 1.00 4.31 1 0 0 … … … 0.1 2.8 3 3 5 … … … We can then consider each group separately and possibly split again (along same/different dimension).15 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Brigham Anderson
  16. 16. KD-Tree Construction X>.5 NO YES Pt X Y Y>.1 2 1.00 4.31 NO … … … YES Pt X Y Pt X Y 0.1 2.8 0.0 0.0 3 1 3 5 0 0 … … … … … … We can then consider each group separately and possibly split again (along same/different dimension).16 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Brigham Anderson
  17. 17. KD-Tree Construction We can keep splitting the points in each set to create a tree structure. Each node with no children (leaf node) contains a list of points.17 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Brigham Anderson
  18. 18. KD-Tree Construction We will keep around one additional piece of information at each node. The (tight) bounds of the points at or below this node.18 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Brigham Anderson
  19. 19. KD-Tree ConstructionUse heuristics to make splitting decisions:Which dimension do we split along? WidestWhich value do we split at? Median of value of that split dimension for the points.When do we stop? When there are fewer then m points left OR the box has hit someminimum width.19 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Brigham Anderson
  20. 20. Nearest Neighbor with KD Trees We traverse the tree looking for the nearest neighbor of the query point.20 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Brigham Anderson
  21. 21. Nearest Neighbor with KD Trees Examine nearby points first: Explore the branch of the tree that is closest to the query point first.21 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Brigham Anderson
  22. 22. Nearest Neighbor with KD Trees Examine nearby points first: Explore the branch of the tree that is closest to the query point first.22 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Brigham Anderson
  23. 23. Nearest Neighbor with KD Trees When we reach a leaf node: compute the distance to each point in the node.23 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Brigham Anderson
  24. 24. Nearest Neighbor with KD Trees When we reach a leaf node: compute the distance to each point in the node.24 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Brigham Anderson
  25. 25. Nearest Neighbor with KD Trees Then we can backtrack and try the other branch at each node visited.25 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Brigham Anderson
  26. 26. Nearest Neighbor with KD Trees Each time a new closest node is found, we can update the distance bounds.26 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Brigham Anderson
  27. 27. Nearest Neighbor with KD Trees Using the distance bounds and the bounds of the data below each node, we can prune parts of the tree that could NOT include the nearest neighbor.27 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Brigham Anderson
  28. 28. Nearest Neighbor with KD Trees Using the distance bounds and the bounds of the data below each node, we can prune parts of the tree that could NOT include the nearest neighbor.28 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Brigham Anderson
  29. 29. Nearest Neighbor with KD Trees Using the distance bounds and the bounds of the data below each node, we can prune parts of the tree that could NOT include the nearest neighbor.29 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Brigham Anderson
  30. 30. Spheres vs. Rectangles Volume(Sphere) • ratio = ≤1 • dimensionality ↑⇒ ratio ↑ Volume(Cube) • relative distances30 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  31. 31. Метрические деревья31 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  32. 32. Vantage point method d ( v, q ) ≤ µ − σ p ∈ S> d (q, p) ≥| d (v, p) − d (v, q) |>| µ − ( µ − σ ) |= σ d ( v, q ) > µ + σ p ∈ S≤ d (q, p ) ≥| d (v, q ) − d (v, p ) |>| ( µ + σ ) − µ ) |= σ32 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  33. 33. Как выбрать опорные точки? • Минимальная длина разделяющей дуги • “Угловые” точки пространства • Чтобы дерево было сбалансированным • Максимум среднеквадратичного отклонения33 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  34. 34. Построение VP-tree34 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  35. 35. Обратный индекс Для текстов: структура для эффективного поиска страниц, на которых упомянуто слово… Наша цель: найти изображения, которым соответствуют заданные вектора признаков. Чтобы использовать эту идею, нам надо построить из признаков словарь “визуальных слов”.35 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  36. 36. «Визуальные слова»: основная идея Извлечем локальные признаки из нескольких изображений… Пространство локальных признаков (например, SIFT-дескрипторов)36 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: D. Nister
  37. 37. «Визуальные слова»: основная идея Извлечем локальные признаки из нескольких изображений… Пространство локальных признаков (например, SIFT-дескрипторов)37 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: D. Nister
  38. 38. «Визуальные слова»: основная идея Извлечем локальные признаки из нескольких изображений… Пространство локальных признаков (например, SIFT-дескрипторов)38 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: D. Nister
  39. 39. «Визуальные слова»: основная идея Извлечем локальные признаки из нескольких изображений… Пространство локальных признаков (например, SIFT-дескрипторов)39 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: D. Nister
  40. 40. «Визуальные слова»: основная идея Извлечем локальные признаки из нескольких изображений… Пространство локальных признаков (например, SIFT-дескрипторов)40 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: D. Nister
  41. 41. 41 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: D. Nister
  42. 42. 42 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: D. Nister
  43. 43. «Визуальные слова»: основная идеяОтобразим дескрипторы в токены/слова путем квантованияпространства признаков Квантование при помощи кластеризации пространства Центры кластеров – «леммы» «визуальных слов» Пространство признаков43 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: K. Grauman, B. Leibe
  44. 44. «Визуальные слова»: основная идеяОтобразим дескрипторы в токены/слова путем квантованияпространства признаков Каждый вектор признаков отображаем в «слово» – находим ближайший центр кластера Описваем изображение через набор «визуальных слов» Пространство признаков44 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: K. Grauman, B. Leibe
  45. 45. Визуальные слова Фрагментам из одной группы соответствует одно и то же визуальное слово45 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Fig. credit: Sivic & Zisserman
  46. 46. Обратный индекс изображений по визуальнымсловам Номер Список номеров слова изображений Изображение №5 Изображение №1046 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: K. Grauman, B. Leibe
  47. 47. «Мешок визуальных слов»Bag of visual words47 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Fig. credit: Fei-Fei Li
  48. 48. «Мешок визуальных слов»Bag of visual wordsСловарь визуальных слов48 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Fig. credit: Fei-Fei Li
  49. 49. Как построить словарь?Основные вопросы:• Как выбрать фрагменты изображений?• Какой алгоритм квантования/кластеризации использовать?• С учителем / без учителя• Как выбрать множество изображений, чтобы получить универсальный словарь?• Размер словаря, число слов?49 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: K. Grauman, B. Leibe
  50. 50. Выбор фрагментов Sparse, at interest Dense, uniformly Randomly points • To find specific, textured objects, sparse sampling from interest points often more reliable. • Multiple complementary interest operators offer more image coverage. • For object categorization, dense sampling offers better coverage. [See Nowak, Jurie & Triggs, ECCV 2006] Multiple interest operators50 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: K. Grauman, B. Leibe
  51. 51. Методы квантования/кластеризацииТрадиционные решения:• k-means, agglomerative clustering, mean-shift,…Использование иерархической кластеризации,организация словаря в виде дерева:• Vocabulary tree [Nister & Stewenius, CVPR 2006] Более быстрая индексация и поиск при большем размере словаря!51 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  52. 52. Построение дерева52 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: D. Nister Slide credit: David Nister
  53. 53. Индексирование53 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: D. Nister
  54. 54. Индексирование54 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: D. Nister
  55. 55. Индексирование • Каждый узел дерева – обратный индекс • Каждый узел дерева хранит идентификаторы изображений и частоту соответствующего слова в изображении (или tf-idf) Img2, 1 Img1, 1 Img1, 255 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: T. Tommasi
  56. 56. Поиск56 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: D. Nister
  57. 57. Vocabulary Tree: Performance Evaluated on large databases • Indexing with up to 1M images Online recognition for database of 50,000 CD covers • Retrieval in ~1s Find experimentally that large vocabularies can be beneficial for recognition [Nister & Stewenius, CVPR’06]57 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: K. Grauman, B. Leibe
  58. 58. Locality Sensitive Hashing (LSH): motivation • Similarity Search over High-Dimensional Data − Image databases, document collections etc • Curse of Dimensionality − All space partitioning techniques degrade to linear search for high dimensions • Exact vs. Approximate Answer − Approximate might be good-enough and much-faster − Time-quality trade-off Need sub-linear dependence on the data-size for high-dimensional data!58 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  59. 59. LSH: Key idea Hash the data-point using several LSH functions so that probability of collision is higher for closer objects Indyk & Motwani, 199859 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Fig. credit: P. Indyk, K. Grauman, B. Leibe
  60. 60. 60 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: P. Indyk
  61. 61. LSH (альтернативное определение)Пусть P множество объектов (точек в пространстве выскокой размерности),sim – функция подобия объектов: sim : P × P → [0,1]Тогда схема LSH – это семейство хэш-функций H, имеющих распределение D,таких что при выборе функции h ∈ H согласно распределению D: Prh∈H [h(q ) = h( p )] = sim(q, p ) ∀q, p ∈ P61 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  62. 62. LSH: индексирование Вход: • Set of N points { p1 , …….. pn } • L – длина хэша • M – число хэш-таблиц Выход: • Хэш-таблицы Ti , i = 1 , 2, …. M Алгоритм: Foreach i = 1 , 2, …. M Initialize Ti with a random hash function gi(p)=<h1(p), h2(p),…hk(p)> Foreach i = 1 , 2, …. M Foreach j = 1 , 2, …. N Store point pj on bucket gi(pj) of hash table Ti62 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  63. 63. LSH: индексирование P pi g1(pi) g2(pi) gM(pi) T1 T2 TM63 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  64. 64. LSH: поиск билижайшего соседаВход:• Запрос qВыход:• Приблизительный ближайший сосед p для qАлгоритм:Foreach i = 1 , 2, …. M Foreach { p: точа из ячейки gi(q) хэш-таблицы Ti } IF || q − p ||≤ cr THEN return p64 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  65. 65. Использование LSH для поиска нечетких дубликатовШаг 1: Для каждого изображения коллекции вычислить набор локальныхдескрипторов (например, набор SIFT-дескрипторов)Шаг 2: Вычислить хэш-значение для каждого дескриптораШаг 3: Для каждой пары изображений вычислить колчиество совпадающих хэшейШаг 4: Дубликаты: пары изображений с числом совпадений > threshold65 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  66. 66. Оценка методов поиска Что оценивать? Быстродействие (efficiency) • Важно в связи с большими объемами данных Качество (effectiveness) • Как померять?66 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  67. 67. Проблемы оценки Необходимость наличия общей тестовой коллекции • Corel Photo CDs • Brodatz texture collection: http://www.ux.uis.no/~tranden/brodatz.html • CoPhIR: http://cophir.isti.cnr.it/whatis.html • Участие в ImageCLEF, TRECVID, imageEVAL, ROMIP Как получить оценку релевантности? • Использование коллекций с выделенными группами (Corel collection) • Оценка пользователями – Метод общего котла (Pooling) – Различные виды оценки (relevant – not relevant, ranking, …)67 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  68. 68. Оценка качества “You can see, that our results are better”68 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  69. 69. Численная оценка качестве Точность (precision), полнота (recall) – Average recall/precision – Recall at N, Precision at N – F-measure69 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  70. 70. Численная оценка • Error rate • Retrieval efficiency70 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  71. 71. Картиночные дорожки на http://romip.ru  Поиск по визуальному подобию (с 2008) − Коллекция Flickr (20000 изображений) − 750 tasks labeled  Поиск нечетких дубликатов (с 2008) − Коллекция: набор кадров из видео потока (37800 изображений) − ~1500 clusters  Построение текстовых меток (с 2010) − Коллекция Flickr (20000 изображений) − ~ 1000 labeled images71 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  72. 72. Поиск по визуальному подобию: наблюдения Слабая согласованность оценок асессоров • Число слаборелевантных 377 (AND), 1086 (VOTE) и 3052 (OR) Низкое качество результатов у всех участниковAND-weak VOTE-weak OR-weak 0,02 0,035 0,08 0,018 0,03 0,07 0,016 0,06 0,014 0,025 0,05 0,012 0,02 ValueValue 0,01 0,04 0,015 0,008 0,03 0,006 0,01 0,02 0,004 0,005 0,01 0,002 0 0 0 P(10) R-precision P(10) R-precision P(10) R-precision 72 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  73. 73. Заключение Поиск изображений: необходимость индексировать данные высокой размерности • Использование классических методов многомерного индексирования (k-мерные деревья, метрические деревья) • Обратный индекс • «Мешок визуальных слов», vocabulary tree • Locality Sensitive Hashing Оценка методов поиска • Единые тестовые коллекции, единые метрики оценки • Качество поиска пока все еще далеко от идеала • РОМИП – требуются добровольцы!73 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

×