20131217крайнов

413 views
355 views

Published on

Компьютерное зрение на Я.Студенте в ВШЭ
Александр Крайнов

Published in: Education
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
413
On SlideShare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
0
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

20131217крайнов

  1. 1. Поиск изображений и компьютерное зрение Александр Крайнов
  2. 2. Яндекс.Картинки • • • • • Более 20 миллиардов изображений 5 миллионов уникальных посетителей в день 15 миллионов запросов в час 2000+ серверов 35+ человек
  3. 3. Что такое поиск изображений? • Текстовые запросы • Объект поиска – изображение на веб странице с релевантным запросу текстом
  4. 4. 4
  5. 5. 5
  6. 6. Успешный поиск означает показ искомого на самых верхних позициях.
  7. 7. Куда кликают Количество кликов 2500000 2000000 1500000 1000000 500000 Позиция результата 0 0 20 40 60 80 100 120 140
  8. 8. Сессии без кликов Сессии, % 45,00% 40,00% 35,00% 30,00% 25,00% 20,00% 15,00% 10,00% 5,00% 0,00% 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 Страница, с которой ушли. 15 16 17 18 19 20
  9. 9. Документ как единица поиска
  10. 10. Группировка дубликатов – фундамент поиска изображений.
  11. 11. Типы дубликатов Тумбнейлерные дубликаты Полудубликаты
  12. 12. Хостовые дубликаты Джоконда <Мо?на Ли?за> (<Джоко?нда>; итал. La Gioconda, фр. La Joconde, полное название Портре?т госпожи? Ли?зы Джоко?ндо, итал. Ritratto di Monna Lisa Винчи, находящаяся в Лувре (Париж, Франция), одно из самых известных произведений живописи в мире[1][2], которое, как считается, Джоконда dzhokonda_full.jpg
  13. 13. Хостовые и межхостовые дубликаты
  14. 14. Дубликаты для поиска релевантных результатов Флоренция Мост Базилика Медичи Мода Дуомо Кьянти Санта Мария Давид Площадь Тоскана Боттичелли Италия Шопинг Флоренция Базилика Мода Дуомо Санта Мария Площадь Тоскана Италия Флоренция Дуомо Санта Мария
  15. 15. Дубликаты для тегов Релевантность тега 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 0 50 100 150 200 250 Количество дубликатов в группе
  16. 16. Дубликаты для релевантности Средняя релевантность 0,35 0,33 0,31 0,29 0,27 0,25 0,23 0,21 0,19 0,17 0,15 0 200 400 600 800 1000 1200 Количество дубликатов в группе
  17. 17. Дубликаты для ранжирования • Как правило, копируют лучшие изображения. • Лучшие изображения нужно показывать выше Количество копий – очень важный фактор ранжирования.
  18. 18. Только 1/3 изображений не имеют копий. % of images 40,00% 35,00% 30,00% 25,00% 20,00% 15,00% 10,00% 5,00% 0,00% 0 2 4 6 8 10 12 14 16 number of duplicates
  19. 19. Проблемы группировки копий
  20. 20. Слишком разные кропы
  21. 21. Две группы дубликатов
  22. 22. Две группы дубликатов
  23. 23. Две группы дубликатов
  24. 24. Две группы дубликатов = =
  25. 25. Две группы дубликатов = = =
  26. 26. Как вы кластеризуете эти картинки?
  27. 27. Транзитивность
  28. 28. Картинки очень близки, но…
  29. 29. Картинки очень близки, но…
  30. 30. Цвет не учитываем, но…
  31. 31. Иногда нет метаданных Иногда метаданные слабы Иногда метаданные врут
  32. 32. Что на картинке? Мнение зрителя: Девушка Винтовка Тигр Рыба Слон Гранат Метаданные: Сон Полет Пчела Гранат Пробуждение
  33. 33. Что на картинке? Мнение зрителя: Дети Горы Лыжи Подъемник Метаданные: Антон Ярослав
  34. 34. Что на картинке? Мнение зрителя: Спальня Кровать Подушка Лампа Метаданные: Двухместный WiFi Парковка Завтрак
  35. 35. Анализ визуального контента • Классификация изображений или объектов - фильтры - настройка алгоритмов определения дубликатов - выделение объектов для распознавания. • Распознавание объектов: – верификация текстовых описание – добавление новых описаний
  36. 36. Классификатор порно
  37. 37. Про порно Домохозяйка в ванной
  38. 38. Поиск по загруженной картинке CBIR (Сибирь)
  39. 39. Ищем картинку  ×   × 
  40. 40. Узнаем кто/ что на картинке
  41. 41. Ищем сайты с такой картинкой
  42. 42. ˚
  43. 43. Как работает поиск по картинке
  44. 44. Дескрипторы
  45. 45. Словари визуальных слов
  46. 46. Поиск по визуальным словам
  47. 47. Архитектура поиска
  48. 48. Что такое компьютерное зрение QuickTime™ and a GIF decompressor are needed to see this picture.
  49. 49. Как развивается компьютерное зрение. Наука и индустрия
  50. 50. Будущее 200$ more info » 2500$ 200$ Womens blouse, button back blouse, floral fabric, womens tops, womens tops blouses, womens summer top, womens summer blouse, sleeveless top 1245 450 more info » 850$ more info » Womens blouse, button back blouse, floral fabric, womens tops, womens tops blouses, womens summer top, womens summer blouse, sleeveless top 3780 786 more info »

×