Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

SURF

23,463 views

Published on

Augumented reality marker detection using SURF

Published in: Education
  • Be the first to like this

SURF

  1. 1. Применение SURF для определения маркера дополненной реальности Бабий А.С. - apratster@gmail.com
  2. 2. Дополненная реальность Что такое дополненная реальность? Реальность дополненная виртуальными объектами Виртуальные объекты дополненные информацией из реальности Применение SURF для определения маркера дополненной реальности 2
  3. 3. Дополненная реальность Как работает дополненная реальность? Изображение Обработка изображения, получение информации датчиков Алгоритмы распознавания GPS Идентификация Гироскоп объекта Акселерометр Компас …. Поиск информации для объекта 3D преобразования Отображение дополненной реальности Применение SURF для определения маркера дополненной реальности 3
  4. 4. Дополненная реальность Как идентифицировать объект С маркерами Без маркеров Код(штрих код, строка, QR …) Координаты Геометрическая фигура Положение в пространстве Графический маркер Заранее Реальность сгенерированное изображение Применение SURF для определения маркера дополненной реальности 4
  5. 5. Дополненная реальность Что может быть маркером? ArToolKit(ATK) marker system. Siemens Corporate Research (SCR) marker system.Institut Graphische Datenverarbeitung Hoffman marker system (HOM)(IGD) marker system. ? Применение SURF для определения маркера дополненной реальности 5
  6. 6. Метод SURF SURF ( )= Задачи 1. Поиск ключевых(особых) точек на изображении 3. Описание ключевых точек в виде инвариантном масштабу и вращению Применение SURF для определения маркера дополненной реальности 6
  7. 7. Метод SURF Применения метода SURF для видео Распознавание Трекинг объекта объекта Отображение дополнительной информации Применение SURF для определения маркера дополненной реальности 7
  8. 8. Метод SURF Как работает метод SURF[1] • Ищем ключевые точки при помощи матрицы Гессе* • Для каждой ключевой точки считается направление максимального изменения яркости • Перебираем масштабы матрицы Гессе по октавам. • Формируем дескрипторы. Дескриптор представляет собой набор из 64(либо 128) чисел для каждой ключевой точки. *Гессиан инвариантен ко вращению и не инвариантен к масштабированию[2] Применение SURF для определения маркера дополненной реальности 8
  9. 9. Метод SURF Применение Гессиана[3] Применение SURF для определения маркера дополненной реальности 9
  10. 10. Метод SURF Белые = +1, Черные = -2 (на 3м -1), серые = 0 [1-3] Коэффициент 0.9 – приближает к Лаплассиану Гаусиан Допустимые размеры этого фильтра таковы: 9, 15, 21, 27 и так далее, с шагом 6 Применение SURF для определения маркера дополненной реальности 10
  11. 11. Метод SURF Масштабирование. Октавы Здесь видно несколько локальных максимумов в разных масштабах [3] Октава[1,2]. Выбор октав? Предложение разработчиков на графике. Применение SURF для определения маркера дополненной реальности 11
  12. 12. Метод SURF Нахождение градиента Фильтр Хаара[1] Угловое окно [1] Проблема шума [1] Применение SURF для определения маркера дополненной реальности 12
  13. 13. Метод SURF Расчет дескрипторов [2,3] 1) прямоугольная область размером 20s, 2) Для первой октавы, область имеет размер 40x40 пикселов. 3) Квадрат ориентируется вдоль градиента 4) Дескриптор считается как описание градиента для 16 квадрантов вокруг особой точки. Для вычисления дескриптора особой точки, нужно вычислить 25 фильтров Хаара в каждом из 16 квадрантов Применение SURF для определения маркера дополненной реальности 13
  14. 14. Метод SURF Поведение метода при изменении условий 80 70 60 50 40 30 20 10 0 20 25 30 35 40 45 50 55 60 65 Изменение точки поворота [3] Применение SURF для определения маркера дополненной реальности 14
  15. 15. Метод SURF Поведение метода при изменении условий 100 90 80 70 60 50 40 30 20 10 0 2 2,5 3 3,5 4 4,5 5 5,5 6 6,5 Применение фильтра размывание [3] Применение SURF для определения маркера дополненной реальности 15
  16. 16. Метод SURF Поведение метода при изменении условий 80 70 60 50 40 30 20 10 0 1,2 1,4 1,6 1,8 2 2,2 2,4 2,6 2,8 3 Увеличение масштаба и вращение [3] Применение SURF для определения маркера дополненной реальности 16
  17. 17. Метод SURF Поведение метода при изменении условий 90 80 70 60 50 40 30 20 10 0 2 2,5 3 3,5 4 4,5 5 5,5 6 6,5 Уменьшение яркости [3] Применение SURF для определения маркера дополненной реальности 17
  18. 18. Метод SURF Поведение метода при изменении условий 100 90 80 70 60 50 40 30 20 10 0 60 65 70 75 80 85 90 95 100 Сжатие JPEG [3] Применение SURF для определения маркера дополненной реальности 18
  19. 19. Обработка найденного объекта Что нам необходимо получить Применение SURF для определения маркера дополненной реальности 19
  20. 20. Обработка найденного объекта Перспективная трансформация (гомография) [7] Применение SURF для определения маркера дополненной реальности 20
  21. 21. Обработка найденного объекта 2D -> 3D Внутренняя матрица Внешняя матрица Применение SURF для определения маркера дополненной реальности 21
  22. 22. Обработка найденного объекта Недостатки: 1. Скорость работы. 2. Ошибки распознавания точек. 3. Подбор точности под конкретную задачу. 4. Работает только на хорошо текстурированных изображениях. Для чего можно применять: 1. Распознавание заранее заготовленного маркера. 2. Распознавание и поиск информации о картинах и фрагментах 3. В комбинации с другими методами – трекинг. 4. Рекламные акции с «играми» на бигбордах 5. Социальные приложения связанные с упаковками и товарными марками Применение SURF для определения маркера дополненной реальности 22
  23. 23. Спасибо за внимание!
  24. 24. Источники литературы1. Herbert Bay, Andreas Ess, Tinne Tuytelaars, and Luc Van Gool. Speeded-Up Robust Features ftp://ftp.vision.ee.ethz.ch/publications/articles/eth_biwi_00517.pdf2. SURF: Speeded Up Robust Features www.vision.ee.ethz.ch/~surf/eccv06.pdf3. Обнаружение устойчивых признаков изображения: метод SURF http://habrahabr.ru/post/103107/4. Feature descriptors http://campar.in.tum.de/twiki/pub/Chair/TeachingWs09MATDCV/feature_descriptors.pdf5. SURF: Speeded-Up Robust Features http://www.cse.cuhk.edu.hk/~lyu/seminar/06fall/Wyman.ppt6. The OpenSURF Computer Vision Library http://www.chrisevansdev.com/computer-vision-opensurf.html7. Wikipedia homography tranlation illustration. http://en.wikipedia.org/wiki/File:Homography-transl-bold.svg

×