Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Обзор некоторОбзор методов поиска и сопровождения особых точек

1,511 views

Published on

Published in: Technology
  • Be the first to comment

Обзор некоторОбзор методов поиска и сопровождения особых точек

  1. 1. Обзор методов поиска и сопровождения особых точек Моисейцев Алексей Video Group CS MSU Graphics & Media Lab
  2. 2. Only for Maxus  Содержание  Введение  KLT  IPAN  Particle Video 2 CS MSU Graphics & Media Lab (Video Group)
  3. 3. Only for Maxus  Введение  Задача:  Сопоставить каждому трехмерному объекту сцены набор точек, неподвижных относительно объекта, и отслеживать траектории этих точек.  Применение:  Определение траекторий движения отдельных объектов  Восстановление движения камеры  Выделение информации о перспективе в сцене 3 CS MSU Graphics & Media Lab (Video Group)
  4. 4. Only for Maxus  Введение  Точечная особенность – точка сцены, окрестность которой можно отличить от всех окрестностей соседних точек сцены.  Траектория – последовательность координат точечной особенности в видео. 4 CS MSU Graphics & Media Lab (Video Group)
  5. 5. Only for Maxus  Введение 5 CS MSU Graphics & Media Lab (Video Group)
  6. 6. Only for Maxus  Введение 6 CS MSU Graphics & Media Lab (Video Group)
  7. 7. Only for Maxus  Содержание  Введение  KLT  IPAN  Particle Video 7 CS MSU Graphics & Media Lab (Video Group)
  8. 8. Only for Maxus  KLT (Kanade-Lucas-Tomasi) Модель движения - вектор смещения Аффинная модель движения: Good Features to Track, Jianbo Shi, Carlo Tomasi, 8 CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994
  9. 9. Only for Maxus  KLT Нахождение параметров движения Минимизация функции W – окно w(x) – весовая функция I – предыдущий кадр J – следующий кадр Good Features to Track, Jianbo Shi, Carlo Tomasi, 9 CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994
  10. 10. Only for Maxus  KLT Линейная модель Симметричная запись: Линеаризация: Условие 10 CS MSU Graphics & Media Lab (Video Group) Derivation of Kanade-Lucas-Tomasi Tracking Equation, Stan Birchfield, 1997
  11. 11. Only for Maxus  KLT Линейная модель Производная ошибки: Условие минимума: 11 CS MSU Graphics & Media Lab (Video Group) Derivation of Kanade-Lucas-Tomasi Tracking Equation, Stan Birchfield, 1997
  12. 12. Only for Maxus  KLT Линейная модель Окончательный вид уравнения: Запись в виде СЛАУ: 12 CS MSU Graphics & Media Lab (Video Group) Derivation of Kanade-Lucas-Tomasi Tracking Equation, Stan Birchfield, 1997
  13. 13. Only for Maxus  KLT Нахождение параметров движения Решение СЛАУ: - искомое решение Good Features to Track, Jianbo Shi, Carlo Tomasi, 13 CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994
  14. 14. Only for Maxus  KLT Нахождение параметров движения Good Features to Track, Jianbo Shi, Carlo Tomasi, 14 CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994
  15. 15. Only for Maxus  KLT Нахождение параметров движения  Уравнение Tz =a дает лишь приближенную оценку на величину смещения d  Решение: Необходимо делать несколько итераций! Good Features to Track, Jianbo Shi, Carlo Tomasi, 15 CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994
  16. 16. Only for Maxus  KLT Итеративное решение I J итерация 1 16 CS MSU Graphics & Media Lab (Video Group)
  17. 17. Only for Maxus  KLT Итеративное решение I J итерация 2 17 CS MSU Graphics & Media Lab (Video Group)
  18. 18. Only for Maxus  KLT Итеративное решение I J итерация 3 18 CS MSU Graphics & Media Lab (Video Group)
  19. 19. Only for Maxus  KLT Итеративное решение  Ошибки в D приводят к ошибкам в оценке величины смещения d  Можно искать корни уравнения Zd = e  Аффинные преобразования можно заменить историей областей 19 CS MSU Graphics & Media Lab (Video Group)
  20. 20. Only for Maxus  KLT Выбор особенностей  Выбор текстурированных областей или областей с уголками не гарантирует возможность их отслеживания  Для решения уравнения желательно иметь хорошо обусловленную матрицу Z Good Features to Track, Jianbo Shi, Carlo Tomasi, 20 CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994
  21. 21. Only for Maxus  KLT Выбор особенностей  λ1, λ2 – собственные значения Z  λ1, λ2 < λth – гладкие области  λ1 < λth < λ2 – границы  λth < λ1, λ2 – углы Good Features to Track, Jianbo Shi, Carlo Tomasi, 21 CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994
  22. 22. Only for Maxus  KLT Пример работы оригинальное 4-я итерация 8-я итерация 19-я итерация целевое изображение изображение Good Features to Track, Jianbo Shi, Carlo Tomasi, 22 CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994
  23. 23. Only for Maxus  KLT Пример работы различие derror, Aerror, d, A, ошибка ошибка смешение деформация смещения деформации Good Features to Track, Jianbo Shi, Carlo Tomasi, 23 CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994
  24. 24. Only for Maxus  KLT Пример работы различие d, A, смешение деформация Good Features to Track, Jianbo Shi, Carlo Tomasi, 24 CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994
  25. 25. Only for Maxus  KLT Пример работы Good Features to Track, Jianbo Shi, Carlo Tomasi, 25 CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994
  26. 26. Only for Maxus  KLT Пример работы Good Features to Track, Jianbo Shi, Carlo Tomasi, 26 CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994
  27. 27. Only for Maxus  KLT Пример работы Good Features to Track, Jianbo Shi, Carlo Tomasi, 27 CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994
  28. 28. Only for Maxus  KLT Пример работы # кадра Good Features to Track, Jianbo Shi, Carlo Tomasi, 28 CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994
  29. 29. Only for Maxus  KLT  Достоинства  Учет аффинных преобразований  GPU-реализации  Недостатки  Подвержен накоплениям ошибок 29 CS MSU Graphics & Media Lab (Video Group)
  30. 30. Only for Maxus  Содержание  Введение  KLT  IPAN  Particle Video 30 CS MSU Graphics & Media Lab (Video Group)
  31. 31. Only for Maxus  IPAN  Недостаток предыдущего метода:  Точки могут перекрываться, что приводит к разрыву траекторий  Предположения:  Неразличимость точек  Гладкое движение  Ограниченная скорость  Короткие по времени перекрытия Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. 31 CS MSU Graphics & Media Lab (Video Group) Verestói, 1998, International Conf. on Pattern Recognition
  32. 32. Only for Maxus  Неразличимость точек 32 CS MSU Graphics & Media Lab (Video Group)
  33. 33. Only for Maxus  IPAN Обработка Инициализация Постобработка особенностей Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. 33 CS MSU Graphics & Media Lab (Video Group) Verestói, 1998, International Conf. on Pattern Recognition
  34. 34. Only for Maxus  IPAN Функция стоимости  Первое слагаемое отвечает за изменение направления движения  w1 ~ 0.1  Второе слагаемое отвечает за изменение скорости  w2 ~ 0.9 Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. 34 CS MSU Graphics & Media Lab (Video Group) Verestói, 1998, International Conf. on Pattern Recognition
  35. 35. Only for IPAN Maxus  Инициализация  Pf,i – точечные особенности +  S f,i – область достижимости для ТО i из кадра f Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. 35 CS MSU Graphics & Media Lab (Video Group) Verestói, 1998, International Conf. on Pattern Recognition
  36. 36. Only for IPAN Maxus  Инициализация  Для всех P2,i  Перебор всех троек (P1,a, P2,i, P3,b)  Подсчет функции стоимости δ(P1,a, P2,q, P3,b)  Поиск лучшего приближения при фиксированном P3,b  Поиск лучшего приближения при фиксированном P1,a  Отсечение плохих приближений: δ(P1,a, P2,q, P3,b) < δmax Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. 36 CS MSU Graphics & Media Lab (Video Group) Verestói, 1998, International Conf. on Pattern Recognition
  37. 37. Only for IPAN Maxus  Обработка последовательных кадров  Z-точки – точки без связей на Fk-1  B-точки – точки на Fk-1, cвязанные только с Fk-2  Рассматриваются только Z-точки  Обработка аналогична инициализации, но существующие связи не разрушаются Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. 37 CS MSU Graphics & Media Lab (Video Group) Verestói, 1998, International Conf. on Pattern Recognition
  38. 38. Only for IPAN Maxus  Постобработка Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. 38 CS MSU Graphics & Media Lab (Video Group) Verestói, 1998, International Conf. on Pattern Recognition
  39. 39. Only for Maxus  IPAN Функция стоимости ve – скорость движения в предыдущем кадре θe – угол направления в предыдущем кадре Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. 39 CS MSU Graphics & Media Lab (Video Group) Verestói, 1998, International Conf. on Pattern Recognition
  40. 40. Only for IPAN Maxus  Результат работы Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. 40 CS MSU Graphics & Media Lab (Video Group) Verestói, 1998, International Conf. on Pattern Recognition
  41. 41. Only for Maxus  IPAN  Достоинства  Нахождение открытий/закрытий  Сопровождение частично перекрывающихся траекторий  Недостатки  Требуется высокая точность выделения особенностей 41 CS MSU Graphics & Media Lab (Video Group)
  42. 42. Only for Maxus  Содержание  Введение  KLT  IPAN  Particle Video 42 CS MSU Graphics & Media Lab (Video Group)
  43. 43. Only for Maxus  Particle Video Particle Video: Long-Range Motion Estimation using Point Trajectories, 43 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  44. 44. Only for Maxus  Particle Video Схема алгоритма Нахождение Выделение Фильтрация оптического наложений потока потока Удаление и Распространение Связывание Уточнение добавление особенностей особенностей положения особенностей Particle Video: Long-Range Motion Estimation using Point Trajectories, 44 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  45. 45. Only for Maxus  Particle Video Оптический поток  Алгоритм нахождения оптического потока – «Черный ящик»  Пары последовательных кадров сравниваются независимо  Используется пирамида изображений Particle Video: Long-Range Motion Estimation using Point Trajectories, 45 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  46. 46. Only for Maxus  Particle Video Оптический поток u,v поле потока I изображение k номер компоненты изображения r функциявидимости Particle Video: Long-Range Motion Estimation using Point Trajectories, 46 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  47. 47. Only for Maxus  Particle Video Оптический поток Ix, Iy - производные яркости по x и y N - ядро гауссиана  l  10 - локальное сглаживание g  5 - глобальное сглаживание  b  1 .5 Particle Video: Long-Range Motion Estimation using Point Trajectories, 47 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  48. 48. Only for Maxus  Particle Video Выделение наложений  Дивергенция потока  Условие открытия  Изменение яркости  Карта наложений Particle Video: Long-Range Motion Estimation using Point Trajectories, 48 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  49. 49. Only for Maxus  Particle Video Фильтрация потока  Билатеральный фильтр  Весовая функция Particle Video: Long-Range Motion Estimation using Point Trajectories, 49 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  50. 50. Only for Maxus  Particle Video Фильтрация потока  Билатеральный фильтр  Ограничения:  ( x  x1 ) 2  ( y  y1 ) 2   2  Работа только рядом с границами g ( x, y, t )  N g x, y, t ; 3  0.05 ˆ Particle Video: Long-Range Motion Estimation using Point Trajectories, 50 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  51. 51. Only for Maxus  Particle Video Второй проход Распространение Связывание Уточнение Удаление Добавление особенностей особенностей положения особенностей особенностей Particle Video: Long-Range Motion Estimation using Point Trajectories, 51 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  52. 52. Only for Maxus  Particle Video Распространение особенностей u,v поле потока xi , yi координаты частицы i Particle Video: Long-Range Motion Estimation using Point Trajectories, 52 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  53. 53. Only for Maxus  Particle Video Связывание особенностей Триангуляция Делоне: DT(S) – триангуляция Делоне для множества точек S, если никакая точка A из S не содержится внутри окружности, описанной вокруг треугольника из DT(S), такого, что ни одной из вершин его не является точка A. Particle Video: Long-Range Motion Estimation using Point Trajectories, 53 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  54. 54. Only for Maxus  Particle Video Связывание особенностей Particle Video: Long-Range Motion Estimation using Point Trajectories, 54 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  55. 55. Only for Maxus  Particle Video Связывание особенностей Вычисление весов ребер: li , j  Di, j  - вес ребра Particle Video: Long-Range Motion Estimation using Point Trajectories, 55 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  56. 56. Only for Maxus  Particle Video Связывание особенностей Particle Video: Long-Range Motion Estimation using Point Trajectories, 56 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  57. 57. Only for Maxus  Particle Video Связывание особенностей  Вычисление весов особенностей:  Сохранение окна: Particle Video: Long-Range Motion Estimation using Point Trajectories, 57 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  58. 58. Only for Maxus  Particle Video Уточнение положения  Условие на совпадение окон:  Условие на движение соседей:  Условие на гладкость траектории: Particle Video: Long-Range Motion Estimation using Point Trajectories, 58 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  59. 59. Only for Maxus  Particle Video Уточнение положения  d  4,  f  0.5 Particle Video: Long-Range Motion Estimation using Point Trajectories, 59 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  60. 60. Only for Maxus  Particle Video Уточнение положения  Необходимое условие минимума:  Линеаризация: Particle Video: Long-Range Motion Estimation using Point Trajectories, 60 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  61. 61. Only for Maxus  Particle Video Уточнение положения Particle Video: Long-Range Motion Estimation using Point Trajectories, 61 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  62. 62. Only for Maxus  Particle Video Уточнение положения Решение уравнений относительно dxi,dyi: 1. dxi,dyi = 0 2. Вычисление Ψ’ 3. Решение СЛАУ 4. Переход к п.2 5. xi = xi + dxi 6. yi = yi + dyi Particle Video: Long-Range Motion Estimation using Point Trajectories, 62 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  63. 63. Only for Maxus  Particle Video Удаление особенностей  Если E(i,t) > th, особенность помечается как найденная неверно  Если особенность i найдена верно менее чем на трех кадрах подряд, то она удаляется. Particle Video: Long-Range Motion Estimation using Point Trajectories, 63 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  64. 64. Only for Maxus  Particle Video Добавление особенностей  Нахождение степени текстурирования  x, y   arg max  I x, y   N I x, y ;   10   Если расстояние от пикселя (x,y) до ближайшей особенности больше σ(x,y), то добавить (x,y) в список особенностей Particle Video: Long-Range Motion Estimation using Point Trajectories, 64 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  65. 65. Only for Maxus  Particle Video Добавление особенностей Particle Video: Long-Range Motion Estimation using Point Trajectories, 65 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  66. 66. Only for Maxus  Particle Video Добавление особенностей σ(x,y) Particle Video: Long-Range Motion Estimation using Point Trajectories, 66 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  67. 67. Only for Maxus  Particle Video Добавление особенностей Particle Video: Long-Range Motion Estimation using Point Trajectories, 67 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  68. 68. Only for Maxus  Particle Video Пример работы Particle Video: Long-Range Motion Estimation using Point Trajectories, 68 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  69. 69. Only for Maxus  Particle Video Пример работы Particle Video: Long-Range Motion Estimation using Point Trajectories, 69 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  70. 70. Only for Maxus  Particle Video Пример работы Particle Video: Long-Range Motion Estimation using Point Trajectories, 70 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  71. 71. Only for Maxus  Particle Video Пример работы http://rvsn.csail.mit.edu/pv/ Particle Video: Long-Range Motion Estimation using Point Trajectories, 71 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  72. 72. Only for Maxus  Particle Video Пример работы http://rvsn.csail.mit.edu/pv/ Particle Video: Long-Range Motion Estimation using Point Trajectories, 72 CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE
  73. 73. Only for Maxus  Particle Video  Достоинства:  Высокая точность  Обработка закрытий/открытий  Недостатки:  Очень низкая скорость работы  Выделение недостоверных особенностей 73 CS MSU Graphics & Media Lab (Video Group)
  74. 74. Only for Maxus  Литература  Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE  Good Features to Track, Jianbo Shi, Carlo Tomasi, IEEE Conference on Computer Vision and Pattern Recognition, 1994  Derivation of Kanade-Lucas-Tomasi Tracking Equation, Stan Birchfield, 1997  Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. Verestói, 1998, International Conf. on Pattern Recognition  Stable 2D Feature Tracking for Long Video Sequences, Jong-Seung Park, Jong-Hyun Yoon, Chungkyue Kim, 2008, International Journal of Signal Processing, Image Processing and Pattern Recognition,  Combining local and global motion models for feature point tracking, Aeron Buchanan, Andrew Fitzgibbon, CVPR, 2007  High Accuracy Optical Flow Estimation Based on a Theory for Warping, Thomas Brox, Andr´es Bruhn, Nils Papenberg, and Joachim Weickert, 2004, 8th European Conference on Computer Vision 74 CS MSU Graphics & Media Lab (Video Group)
  75. 75. Only for Maxus  Вопросы ? 75 CS MSU Graphics & Media Lab (Video Group)

×