1. Обзор некоторых
современных алгоритмов
optical flow
Илья Цветков
Video Group
CS MSU Graphics & Media Lab

2. Содержание
 Введение
 Классические методы
 Билатеральная фильтрация
 Сегментация
 Временная корреляция
 Заключение
2
CS MSU Graphics & Media Lab (Video Group)

3. Постановка задачи
Даны два последовательных изображения:
Необходимо найти векторное поле u(x),
задающее соответствие точек изображений,
например:
3
CS MSU Graphics & Media Lab (Video Group)

4. Исходные изображения
Последовательность «Mequon»
S. Baker et al. A database and evaluation methodology for optical flow. 4
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

5. Пример optical flow
Последовательность «Mequon»
S. Baker et al. A database and evaluation methodology for optical flow. 5
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

6. Содержание
 Введение
 Классические методы
 Билатеральная фильтрация
 Сегментация
 Временная корреляция
 Заключение
6
CS MSU Graphics & Media Lab (Video Group)

7. Локальные методы
Gradient constraint equation:
Локальный метод Lucas & Kanade:
Вектор смещения ищется в каждой точке
независимо.
J. Barron et al. Performance of optical flow techniques. 7
CS MSU Graphics & Media Lab (Video Group) International Journal of Computer Vision, 1994.

8. Исходные изображения
Последовательность «Army»
S. Baker et al. A database and evaluation methodology for optical flow. 8
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

9. Ground truth
Последовательность «Army»
S. Baker et al. A database and evaluation methodology for optical flow. 9
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

10. Результат метода L&K
Последовательность «Army»
S. Baker et al. A database and evaluation methodology for optical flow. 10
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

11. Глобальные методы
Глобальный метод Hork & Schunck:
Сглаживает поле независимо от структуры
движения.
J. Barron et al. Performance of optical flow techniques. 11
CS MSU Graphics & Media Lab (Video Group) International Journal of Computer Vision, 1994.

12. Ground truth
Последовательность «Army»
S. Baker et al. A database and evaluation methodology for optical flow. 12
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

13. Результат метода H&S
Последовательность «Army»
S. Baker et al. A database and evaluation methodology for optical flow. 13
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

14. Исходные изображения
Последовательность «Wooden»
S. Baker et al. A database and evaluation methodology for optical flow. 14
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

15. Ground truth
Последовательность «Wooden»
S. Baker et al. A database and evaluation methodology for optical flow. 15
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

16. Результат метода H&S
Последовательность «Wooden»
S. Baker et al. A database and evaluation methodology for optical flow. 16
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

17. Объективное сравнение
 Средняя угловая ошибка (average angular error)
 Average endpoint error
S. Baker et al. A database and evaluation methodology for optical flow. 17
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

18. Сравнение качества
ААЕ Army Mequon Schefflera Wooden Yosemite Teddy
Lucas & Kanade 13,9 24,1 20,9 22,2 6,41 25,6
Horn & Schunck 8,0 9,1 14,2 12,4 4,01 9,2
AEPE Army Mequon Schefflera Wooden Yosemite Teddy
Lucas & Kanade 0,39 1,67 1,50 1,57 0,30 3,80
Horn & Schunck 0,22 0,61 1,01 0,78 0,16 1,51
S. Baker et al. A database and evaluation methodology for optical flow. 18
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

19. Исходные изображения
Последовательность «Yosemite»
S. Baker et al. A database and evaluation methodology for optical flow. 19
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

20. Ground truth
Последовательность «Yosemite»
S. Baker et al. A database and evaluation methodology for optical flow. 20
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

21. Результат метода L&K
Последовательность «Yosemite»
S. Baker et al. A database and evaluation methodology for optical flow. 21
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

22. Результат метода H&S
Последовательность «Yosemite»
S. Baker et al. A database and evaluation methodology for optical flow. 22
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

23. Требования к optical flow
 Определение сильного движения
 Устойчивость к изменениям яркости
 Корректная обработка разрывов
 Отдельная обработка областей
наложения объектов
 Устойчивость к шуму
 Стабильность во времени
23
CS MSU Graphics & Media Lab (Video Group)

24. Содержание
 Введение
 Классические методы
 Билатеральная фильтрация
 Сегментация
 Временная корреляция
 Заключение
24
CS MSU Graphics & Media Lab (Video Group)

25. Основные идеи
 Анизотропное сглаживание поля
 Особая обработка областей
наложения объектов
 Применение билатерального фильтра
для сглаживания поля
J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion 25
CS MSU Graphics & Media Lab (Video Group) detection. ECCV, 2006.

26. Основа метода
Глобальный метод с анизотропным
сглаживанием:
Собственные значения:
J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion 26
CS MSU Graphics & Media Lab (Video Group) detection. ECCV, 2006.

27. Минимизация
Итеративная минимизация:
Разбиение на два шага:
Альтернативное представление второго шага:
J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion 27
CS MSU Graphics & Media Lab (Video Group) detection. ECCV, 2006.

28. Анизотропное
сглаживание
J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion 28
CS MSU Graphics & Media Lab (Video Group) detection. ECCV, 2006.

29. Определение
наложений объектов
Функция-индикатор наложения объектов:
Гладкий аналог:
J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion 29
CS MSU Graphics & Media Lab (Video Group) detection. ECCV, 2006.

30. Обработка наложений
Особая обработка областей наложения:
Условие гладкости одинаково для всех
областей:
J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion 30
CS MSU Graphics & Media Lab (Video Group) detection. ECCV, 2006.

31. Билатеральная
фильтрация поля
Билатеральный фильтр:
Исходное размытие:
Применение билатерального фильтра:
J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion 31
CS MSU Graphics & Media Lab (Video Group) detection. ECCV, 2006.

32. Билатеральная
фильтрация поля
J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion 32
CS MSU Graphics & Media Lab (Video Group) detection. ECCV, 2006.

33. Исходные кадры
J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion 33
CS MSU Graphics & Media Lab (Video Group) detection. ECCV, 2006.

34. Области наложения
J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion 34
CS MSU Graphics & Media Lab (Video Group) detection. ECCV, 2006.

35. Optical flow
J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion 35
CS MSU Graphics & Media Lab (Video Group) detection. ECCV, 2006.

36. Исходные кадры
Последовательность «Football»
J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion 36
CS MSU Graphics & Media Lab (Video Group) detection. ECCV, 2006.

37. Области наложения
Последовательность «Football»
J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion 37
CS MSU Graphics & Media Lab (Video Group) detection. ECCV, 2006.

38. Optical flow
Последовательность «Football»
J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion 38
CS MSU Graphics & Media Lab (Video Group) detection. ECCV, 2006.

39. Результат
Последовательность «Yosemite»
J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion 39
CS MSU Graphics & Media Lab (Video Group) detection. ECCV, 2006.

40. Ground truth
Последовательность «Yosemite»
J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion 40
CS MSU Graphics & Media Lab (Video Group) detection. ECCV, 2006.

41. Результаты
ААЕ Army Mequon Schefflera Wooden Yosemite Teddy
Lucas & Kanade 13,9 24,1 20,9 22,2 6,41 25,6
Horn & Schunck 8,0 9,1 14,2 12,4 4,01 9,2
Bilateral — — — — 2,57 —
Производительность Конфигурация Время на один кадр, с
Bilateral CPU Intel Xeon 3,6 ГГц 4,0
J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion 41
CS MSU Graphics & Media Lab (Video Group) detection. ECCV, 2006.

42. Содержание
 Введение
 Классические методы
 Билатеральная фильтрация
 Сегментация
 Временная корреляция
 Заключение
42
CS MSU Graphics & Media Lab (Video Group)

43. Основные идеи
 Использование цветовых компонент
при расчѐте optical flow
 Цветовая сегментация
 Параметрическая модель для каждого
сегмента
 Уточнение на основе первого
приближения
L. Xu et al. A segmentation based variational model for accurate optical 43
CS MSU Graphics & Media Lab (Video Group) flow estimation. ECCV, 2008.

44. Схема метода
L. Xu et al. A segmentation based variational model for accurate optical 44
CS MSU Graphics & Media Lab (Video Group) flow estimation. ECCV, 2008.

45. Первое приближение
Используется глобальный метод:
L. Xu et al. A segmentation based variational model for accurate optical 45
CS MSU Graphics & Media Lab (Video Group) flow estimation. ECCV, 2008.

46. Первое приближение
Последовательность «Teddy»
L. Xu et al. A segmentation based variational model for accurate optical 46
CS MSU Graphics & Media Lab (Video Group) flow estimation. ECCV, 2008.

47. Сегментация
 Алгоритм Mean Shift
 Два этапа:
1. Цветовая сегментация
2. Подразбиение на основе optical flow
L. Xu et al. A segmentation based variational model for accurate optical 47
CS MSU Graphics & Media Lab (Video Group) flow estimation. ECCV, 2008.

48. Параметрическая
модель движения
Параметрическая модель движения для
каждого сегмента:
Суммарная энергия:
L. Xu et al. A segmentation based variational model for accurate optical 48
CS MSU Graphics & Media Lab (Video Group) flow estimation. ECCV, 2008.

49. Первое приближение
Последовательность «Teddy»
L. Xu et al. A segmentation based variational model for accurate optical 49
CS MSU Graphics & Media Lab (Video Group) flow estimation. ECCV, 2008.

50. Уточнение optical flow
Последовательность «Teddy»
L. Xu et al. A segmentation based variational model for accurate optical 50
CS MSU Graphics & Media Lab (Video Group) flow estimation. ECCV, 2008.

51. Ground truth
Последовательность «Teddy»
S. Baker et al. A database and evaluation methodology for optical flow. 51
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

52. Определение
наложений объектов
Optical flow вычисляется от первого кадра ко
второму и наоборот:
На основе прямого и обратного полей
вычисляется индикатор наложения объектов:
L. Xu et al. A segmentation based variational model for accurate optical 52
CS MSU Graphics & Media Lab (Video Group) flow estimation. ECCV, 2008.

53. Попиксельное доверие
Попиксельная функция доверия к optical flow:
L. Xu et al. A segmentation based variational model for accurate optical 53
CS MSU Graphics & Media Lab (Video Group) flow estimation. ECCV, 2008.

54. Посегментное доверие
Посегментная функция доверия к optical flow:
Результирующая функция доверия к
optical flow:
L. Xu et al. A segmentation based variational model for accurate optical 54
CS MSU Graphics & Media Lab (Video Group) flow estimation. ECCV, 2008.

55. Confidence map
Последовательность «Teddy»
L. Xu et al. A segmentation based variational model for accurate optical 55
CS MSU Graphics & Media Lab (Video Group) flow estimation. ECCV, 2008.

56. Исходные изображения
Последовательность «Schefflera»
S. Baker et al. A database and evaluation methodology for optical flow. 56
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

57. Первое приближение
Последовательность «Schefflera»
S. Baker et al. A database and evaluation methodology for optical flow. 57
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

58. Уточнение optical flow
Последовательность «Schefflera»
S. Baker et al. A database and evaluation methodology for optical flow. 58
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

59. Ground truth
Последовательность «Schefflera»
S. Baker et al. A database and evaluation methodology for optical flow. 59
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

60. Confidence map
Последовательность «Schefflera»
S. Baker et al. A database and evaluation methodology for optical flow. 60
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

61. Финальная модель
Финальный этап — минимизация энергии:
L. Xu et al. A segmentation based variational model for accurate optical 61
CS MSU Graphics & Media Lab (Video Group) flow estimation. ECCV, 2008.

62. Ground truth
Последовательность «Teddy»
S. Baker et al. A database and evaluation methodology for optical flow. 62
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

63. Результат
Последовательность «Teddy»
S. Baker et al. A database and evaluation methodology for optical flow. 63
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

64. Ground truth
Последовательность «Mequon»
S. Baker et al. A database and evaluation methodology for optical flow. 64
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

65. Результат
Последовательность «Mequon»
S. Baker et al. A database and evaluation methodology for optical flow. 65
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

66. Ground truth
Последовательность «Schefflera»
S. Baker et al. A database and evaluation methodology for optical flow. 70
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

67. Результат
Последовательность «Schefflera»
S. Baker et al. A database and evaluation methodology for optical flow. 71
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

68. Результаты
ААЕ Army Mequon Schefflera Wooden Yosemite Teddy
Lucas & Kanade 13,9 24,1 20,9 22,2 6,41 25,6
Horn & Schunck 8,0 9,1 14,2 12,4 4,01 9,2
Bilateral — — — — 2,57 —
Segmentation 5,8 7,4 8,5 6,5 1,6 3,7
AEPE Army Mequon Schefflera Wooden Yosemite Teddy
Lucas & Kanade 0,39 1,67 1,50 1,57 0,30 3,80
Horn & Schunck 0,22 0,61 1,01 0,78 0,16 1,51
Segmentation 0,15 0,57 0,68 0,32 0,08 0,70
Производительность Конфигурация Время на один кадр, с
Bilateral CPU Intel Xeon 3,6 ГГц 4,0
Segmentation CPU Intel Core 2 Duo 2,4 ГГц 15,0
L. Xu et al. A segmentation based variational model for accurate optical 72
CS MSU Graphics & Media Lab (Video Group) flow estimation. ECCV, 2008.

69. Содержание
 Введение
 Классические методы
 Билатеральная фильтрация
 Сегментация
 Временная корреляция
 Заключение
73
CS MSU Graphics & Media Lab (Video Group)

70. Основные идеи
 Особая функция штрафа
 Анизотропное сглаживание поля
 Построение optical flow на основе трѐх
кадров
M. Werlberger et al. Anisotropic Huber-L1 optical flow. 74
CS MSU Graphics & Media Lab (Video Group) BMVC 2009.

71. Основа метода
Глобальный метод с применением L1-нормы:
M. Werlberger et al. Anisotropic Huber-L1 optical flow. 75
CS MSU Graphics & Media Lab (Video Group) BMVC 2009.

72. Сглаживание
Исходный вариант сглаживания:
Анизотропия и изменѐнная функция штрафа:
M. Werlberger et al. Anisotropic Huber-L1 optical flow. 76
CS MSU Graphics & Media Lab (Video Group) BMVC 2009.

73. Минимизация
Вводится вспомогательная переменная:
M. Werlberger et al. Anisotropic Huber-L1 optical flow. 77
CS MSU Graphics & Media Lab (Video Group) BMVC 2009.

74. Минимизация
 Шаг 1
 Шаг 2
M. Werlberger et al. Anisotropic Huber-L1 optical flow. 78
CS MSU Graphics & Media Lab (Video Group) BMVC 2009.

75. Multi-frame optical flow
 Используются три последовательных кадра
 Optical flow полагается симметричным
относительно центрального кадра
M. Werlberger et al. Anisotropic Huber-L1 optical flow. 79
CS MSU Graphics & Media Lab (Video Group) BMVC 2009.

76. Исходная последовательность
M. Werlberger et al. Anisotropic Huber-L1 optical flow. 80
CS MSU Graphics & Media Lab (Video Group) BMVC 2009.

77. Optical flow по двум кадрам
M. Werlberger et al. Anisotropic Huber-L1 optical flow. 81
CS MSU Graphics & Media Lab (Video Group) BMVC 2009.

78. Optical flow по трѐм кадрам
M. Werlberger et al. Anisotropic Huber-L1 optical flow. 82
CS MSU Graphics & Media Lab (Video Group) BMVC 2009.

79. Исходная последовательность
M. Werlberger et al. Anisotropic Huber-L1 optical flow. 83
CS MSU Graphics & Media Lab (Video Group) BMVC 2009.

80. Optical flow по двум кадрам
M. Werlberger et al. Anisotropic Huber-L1 optical flow. 84
CS MSU Graphics & Media Lab (Video Group) BMVC 2009.

81. Optical flow по трѐм кадрам
M. Werlberger et al. Anisotropic Huber-L1 optical flow. 85
CS MSU Graphics & Media Lab (Video Group) BMVC 2009.

82. Ground truth
Последовательность «Mequon»
S. Baker et al. A database and evaluation methodology for optical flow. 88
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

83. Результат
Последовательность «Mequon»
S. Baker et al. A database and evaluation methodology for optical flow. 89
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

84. Ground truth
Последовательность «Army»
S. Baker et al. A database and evaluation methodology for optical flow. 90
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

85. Результат
Последовательность «Army»
S. Baker et al. A database and evaluation methodology for optical flow. 91
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

86. Ground truth
Последовательность «Schefflera»
S. Baker et al. A database and evaluation methodology for optical flow. 94
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

87. Результат
Последовательность «Schefflera»
S. Baker et al. A database and evaluation methodology for optical flow. 95
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

88. Сравнение качества
ААЕ Army Mequon Schefflera Wooden Yosemite Teddy
Horn & Schunck 8,0 9,1 14,2 12,4 4,01 9,2
Bilateral — — — — 2,57 —
Segmentation 5,8 7,4 8,5 6,5 1,6 3,7
Aniso Huber-L1 3,7 4,4 6,9 3,5 3,4 3,2
AEPE Army Mequon Schefflera Wooden Yosemite Teddy
Horn & Schunck 0,22 0,61 1,01 0,78 0,16 1,51
Segmentation 0,15 0,57 0,68 0,32 0,08 0,70
Aniso Huber-L1 0,10 0,31 0,56 0,20 0,17 0,64
Производительность Конфигурация Время на один кадр, с
Bilateral CPU Intel Xeon 3,6 ГГц 4,0
Segmentation CPU Intel Core 2 Duo 2,4 ГГц 15,0
Aniso Huber-L1 GPU NVIDIA GTX 280 1,2
S. Baker et al. A database and evaluation methodology for optical flow. 96
CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/

89. Содержание
 Введение
 Классические методы
 Билатеральная фильтрация
 Сегментация
 Временная корреляция
 Заключение
97
CS MSU Graphics & Media Lab (Video Group)

90. Заключение
 Особенности современных методов
 Использование глобальной модели
 Анизотропия
 Низкая стабильность по времени
 Направления развития
 Использование сегментации
 Многокадровый optical flow
98
CS MSU Graphics & Media Lab (Video Group)

91. Список литературы
1. S. Baker et al. A database and evaluation methodology for optical
flow. ICCV, 2007. http://vision.middlebury.edu/flow/
2. J. Barron et al. Performance of optical flow techniques. International
Journal of Computer Vision, 1994.
3. J. Xiao et al. Bilateral filtering-based optical flow estimation with
occlusion detection. ECCV, 2006.
4. L. Xu et al. A segmentation based variational model for accurate
optical flow estimation. ECCV, 2008.
5. M. Werlberger et al. Anisotropic Huber-L1 optical flow. BMVC 2009.
99
CS MSU Graphics & Media Lab (Video Group)

92. Вопросы
?
100
CS MSU Graphics & Media Lab (Video Group)