1. Оптимизация энергии в задачах компьютерного зрения и алгоритмы на графах Мини-курс, Computer Science Club, Санкт-Петербург, 2010 Виктор Лемпицкий

2. Что такое компьютерное зрение? 2 Компьютерная графика Изображение сцены Описание сцены Компьютерное зрение

3. Из истории вопроса... План на август: Сегментация на объекты Распознавание отдельных объектов

4. Сегментация Пример из Berkeley Segmentation Dataset: Оба ответа верные! Задача плохо определена...

5. Бинарная сегментация ...или разбиение на фон/объект

6. “Умные ножницы”[Mortensen & Barett, 1995] aka “magnetic lasso” (Photoshop), “livewire”

7. От картинки к графу[Mortensen & Barett, 1995]

8. Выбор весов для графа[Mortensen & Barett, 1995]

9. Выбор весов для графа [Mortensen & Barett, 1995]

10. Сегментация кратчайшими путями[Mortensen & Barett, 1995] Граница = цепь кратчайших путей

11. “Умные ножницы”[Mortensen & Barett, 1995] images from[Mortensen&Barett,1999]

12. Seam Carving: изменение размера[Avidan & Shamir, 2007]

13. Seam Carving[Avidan & Shamir, 2007]

14. Стереопары from Agnes Svoboda Morris collection

15. Стереосопоставление Тестовая стереопара(University of Tsukuba) Карта смещений

16. Немного геометрии b h d Глубина 1/Смещение f b

17. Стерео: локальный подход

18. Стерео: локальный подход Результаты

19. Сканлайн Stereopair from Middlebury stereo webpage

20. От стерео к кратчайшим путям λ смещение λ +∞ λ λ λ пиксель

21. Стерео и энергии Построили алгоритм для: Хотим:

22. Новая конструкция графа +λ смещение +0 +λ +λ +λ +λ пиксель

23. Результаты Ground truth: Оптимизация вдоль сканлайна

24. Динамическое программирование

25. Динамическое программирование

26. Передача сообщений

27. Передача сообщений

28. Передача сообщений Док-во: индукция

29. Передача сообщений

30. Распространение сообщений Вывод: распространение сообщений находит минимум энергии – в отсутствии «ничьих» просто берем оптимальное dt в каждой вершине.

31. Стоимость передачи сообщения Задача: сколько операций надо для подсчета сообщения в нашем случае Ответ: O(D). Вся оптимизация требует O(WD) – быстрее, чем «наивный» кратчайший путь А в этих случаях?:

32. Что получилось Ground truth: Оптимизация вдоль сканлайна Проблема: сканлайны друг с другом не связаны

33. От строк к дереву[Veksler, 2005]

34. Выбор дерева Перепады цвета коррелируют с перепадами глубины Минимальное остовное дерево!

35. От строк к дереву[Veksler, 2005]

36. От строк к дереву

37. Динамическое программирование t t

38. Передача сообщений t i i

39. Передача сообщений t Доказательство: Назначить t корнем Провести индукцию от листьев

40. Пересылка сообщений: расписание Сложность: всего O(ED) !

41. Pictorial structures[FelzenszwalbHuttenlocker 05] Image from BioID/FGNet dataset Обучается на тренировочных данных 2

42. Pictorial structures 2 Угол правой брови Левая ноздря

43. Pictorial structures Независимый поиск точек Pictorial structure result Квадратичная функция Идея [Felzenszwalb&Huttenlocher 05]: как быстро передать сообщение

44. Обобщаем дальше? Хотим:

45. Динамическое программирование? t

47. Эвристика: нет гарантий на сходимость/близость к минимуму

48. Результат зависит от расписания/инициализации

50. Увеличение разрешения[Freeman,Paztor,Carmichael,Jones 2000] Средние частоты Высокие частоты = ?

51. Увеличение разрешения [Freeman,Paztor,Carmichael,Jones 2000]

52. Увеличение разрешения [Freeman,Paztor,Carmichael,Jones 2000]

53. Увеличение разрешения [Freeman,Paztor,Carmichael 2000]

54. Увеличение разрешения [Freeman,Paztor,Carmichael,Jones 2000]

56. Полиномиальное время поиска.T

57. Сканлайн: напоминание λ смещение λ +∞ λ λ λ пиксель

58. Двойственный граф s λ Ut(dt) λ +∞ t

59. Оптимизация с помощью разреза s смещение пиксель t

60. Оптимизация с помощью разреза s s t t

61. Стерео с помощью разреза[Roy&Cox 1998, Ishikawa&Geiger 1998]

62. Стерео с помощью разреза[Roy&Cox 1998]

66. Вводится функционал-энергия на пространстве поверхностей

67. Энергия = соответствие данным + регуляризация

68. Результат реконструкции – минимум функционала?

70. Закрытия: невидимые точки не подчиняются фотосостоятельностизакрытие Точная видимость неизвестна => нужны приближенные оценки

71. Ориентированная фотосостоятельность[Lempitsky, Boykov, Ivanov 2006] 0.3 0.6 0 dS(X, n) 0.1 0 0 0

73. учитывающим силуэты

74. учитывающим жесткие условия:U(X)=+∞ ? U(X)=-∞ «объект на плоскости»

75. Дискретная глобальная оптимизация Пространство «всех» поверхностей Конечное подмножество

76. Выбор дискретного множества Плохая аппроксимация ! Цель: выбрать достаточно плотное множество Очевидный выбор: воксельный подход. Увеличение Ближайшая поверхность Истинный глобальный минимум Вывод: недостаточно плотный набор ориентаций

78. Дискретное множество = поверхности из тетраэдров

80. Сведение к разрезу на графе T “Внутри” “Снаружи” S Вес клетки Вес клетки Вес грани Вес грани 0 0 Вес разреза = значение энергии Минимальный разрез Глобальный минимум энергии

81. Реконструкция: пример[Lempitsky,Boykov,Ivanov 2006] 3 из16 изображений Результат реконструкции (U(x)использует жесткие условия):

82. Улучшенный U(x)[Boykov,Lempitsky 2006]

83. Множество прямых, пересекающихC Пространство прямых Евклидова длина C : количество пересечений Формула Коши-Крофтона(slide from Yuri Boykov) C

84. C Евклидова длина Вес ребра в графе: Количество пересеченных граней C Стоимость разреза аппроксимирует длину (slide from Yuri Boykov)

85. «Гео-разрез»[Boykov&Kolmogorov 2003] S Можно заменить на риманову метрику B T

86. Реконструкция по 3Д сканам Скан1 Скан2 На входе: точки поверхности с грубыми оценками нормалей На выходе:поверхность (треугольная сетка) Сложности: шумы, выбросы, пропуски, ошибки регистрации

89. Энергия (пример) Срез ограничивающего объема, цвет соответствует дивергенции

90. Поверхность георазреза Размер сетки: 551x544x428 [Lempitsky, Boykov 07]: Как использовать особенности графа, чтобы посчитать поток

91. Пример 2

92. Реализация энергии на графе ≥ 0 ≥ 0 ≥ 0 s (1) t (0)

93. Сегментация с помощью разреза[Boykov & Jolly ‘01]

94. «Кистевой» интерфейс[Boykov & Jolly ‘01] фон объект

96. Вероятностная модельT

97. Пример сегментации Видео из [Boykov, Kolmogorov, 2003] http://www.csd.uwo.ca/~yuri/Images/Segm/bone.avi

98. Реализация более общих энергий[Kolmogorov&Zabih 2004] ≥ 0 ≥ 0 ≥ 0 = ? xq = 1 xq = 0 xp = 0 xq xp xp = 1 Достаточное условие:

99. α-Расширение [Boykov, Veksler, Zabih, 1998](слайд Юрия Бойкова) начальное решение -расширение -расширение -расширение -расширение -расширение -расширение -расширение Каждый шаг – бинарная оптимизация

100. α-Расширение [Boykov, Veksler, Zabih, 1998]

102. Гарантии на близость к глобальному минимуму

104. Сшивка изображений[Agarwala et al. 2004]

105. Сшивка изображенийс помощью α-расширений [Agarwala et al. 2004]

106. Related work and Resources(including those used to prepare the slides) Berkeley Segmentation Dataset, http://www.eecs.berkeley.edu/Research/Projects/CS/vision/bsds/ Eric N. Mortensen, William A. Barrett: Intelligent scissors for image composition. SIGGRAPH 1995: 191-198 Eric N. Mortensen, William A. Barrett: Interactive Segmentation with Intelligent Scissors. Graphical Models and Image Processing 60(5): 349-384 (1998) ShaiAvidan, Ariel Shamir: Seam carving for content-aware image resizing. ACM Trans. Graph. 26(3): 10 (2007) Middlebury stereo page, http://vision.middlebury.edu/stereo/ Daniel Scharstein, Richard Szeliski: A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms. International Journal of Computer Vision 47(1-3): 7-42 (2002) Olga Veksler: Stereo Correspondence by Dynamic Programming on a Tree. CVPR (2) 2005: 384-390

107. Related work and Resources(including those used to prepare the slides) BioID dataset, http://www.bioid.com/support/downloads/software/bioid-face-database.html F. Felzenszwalb, Daniel P. Huttenlocher: Pictorial Structures for Object Recognition. International Journal of Computer Vision 61(1): 55-79 (2005) Pearl, J. Probabilistic Reasoning in Intelligent Systems, San Mateo: Morgan Kaufmann, 1988 Middlebury MRF page, http://vision.middlebury.edu/MRF/ Richard Szeliski, RaminZabih, Daniel Scharstein, Olga Veksler, Vladimir Kolmogorov, AseemAgarwala, Marshall F. Tappen, Carsten Rother: A Comparative Study of Energy Minimization Methods for Markov Random Fields. ECCV (2) 2006: 16-29 William T. Freeman, Egon C. Pasztor, Owen T. Carmichael: Learning Low-Level Vision. International Journal of Computer Vision 40(1): 25-47 (2000) William T. Freeman, Thouis R. Jones, and Egon C. Pasztor, Example-based super-resolution, IEEE Computer Graphics and Applications, March/April, 2002

108. Related work and Resources(including those used to prepare the slides) Ford, L. R.; Fulkerson, D. R. (1956). "Maximal flow through a network". Canadian Journal of Mathematics 8: 399–404. Yuri Boykov, Vladimir Kolmogorov: An Experimental Comparison of Min-Cut/Max-Flow Algorithms for Energy Minimization in Vision. IEEE Trans. Pattern Anal. Mach. Intell. 26(9): 1124-1137 (2004) Graph Cut code: http://www.cs.ucl.ac.uk/staff/V.Kolmogorov/software.html Sébastien Roy, Ingemar J. Cox: A Maximum-Flow Formulation of the N-Camera Stereo Correspondence Problem. ICCV 1998: 492-502 Hiroshi Ishikawa, Davi Geiger: Occlusions, Discontinuities, and Epipolar Lines in Stereo. ECCV (1) 1998: 232-248 Victor S. Lempitsky, Yuri Boykov, Denis V. Ivanov: Oriented Visibility for Multiview Reconstruction. ECCV (3) 2006: 226-238 Yuri Boykov and Victor Lempitsky: Form Photohulls to Photoflux Optimization. BMVC, Edinburgh, 2006

109. Related work and Resources(including those used to prepare the slides) Victor S. Lempitsky, Yuri Boykov: Global Optimization for Shape Fitting. CVPR 2007 The Stanford 3D scanning repository, http://graphics.stanford.edu/data/3Dscanrep/ Yuri Boykov, Marie-Pierre Jolly: Demonstration of Segmentation with Interactive Graph Cuts. ICCV 2001: 741 Vladimir Kolmogorov, RaminZabih: What Energy Functions Can Be Minimized via Graph Cuts? IEEE Trans. Pattern Anal. Mach. Intell. 26(2): 147-159 (2004) Yuri Boykov, Olga Veksler, RaminZabih: Fast Approximate Energy Minimization via Graph Cuts. IEEE Trans. Pattern Anal. Mach. Intell. 23(11): 1222-1239 (2001) ECCV 2006 Tutorial on Graph Cuts versus Level Sets: http://www.csd.uwo.ca/~yuri/Abstracts/eccv06-tutorial.html AseemAgarwala, Mira Dontcheva, ManeeshAgrawala, Steven M. Drucker, Alex Colburn, Brian Curless, David Salesin, Michael F. Cohen: Interactive digital photomontage. ACM Trans. Graph. 23(3): 294-302 (2004)