Optical Flow на GPU

1,922 views

Published on

Review of latest optical flow algorithms

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,922
On SlideShare
0
From Embeds
0
Number of Embeds
6
Actions
Shares
0
Downloads
29
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Optical Flow на GPU

  1. 1. Optical Flow на GPU Илья Цветков Video Group CS MSU Graphics & Media Lab
  2. 2. Only for Maxus  Содержание  Введение  Gradient-based методы  Глобальная модель Horn & Schunck  Локальная модель Lucas & Kanade  Energy-based метод  Phase-based метод CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 2
  3. 3. Only for Maxus  Optical flow Optical flow — векторное поле, определяющее скорость движения каждой точки изображения  Задача компьютерного зрения  Первые публикации — 1980 г.  Возможные применения:  Сегментация  Изменение частоты кадров видео  Точная компенсация движения CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 3
  4. 4. Only for Maxus  Содержание  Введение  Gradient-based методы  Глобальная модель Horn & Schunck  Локальная модель Lucas & Kanade  Energy-based метод  Phase-based метод CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 4
  5. 5. Only for Maxus  Градиентные методы f1 ( x), f 2 ( x) — одномерные сигналы в различные моменты времени f 2 ( x)  f1 ( x  d ) f1 ( x) f 2 ( x) f1 ( x  d )  f1 ( x)  df1( x)  O(d 2 ) d f1 ( x)  f 2 ( x)  d f1( x)  O(d 2 )  f ( x)  f 2 ( x) d 1 f1( x) x Optical flow estimation. D. J. Fleet, Y. Weiss. The Handbook in Mathematical models for Computer Vision. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ O. Faugeras, Springer, 2005 5 N. Paragios, Y. Chen, and
  6. 6. Only for Maxus  Градиентные методы I (x, t ) — яркость изображения в точке x  ( x, y) в момент времени t I (x, t )  I (x   x, t   t )  x  ( x,  y) I (x, t )  I (x, t )  I   x  I t t  O  x 2   y 2   t 2  I  ( I x , I y ) x I  v  It  0 v  (u, v) t Условие optical flow (optical flow constraint, gradient constraint equation): I (x, t )  v(x, t )  It (x, t )  0 v(x, t )  (u(x, t ), v(x, t )) Optical flow estimation. D. J. Fleet, Y. Weiss. The Handbook in Mathematical models for Computer Vision. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ O. Faugeras, Springer, 2005 6 N. Paragios, Y. Chen, and
  7. 7. Only for Maxus  Альтернативная постановка x(t ) — траектория движения точек изображения I (x(t ), t )  const d dt I (x(t ), t )  0 d I dx I dy I 0 I (x(t ), t )     I  v  It dt x dt y dt t В итоге получаем условие optical flow: I (x, t )  v(x, t )  It (x, t )  0 Optical flow estimation. D. J. Fleet, Y. Weiss. The Handbook in Mathematical models for Computer Vision. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ O. Faugeras, Springer, 2005 7 N. Paragios, Y. Chen, and
  8. 8. Only for Maxus  Aperture problem I (x, t )  v(x, t )  It (x, t )  0 v(x, t )  (u(x, t ), v(x, t )) Условие optical flow не является корректно поставленной задачей. v — проекция v на вектор I v  I t I Условие optical flow v  I I v u The Computation of Optical Flow. S. S. Beauchemin and CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 8 J. L. Barron. ACM Computing Surveys, 1995
  9. 9. Only for Maxus  Ограничения модели Модель: I (x, t )  I (x   x, t   t ) Сложности:  Наложения  Прозрачность, тени  Отражения, блики The Computation of Optical Flow. S. S. Beauchemin and CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 9 J. L. Barron. ACM Computing Surveys, 1995
  10. 10. Only for Maxus  Сравнение optical flow  v  (u, v)  v  1 (u, v,1) u v 1 2 2   Угловая ошибка (angular error) между векторами vc и ve :    E  arccos( vc  ve ) Средняя угловая ошибка (average angular error, AAE): AAE  1   E  Performance of optical flow techniques. J. L. Barron, D. J. Fleet, and S. S. Beauchemin. International Journal of Computer Vision, CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 10 1994
  11. 11. Only for Maxus  Ground truth и визуализация Последовательность Yosemite Ground truth CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 11
  12. 12. Only for Maxus  Содержание  Введение  Gradient-based методы  Глобальная модель Horn & Schunck  Локальная модель Lucas & Kanade  Energy-based метод  Phase-based метод CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 12
  13. 13. Only for Maxus  Horn & Schunck Цель — минимизация ошибки: v(x)  (u(x), v(x))   2 2  E ( v)    I  v  It    2 u 2  v 2 2   dx    u u   u   ,  Условие optical flow Условие гладкости  x y   v v  v   ,   — параметр модели  x y  Сводим к системе дифференциальных уравнений:  2u  2u I x u  I x I yv 2    u  I x It 2 2  u 2  2 2 x y  2v  2v I y v  I x I yu   22v  I y It 2  v 2  2 2 x y Performance of Optical Flow Techniques on Graphics Hardware. M. Durkovic, M. Zwick, F. Obermeier, K. Diepold. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 13 IEEE International Conference on Multimedia and Expo, 2006
  14. 14. Only for Maxus  Horn & Schunck 2a  a  a, где a — результат свѐртки с ядром 1 1 1 12 6 12 1 1 0 6 6 1 1 1 12 6 12 ( 2  I x )u  I x I y v  ( 2u  I x It ) 2 ( 2  I y )v  I x I y u  ( 2v  I y It ) 2 Полученная СЛАУ решается итерационным методом: un  I x   I xun  I y vn  I t  vn  I y   I xun  I y vn  I t  un 1  vn 1   2  I x2  I y 2  2  I x2  I y 2 Performance of Optical Flow Techniques on Graphics Hardware. M. Durkovic, M. Zwick, F. Obermeier, K. Diepold. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 14 IEEE International Conference on Multimedia and Expo, 2006
  15. 15. Only for Maxus  Реализация на GPU vn  I y   I xun  I y vn  I t  vn 1   2  I x2  I y 2 i+2 un  I x   I xun  I y vn  I t  un 1   2  I x2  I y 2 i+1 Ix    Производные вычисляются I y  I  применением фильтра: i  t 1 12  1 8 0 8 1 i−1 i−2 DT Performance of Optical Flow Techniques on Graphics Hardware. M. Durkovic, M. Zwick, F. Obermeier, K. Diepold. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 15 IEEE International Conference on Multimedia and Expo, 2006
  16. 16. Only for Maxus  Реализация на GPU un  I x   I xun  I y vn  I t  vn  I y   I xun  I y vn  I t  un 1  vn 1   2  I x2  I y 2  2  I x2  I y 2 Вычисление на GPU одной итерации: uk   Ix   Ix  v    u     k   k vk 1   I y    I y  uk 1  1  I I  v       t  t   k 1  Ix        Ix  Iy    I y       Performance of Optical Flow Techniques on Graphics Hardware. M. Durkovic, M. Zwick, F. Obermeier, K. Diepold. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 16 IEEE International Conference on Multimedia and Expo, 2006
  17. 17. Only for Maxus  Содержание  Введение  Gradient-based методы  Глобальная модель Horn & Schunck  Локальная модель Lucas & Kanade  Energy-based метод  Phase-based метод CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 17
  18. 18. Only for Maxus  Lucas & Kanade Цель — минимизация ошибки:  w(x) I (x, t )  v  It (x, t ) 2 E ( v)  x w(x)  0, x  — весовая функция Точка минимума — критическая точка: E (u, v) u x 2    w(x) u I x  v I x I y  I x It  0  E (u, v) v x 2    w(x) v I y  u I x I y  I y I t  0 Performance of Optical Flow Techniques on Graphics Hardware. M. Durkovic, M. Zwick, F. Obermeier, K. Diepold. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 18 IEEE International Conference on Multimedia and Expo, 2006
  19. 19. Only for Maxus  Lucas & Kanade E (u, v) u x 2    w(x) u I x  v I x I y  I x I t  0 E (u, v) v x 2    w(x) v I y  u I x I y  I y I t  0 В матричном виде: Mv  b  w I x 2  w IxI y    w I x It  M  b     w I y I x  wIy  2    w I y It   Для каждой точки изображения находим вектор скорости: v  M1b Performance of Optical Flow Techniques on Graphics Hardware. M. Durkovic, M. Zwick, F. Obermeier, K. Diepold. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 19 IEEE International Conference on Multimedia and Expo, 2006
  20. 20. Only for Maxus  Реализация на GPU  Формат текстур: I 2 2 x , IxI y , I y   I x It , I y It   Элементы M и b вычисляются применением фильтра с ядром w(x): 16 1, 4, 6, 4, 1 1  w I x 2  w IxI y    w I x It  M  b     w I y I x  wIy  2    w I y It    Вычисление optical flow: v  M1b Performance of Optical Flow Techniques on Graphics Hardware. M. Durkovic, M. Zwick, F. Obermeier, K. Diepold. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 20 IEEE International Conference on Multimedia and Expo, 2006
  21. 21. Only for Maxus  Результаты Athlon64 3500+, 512 kB Cache, 2 GB RAM vs. GeForce 6800 Ultra Ускорение, раз Performance of Optical Flow Techniques on Graphics Hardware. M. Durkovic, M. Zwick, F. Obermeier, K. Diepold. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 21 IEEE International Conference on Multimedia and Expo, 2006
  22. 22. Only for Maxus  Градиентные методы  Достоинства  Простота  Высокая скорость работы  Недостатки  Низкая точность CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 22
  23. 23. Only for Maxus  Уточнение метода f1 ( x) f 2 ( x) f1 ( x) f 2 ( x) d f1 ( x)  f 2 ( x) d  f ( x)  f 2 ( x) f1( x) d 1 f1( x) xd x x  xd x x   d  d f1 x)  O(d 3 ) 2 ( d 2 f1( x) f1 ( x  d ) — деформированный сигнал Optical flow estimation. D. J. Fleet, Y. Weiss. The Handbook in Mathematical models for Computer Vision. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ O. Faugeras, Springer, 2005 23 N. Paragios, Y. Chen, and
  24. 24. Only for Maxus  Уточнение метода v0 — приближение, полученное на первом шаге v  v0   v0 I 0 (x, t   t )  I (x  v0 t , t   t ) I (x, t )  I 0 (x, t )  I 0 (x   v0 , t  1)  I (x  v0   v0 , t  1)  v0  M1b0  v1  v0   v0 и т. д.  Итеративное приближение к точному решению:  v j  arg min E j ( v)    w(x) I j (x, t )   v  Itj (x, t ) 2 E j ( v)    x Optical flow estimation. D. J. Fleet, Y. Weiss. The Handbook in Mathematical models for Computer Vision. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ O. Faugeras, Springer, 2005 24 N. Paragios, Y. Chen, and
  25. 25. Only for Maxus  Coarse-To-Fine Refinement Сильное движение не может быть верно определено с использованием рассмотренных методов. I 0 (x, t )  I (x, t )   I k 1 (x)  S ( g  I k ) (x) S — оператор прореживания g — фильтр Гаусса E ( v)   w(x) I k (x, t )  v  Itk (x, t )  2 k   k  n, 0 x Optical flow estimation. D. J. Fleet, Y. Weiss. The Handbook in Mathematical models for Computer Vision. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ O. Faugeras, Springer, 2005 25 N. Paragios, Y. Chen, and
  26. 26. Only for Maxus  Robust estimator  w(x) I (x, t )  v  It (x, t ) 2 E ( v)  — least-squares (LS) estimator x e(x)  I (x, t )  v  It (x, t ) E ( v)   w(x)  (e(x),  ) x e2 Например,  (e,  )  2 e  2 Optical flow estimation. D. J. Fleet, Y. Weiss. The Handbook in Mathematical models for Computer Vision. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ O. Faugeras, Springer, 2005 26 N. Paragios, Y. Chen, and
  27. 27. Only for Maxus  Содержание  Введение  Gradient-based методы  Глобальная модель Horn & Schunck  Локальная модель Lucas & Kanade  Energy-based метод  Phase-based метод CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 27
  28. 28. Only for Maxus  Energy-based метод Цель — минимизация энергии: E (u)  ED1 (u)   ED2 (u)   ES (u) ,   0  ED1 (u)    I (x  u)  I (x) dx 2  (s2 )  s2   2 E (u)     I (x  u)  I (x)  dx 2 D2  E (u)     u  v  dx 2 2 S   — регуляризацонный параметр Towards ultimate motion estimation: combining highest accuracy with real-time performance. A. Bruhn, J. Weickert. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 28 IEEE International Conference on Computer Vision, 2005
  29. 29. Only for Maxus  Численное решение СЛАУ для ui , vi: 0   D1 i (S11 i ui  S1 2 i vi  S13 i )   D2 i (T11 i ui  T1 2 i vi  T13 i )  S i   S j u j   u j  ui   ui   2 h2 j (i ) 0   D1 i (S 21 i ui  S 2 2 i vi  S 2 3 i )   D2 i (T21 i ui  T2 2 i vi  T2 3 i )  S i   S j v j   v j  vi   vi   2 h 2 S  II T j (i ) T  I x I x  I y I y T T (i) — множество пространственных соседей точки i I x  ( I xx , I yx , I zx )T  D1  (( u,  v,1)T S( u,  v,1)) I y  ( I xy , I yy , I zy )T  D2  (( u,  v,1)T T( u,  v,1)) I   ( I x , I y , I z )T   S   (u   u )  (v   v) 2 2  I z  I (x  v)  I (x) GPU-Based Multigrid: Real-Time Performance in High Resolution Nonlinear Image Processing. H. Grossauer, P. Thoman. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Springer Berlin, 2008 29 Computer Vision Systems,
  30. 30. Only for Maxus  Итерационное решение   u n1  1   u n  2 1  ru n  n1    n   M n v  3v  3    n r       v   n n n i  n    D1 i S11 i   D2 i T11 i      n 2 T1n2 i S S j n n  n 1 i S1 2 i D n D   j (i ) 2h 2  Mn   n   S i  S j  n   n 1 i S1 2 i   n 2 T1n2 i D n D  n 1 i S n 2 i   n 2 i T2 2 i    D 2 D n   j (i ) 2h 2   n i   n j u j   u n  ui run   n 1 i S13 i   n 2 i T13 i    n n S S j D D j(i ) 2 h2 n i  n v j   v n  vi run   n 1 i S n 3 i   n 2 i T2 3 i    n S S j j D 2 D j(i ) 2 h2 GPU-Based Multigrid: Real-Time Performance in High Resolution Nonlinear Image Processing. H. Grossauer, P. Thoman. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Springer Berlin, 2008 30 Computer Vision Systems,
  31. 31. Only for Maxus  Реализация на GPU  calcIdJd — вычисление пространственных производных  calcIzIxzIyz — вычисление производных по времени  calcST — вычисление тензоров S и T: S  IIT T  I x I x  I y I y T T GPU-Based Multigrid: Real-Time Performance in High Resolution Nonlinear Image Processing. H. Grossauer, P. Thoman. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Springer Berlin, 2008 31 Computer Vision Systems,
  32. 32. Only for Maxus  Реализация на GPU vn  v   v un  u   u  calcPsi — предварительные вычисления  coupledJacobi — вычисление одной итерации GPU-Based Multigrid: Real-Time Performance in High Resolution Nonlinear Image Processing. H. Grossauer, P. Thoman. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Springer Berlin, 2008 32 Computer Vision Systems,
  33. 33. Only for Maxus  Результаты  Последовательность Yosemite  GPU и GPU-RT — предложенный метод, в GPU-RT применяется меньше итераций GPU-Based Multigrid: Real-Time Performance in High Resolution Nonlinear Image Processing. H. Grossauer, P. Thoman. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Springer Berlin, 2008 33 Computer Vision Systems,
  34. 34. Only for Maxus  Результаты  Производительность реализации GPU-RT  GeForce 8800 GTX GPU-Based Multigrid: Real-Time Performance in High Resolution Nonlinear Image Processing. H. Grossauer, P. Thoman. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Springer Berlin, 2008 34 Computer Vision Systems,
  35. 35. Only for Maxus  Содержание  Введение  Gradient-based методы  Глобальная модель Horn & Schunck  Локальная модель Lucas & Kanade  Energy-based метод  Phase-based метод CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 35
  36. 36. Only for Maxus  Phase-based метод Основная идея — применить предварительную фильтрацию изображений. ( I  F )(x, t )  ( I  F )(x  v t , t   t ) Используется фильтр Габора: x  ( x, y)T 2 x G(x, f )  e 2 eix(2 f ) f  ( f x  , f y  )T — частота фильтра Realtime phase-based optical flow on the GPU. K. Pauwels, M. M. Van Hulle. IEEE Computer Society Conference on CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 36 Computer Vision and Pattern Recognition Workshops, 2008
  37. 37. Only for Maxus  Фильтрация  Проводится в различных направлениях:  Используется приближение фильтров на основе одномерных свѐрток: 24 × Realtime phase-based optical flow on the GPU. K. Pauwels, M. M. Van Hulle. IEEE Computer Society Conference on CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 37 Computer Vision and Pattern Recognition Workshops, 2008
  38. 38. Only for Maxus  Фильтрация R(x) — отфильтрованное изображение R(x)  ( I  G)(x)   (x)ei (x)  (x)  Re( R(x))2  Im( R(x))2 — амплитуда  Im( R(x))   (x)  arctan   — фаза  Re( R(x))  Phase gradient constraint:   v   0 v  (u, v) T v — проекция v на         ,     x y  v      t Realtime phase-based optical flow on the GPU. K. Pauwels, M. M. Van Hulle. IEEE Computer Society Conference on CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 38 Computer Vision and Pattern Recognition Workshops, 2008
  39. 39. Only for Maxus  Вычисление optical flow   2 f  (x) f v ( x)  v   ( x) v   ( x)   v   ( x)  2 f f v   ( x) Цель — минимизация: 2  v ( x)  v   ( x)  E ( v(x))    v   (x)    O ( x )   v   ( x)   O(x) — множество направлений  , для которых имеется надѐжное предсказание v     a   (x)t    (x, t )  2    n 2 1 t  n 2 1 — метрика доверия для   (x) l — порог доверия n n — количество рассматриваемых кадров, использовалось n  5 Realtime phase-based optical flow on the GPU. K. Pauwels, M. M. Van Hulle. IEEE Computer Society Conference on CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 39 Computer Vision and Pattern Recognition Workshops, 2008
  40. 40. Only for Maxus  Coarse-To-Fine Refinement  Метод может верно определять только вектора, которые меньше половины длины волны фильтра  Пирамидальное вычисление:   I k 1 (x)  S ( g  I k ) (x) S — оператор прореживания Rk (x)  ( I k  G)(x) g — фильтр Гаусса  Деформация изображения перед уточнением на более высоком разрежении:  p k 1 (x, t )   k 1 x  2v k (x)(tc  t ), t  tc  (n  1) 2 Realtime phase-based optical flow on the GPU. K. Pauwels, M. M. Van Hulle. IEEE Computer Society Conference on CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 40 Computer Vision and Pattern Recognition Workshops, 2008
  41. 41. Only for Maxus  Реализация на CUDA  Преимущества GPU:  Быстрая реализация свѐртки  Высокая пропускная способность шины  Интерполяция «на лету»  Основные идеи:  Банк фильтров реализован с помощью библиотеки CUDA  Вычисление optical flow происходит за одно применение ядра к каждому пикселю изображения  Расчѐт деформированного изображения основан на интерполяции, предоставляемой GPU  Конвейерная обработка Realtime phase-based optical flow on the GPU. K. Pauwels, M. M. Van Hulle. IEEE Computer Society Conference on CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 41 Computer Vision and Pattern Recognition Workshops, 2008
  42. 42. Only for Maxus  Результаты  GeForce 8800 GTX  Core 2 Quad 2.4 GHz  Измерения включают  Использовалось только обмен данными между GPU одно ядро и CPU Realtime phase-based optical flow on the GPU. K. Pauwels, M. M. Van Hulle. IEEE Computer Society Conference on CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 42 Computer Vision and Pattern Recognition Workshops, 2008
  43. 43. Only for Maxus  Результаты Исходный кадр Ground truth Realtime phase-based optical flow on the GPU. K. Pauwels, M. M. Van Hulle. IEEE Computer Society Conference on CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 43 Computer Vision and Pattern Recognition Workshops, 2008
  44. 44. Only for Maxus  Результаты Исходный кадр  l  0.02 Realtime phase-based optical flow on the GPU. K. Pauwels, M. M. Van Hulle. IEEE Computer Society Conference on CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 44 Computer Vision and Pattern Recognition Workshops, 2008
  45. 45. Only for Maxus  Результаты Исходный кадр  l  0.05 Realtime phase-based optical flow on the GPU. K. Pauwels, M. M. Van Hulle. IEEE Computer Society Conference on CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 45 Computer Vision and Pattern Recognition Workshops, 2008
  46. 46. Only for Maxus  Результаты Исходный кадр  l  0.10 Realtime phase-based optical flow on the GPU. K. Pauwels, M. M. Van Hulle. IEEE Computer Society Conference on CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 46 Computer Vision and Pattern Recognition Workshops, 2008
  47. 47. Only for Maxus  Результаты Исходный кадр Ground truth Realtime phase-based optical flow on the GPU. K. Pauwels, M. M. Van Hulle. IEEE Computer Society Conference on CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 47 Computer Vision and Pattern Recognition Workshops, 2008
  48. 48. Only for Maxus  Результаты  Phase-based  Другие методы Realtime phase-based optical flow on the GPU. K. Pauwels, M. M. Van Hulle. IEEE Computer Society Conference on CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 48 Computer Vision and Pattern Recognition Workshops, 2008
  49. 49. Only for Maxus  Результаты Realtime phase-based optical flow on the GPU. K. Pauwels, M. M. Van Hulle. IEEE Computer Society Conference on CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 49 Computer Vision and Pattern Recognition Workshops, 2008
  50. 50. Only for Maxus  Результаты Realtime phase-based optical flow on the GPU. K. Pauwels, M. M. Van Hulle. IEEE Computer Society Conference on CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 50 Computer Vision and Pattern Recognition Workshops, 2008
  51. 51. Only for Maxus  Список литературы 1. Optical flow estimation. Fleet, D. J. and Weiss, Y. The Handbook in Mathematical models for Computer Vision. N. Paragios, Y. Chen, and O. Faugeras, Springer, 2005 2. The Computation of Optical Flow. S. S. Beauchemin and J. L. Barron. ACM Computing Surveys, 1995 3. Performance of optical flow techniques. J. L. Barron, D. J. Fleet, and S. S. Beauchemin. International Journal of Computer Vision, 1994 4. Performance of Optical Flow Techniques on Graphics Hardware. M. Durkovic, M. Zwick, F. Obermeier, K. Diepold. IEEE International Conference on Multimedia and Expo, 2006 5. Towards ultimate motion estimation: combining highest accuracy with real-time performance. A. Bruhn, J. Weickert. IEEE International Conference on Computer Vision, 2005 6. GPU-Based Multigrid: Real-Time Performance in High Resolution Nonlinear Image Processing. H. Grossauer, P. Thoman. Computer Vision Systems, Springer Berlin, 2008 7. Realtime phase-based optical flow on the GPU. K. Pauwels, M. M. Van Hulle. IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, 2008 CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 51
  52. 52. Only for Maxus  Вопросы ? CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 52
  53. 53. Only for Maxus  Лаборатория компьютерной графики и мультимедиа Видеогруппа это:  Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)  Выпускниками защищено 5 диссертаций  Наиболее популярные в мире сравнения видеокодеков  Более 3 миллионов скачанных фильтров обработки видео CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 53

×