Best papers on ECCV2012

2,045 views

Published on

Published in: Education
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
2,045
On SlideShare
0
From Embeds
0
Number of Embeds
1,398
Actions
Shares
0
Downloads
5
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Best papers on ECCV2012

  1. 1. Семинар "Компьютерное зрение"Лаборатория Компьютерной Графики и МультимедиаФакультет ВМК МГУ имени М.В. Ломоносова ECCV 2012 Новикова Татьяна 521 группа 29 октября 2012
  2. 2. Общая информация• Флоренция, Италия• 7 дней ( 7 октября – 13 октября)• Основная конференция – 4 дня • Устные доклады • Постеры • Демо презентации• Тематические секции (workshop) – 3 дня• Мастер-классы (tutorial) – 1 день
  3. 3. Основные направления работ• Семантическая сегментация изображений• Анализ выражения лица• Отслеживание людей на видео• Анализ поведения людей и групп людей на видео• Бинарное кодирование
  4. 4. Призовые работы• Best student paper award • Reconstructing the World’s Museums Jianxiong Xiao and Yasutaka Furukawa• Demo paper award • Emotion Mirror: A novel intervention for autism using real-time expression recognition. David Derisory, Josh Susskind, Lauren Kreiger and Marian Bartlett• Best Paper Award – Honorable Mention • Activity Forecasting Kris Kitani, Brian D. Ziebart, James Bagnell and Martial Hebert• Best paper award • Segmentation Propagation in ImageNet Daniel Kuettel, Matthieu Guillaumin and Vittorio Ferrari
  5. 5. Призовые работы• Best student paper award • Reconstructing the World’s Museums Jianxiong Xiao and Yasutaka Furukawa• Demo paper award • Emotion Mirror: A novel intervention for autism using real-time expression recognition. David Derisory, Josh Susskind, Lauren Kreiger and Marian Bartlett• Best Paper Award – Honorable Mention • Activity Forecasting Kris Kitani, Brian D. Ziebart, James Bagnell and Martial Hebert• Best paper award • Segmentation Propagation in ImageNet Daniel Kuettel, Matthieu Guillaumin and Vittorio Ferrari
  6. 6. Reconstructing the World’s MuseumsПолучение фотореалистичной карты музеев Невозвожно получить фотографии всех ракурсов интерьера с воздуха!
  7. 7. Reconstructing the World’s MuseumsСбор информации: автобус с 2 вертикальными линейнымисканерами и 1 горизонтальным + множество камер Фотографии из музея + 3D точки с лазерного сканераЧистая, хорошо регуляризованная, текстурированная 3D модель интерьера
  8. 8. Reconstructing the World’s MuseumsСбор информации: автобус с 2 вертикальными линейнымисканерами и 1 горизонтальным + множество камер Фотографии из музея + 3D точки с лазерного сканераЧистая, хорошо регуляризованная, текстурированная 3D модель интерьера
  9. 9. Reconstructing the World’s Museums Hough-transform для выделения гипотез линий Из линий получают гипотезы геометрических примитивов
  10. 10. Reconstructing the World’s Museums Генерируется Constructing Solid Geometry модель жадным алгоритмом, добавляющим и вычитающим примитивы Тем самым каждый раз улучшаем соответствие модели лазерным данным
  11. 11. Reconstructing the World’s MuseumsАналогичным образом получаем измножества 2D кусков целую 3D модель
  12. 12. Reconstructing the World’s Museums
  13. 13. Призовые работы• Best student paper award • Reconstructing the World’s Museums Jianxiong Xiao and Yasutaka Furukawa• Demo paper award • Emotion Mirror: A novel intervention for autism using real-time expression recognition. David Derisory, Josh Susskind, Lauren Kreiger and Marian Bartlett• Best Paper Award – Honorable Mention • Activity Forecasting Kris Kitani, Brian D. Ziebart, James Bagnell and Martial Hebert• Best paper award • Segmentation Propagation in ImageNet Daniel Kuettel, Matthieu Guillaumin and Vittorio Ferrari
  14. 14. Emotion Mirror:A novel intervention for autism usingreal-time expression recognition.• Компьютерное зрение + медицина• Игры для улучшения восприятия и воспроизведения эмоций у детей, больных аутизмом
  15. 15. Emotion Mirror:A novel intervention for autism usingreal-time expression recognition.• Использует разработки по извлечению эмоций из изображений лица• Computer Expression Recognition Toolbox (CERT), кодирует: • Меру 6 эмоций (злость, отвращение, страх, радость, грусть и удивение) • 3 измерения положение головы • 20 мимических движений из Facial Action Coding System • 12-15 кадров в секунду• Два варианта • Участник показывает одну из 6 эмоций – персонаж повторяет • Участник должен повторить эмоцию за персонажем
  16. 16. Призовые работы• Best student paper award • Reconstructing the World’s Museums Jianxiong Xiao and Yasutaka Furukawa• Demo paper award • Emotion Mirror: A novel intervention for autism using real-time expression recognition. David Derisory, Josh Susskind, Lauren Kreiger and Marian Bartlett• Best Paper Award – Honorable Mention • Activity Forecasting Kris Kitani, Brian D. Ziebart, James Bagnell and Martial Hebert• Best paper award • Segmentation Propagation in ImageNet Daniel Kuettel, Matthieu Guillaumin and Vittorio Ferrari
  17. 17. Activity Forecasting• Для одного пешехода нужно оценить путь, по которому будет двигаться пешеход в будущем• Используется: • Семантическое понимания сцены (физическое понимание сцены) • Теория оптимального управления (априорные знания цели)
  18. 18. Activity Forecasting• Метод инвертированного принятия решения • Мгновенное поощрение • Ожидаемое поощрение в будущем • Цель• Марковский процесс принятия решения• S – текущее состояние, a – действие, r – стоимость, u – зашумленные данные
  19. 19. Activity Forecasting• Для оценки стоимости извлекались карты вероятностей для 9 семантических меток: • Здания, машины, бордюр, трава, проезжая часть, люди, тротуары, забор, гравий.
  20. 20. Activity Forecasting
  21. 21. Призовые работы• Best student paper award • Reconstructing the World’s Museums Jianxiong Xiao and Yasutaka Furukawa• Demo paper award • Emotion Mirror: A novel intervention for autism using real-time expression recognition. David Derisory, Josh Susskind, Lauren Kreiger and Marian Bartlett• Best Paper Award – Honorable Mention • Activity Forecasting Kris Kitani, Brian D. Ziebart, James Bagnell and Martial Hebert• Best paper award • Segmentation Propagation in ImageNet Daniel Kuettel, Matthieu Guillaumin and Vittorio Ferrari
  22. 22. Segmentation Propagation in ImageNet• ImageNet – милионная база изображений • Иерархические метки основного изображенного класса • Некоторые катринки имеют bounding box главного объекта • Никто не имеет сегментации объект-фон
  23. 23. Segmentation Propagation in ImageNet• Предлагается алгоритм автоматической сегментации ImageNet
  24. 24. Segmentation Propagation in ImageNet• Рекурсивно расширяем множество сегментированных изображений• Используем набор уже сегментированных изображений для сегментации набора новых изображений• Переносим сегментацию с маски окна из на визуально схожее окно изображения из• Уточнаяем сегментацию с помощью GrabCut• Совместная сегментация изображений одного класса с разделяемой моделье внешнего вида
  25. 25. Segmentation Propagation in ImageNet• - размеченные изображения с PASCAL VOC 2010• - расширена с помощь изображений с ImageNet, у которых есть bounding box• - расширяется с помощью изображений классов, у которх есть размеченные примерны• - расширяется с помощью смежных классов• Множество сегментированных изображений расширяется с помощью наиболее схожих изображений• Ошибка сегментации накапливается
  26. 26. Segmentation Propagation in ImageNet• Перенос сегментации • Извлекаем 100 кандидатов окна через objectness sampling • Переносим маску на визуально похожие окна из сегментированных изображений (взвешенное среднее) • Соединяем окна в единую маску• Описание окна – HOG + бинарное кодирование
  27. 27. Segmentation Propagation in ImageNet• Унарный потенциал • Для конкретного изображения • Внешний вид класса • При новом классе (нет сегментированных примеров, последние этапы) – унарные потенциалы для всех связанных классов
  28. 28. Segmentation Propagation in ImageNet• Результаты iCoseg:• ImageNet (10 изображений 446 классов) – 77.1%• Сравнение полная модель vs перенос сегментации только с начальной сегментации: • Шаг 2 + 3.6 %, шаг 3 + 0.7%, шаг 4 - 0%, шаг 5 - 5.9% • Итоговое улучшение - + 1.2%

×