Presentation from Yaroslavl seminar, September 2010

1. АЛГОРИТМ АВТОМАТИЧЕСКОГО ВЫБОРА ФОТОГРАФИЙ ДЛЯ МУЛЬТИМЕДИА-ПРИЛОЖЕНИЙ ПОТАПОВА Е.В., ЕГОРОВА М.А., САФОНОВ И.В. Национальный исследовательский ядерный университет «МИФИ»

4. 3 Применение: фотоальбомы, фотокниги

5. 4 Применение: слайд-шоу

6. 5 Схема алгоритма

7. 5 Схема алгоритма Определение некачественных фотографий

8. Определение некачественных фотографий Адаптивное квантование 5 Схема алгоритма

9. Выбор значимых изображений Определение некачественных фотографий Адаптивное квантование 5 Схема алгоритма

10. Определение некачественных фотографий 6 Дефекты экспозиции Отсутствие резкости, размытие Артефакты сжатия

11. 7 Наличие сильных артефактов сжатия (Пороговое отсечение по K ) Некачественное изображение Таблица квантования A.Foi et al.,2007 Дерево решений для оценки качества

12. 7 Наличие сильных артефактов сжатия (Пороговое отсечение по K ) Определение дефектов экспозиции ( AdaBoost , FH1-FH5 ) Некачественное изображение Дерево решений для оценки качества

13. 8 AdaBoost комитет классификаторов + Хорошая фотография Плохая фотография True False … …

14. 9 Оценка артефактов сжатия (Пороговое отсечение по K ) Определение дефектов экспозиции ( AdaBoost , FH1-FH5 ) Некачественное изображение Обучающий набор : 480 фотографий Ошибка при перекрестной проверке : ~0.055 Тестовый набор : 1830 с 2% фотографий с дефектами экспозиции Количество ложных срабатываний (FP) : 10 Количество ложных пропусков (FN) : 3 Дерево решений для оценки качества

15. 10 Оценка артефактов сжатия (Пороговое отсечение по K ) Определение дефектов экспозиции ( AdaBoost , FH1-FH5 ) Оценка резкости изображения ( AdaBoost , FB1-FB4 ) Некачественное изображение An An I.Safonov et al.,2008 FB4 – безреференсная метрика, предложенная F.Crete et al.,2007 Дерево решений для оценки качества

16. 10 Оценка артефактов сжатия (Пороговое отсечение по K ) Определение дефектов экспозиции ( AdaBoost , FH1-FH5 ) Оценка резкости изображения ( AdaBoost , FB1-FB4 ) Некачественное изображение Качественное изображение Обучающий набор : 416 фотографий Ошибка при перекрестной проверке : ~0.07 Тестовый набор : 1830 со 171 размытой фотографией Количество ложных срабатываний (FP) : 34 Количество ложных пропусков (FN ): 10 Дерево решений для оценки качества

17. 11 H = L/M N region < M Вычисление габаритов Разделение на две равные части Поиск наибольшей области i – номер источника L – время между первым и последним событием для самого большого источника Nps – количество источников M – желаемое количество изображений да N region = M да Квантование на плоскости время-камера 1200 3600 2400 7200 0 36000 T, s 21600

18. Наиболее привлекательное изображение – наиболее «выпуклое» L.Itti, C.Koch et al. Изображения взяты из интернета Карта важности 12

19. Карты видимости Пирамиды Гаусса Изображение Интенсивность r- канал g- канал b- канал R- канал G- канал B- канал Y- канал Карта ориентации Карта интенсивности Карта цвета Карта важности Характеристические карты Пирамиды Габора Построение карты важности 13 O( σ ,0°) O( σ ,45°) O( σ ,90°) O( σ ,135°) I( σ ) R( σ ) G( σ ) B( σ ) Y( σ ) O(c,s, 0°) O(c,s, 45°) O(c,s,90 °) O(c,s, 135°) I(c,s ) RG(c,s ) BY(c,s )

20. Исходное изображение Карта важности Карта интенсивности Карта цвета Карта ориентации Область интереса Изображения взяты из интернета Нахождение весов 14

21. Отбор изображений с использованием карты важности 124 88 11 100 81 92 62 83 105 70 15 Индекс важности

22. Отбор изображений с использование карты важности 15 83 11 124 Индекс важности 81 88 62 92 105 70 100

24. Эвристическая формула , эксперименты показали, что w=25 дает наилучший результат 124 88 11 116 92 118 148 95 62 100 Ранжирование изображений 17 NF – количество определенных лиц

25. Эвристическая формула , эксперименты показали, что w=25 дает наилучший результат Ранжирование изображений 17 118 62 124 88 11 100 116 92 148 95 NF – количество определенных лиц

26. Обсуждение результатов 18

27. Выбор Autocollage Наш выбор Обсуждение результатов 18

28. Обсуждение результатов 18

29. Выбор Autocollage Наш выбор Обсуждение результатов 18

30. Обсуждение результатов 18

31. Выбор Autocollage Наш выбор Обсуждение результатов 18

32. Предложенный алгоритм AutoCollage Случайная выборка Обсуждение результатов 18 Набор 1 Набор 2 Набор 3 Набор 4 Набор 5 Сумма «Лучшие» 6 5 6 5 7 29 «Хорошие» 3 4 4 4 2 17 «Плохие» 1 1 0 1 1 4 «Лучшие» 2 2 2 6 5 17 «Хорошие» 6 7 7 0 4 24 «Плохие» 2 1 1 4 1 9 «Лучшие» 2 2 3 4 4 15 «Хорошие» 5 5 4 2 5 21 «Плохие» 3 3 3 4 1 14

34. Вопросы?

35. Спасибо за внимание!

37. FH1=S1/S2 – отношение тона в тени и центре Гистограммные признаки

38. FH2=S11/S12 – отношение тона в 1-ой и 2-ой части тени Гистограммные признаки

39. FH3=M1/M2 - отношение max в тени к max в центре Гистограммные признаки

40. FH4 – положение максимума в тени P1 Гистограммные признаки

41. FH5 – глобальный контраст H 0 C 0 C 1 H 1 Гистограммные признаки

42. Изображение Интенсивность Z 1 =[-1 1] Z 2 =[-1 0 1] Z 3 =[-1 0 0 1] Z 10 =[-1 0 0 0 0 0 0 0 0 0 1] I.Safonov et al.,2008 … Границы Гистограмма Нормализованная энтропия Энтропия в [0, 1] ? ? ? ? An An Признаки определения резкости - 1

43. F.Crete et al.,2007 ? Изображение Размытое изображение Границы Границы Сравнение изображений HPF=[1 -1] LPF=[1 1 1 1 1 1 1 1 1]/9 Признаки определения резкости - 2