Документ описывает алгоритм автоматического выбора фотографий для мультимедиа-приложений, нацеленный на улучшение качества изображений в фотоальбомах и слайд-шоу. Основные аспекты включают определение некачественных фотографий, применение адаптивного квантования и использование деревьев решений на базе метода AdaBoost для оценки качества изображений. Кроме того, документ представляет количественные критерии оценки важности изображений и обсуждает результаты тестирования алгоритма на различных наборах данных.

1. АЛГОРИТМ АВТОМАТИЧЕСКОГО ВЫБОРА ФОТОГРАФИЙ ДЛЯ МУЛЬТИМЕДИА-ПРИЛОЖЕНИЙ ПОТАПОВА Е.В., ЕГОРОВА М.А., САФОНОВ И.В. Национальный исследовательский ядерный университет «МИФИ»

4. 3 Применение: фотоальбомы, фотокниги

5. 4 Применение: слайд-шоу

6. 5 Схема алгоритма

7. 5 Схема алгоритма Определение некачественных фотографий

8. Определение некачественных фотографий Адаптивное квантование 5 Схема алгоритма

9. Выбор значимых изображений Определение некачественных фотографий Адаптивное квантование 5 Схема алгоритма

10. Определение некачественных фотографий 6 Дефекты экспозиции Отсутствие резкости, размытие Артефакты сжатия

11. 7 Наличие сильных артефактов сжатия (Пороговое отсечение по K ) Некачественное изображение Таблица квантования A.Foi et al.,2007 Дерево решений для оценки качества

12. 7 Наличие сильных артефактов сжатия (Пороговое отсечение по K ) Определение дефектов экспозиции ( AdaBoost , FH1-FH5 ) Некачественное изображение Дерево решений для оценки качества

13. 8 AdaBoost комитет классификаторов + Хорошая фотография Плохая фотография True False … …

14. 9 Оценка артефактов сжатия (Пороговое отсечение по K ) Определение дефектов экспозиции ( AdaBoost , FH1-FH5 ) Некачественное изображение Обучающий набор : 480 фотографий Ошибка при перекрестной проверке : ~0.055 Тестовый набор : 1830 с 2% фотографий с дефектами экспозиции Количество ложных срабатываний (FP) : 10 Количество ложных пропусков (FN) : 3 Дерево решений для оценки качества

15. 10 Оценка артефактов сжатия (Пороговое отсечение по K ) Определение дефектов экспозиции ( AdaBoost , FH1-FH5 ) Оценка резкости изображения ( AdaBoost , FB1-FB4 ) Некачественное изображение An An I.Safonov et al.,2008 FB4 – безреференсная метрика, предложенная F.Crete et al.,2007 Дерево решений для оценки качества

16. 10 Оценка артефактов сжатия (Пороговое отсечение по K ) Определение дефектов экспозиции ( AdaBoost , FH1-FH5 ) Оценка резкости изображения ( AdaBoost , FB1-FB4 ) Некачественное изображение Качественное изображение Обучающий набор : 416 фотографий Ошибка при перекрестной проверке : ~0.07 Тестовый набор : 1830 со 171 размытой фотографией Количество ложных срабатываний (FP) : 34 Количество ложных пропусков (FN ): 10 Дерево решений для оценки качества

17. 11 H = L/M N region < M Вычисление габаритов Разделение на две равные части Поиск наибольшей области i – номер источника L – время между первым и последним событием для самого большого источника Nps – количество источников M – желаемое количество изображений да N region = M да Квантование на плоскости время-камера 1200 3600 2400 7200 0 36000 T, s 21600

18. Наиболее привлекательное изображение – наиболее «выпуклое» L.Itti, C.Koch et al. Изображения взяты из интернета Карта важности 12

19. Карты видимости Пирамиды Гаусса Изображение Интенсивность r- канал g- канал b- канал R- канал G- канал B- канал Y- канал Карта ориентации Карта интенсивности Карта цвета Карта важности Характеристические карты Пирамиды Габора Построение карты важности 13 O( σ ,0°) O( σ ,45°) O( σ ,90°) O( σ ,135°) I( σ ) R( σ ) G( σ ) B( σ ) Y( σ ) O(c,s, 0°) O(c,s, 45°) O(c,s,90 °) O(c,s, 135°) I(c,s ) RG(c,s ) BY(c,s )

20. Исходное изображение Карта важности Карта интенсивности Карта цвета Карта ориентации Область интереса Изображения взяты из интернета Нахождение весов 14

21. Отбор изображений с использованием карты важности 124 88 11 100 81 92 62 83 105 70 15 Индекс важности

22. Отбор изображений с использование карты важности 15 83 11 124 Индекс важности 81 88 62 92 105 70 100

23. Главные недостатки : среднее число FP растет с размером изображения Фотографии с людьми привлекают больше внимания время обработки увеличивается с размером изображения Шесть лиц были определены ложно Модификации : уменьшение размера изображения до начала обработки использование информации о тоне кожи P.Viola, M.Jones, 2001 Viola-Jones, Intel OpenCV До модификации После модификации Определение лиц 16

24. Эвристическая формула , эксперименты показали, что w=25 дает наилучший результат 124 88 11 116 92 118 148 95 62 100 Ранжирование изображений 17 NF – количество определенных лиц

25. Эвристическая формула , эксперименты показали, что w=25 дает наилучший результат Ранжирование изображений 17 118 62 124 88 11 100 116 92 148 95 NF – количество определенных лиц

26. Обсуждение результатов 18

27. Выбор Autocollage Наш выбор Обсуждение результатов 18

28. Обсуждение результатов 18

29. Выбор Autocollage Наш выбор Обсуждение результатов 18

30. Обсуждение результатов 18

31. Выбор Autocollage Наш выбор Обсуждение результатов 18

32. Предложенный алгоритм AutoCollage Случайная выборка Обсуждение результатов 18 Набор 1 Набор 2 Набор 3 Набор 4 Набор 5 Сумма «Лучшие» 6 5 6 5 7 29 «Хорошие» 3 4 4 4 2 17 «Плохие» 1 1 0 1 1 4 «Лучшие» 2 2 2 6 5 17 «Хорошие» 6 7 7 0 4 24 «Плохие» 2 1 1 4 1 9 «Лучшие» 2 2 3 4 4 15 «Хорошие» 5 5 4 2 5 21 «Плохие» 3 3 3 4 1 14

33. предложен алгоритм автоматического выбора заданного количества изображений предложено использовать дерево решений, построенное на AdaBoost комитетах классификаторов, для оценки качества изображения сформулирован количественный критерий оценки важности изображения проведено сравнение нескольких способов выбора изображений Заключение

34. Вопросы?

35. Спасибо за внимание!

37. FH1=S1/S2 – отношение тона в тени и центре Гистограммные признаки

38. FH2=S11/S12 – отношение тона в 1-ой и 2-ой части тени Гистограммные признаки

39. FH3=M1/M2 - отношение max в тени к max в центре Гистограммные признаки

40. FH4 – положение максимума в тени P1 Гистограммные признаки

41. FH5 – глобальный контраст H 0 C 0 C 1 H 1 Гистограммные признаки

42. Изображение Интенсивность Z 1 =[-1 1] Z 2 =[-1 0 1] Z 3 =[-1 0 0 1] Z 10 =[-1 0 0 0 0 0 0 0 0 0 1] I.Safonov et al.,2008 … Границы Гистограмма Нормализованная энтропия Энтропия в [0, 1] ? ? ? ? An An Признаки определения резкости - 1

43. F.Crete et al.,2007 ? Изображение Размытое изображение Границы Границы Сравнение изображений HPF=[1 -1] LPF=[1 1 1 1 1 1 1 1 1]/9 Признаки определения резкости - 2