Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Лекция 8

Спецкурс Нейросети и их практическое применение. (Буряк Д.)

Related Books

Free with a 30 day trial from Scribd

See all
  • Be the first to comment

Лекция 8

  1. 1. Лекция 8 . НС для решения задач классификации образов
  2. 2. Задача классификации образов Отнесение образа к одному из заданных классов. Примеры задач: - обработка медицинских изображений, - анализ аэрокосмических снимков, - системы идентификации личности, - распознавание голоса, - распознавание лиц, - распознавание автомобильных номеров, - мониторинг информационных потоков. Кластеризация: Разбиение объектов на классы, которые заранее не известны.
  3. 3. Преимущества НС для задач классификации <ul><li>Адаптивность </li></ul><ul><li>Аппроксимация функции с произвольной точностью </li></ul><ul><li>Нелинейность </li></ul><ul><li>Возможность оценивать апостериорную вероятность </li></ul>
  4. 4. Сравнительный анализ классификаторов <ul><li>Нейронные сети и LDA: теоретическое исследование ( Gallinari ,… ) - Линейная однослойная сеть эквивалентна LDA - Нелинейная сеть выполняет нелинейное проектирование и более эффективна </li></ul><ul><li>Однослойный персептрон по свойствам эквивалентен или близок 7 статистическим классификаторам : минимум расстояния, LDA Фишера,… (Raudys) </li></ul><ul><li>Экспериментальное исследование ( Michie ,… ) . 23 классификатора (НС, статистические классификаторы, обучаемые классификаторы), 20 тестовых выборок. НС эффективны для многих задач. </li></ul>
  5. 5. Пример: детектирование лица на изображении <ul><li>Для данного изображения определить, представлены ли на нем лица. </li></ul><ul><li>Для изображенных лиц определить их координаты и размеры. </li></ul>
  6. 6. Что является лицом? <ul><li>Способы оценки качества детектирования: </li></ul><ul><li>Detection rate – процент детектированных лиц. </li></ul><ul><li>False detections – количество детектированных объектов, не являющихся лицами. </li></ul><ul><li>Площадь перекрытия детектированного объекта и лица. </li></ul><ul><li>Ошибка в определении центра лица. </li></ul>
  7. 7. Трудности детектирования лица <ul><li>Расположение лица относительно камеры. </li></ul><ul><li>Наличие и отсутствие структурных компонентов (борода, очки и т.п.). </li></ul><ul><li>Выражение лица. </li></ul><ul><li>Перекрытие лица другими объектами. </li></ul><ul><li>Условия съемки. </li></ul>
  8. 8. Схема применения НС <ul><li>Этапы построения НС: </li></ul><ul><li>Выбор архитектуры. </li></ul><ul><li>Построение обучающей выборки. </li></ul><ul><li>Обучение. </li></ul>
  9. 9. Проблема построения обучающей выборки <ul><li>Построение положительных примеров – объекты класса «лицо» </li></ul><ul><li>Построение отрицательных примеров – объекты класса «нелицо» - многообразие объектов класса «нелицо»; - сложность создания репрезентативной выборки; - процедура Bootstrap. </li></ul>
  10. 10. «Структурная» нейронная сеть <ul><li>Обучающая выборка: 1050 объектов «лицо». </li></ul><ul><li>Сеть инвариантна: </li></ul><ul><li>к изменению масштаба (до 10%); </li></ul><ul><li>к вращению (до 10 градусов) </li></ul>Авторы: H. Rowley, S. Baluja, T. Kanade
  11. 11. «Структурная» нейронная сеть: результаты <ul><li>Достоинства: </li></ul><ul><li>- явно учитывает структуру лица. </li></ul><ul><li>Недостатки: </li></ul><ul><li>детектирования лица во фронтальном ракурсе; </li></ul><ul><li>низкая инвариантность к вращению; </li></ul><ul><li>низкая скорость работы. </li></ul>
  12. 12. «Структурная» нейронная сеть инвариантная к вращению Вращатель: Вход: 20*20; Скрытый слой: 15 нейронов Выход: 36 нейронов (выходное значение cos( θ -i*10) ) Угол поворота определяется вектором: Авторы: H. Rowley, S. Baluja, T. Kanade
  13. 13. «Структурная» нейронная сеть инвариантная к вращению: результаты С предварительным поворотом изображения Только детектор
  14. 14. «Структурная» нейронная сеть инвариантная к вращению: результаты (2) <ul><li>Достоинства: </li></ul><ul><li>явно учитывает структуру лица. </li></ul><ul><li>инвариантность к вращению в плоскости изображения </li></ul><ul><li>Недостатки: </li></ul><ul><li>детектирования лица во фронтальном ракурсе; </li></ul><ul><li>низкая скорость работы. </li></ul>
  15. 15. Архитектура SNoW <ul><li>Однослойный персептрон. </li></ul><ul><li>Функция активации: сигмоида. </li></ul><ul><li>Обучение: online </li></ul><ul><li>Алгоритмы обучения </li></ul><ul><li>Алгоритм персептрона; </li></ul><ul><li>Алгоритм Winnow: - правильная классификация: α >1 </li></ul><ul><li>- ошибка в классификации: 0< β <1 </li></ul>Авторы: M-H. Yang, D. Roth
  16. 16. Применение SNoW : обнаружение лиц Кол-во слоев: 1 ; Входной слой: 256*W*H Выходной слой: 2 Тип входов: бинарные Тип выходов: вещественные Функция активации: сигмоида Преобразование входного изображения: Im(x,y) -> v(z)=1 z=256*(y*W+x)+Im(x,y)
  17. 17. SNoW : интерпретация весов
  18. 18. Обнаружения лиц: результаты
  19. 19. Свертка Х -> Х = Х =
  20. 20. Сверточные сети <ul><li>Многослойный переспетрон для распознавания 2 D форм </li></ul><ul><li>Устойчивость к сдвигу, повороту, изменению размера и другим искажениям </li></ul><ul><li>Алгоритм обучения: обратное распространение ошибки </li></ul><ul><li>Автоматическое выделение особенностей изображения </li></ul>
  21. 21. Сверточные сети: архитектура <ul><li>Свертка </li></ul><ul><li>Усреднение </li></ul><ul><li>Общие веса </li></ul>
  22. 22. Сверточные сети: распознавание символов <ul><li>Распознавание символов </li></ul><ul><li>100000 связей , 2800 настраиваемых весов </li></ul><ul><li>Высокая обобщающая способность </li></ul><ul><li>Возможность распараллеливания </li></ul>
  23. 23. Сверточные сети: результаты 0.39 Большая сверточная сеть 2.95 3- слойная НС, 500+150 скрытых элементов 3.05 3- слойная НС, 300+100 скрытых элементов 4.5 2- слойная НС, 1000 скрытых элементов 4.7 2- слойная НС , 300 скрытых 12.0 Линейный классификатор (1-слойная НС) Процент ошибок на тестовой выборке (%) Сеть

×