Recommended
Recommended
More Related Content
Viewers also liked
Viewers also liked (15)
More from Yandex
More from Yandex (20)
Yandex1
- 1. Структурный метод опорных векторов и его применение для настройки графических моделейнастройки графических моделей Д.П. Ветров Руководитель группы Байесовских методов, ВМК, МГУ (http://bayesgroup.ru)
- 2. План доклада • Байесовские методы в машинном обучении • Задачи с взаимозависимыми скрытыми переменными • Вероятностные графические модели • Метод опорных векторов и его обобщение для настройки параметров графических моделейпараметров графических моделей
- 3. Машинное обучение • Поиск зависимостей между наблюдаемыми переменными X и скрытыми переменными T • Данные представляют собой совокупность независимых объектов • Скрытые компоненты объектов из обучающей выборки• Скрытые компоненты объектов из обучающей выборки известны • Зависимость моделируется путем настройки параметров (весов) W решающего правила
- 4. • Зависимости между наблюдаемыми и скрытыми компонентами моделируются в виде совместного распределения p(X,T,W) • В классической постановке Байесовские методы • Появляется возможность задавать предпочтения на значения весов • Возможность учесть специфику конкретной задачи! • В последние 10 лет бум байесовских методов в мире
- 5. Взаимозависимости между объектами • Ряд прикладных задач не может быть описан в терминах множеств независимых объектов • Особый интерес представляют случаи, когда скрытые переменные объектов зависимы между собой • Отличный способ введения дополнительной• Отличный способ введения дополнительной регуляризации!
- 7. Видеотрекинг
- 9. Вписывание 2D и 3D моделей
- 12. Глубинное обучение (deep learning)
- 14. Графические модели Совместные распределения большой арности могут быть промоделированы путем задания системы факторизации по пересекающимся подмножествам переменных, определяемым кликами графа зависимостей
- 15. Основные задачи • Поиск наиболее вероятной конфигурации скрытых переменных • Определение нормировочной константы Z • Обучение с учителем• Обучение с учителем • Обучение без учителя • Подсчет маргинальных распределений
- 16. Структурная классификация • Пусть скрытые переменные принимают конечное число значений • Обобщение задачи классификации • Энергетическая формулировка • Парно-сепарабельные энергии • Заметим, что даже задача принятия решения (при известных X, W) является, в общем случае, NP-трудной комбинаторной задачей
- 17. Линейная модель • Парно-сепарабельная энергия • Параметризация потенциалов • Вопрос, как определить W ?
- 18. Метод опорных векторов (SVM) • Разработан для стандартной задачи классификации • Строит оптимальную разделяющую гиперплоскость • Допускает нелинейное обобщение путем применения т.н. ядрового перехода • Не зависит от выбора начального приближения• Не зависит от выбора начального приближения
- 19. Обучение метода опорных векторов • Стандартная формулировка. Дана обучающая выборка • Эквивалентная формулировка: Прямое следствие • Решающее правило:
- 21. Специфика задачи структурной классикаиции • Не можем классифицировать каждый объект независимо от других • Экспоненциально много вариантов классификации • Ошибки в классификации не равнозначны! (аналогия с регрессией)регрессией)
- 23. Направления текущих исследований SSVM • Релаксация оракула и внесение его в оптимизируемый функционал (Finley et al., ICML2008) • Применение ядрового перехода (Bertelli et al., CVPR2011) • Обучение по слабо-размеченным выборкам (Шаповалов и др., ИОИ2012)и др., ИОИ2012) • Использование разных функций расстояния (McAllester et al., NIPS2011) • Настройка потенциалов высоких порядков (Park et al., ECCV2012) • И др.