Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Yandex1

Презентация семинара 13 июня

  • Login to see the comments

Yandex1

  1. 1. Структурный метод опорныхвекторов и его применение длянастройки графических моделейнастройки графических моделейД.П. ВетровРуководитель группы Байесовских методов,ВМК, МГУ(http://bayesgroup.ru)
  2. 2. План доклада• Байесовские методы в машинном обучении• Задачи с взаимозависимыми скрытыми переменными• Вероятностные графические модели• Метод опорных векторов и его обобщение для настройкипараметров графических моделейпараметров графических моделей
  3. 3. Машинное обучение• Поиск зависимостей между наблюдаемыми переменнымиX и скрытыми переменными T• Данные представляют собой совокупность независимыхобъектов• Скрытые компоненты объектов из обучающей выборки• Скрытые компоненты объектов из обучающей выборкиизвестны• Зависимость моделируется путем настройки параметров(весов) W решающего правила
  4. 4. • Зависимости между наблюдаемыми и скрытымикомпонентами моделируются в виде совместногораспределения p(X,T,W)• В классической постановкеБайесовские методы• Появляется возможность задавать предпочтения назначения весов• Возможность учесть специфику конкретной задачи!• В последние 10 лет бум байесовских методов в мире
  5. 5. Взаимозависимости междуобъектами• Ряд прикладных задач не может быть описан в терминахмножеств независимых объектов• Особый интерес представляют случаи, когда скрытыепеременные объектов зависимы между собой• Отличный способ введения дополнительной• Отличный способ введения дополнительнойрегуляризации!
  6. 6. Сегментация изображений
  7. 7. Видеотрекинг
  8. 8. Анализ социальных сетей
  9. 9. Вписывание 2D и 3D моделей
  10. 10. Декодирование зашумленныхсообщений
  11. 11. Имитационное моделирование
  12. 12. Глубинное обучение (deep learning)
  13. 13. Коллаборативная фильтрация
  14. 14. Графические моделиСовместные распределения большой арности могут бытьпромоделированы путем задания системы факторизациипо пересекающимся подмножествам переменных,определяемым кликами графа зависимостей
  15. 15. Основные задачи• Поиск наиболее вероятной конфигурации скрытыхпеременных• Определение нормировочной константы Z• Обучение с учителем• Обучение с учителем• Обучение без учителя• Подсчет маргинальных распределений
  16. 16. Структурная классификация• Пусть скрытые переменные принимают конечное числозначений• Обобщение задачи классификации• Энергетическая формулировка• Парно-сепарабельные энергии• Заметим, что даже задача принятия решения (приизвестных X, W) является, в общем случае, NP-труднойкомбинаторной задачей
  17. 17. Линейная модель• Парно-сепарабельная энергия• Параметризация потенциалов• Вопрос, как определить W ?
  18. 18. Метод опорных векторов (SVM)• Разработан для стандартной задачи классификации• Строит оптимальную разделяющую гиперплоскость• Допускает нелинейное обобщение путем применения т.н.ядрового перехода• Не зависит от выбора начального приближения• Не зависит от выбора начального приближения
  19. 19. Обучение метода опорныхвекторов• Стандартная формулировка. Дана обучающая выборка• Эквивалентная формулировка:Прямое следствие• Решающее правило:
  20. 20. Специфика задачи структурнойклассикаиции• Не можем классифицировать каждый объект независимоот других• Экспоненциально много вариантов классификации• Ошибки в классификации не равнозначны! (аналогия срегрессией)регрессией)
  21. 21. Направления текущихисследований SSVM• Релаксация оракула и внесение его в оптимизируемыйфункционал (Finley et al., ICML2008)• Применение ядрового перехода (Bertelli et al., CVPR2011)• Обучение по слабо-размеченным выборкам (Шаповалови др., ИОИ2012)и др., ИОИ2012)• Использование разных функций расстояния (McAllester etal., NIPS2011)• Настройка потенциалов высоких порядков (Park et al.,ECCV2012)• И др.

×