Лекция №6 "Линейные модели для классификации и регрессии" Technosphere1
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Алгоритмы интеллектуальной обработки больших объемов данных", Лекция №6 "Линейные модели для классификации и регрессии"
Лектор - Николай Анохин
Обобщенные линейные модели. Постановка задачи оптимизации. Примеры критериев. Градиентный спуск. Регуляризация. Метод Maximum Likelihood. Логистическая регрессия.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Алгоритмы интеллектуальной обработки больших объемов данных", Лекция №7 "Машина опорных векторов"
Лектор - Николай Анохин
Разделяющая поверхность с максимальным зазором. Формулировка задачи оптимизации для случаев линейно-разделимых и линейно-неразделимых классов. Сопряженная задача. Опорные векторы. KKT-условия. SVM для задач классификации и регрессии. Kernel trick. Теорема Мерсера. Примеры функций ядра.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Алгоритмы интеллектуальной обработки больших объемов данных", Лекция №9 "Алгоритмические композиции. Начало"
Лектор - Владимир Гулин
Комбинации классификаторов. Модельные деревья решений. Смесь экспертов. Stacking. Стохастические методы построения ансамблей классификаторов. Bagging. RSM. Алгоритм RandomForest.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Алгоритмы интеллектуальной обработки больших объемов данных", Лекция №4 "Задача классификации"
Лектор - Николай Анохин
Постановка задач классификации и регрессии. Теория принятия решений. Виды моделей. Примеры функций потерь. Переобучение. Метрики качества классификации. MDL. Решающие деревья. Алгоритм CART.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
Лекция №6 "Линейные модели для классификации и регрессии" Technosphere1
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Алгоритмы интеллектуальной обработки больших объемов данных", Лекция №6 "Линейные модели для классификации и регрессии"
Лектор - Николай Анохин
Обобщенные линейные модели. Постановка задачи оптимизации. Примеры критериев. Градиентный спуск. Регуляризация. Метод Maximum Likelihood. Логистическая регрессия.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Алгоритмы интеллектуальной обработки больших объемов данных", Лекция №7 "Машина опорных векторов"
Лектор - Николай Анохин
Разделяющая поверхность с максимальным зазором. Формулировка задачи оптимизации для случаев линейно-разделимых и линейно-неразделимых классов. Сопряженная задача. Опорные векторы. KKT-условия. SVM для задач классификации и регрессии. Kernel trick. Теорема Мерсера. Примеры функций ядра.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Алгоритмы интеллектуальной обработки больших объемов данных", Лекция №9 "Алгоритмические композиции. Начало"
Лектор - Владимир Гулин
Комбинации классификаторов. Модельные деревья решений. Смесь экспертов. Stacking. Стохастические методы построения ансамблей классификаторов. Bagging. RSM. Алгоритм RandomForest.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Алгоритмы интеллектуальной обработки больших объемов данных", Лекция №4 "Задача классификации"
Лектор - Николай Анохин
Постановка задач классификации и регрессии. Теория принятия решений. Виды моделей. Примеры функций потерь. Переобучение. Метрики качества классификации. MDL. Решающие деревья. Алгоритм CART.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Алгоритмы интеллектуальной обработки больших объемов данных", Лекция №10 "Алгоритмические композиции. Завершение"
Лектор - Владимир Гулин
Ключевые идеи бустинга. Отличия бустинга и бэггинга. Алгорим AdaBoost. Градиентный бустинг. Мета-алгоритмы над алгоритмическими композициями. Алгоритм BagBoo.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Алгоритмы интеллектуальной обработки больших объемов данных", Лекция №5 "Обработка текстов, Naive Bayes"
Лектор - Николай Анохин
Условная вероятность и теорема Байеса. Нормальное распределение. Naive Bayes: multinomial, binomial, gaussian. Сглаживание. Генеративная модель NB и байесовский вывод. Графические модели.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
Лекция №2 "Задача кластеризации и ЕМ-алгоритм"Technosphere1
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Алгоритмы интеллектуальной обработки больших объемов данных", Лекция №2 "Задача кластеризации и ЕМ-алгоритм"
Лектор - Николай Анохин
Постановка задачи кластеризации. Функции расстояния. Критерии качества кластеризации. EM-алгоритм. K-means и модификации.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Алгоритмы интеллектуальной обработки больших объемов данных", Лекция №3 "Различные алгоритмы кластеризации"
Лектор - Николай Анохин
Иерархическая кластеризация. Agglomerative и Divisive алгоритмы. Различные виды расстояний между кластерами. Stepwise-optimal алгоритм. Случай неэвклидовых пространств. Критерии выбора количества кластеров: rand, silhouette. DBSCAN.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Алгоритмы интеллектуальной обработки больших объемов данных", Лекция №10 "Алгоритмические композиции. Завершение"
Лектор - Владимир Гулин
Ключевые идеи бустинга. Отличия бустинга и бэггинга. Алгорим AdaBoost. Градиентный бустинг. Мета-алгоритмы над алгоритмическими композициями. Алгоритм BagBoo.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Алгоритмы интеллектуальной обработки больших объемов данных", Лекция №5 "Обработка текстов, Naive Bayes"
Лектор - Николай Анохин
Условная вероятность и теорема Байеса. Нормальное распределение. Naive Bayes: multinomial, binomial, gaussian. Сглаживание. Генеративная модель NB и байесовский вывод. Графические модели.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
Лекция №2 "Задача кластеризации и ЕМ-алгоритм"Technosphere1
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Алгоритмы интеллектуальной обработки больших объемов данных", Лекция №2 "Задача кластеризации и ЕМ-алгоритм"
Лектор - Николай Анохин
Постановка задачи кластеризации. Функции расстояния. Критерии качества кластеризации. EM-алгоритм. K-means и модификации.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Алгоритмы интеллектуальной обработки больших объемов данных", Лекция №3 "Различные алгоритмы кластеризации"
Лектор - Николай Анохин
Иерархическая кластеризация. Agglomerative и Divisive алгоритмы. Различные виды расстояний между кластерами. Stepwise-optimal алгоритм. Случай неэвклидовых пространств. Критерии выбора количества кластеров: rand, silhouette. DBSCAN.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
Факторизационные модели в рекомендательных системахromovpa
Факторизационные модели, модели разложения матриц для коллаборативной фильтрации в рекомендательных системах. В презентации рассматриваются теоретические аспекты и алгоритмы.
С доклада на спецсеминаре "Machine Learning & Information Retrieval" в Школе Анализа Данных Яндекса.
2. Структурное обучение
f :X →Y
Прецеденты:
(x1 , y 1 ), ..., (xn , y n ) ∈ X × Y
Предсказание:
f (x) — решающее правило
f (x) = arg max F (x, y) F (x, y) — оценка (evaluation)
y∈Y
∆(y, y ) — потери (loss)
ˆ
Обучение:
E∆(y, f (y)) → min
f
3. Пример: сегментация изображения
x y yi
xi
F (x, y) = log p(y|x) = −E(y|x)
= ypk · Upk (x) + [yp = yq ] · Ppq (x)
p k p p,q
data smoothness
4. Пример: сегментация изображения
x y yi
xi
F (x, y; w) = log p(y|x; w) = −E(y|x; w)
= ypk · wk ψp (x) + [yp = yq ] · wsm ψpq (x)
p k p p,q
= w Ψ(x, y)
Ψ(x, y) — вектор признаков (joint feature map)
5. Пример: сегментация изображения
x y yi
xi
F (x, y; w) = log p(y|x; w) = −E(y|x; w)
= ypk · wk ψp (x) + [yp = yq ] · wsm ψpq (x)
p k p p,q
= w Ψ(x, y)
Функция потерь:
∆(y, y ) = [y = y ] (0/1-loss)
ˆ ˆ
∆(y, y ) = p [yp = yp ]
ˆ ˆ
... Intersection/Union, HAC, etc.
6. Структурный SVM
Формулировка с margin-rescaled loss:
N
1 1
w 2+C · ∆MR (xn , y n , w) → min
2 N w
n=1
n n n n
∆MR = max ∆(y , y) − (F (x , y , w) − F (x , y, w)) ≤ ∆
y∈Y
margin
7. Структурный SVM
В виде задачи QP (N-slack, margin-rescaling):
N
2 1
w
+C · ξn → min
N
w,ξ≥0
n=1
w (Ψ(xn , y n ) − Ψ(xn , y)) ≥ ∆(y, y n ) − ξ
n
∀n = 1, . . . , N, ∀y ∈ Y
Решение: метод отложенных ограничений, он же cutting-plane
для предыдущей формулировки. Разделяющий оракул:
w Ψ(xn , y) + ∆(y, y n ) → max
y∈Y
8. Глобальные ограничения
Пример: статистики по всем переменным
Методы оптимизации: SMD [Osokin & Vetrov, 2011], ...
9. Глобальные ограничения
C — множество глобальных ограничений
Y(c) ⊆ Y — множество выходов, ограниченное некоторым
ограничением c ∈ C
(x1 , 3)
Глобально-обусловленный вывод:
f (x, c) = arg maxy∈Y(c) F (x, y)
Глобально-обусловленное обучение:
дана обучающая выборка с глобальными ограничениями
{(xn , y n , cn )}N ⊂ X × Y × C
n=1
построить решающее правило f : X × C → Y
10. Глобально-обусловленный SVM
N
2 1
w +C · ξn → min
N
w,ξ≥0
n=1
w (Ψ(xn , y n ) − Ψ(xn , y)) ≥ ∆(y, y n ) − ξn
∀n = 1, . . . , N, ∀y ∈ Y(cn )
Неравенства в задаче QP (потенциальные опорные вектора),
не соответствующие cn ∈ C — фтопку.
Реализация: модифицированный оракул разделения
w Ψ(xn , y) + ∆(y n , y) → max
y∈Y(cn )
13. Результат: сегментация GRAZ-02
HAC % UI %
train test train test
seeds −0.46 −0.95 −3.04 −1.16
Cars area −0.25 −1.77 +0.80 +4.29
both −1.69 −0.79 +6.36 +3.43
seeds −1.03 −0.46 −2.30 −4.18
People area −0.58 −0.79 +1.89 +0.94
both −1.85 −1.61 +4.84 +3.55
seeds −4.30 −4.49 +6.13 +6.57
Bikes area −3.52 −3.14 +4.95 +3.92
both −2.80 −3.10 +4.49 +4.94
14. Результат: сегментация GRAZ-02
Train Test HAC cars UI cars HAC bikes UI bikes
Unc. Unc. 92.28 61.91 87.82 67.85
Unc. Seeds +1.10 +1.28 +0.87 +0.86
Seeds Unc. +0.21 +0.61 +0.03 +0.03
Seeds Seeds +1.82 +1.89 +1.11 +1.88
Unc. Area −1.02 +13.58 +0.06 +4.13
Area Unc. −6.98 −2.44 +0.58 −0.10
Area Area −0.41 +13.62 +0.81 +5.16
15. Результат: сегментация GRAZ-02
Train Test HAC people UI people
Unc. Unc. 86.77 61.37
Unc. Seeds +2.02 +1.69
Seeds Unc. −0.72 +2.36
Seeds Seeds +2.77 +6.06
Unc. Area −1.62 +5.10
Area Unc. −1.81 −0.36
Area Area −1.28 +4.58