Расскажу о методах улучшения точности решаемых задач машинного обучения за счёт комбинирования результатов нескольких различных моделей. Также, про подводные камни использования этих моделей

1. Blend them all

2. План
● Что такое композиционное обучение?
● Различные виды ансамблей
● Blending
● Blending baking

3. Что такое композиционное обучение?
Это алгоритмы и методы утилизирующие множество ML моделей, с целью
повысить точность решаемой задачи. Наиболее известные подходы:
● Boosting
● Bagging
● Stacked generalization
● Blending

4. Boosting
Способ композиции слабой модели с целью получить сильную модель.
Модели обучаются последовательно, обращая внимания на ошибки
предыдущих моделей.
● Устойчив к выбросам
● Модели не обучаются параллельно
● Один и тот же набор фич и данных

5. Bagging
Bootstrap aggregation - метод обучения нескольких моделей на независимых
наборах данных из обучающей выборки.
● Модели обучаются независимо друг от друга
● Модели могут утилизировать различные фичи
● Есть возможность проводить обучение параллельно

6. Stacking
0) Обучение базовых моделей (generalizators)
1) Обучение мета алгоритма на выходах (stackers)
2) Получение результата
В п.2 можно обучать несколько мета алгоритмов и добавлять еще несколько
таких уровней (stack).
При обучении используется кросс валидация. Обучение следующих уровней
производиться на Out of Fold данных.

7. Stacking

8. Blending
Понятие появилось после Netflix BigChaos Competition. Netflix так и не
реализовал топовую модель из-за ее сложности.
Тоже самое что и Stacking, но вместо OOF обучение уровней, всегда
выделяется некоторая порция данных (holdout), на которых производится
обучение мета алгоритма.

9. Blending
Плюсы:
● Проще, чем Stacking (holdout vs oof)
● Невозможен смешение данных при обучении stackers и generalizers
● При кросс валидации нет необходимости использовать один и тот же
seed.
Минусы:
● оверфит на holdout
● меньше данных при обучении stackers

10. Blending baking
● Лучше использовать только diverse модели
● CV всего пайплайна (различные holdout)
● rule of thumb
○ Pearson correlation < 0.95
○ Kolmogorov-Smirnov statistic > 0.05

11. Blending baking

12. Спасибо за внимание