В докладе рассмотрены наиболее популярные алгоритмы классификации в машинном обучении, их преимущества и недостатки, а также приведены результаты использования алгоритмов на реальных данных, в частности, в задаче классификации текстов по классам эмоций.

1. Сентябрь 2011 Алгоритмы машинного обучения Докладчик: Станислав Пак

3. О чем будем говорить? Какие алгоритмы? k-means, EM, kNN, Naive Bayes, SVM, ST Хотим рассмотреть некоторые алгоритмы машинного обучения, позволяющие классифицировать или кластеризовать данные. Рассмотреть их применения в задачах классификации текстов по классам эмоций.

4. k-means Инициализация: выбор k векторов-представителей кластеров, центроидов Возможные способы: случайный выбор вектора k раз, решение задачи кластеризации для маленького подмножества и выбор представителей из центроидов кластеров, возмущение центра X k раз Шаг 1. Data Assignment. Связывание векторов из X c ближайшим центроидом из . Неоднозначности разрешаются произвольным образом.

5. k-means Шаг 2. Relocation of "means". Каждый представитель кластера заменяется центром множества привязанных к нему векторов. Условие остановки: не меняется. Сложность:

6. Expectation maximization Композиция распределений конечного числа случайных величин дает гибкий и математически обоснованный метод моделирования и кластеризации данных, наблюдаемых как реализация случайных величин.

7. Expectation maximization Aпостериорная вероятность, что случайная величина y_j принадлежит i-ой компоненте смешанного распределения Параметр можно оценить как нуль уравнения , где

8. Expectation maximization Одна замечательная особенность использования симметричных распределений (нормальное, t-распределение Стьюдента) - это инвариантность относительно афинного преобразования (поворота, гомотетии, параллельного переноса), что означает независимость кластеризации от единиц измерения и ориентации в пространстве.

9. kNN Один из простых классификаторов - классификатор Рота, "запоминает" всю обучающую выборку и умеет делать классификацию нового объекта, если он точно совпадает с каким-нибудь из обучающей выборки. Недостатки очевидны. Можно обобщить этот алгоритм, введя понятие метрики и определив способ выбора класса нового объекта на основе k ближайших объектов из обучающей выборки.

10. kNN Алгоритм. Входные данные. Множество объектов обучающей выборки и новый объект Шаг 1. Находим ближайших к объектов из по метрике Шаг 2.

11. kNN Какие могут быть проблемы? При небольших значениях параметра, алгоритм становится чувствительным к шуму во входных данных, при больших - вычисление соседей занимает много времени. Как хорошо определять класс нового объекта? Очевидно, что если метрика адекватная, то более близкие соседи должны больше влиять на класс нового объекта. Можно определить веса для соседей

12. kNN Тогда выбор класса определяется результатом взвешенного голосования - индикатор Если у объекта много признаков, то обычно их нужно нормировать.

13. Naive Bayes Особенностью метода является простота модели и вычислений. Также на фоне остальных методов он показывает неплохие результаты. Часто используется в спам-фильтрах. - вероятность того, что вектор признаков принадлежит классу . означает, что принадлежит классу 0. http://demonstrations.wolfram.com/KNearestNeighborKNNClassifier/

14. Naive Bayes - формула условной вероятности Байеса - вероятность того, что новый объект будет принадлежать i-му классу Делаем предположение о независимости компонент вектора

15. Naive Bayes Что делаем, если переменные вектора коррелируют между собой?

16. Naive Bayes Как строить эмпирические вероятности , строим гистограмму по значениям , берем вероятности пропорционально размеру группы значений можно приблизить долей данных из класса - число категорий - число значений - число значений в категории

17. Naive Bayes почти нормальное распределение

18. Support vector machines Компоненты векторов нормируем, чтобы большие отклонения от средних значений не повлияли на классификатор - уравнение плоскости - знаковое расстояние до начала координат

19. Support vector machines

20. Support vector machines Выборка линейно разделима? - расстояние между разделяющими гиперплоскостями - условие того, что точки лежат вне полосы

21. Support vector machines Получаем задачу квадратичной оптимизации Можно применить теорему Куна-Таккера и получить эквивалентную задачу поиска седловой точки функции Лагранжа

22. Spanning tree http://demonstrations.wolfram.com/FuelBreak/

24. Классификация текстов по эмоциям Тексты для обучения: заголовки интернет и газетных новостей

25. Классификация текстов по эмоциям Классы эмоций

27. Классификация текстов по эмоциям http://wndomains.fbk.eu/

28. Спасибо за внимание! Обсуждение: http://blog.witology.com