Downloaded 23 times
Uploaded byАндрей Федоровский
Методы кластеризации
Документ описывает методы кластеризации и их применение в обучении без учителя, акцентируя внимание на разбиении объектов на группы и нахождении представителей классов. Рассматриваются подходы к снижению размерности, различные виды кластеров и алгоритмы, такие как k-means и DBSCAN. Также упоминаются критерии остановки и рекомендации по выбору методов в зависимости от особенностей данных.
Методы кластеризации
- 1. Методы кластеризации Андрей Федоровский fedorovsky@gmail.com
- 2. А. Федоровский Методыкластеризации Обучение без учителя Группировка объектов по похожести. Задача кластеризации обычно поставлена нечетко: • Неизвестны свойства классов • Неизвестно их количество • Неизвестно, есть ли они вообще • Нет обучающей выборки • Нет очевидных критериев качества • Зато обычно есть множество эвристик
- 3. А. Федоровский Методыкластеризации Результат • Разбиение объектов на группы • Нахождение типичных точечных представителей классов (объекты, центроиды) • Нахождение нетипичных представителей классов (выбросы) • Построение полной иерархии групп объектов (таксономия)
- 4. А. Федоровский Методыкластеризации Постановка задачи
- 5. А. Федоровский Методыкластеризации Уменьшение размерности Для большинства алгоритмов слишком большая размерность критична. Какие есть способы снижения размерности?
- 6. А. Федоровский Методыкластеризации Уменьшение размерности Для большинства алгоритмов слишком большая размерность критична. • Выбор признаков • Частотность слов • Information gain • Feature extraction
- 7. А. Федоровский Методыкластеризации Виды кластеров • Сферические • Гауссовы • Ленточные • Содержащие перемычки • Содержащие фон • Перекрывающиеся
- 8. А. Федоровский Методыкластеризации Графы: алгоритм КНП
- 9. А. Федоровский Методыкластеризации Иерархическая кластеризация
- 10. А. Федоровский Методыкластеризации Алгоритм Ланса-Уильямса
- 11. А. Федоровский Методыкластеризации Расстояние Ланса-Уильямса
- 12. А. Федоровский Методыкластеризации Расстояние Ланса-Уильямса
- 13. А. Федоровский Методыкластеризации Быстрый алгоритм Ланса-Уильямса
- 14. А. Федоровский Методыкластеризации k-means
- 15. А. Федоровский Методыкластеризации k-means: частичное обучение
- 16. А. Федоровский Методыкластеризации DBSCAN B,C плотно-достижимы из A. B и C плотно связаны. N – шум.
- 17. А. Федоровский Методыкластеризации DBSCAN
- 18. А. Федоровский Методыкластеризации DBSCAN
- 19. А. Федоровский Методыкластеризации Критерии останова: silhouette
- 20. А. Федоровский Методыкластеризации Муки выбора Иерархический лучше, когда нужна таксономия. Кстати, она позволяет менять k на лету. K-means – когда есть оценка числа кластеров и/или кластера сферические. И лучше провести несколько раундов с разными начальными значениями и разными k. DBSTAT – кластера ленточные или линейно неразделимые и/или сильно зашумленные данные. Помогут также пре-кластеризация, такая как canopy clustering или гибридные методы. Если есть возможность получить обучающую коллекцию – надо брать.
- 21. Вопросы? Андрей Федоровский fedorovsky@gmail.com