03 кластеризация документов

Кластеризация документов Лидия Михайловна Пивоварова Системы понимания текста

Введение ,[object Object],[object Object],[object Object]

Содержание ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Оценка качества кластеризации ,[object Object],[object Object],[object Object],[object Object]

Матрица несоответствий ,[object Object],8 0 0 c 0 2 2 b 0 2 2 a C B A К Л А С Т Е Р Ы КЛАССЫ

Метрики заимствованные из информационного поиска ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],tn fn Ненайденные fp tp Найденные Нерелевантные Релевантные

Применительно к кластеризации ,[object Object],[object Object],[object Object]

Чистота ,[object Object],[object Object],[object Object]

Энтропия ,[object Object],[object Object]

Взаимная информация ,[object Object],[object Object],n Класс n h n h,l Кластер n l

Стабильность ,[object Object],[object Object]

Векторная модель ,[object Object],[object Object],[object Object],[object Object],[object Object]

Предобработка ,[object Object],[object Object],[object Object],[object Object],[object Object]

Иерархическая кластеризация ,[object Object],[object Object],[object Object],[object Object]

«Разделяющая» кластеризация ,[object Object],[object Object],[object Object],[object Object]

Недостатки kmeans ,[object Object],[object Object],[object Object],[object Object],[object Object]

Генеративные алгоритмы ,[object Object],[object Object]

Гауссова модель ,[object Object],[object Object],[object Object],[object Object],[object Object]

Гауссова модель ,[object Object],P(d| θ ) - вероятность того, что документ d принадлежит кластеру θ , m – размерность пространства, μ – центроид, Σ – матрица ковариации. Общая вероятность (правдоподобие того, что данный документ описывается моделью): Задача кластеризации: максимизировать это число, максимизировав каждое из слагаемых (т.е. найдя наилучшее среднее и матрицу ковариации для каждого кластера).

Expectation maximization ( EM -алгоритм) ,[object Object],[object Object],[object Object],[object Object]

EM -алгоритм ,[object Object],[object Object],[object Object],[object Object]

Модель фон Мисес-Фишера ,[object Object],[object Object]

Спектральная кластеризация ,[object Object],[object Object],[object Object],[object Object]

Алгоритм divide & merge ,[object Object],[object Object],[object Object],[object Object]

Алгоритм divide & merge

Нечеткая совместная корреляция ,[object Object],[object Object],[object Object],[object Object],[object Object]

Снижение размерности ,[object Object],[object Object]

Метод главных компонентов ( PCA) ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Метод главных компонентов ,[object Object],[object Object],[object Object],[object Object],[object Object]

Неотрицательная факторизация (NMF) ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Мягкая спектральная кластеризация ,[object Object],[object Object]

Мягкая спектральная кластеризация ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Lingo ,[object Object],[object Object],[object Object],[object Object]

Модели с учетом порядка слов ,[object Object],[object Object],[object Object]

Кластеризация на основе суффиксных деревьев ,[object Object],[object Object],[object Object],[object Object],dog chased cat , dog chased mailman

Кластеризация на основе суффиксных деревьев ,[object Object],[object Object],[object Object],[object Object],[object Object]

Граф документа ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Заключение ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Источники ,[object Object]

03 кластеризация документов

Recommended

Recommended

More Related Content

What's hot

What's hot (9)

Viewers also liked

Viewers also liked (20)

Similar to 03 кластеризация документов

Similar to 03 кластеризация документов (20)

More from Lidia Pivovarova

More from Lidia Pivovarova (20)

03 кластеризация документов