clasification

Автоматическая классификация текстов с использованием латентно-семантического анализа Соловьев Алексей Auditech Ltd. ; СПбГУ

Алгоритмы классификации ,[object Object],[object Object]

Критерии оценки алгоритмов ,[object Object],[object Object],[object Object],[object Object],[object Object]

Постановка задачи ,[object Object],[object Object],[object Object]

Обзор существующих методов и алгоритмов ,[object Object],[object Object],[object Object],[object Object],[object Object]

Латентно-семантический анализ ,[object Object],[object Object],[object Object],[object Object]

SVD разложение матрицы ,[object Object],[object Object],[object Object]

SVD разложение матрицы Рисунок 1. SVD разложение матрицы А размерности ( T X D ) на матрицу термов U размерности ( T X k ), матрицу документов V размерности ( k X D ) и диагональную матрицу S размерности ( k X k ), где k – количество сингулярных значении диагональной матрицы S .

Три основных разновидности решения задачи методом ЛСА: ,[object Object],[object Object],[object Object]

Два варианта применения латентно-семантического анализа ,[object Object],[object Object],[object Object],[object Object],[object Object]

Исследование ЛСА на материале базы спонтанной русской речи ,[object Object],[object Object],[object Object],[object Object],[object Object]

Материал для тестирования ,[object Object],[object Object],[object Object]

Сегментация текста на термы ,[object Object],[object Object],[object Object],[object Object]

Расчет весовых функций ,[object Object],[object Object]

Определение тематик документов ,[object Object]

Сравнительная таблица пересечения основных факторов ,[object Object],100 9 9 30+ 89 8 10 50 78 7 8 30 56 5 6 20 Пересечение с текстом 30+ (%) Кол-во факторов, совпавших с 30+ Приблизительное кол-во факторов Кол-во документов

Выбор порога для сингулярных элементов диагональной матрицы при SVD анализе ,[object Object]

Выбор критерия ограничения величины весовых функций при получении ассоциативного словаря ,[object Object]

Результаты тестирования на речевой базе русской речи ,[object Object],77,6 ½ 80,2 ¼ 82,2 90,8 88,1 полная база ½ (%) ¾ (%) полная база (%) Тест обучение

SVD анализ ,[object Object],[object Object],[object Object]

Выводы ,[object Object],[object Object],[object Object]

Изменение главных факторов при уменьшении числа сингулярных диагональных элементов матрицы

Области применения ЛСА ,[object Object],[object Object],[object Object],[object Object],[object Object]

СПАСИБО ЗА ВНИМАНИЕ!

Некоторые Интернет-ресурсы, посвященные ЛСА ,[object Object],[object Object],[object Object],[object Object]

clasification

Recommended

Recommended

More Related Content

What's hot

What's hot (7)

Similar to clasification

Similar to clasification (20)

More from NLPseminar

More from NLPseminar (20)

clasification