Юрий Богомолов "Методы классификации документов в поиске"Yandex
Рассказ о различных методах классификации документов. Ликбез методов машинного обучения, понятие разделимости классов, советы по выбору множества признаков. Разбор практического примера классификации.
Using of Bayes Belief Networks for Sustainable Development AnalysisSSA KPI
AACIMP 2010 Summer School lecture by Andriy Boldak. "Sustainable Development" stream. "Using of Bayes Belief Networks for Sustainable Development Analysis" course.
More info at http://summerschool.ssa.org.ua
Разговор будет строиться вокруг наивного Байесовского классификатора. Как его можно использовать для извлечения из текстов косвенной информации (например, отзывов о фильмах) и для разметки видеоматериалов с помощью содержательных тегов, обозначающих время и место действия, жанр и т.д.
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Алгоритмы интеллектуальной обработки больших объемов данных", Лекция №5 "Обработка текстов, Naive Bayes"
Лектор - Николай Анохин
Условная вероятность и теорема Байеса. Нормальное распределение. Naive Bayes: multinomial, binomial, gaussian. Сглаживание. Генеративная модель NB и байесовский вывод. Графические модели.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
Юрий Богомолов "Методы классификации документов в поиске"Yandex
Рассказ о различных методах классификации документов. Ликбез методов машинного обучения, понятие разделимости классов, советы по выбору множества признаков. Разбор практического примера классификации.
Using of Bayes Belief Networks for Sustainable Development AnalysisSSA KPI
AACIMP 2010 Summer School lecture by Andriy Boldak. "Sustainable Development" stream. "Using of Bayes Belief Networks for Sustainable Development Analysis" course.
More info at http://summerschool.ssa.org.ua
Разговор будет строиться вокруг наивного Байесовского классификатора. Как его можно использовать для извлечения из текстов косвенной информации (например, отзывов о фильмах) и для разметки видеоматериалов с помощью содержательных тегов, обозначающих время и место действия, жанр и т.д.
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Алгоритмы интеллектуальной обработки больших объемов данных", Лекция №5 "Обработка текстов, Naive Bayes"
Лектор - Николай Анохин
Условная вероятность и теорема Байеса. Нормальное распределение. Naive Bayes: multinomial, binomial, gaussian. Сглаживание. Генеративная модель NB и байесовский вывод. Графические модели.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
SYNONYMS, ANTONYMS, POLYSEMY, HOMONYM, AND HOMOGRAPHLili Lulu
definition and examlple SYNONYMS,
defintion and example ANTONYMS,
Definition and example POLYSEMY,
Definition and example HOMONYM, AND Definition and example HOMOGRAPH
SYNONYMS, ANTONYMS, POLYSEMY, HOMONYM, AND HOMOGRAPHLili Lulu
definition and examlple SYNONYMS,
defintion and example ANTONYMS,
Definition and example POLYSEMY,
Definition and example HOMONYM, AND Definition and example HOMOGRAPH
2. Семантическое поле
Одна из задач лексической семантики –
описание системы лексических значений
В процессе такого исследования
устанавливаются отношения между
значениями различных слов
Значение слова при таком подходе
определяется не как самостоятельная
единица, а как совокупность отношений с
другими значениями
3. Семантическое поле
Одной из форм частичного решения этой
задачи является описание отдельных
семантических полей
Понятие семантического поля может
включать и другие языковые единицы
(например, словосочетания)
Классическое семантическое поле
объединяет только лексемы или лексико-
семантические варианты (ЛСВ)
4. Семантическое поле
Понятие семантического поля было
введено в работах немецких лингвистов
Й. Трира и Г. Ипсена в первой половине
XX в.
Особый вклад в теорию семантического
поля внес немецкий лингвист
Л. Вайсгербер.
5. Семантическое поле
это множество слов, объединенных
общностью содержания (имеющих общую
нетривиальную часть в толковании)
По этой общей части семантическое поле
и получает название
семантическое поле родства, движения,
чувств, еды, посуды и т. д.
6. Тезаурусы
Использование семантических полей как
метода описания лексики связано с идеей
разбиения лексики на различные лексические
группы, представляющие собой
самостоятельные подсистемы
В XIX в. сходные идеи высказывал русский
филолог М. М. Покровский
Эта же идея легла в основу практической
лексикографической деятельности, составления
идеографических словарей, называемых также
тезаурусами
7. Тезаурус П.М. Роже
В данном значении термин «тезаурус» стал
использоваться после выхода в
1852 г. словаря Roget's international thesaurus
of English words and phrases
первый и наиболее известный тезаурус
английский лексикон, первоначально разбитый
на шесть основных групп-категорий:
abstract relation
space
matter
intellect
volition
affections
абстрактные отношения разум
пространство воля
вещество свойства
8. Тезаурус П.М. Роже
В результате дальнейшего членения в
словаре П.М. Роже выделяется около
тысячи семантических категорий
В дальнейшем появляются тезаурусы для
других языков
для русского языка следует отметить
теоретические и прикладные работы
Ю. Н. Караулова в этой области (1976, 1981 и
др.).
9. Семантическое поле
не просто набор слов, но и семантические
отношения между ними
Так же, как материальным представителем
значения слова является его толкование,
материальным представителем семантических
отношений является их описание
Семантическим полем следует называть не
только само множество слов, но и их
семантическое описание, сделанное по
особой схеме
10. Признаки семантического поля
Ключевыми в описании семантического
поля считаются понятия интегрального и
дифференциального признаков.
Для семантического поля определяется
некий конституирующий его смысл (общий
для всех слов данного поля), который и
называется интегральным
семантическим признаком
11. Интегральный признак
В состав данного семантического поля в
принципе должны быть включены все
слова, которые обладают данным
смыслом, т.е. включают его в свое
толкование
На практике исследователь может
прибегать к различным ограничениям или,
например, задавать поле путем списка
слов, в него входящих
12. Дифференциальные признаки
те смыслы, которые присущи лишь части
слов и с помощью которых значения слов
данного семантического поля могут быть
различены
При описании семантических
противопоставлений в рамках поля удобно
использовать семантические компоненты,
в частности бинарные признаки
13. Дифференциальные признаки
Иногда действительно речь идет о
признаках в строгом смысле слова,
принимающих те или иные значения
Минимальным описанием поля будет
такой набор признаков, при котором
различены все слова
кроме полных синонимов, слов с полностью
совпадающим значением
Иначе говоря, семантика слов будет
описана с точностью до их различения
14. Поле «посуда, предназначенная
для питья»
Так, чтобы описать множество из четырех слов
рюмка, стакан, стопка, чашка, понадобится
два или три дифференциальных признака
Описание 1. Дифференциальные признаки:
1. Предназначение
только для спиртных напитков
только для не спиртных напитков
для спиртных и не спиртных напитков
1. Наличие ножки
имеет ножку
не имеет ножки
15. Поле «посуда, предназначенная
для питья». Описание 1
рюмка
только для спиртных напитков
имеет ножку
стакан
для спиртных и не спиртных напитков
не имеет ножки
стопка
только для спиртных напитков
не имеет ножки
чашка
только для не спиртных напитков
не имеет ножки
16. Поле «посуда, предназначенная
для питья»
Описание 1. Дифференциальные
признаки:
1. «Предназначен для спиртных
напитков» < +, – >
2. «Имеет ножку» < +, – >
3. «Имеет ручку» < +, – >
17. Поле «посуда, предназначенная
для питья». Описание 2
рюмка
<+> <+> <0>
стакан
<0> <–> <–>
стопка
<+> <–> <–>
чашка
<–> <–> <+>
данный признак
нерелевантен для слова
18. Признаки семантического поля
Если расширить это множество, включив
в него слова, сужающие интегральный
признак, например тарелка или
бутылка, то прежний интегральный
признак превратится в
дифференциальный, разграничивающий
прежние и новые члены ряда