SlideShare a Scribd company logo
Методы морфологического анализа текстов Корищенко Д.К. 424 группа. 23.03.2010
Обработка текстов на естественном языке ,[object Object],[object Object],[object Object]
Анализ отдельных слов ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Морфологический анализ на базе словаря ,[object Object],[object Object],[object Object],[object Object]
Пример морфологического словаря системы АОТ Таблица Lemmata  содержит перечень всех лемм данного словаря, для каждой леммы даны ее свойства: 1.      псевдооснова  слова (общая для всех словоформ данного слова подстрока), 2.      ссылка на набор окончаний 3.      ссылка на набор ударений 4.      ссылка на набор приставок 5.      ссылка на пользовательскую сессию, при которой была внесено последнее изменение этой записи 6.      cсылка на общие граммемы данной леммы Таблица FlexiaModels cодержит перечень возможных окончаний всех лемм. 1.  Поле PrefixStr содержит префикс данной словоформы (возможно, пустой) 2.      Поле FlexiaStr содержит окончание данной словоформы (возможно, пустое) 3.      Поле  Ancode содержит морфологическую интерпретацию данной словоформы. Таблица AccentModels содержит перечень возможных номеров ударных гласных для словоформ.   Таблица Ancodes содержит все возможные морфологические интерпретации. Поле PartOfSpeech содержит часть речи (C,Г,П,...), а полеGrammems набор граммем, типа «мр,но,ед,им».
Методы хранения словарей ,[object Object],[object Object],[object Object]
Морфологический анализ без словаря ,[object Object],[object Object],[object Object]
Пример модели морфологического анализа без словаря ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Пример модели морфологического анализа без словаря ,[object Object]
Пример модели морфологического анализа без словаря ,[object Object],[object Object],[object Object],[object Object],[object Object]
Проектирование словарной морфологии ,[object Object],[object Object],[object Object]
Проблема морфологической омонимии ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Проблема морфологической омонимии ,[object Object],[object Object],[object Object]
Проблема морфологической омонимии ,[object Object],[object Object]
Проблема морфологической омонимии ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Модель снятия морфологической омонимии на основе нормализующих подстановок и позиций соседних слов (Ю.Г. Зеленков, И.В. Сегалович) ,[object Object],[object Object],[object Object],[object Object]
Модель снятия морфологической омонимии на основе нормализующих подстановок и позиций соседних слов (Ю.Г. Зеленков, И.В. Сегалович) ,[object Object],[object Object],[object Object],[object Object]
Проблема обработки несловарных форм ,[object Object],[object Object],[object Object]
Курсовая работа ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Выводы ,[object Object],[object Object],[object Object]

More Related Content

What's hot

Построение правил для автоматического извлечения словосочетаний из текста
Построение правил для автоматического извлечения словосочетаний из текстаПостроение правил для автоматического извлечения словосочетаний из текста
Построение правил для автоматического извлечения словосочетаний из текста
Irene Pochinok
 
Извлечение терминологических словосочетаний из текстов
Извлечение терминологических словосочетаний из текстовИзвлечение терминологических словосочетаний из текстов
Извлечение терминологических словосочетаний из текстов
Спецсеминар "Искусственный Интеллект" кафедры АЯ ВМК МГУ
 
Ontologies for Information Extraction
Ontologies for Information ExtractionOntologies for Information Extraction
Ontologies for Information Extraction
Lidia Pivovarova
 
Реализация метода автоматического разрешения лексической многозначности
Реализация метода автоматического разрешения лексической многозначностиРеализация метода автоматического разрешения лексической многозначности
Реализация метода автоматического разрешения лексической многозначности
Спецсеминар "Искусственный Интеллект" кафедры АЯ ВМК МГУ
 
Konstantion Vorontsov - Additive regularization of matrix decompositons and p...
Konstantion Vorontsov - Additive regularization of matrix decompositons and p...Konstantion Vorontsov - Additive regularization of matrix decompositons and p...
Konstantion Vorontsov - Additive regularization of matrix decompositons and p...AIST
 
07 автоматическое реферирование
07 автоматическое реферирование07 автоматическое реферирование
07 автоматическое реферирование
Lidia Pivovarova
 
Системы аннотирования и реферирования
Системы аннотирования и реферированияСистемы аннотирования и реферирования
Системы аннотирования и реферированияArtem Lukanin
 
Information Extraction Overview
Information Extraction OverviewInformation Extraction Overview
Information Extraction OverviewNLPseminar
 
Ainl 2013 bogatyrev_математическая и лингвистическая
Ainl 2013 bogatyrev_математическая и лингвистическаяAinl 2013 bogatyrev_математическая и лингвистическая
Ainl 2013 bogatyrev_математическая и лингвистическаяAINL Conferences
 
Системы автоматического составления обзорных рефератов
Системы автоматического составления обзорных рефератовСистемы автоматического составления обзорных рефератов
Системы автоматического составления обзорных рефератов
Спецсеминар "Искусственный Интеллект" кафедры АЯ ВМК МГУ
 
Web-01-Basic PHP
Web-01-Basic PHPWeb-01-Basic PHP
Web-01-Basic PHP
Noveo
 
17.03 большакова
17.03 большакова17.03 большакова
17.03 большаковаNatalia Ostapuk
 

What's hot (20)

Rule b platf
Rule b platfRule b platf
Rule b platf
 
Построение правил для автоматического извлечения словосочетаний из текста
Построение правил для автоматического извлечения словосочетаний из текстаПостроение правил для автоматического извлечения словосочетаний из текста
Построение правил для автоматического извлечения словосочетаний из текста
 
Котиков Простые методы выделения ключевых слов и построения рефератов
Котиков Простые методы выделения ключевых слов и построения рефератовКотиков Простые методы выделения ключевых слов и построения рефератов
Котиков Простые методы выделения ключевых слов и построения рефератов
 
Мищенко. Методы автоматического определения наиболее частотного значения слова.
Мищенко. Методы автоматического определения наиболее частотного значения слова.Мищенко. Методы автоматического определения наиболее частотного значения слова.
Мищенко. Методы автоматического определения наиболее частотного значения слова.
 
Извлечение терминологических словосочетаний из текстов
Извлечение терминологических словосочетаний из текстовИзвлечение терминологических словосочетаний из текстов
Извлечение терминологических словосочетаний из текстов
 
Ontologies for Information Extraction
Ontologies for Information ExtractionOntologies for Information Extraction
Ontologies for Information Extraction
 
Можарова Тематические модели: учет сходства между униграммами и биграммами.
Можарова Тематические модели: учет сходства между униграммами и биграммами.Можарова Тематические модели: учет сходства между униграммами и биграммами.
Можарова Тематические модели: учет сходства между униграммами и биграммами.
 
Иванов. Автоматизация построения предметных указателей
Иванов. Автоматизация построения предметных указателейИванов. Автоматизация построения предметных указателей
Иванов. Автоматизация построения предметных указателей
 
Комбинирование факторов для разрешения референции местоимений
Комбинирование факторов для разрешения референции местоименийКомбинирование факторов для разрешения референции местоимений
Комбинирование факторов для разрешения референции местоимений
 
Реализация метода автоматического разрешения лексической многозначности
Реализация метода автоматического разрешения лексической многозначностиРеализация метода автоматического разрешения лексической многозначности
Реализация метода автоматического разрешения лексической многозначности
 
Автоматическое формирование базы знаний для задачи анализа мнений
Автоматическое формирование базы знаний для задачи анализа мненийАвтоматическое формирование базы знаний для задачи анализа мнений
Автоматическое формирование базы знаний для задачи анализа мнений
 
Konstantion Vorontsov - Additive regularization of matrix decompositons and p...
Konstantion Vorontsov - Additive regularization of matrix decompositons and p...Konstantion Vorontsov - Additive regularization of matrix decompositons and p...
Konstantion Vorontsov - Additive regularization of matrix decompositons and p...
 
07 автоматическое реферирование
07 автоматическое реферирование07 автоматическое реферирование
07 автоматическое реферирование
 
Системы аннотирования и реферирования
Системы аннотирования и реферированияСистемы аннотирования и реферирования
Системы аннотирования и реферирования
 
clasification
clasificationclasification
clasification
 
Information Extraction Overview
Information Extraction OverviewInformation Extraction Overview
Information Extraction Overview
 
Ainl 2013 bogatyrev_математическая и лингвистическая
Ainl 2013 bogatyrev_математическая и лингвистическаяAinl 2013 bogatyrev_математическая и лингвистическая
Ainl 2013 bogatyrev_математическая и лингвистическая
 
Системы автоматического составления обзорных рефератов
Системы автоматического составления обзорных рефератовСистемы автоматического составления обзорных рефератов
Системы автоматического составления обзорных рефератов
 
Web-01-Basic PHP
Web-01-Basic PHPWeb-01-Basic PHP
Web-01-Basic PHP
 
17.03 большакова
17.03 большакова17.03 большакова
17.03 большакова
 

Similar to Методы морфологического анализа текстов

построение правил для автоматического извлечения словосочетаний из текста
построение правил для автоматического извлечения словосочетаний из текстапостроение правил для автоматического извлечения словосочетаний из текста
построение правил для автоматического извлечения словосочетаний из текстаYury Katkov
 
Автоматическое извлечение синтаксических контекстов из текстовой коллекции
Автоматическое извлечение синтаксических контекстов из текстовой коллекцииАвтоматическое извлечение синтаксических контекстов из текстовой коллекции
Автоматическое извлечение синтаксических контекстов из текстовой коллекции
Спецсеминар "Искусственный Интеллект" кафедры АЯ ВМК МГУ
 
Программные средства выявления теминологических вариантов в текстах
Программные средства выявления теминологических вариантов в текстахПрограммные средства выявления теминологических вариантов в текстах
Программные средства выявления теминологических вариантов в текстах
Спецсеминар "Искусственный Интеллект" кафедры АЯ ВМК МГУ
 
Автоматическая коррекция ошибок сочетаемости слов в текстах на естественном я...
Автоматическая коррекция ошибок сочетаемости слов в текстах на естественном я...Автоматическая коррекция ошибок сочетаемости слов в текстах на естественном я...
Автоматическая коррекция ошибок сочетаемости слов в текстах на естественном я...
Спецсеминар "Искусственный Интеллект" кафедры АЯ ВМК МГУ
 
Zadanie 24. varianty_1-12
Zadanie 24. varianty_1-12Zadanie 24. varianty_1-12
Zadanie 24. varianty_1-12
Roman-13
 
Модули автоматической обработки текстов в проекте aot.ru
Модули автоматической обработки текстов в проекте aot.ruМодули автоматической обработки текстов в проекте aot.ru
Модули автоматической обработки текстов в проекте aot.ru
Спецсеминар "Искусственный Интеллект" кафедры АЯ ВМК МГУ
 
ПРОБЛЕМЫ ПОПОЛНЕНИЯ СЕМАНТИЧЕСКОГО СЛОВАРЯ
ПРОБЛЕМЫ ПОПОЛНЕНИЯ СЕМАНТИЧЕСКОГО СЛОВАРЯПРОБЛЕМЫ ПОПОЛНЕНИЯ СЕМАНТИЧЕСКОГО СЛОВАРЯ
ПРОБЛЕМЫ ПОПОЛНЕНИЯ СЕМАНТИЧЕСКОГО СЛОВАРЯ
ITMO University
 
лекция 5 тема 1
лекция 5 тема 1лекция 5 тема 1
лекция 5 тема 1Noobie312
 
АОТ - Введение
АОТ - ВведениеАОТ - Введение
АОТ - Введениеeibolshakova
 
Системы автоматического синтеза речи
Системы автоматического синтеза речиСистемы автоматического синтеза речи
Системы автоматического синтеза речиArtem Lukanin
 
Программные средства поддержки словаря буквенных и морфемных паронимов
Программные средства поддержки словаря буквенных и морфемных паронимовПрограммные средства поддержки словаря буквенных и морфемных паронимов
Программные средства поддержки словаря буквенных и морфемных паронимов
Спецсеминар "Искусственный Интеллект" кафедры АЯ ВМК МГУ
 
гибридная технология перевода. юлия епифанцева. зал.4
гибридная технология перевода. юлия епифанцева. зал.4гибридная технология перевода. юлия епифанцева. зал.4
гибридная технология перевода. юлия епифанцева. зал.4rit2011
 
Презентация PROMT для РИТ
Презентация PROMT для РИТПрезентация PROMT для РИТ
Презентация PROMT для РИТ
QPsoft
 
Предварительная обработка и разметка корпуса текстов
Предварительная обработка и разметка корпуса текстовПредварительная обработка и разметка корпуса текстов
Предварительная обработка и разметка корпуса текстовArtem Lukanin
 

Similar to Методы морфологического анализа текстов (20)

построение правил для автоматического извлечения словосочетаний из текста
построение правил для автоматического извлечения словосочетаний из текстапостроение правил для автоматического извлечения словосочетаний из текста
построение правил для автоматического извлечения словосочетаний из текста
 
Автоматическое извлечение синтаксических контекстов из текстовой коллекции
Автоматическое извлечение синтаксических контекстов из текстовой коллекцииАвтоматическое извлечение синтаксических контекстов из текстовой коллекции
Автоматическое извлечение синтаксических контекстов из текстовой коллекции
 
RussNet
RussNetRussNet
RussNet
 
Программные средства выявления теминологических вариантов в текстах
Программные средства выявления теминологических вариантов в текстахПрограммные средства выявления теминологических вариантов в текстах
Программные средства выявления теминологических вариантов в текстах
 
Автоматическая коррекция ошибок сочетаемости слов в текстах на естественном я...
Автоматическая коррекция ошибок сочетаемости слов в текстах на естественном я...Автоматическая коррекция ошибок сочетаемости слов в текстах на естественном я...
Автоматическая коррекция ошибок сочетаемости слов в текстах на естественном я...
 
Zadanie 24. varianty_1-12
Zadanie 24. varianty_1-12Zadanie 24. varianty_1-12
Zadanie 24. varianty_1-12
 
Puls Russian
Puls RussianPuls Russian
Puls Russian
 
Модули автоматической обработки текстов в проекте aot.ru
Модули автоматической обработки текстов в проекте aot.ruМодули автоматической обработки текстов в проекте aot.ru
Модули автоматической обработки текстов в проекте aot.ru
 
ПРОБЛЕМЫ ПОПОЛНЕНИЯ СЕМАНТИЧЕСКОГО СЛОВАРЯ
ПРОБЛЕМЫ ПОПОЛНЕНИЯ СЕМАНТИЧЕСКОГО СЛОВАРЯПРОБЛЕМЫ ПОПОЛНЕНИЯ СЕМАНТИЧЕСКОГО СЛОВАРЯ
ПРОБЛЕМЫ ПОПОЛНЕНИЯ СЕМАНТИЧЕСКОГО СЛОВАРЯ
 
лекция 5 тема 1
лекция 5 тема 1лекция 5 тема 1
лекция 5 тема 1
 
Программная поддержка морфемного словаря
Программная поддержка морфемного словаряПрограммная поддержка морфемного словаря
Программная поддержка морфемного словаря
 
АОТ - Введение
АОТ - ВведениеАОТ - Введение
АОТ - Введение
 
Masa
MasaMasa
Masa
 
Системы автоматического синтеза речи
Системы автоматического синтеза речиСистемы автоматического синтеза речи
Системы автоматического синтеза речи
 
Slovar pr. metodol
Slovar pr. metodolSlovar pr. metodol
Slovar pr. metodol
 
Программные средства поддержки словаря буквенных и морфемных паронимов
Программные средства поддержки словаря буквенных и морфемных паронимовПрограммные средства поддержки словаря буквенных и морфемных паронимов
Программные средства поддержки словаря буквенных и морфемных паронимов
 
Promt
PromtPromt
Promt
 
гибридная технология перевода. юлия епифанцева. зал.4
гибридная технология перевода. юлия епифанцева. зал.4гибридная технология перевода. юлия епифанцева. зал.4
гибридная технология перевода. юлия епифанцева. зал.4
 
Презентация PROMT для РИТ
Презентация PROMT для РИТПрезентация PROMT для РИТ
Презентация PROMT для РИТ
 
Предварительная обработка и разметка корпуса текстов
Предварительная обработка и разметка корпуса текстовПредварительная обработка и разметка корпуса текстов
Предварительная обработка и разметка корпуса текстов
 

More from Спецсеминар "Искусственный Интеллект" кафедры АЯ ВМК МГУ

More from Спецсеминар "Искусственный Интеллект" кафедры АЯ ВМК МГУ (20)

Баев. Поиск шаблонов и машинное обучение для демографических событий (Pattern...
Баев. Поиск шаблонов и машинное обучение для демографических событий (Pattern...Баев. Поиск шаблонов и машинное обучение для демографических событий (Pattern...
Баев. Поиск шаблонов и машинное обучение для демографических событий (Pattern...
 
Муромцев. Методы анализа социальных графов и поиска сообществ
Муромцев. Методы анализа социальных графов и поиска сообществМуромцев. Методы анализа социальных графов и поиска сообществ
Муромцев. Методы анализа социальных графов и поиска сообществ
 
Рой. Аспектный анализ тональности отзывов
Рой. Аспектный анализ тональности отзывов Рой. Аспектный анализ тональности отзывов
Рой. Аспектный анализ тональности отзывов
 
Лукьяненко. Извлечение коллокаций из текста
Лукьяненко. Извлечение коллокаций из текстаЛукьяненко. Извлечение коллокаций из текста
Лукьяненко. Извлечение коллокаций из текста
 
Можарова. Автоматическое извлечение именованных сущностей методами машинного ...
Можарова. Автоматическое извлечение именованных сущностей методами машинного ...Можарова. Автоматическое извлечение именованных сущностей методами машинного ...
Можарова. Автоматическое извлечение именованных сущностей методами машинного ...
 
Сапин. Интеллектуальные агенты и обучение с подкреплением
Сапин. Интеллектуальные агенты и обучение с подкреплениемСапин. Интеллектуальные агенты и обучение с подкреплением
Сапин. Интеллектуальные агенты и обучение с подкреплением
 
Смолина Пользовательские интерфейсы систем лингвистической разметки текстов
Смолина Пользовательские интерфейсы систем лингвистической разметки текстовСмолина Пользовательские интерфейсы систем лингвистической разметки текстов
Смолина Пользовательские интерфейсы систем лингвистической разметки текстов
 
Багдатов Методы автоматического выявления плагиата в текстах компьютерных про...
Багдатов Методы автоматического выявления плагиата в текстах компьютерных про...Багдатов Методы автоматического выявления плагиата в текстах компьютерных про...
Багдатов Методы автоматического выявления плагиата в текстах компьютерных про...
 
Тодуа. Сериализация и язык YAML
Тодуа. Сериализация и язык YAMLТодуа. Сериализация и язык YAML
Тодуа. Сериализация и язык YAML
 
Савкуев. Построение формального описания фотографий на основе контекстно-собы...
Савкуев. Построение формального описания фотографий на основе контекстно-собы...Савкуев. Построение формального описания фотографий на основе контекстно-собы...
Савкуев. Построение формального описания фотографий на основе контекстно-собы...
 
Савостин. Системы и методы научного поиска и мониторинга
Савостин. Системы и методы научного поиска и мониторингаСавостин. Системы и методы научного поиска и мониторинга
Савостин. Системы и методы научного поиска и мониторинга
 
Мадорский. Извлечение тематически сгруппированных ключевых терминов из тексто...
Мадорский. Извлечение тематически сгруппированных ключевых терминов из тексто...Мадорский. Извлечение тематически сгруппированных ключевых терминов из тексто...
Мадорский. Извлечение тематически сгруппированных ключевых терминов из тексто...
 
Панфилов. Корпусы текстов и принципы их создания
Панфилов. Корпусы текстов и принципы их созданияПанфилов. Корпусы текстов и принципы их создания
Панфилов. Корпусы текстов и принципы их создания
 
Муромцев. Обзор библиографических менеджеров
Муромцев. Обзор библиографических менеджеровМуромцев. Обзор библиографических менеджеров
Муромцев. Обзор библиографических менеджеров
 
Баев Системы для обучения программированию
Баев Системы для обучения программированиюБаев Системы для обучения программированию
Баев Системы для обучения программированию
 
Иванов. Модель Belief-Desire-Intention (BDI)
Иванов. Модель Belief-Desire-Intention (BDI)Иванов. Модель Belief-Desire-Intention (BDI)
Иванов. Модель Belief-Desire-Intention (BDI)
 
Тодуа. Методы разработки интерпретатора языка Рефал-2
Тодуа. Методы разработки интерпретатора языка Рефал-2Тодуа. Методы разработки интерпретатора языка Рефал-2
Тодуа. Методы разработки интерпретатора языка Рефал-2
 
смирнов Data mining
смирнов Data miningсмирнов Data mining
смирнов Data mining
 
рогова обзор средств поддержки обучения программированию
рогова обзор средств поддержки обучения программированиюрогова обзор средств поддержки обучения программированию
рогова обзор средств поддержки обучения программированию
 
курышев рекомендательные системы
курышев рекомендательные системыкурышев рекомендательные системы
курышев рекомендательные системы
 

Методы морфологического анализа текстов

  • 1. Методы морфологического анализа текстов Корищенко Д.К. 424 группа. 23.03.2010
  • 2.
  • 3.
  • 4.
  • 5. Пример морфологического словаря системы АОТ Таблица Lemmata  содержит перечень всех лемм данного словаря, для каждой леммы даны ее свойства: 1.      псевдооснова  слова (общая для всех словоформ данного слова подстрока), 2.      ссылка на набор окончаний 3.      ссылка на набор ударений 4.      ссылка на набор приставок 5.      ссылка на пользовательскую сессию, при которой была внесено последнее изменение этой записи 6.      cсылка на общие граммемы данной леммы Таблица FlexiaModels cодержит перечень возможных окончаний всех лемм. 1.  Поле PrefixStr содержит префикс данной словоформы (возможно, пустой) 2.      Поле FlexiaStr содержит окончание данной словоформы (возможно, пустое) 3.      Поле  Ancode содержит морфологическую интерпретацию данной словоформы. Таблица AccentModels содержит перечень возможных номеров ударных гласных для словоформ.   Таблица Ancodes содержит все возможные морфологические интерпретации. Поле PartOfSpeech содержит часть речи (C,Г,П,...), а полеGrammems набор граммем, типа «мр,но,ед,им».
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.
  • 18.
  • 19.
  • 20.