9 марта 2011 Витвицкий С.В.

1. Витвицкий С.В. Автоматическое извлечение синтаксических контекстов из текстовой коллекции.

6. Извлечение контекстов Пример: Исходный текст обрабатывается синтаксическим анализатором программного средства АОТ

9. Лемматизация Пример: Взятие нормальных форм слов. Проблема неоднозначных слов. Нужны морфологические данные.

12. Синтаксические контексты Пример: СВЕРДЛОВСКИЙ ПРИЛ_СУЩ ОБЛ ПРИЛ_СУЩ ОБЛАСТЬ ПРИЛ_СУЩ ОТДЕЛЕНИЕ ПРИЛ_СУЩ ИСПОЛКОМ ПРИЛ_СУЩ ДЕЛЕГАЦИЯ ПРИЛ_СУЩ БИЗНЕСМЕН ПРИЛ_СУЩ ДУМА ПРИЛ_СУЩ МИЛИЦИОНЕР ПРИЛ_СУЩ КОЛЛЕДЖ ПРИЛ_СУЩ ОТРЯД ПРИЛ_СУЩ МАГИСТРАЛЬ ПРИЛ_СУЩ АГЕНТСТВО ПРИЛ_СУЩ ДОРОГОЙ ПРИЛ_СУЩ ДЕПО ПРИЗ ГЕНИТ_ИГ ВРУЧЕНИЕ ПРИЛ_СУЩ ГЛАВНЫЙ ПРЯМ_ДОП ПОЛУЧИТЬ ПРИЛ_СУЩ ЦЕННЫЙ ГЕНИТ_ИГ ФОНД ПРИЛ_СУЩ ДЕНЕЖНЫЙ … ПРЯМ_ДОП ЗАВОЕВАТЬ ПОДЛ ДОСТАТЬСЯ ПРЯМ_ДОП ЗАСЛУЖИВАТЬ ПРЯМ_ДОП ОТДАТЬ ПРЯМ_ДОП ВРУЧИТЬ ГЕНИТ_ИГ СОИСКАНИЕ

13. Меры подобия слов

14. Меры подобия слов Пример: ВРЕМЕННО Cosine 0,288 ЗНАЧИТ 0,577 ОСКОРБИТЬ 0,707 ПРЕТИТЬ 1 КРАСИВО Dice 0,5 ОСКОРБИТЬ 0,666 ПРЕТИТЬ 1 КРАСИВО … Из-за неоднозначности могут появляться «странные группы» СВЕРДЛОВСКИЙ Cosine 0,273 ВОЛОГОДСКИЙ 0,387 САРАТОВСКИЙ Dice 0,230 ТЮМЕНСКИЙ 0,260 ВОЛОГОДСКИЙ 0,315 САРАТОВСКИЙ Jacard 0,187 САРАТОВСКИЙ … ИЮЛЬ Cosine 0,251 ЯНВАРЬ 0,269 МАЙ 0,272 АВГУСТ 0,301 ИЮНЬ 0,402 АПРЕЛЬ Dice 0,235 ЯНВАРЬ 0,25 МАЙ 0,272 АВГУСТ 0,3 ИЮНЬ 0,4 АПРЕЛЬ …

16. Кластеризация похожих слов Пример:

17. Кластеризация похожих слов Пример:

20. Легкий анализатор Схема 1. Предобработка На этом шаге производятся косметические мероприятия вроде выделения ФИО, удаления переносов и англоязычных слов 2. Сегментация Выделение из текста сегментов, в рамках которых будет производиться поиск пар синтаксических отношений 3. Морфологический анализ Получение морфологической информации и последующая обработка 4. Поиск пар Применение ряда правил, обнаруживающих синтаксические отношения, выделение этих пар в удобную для работы структуру

24. ДЛИННАЯ ЛЮБИМАЯ ДОРОГА (ДЛИННЫЙ, П, («но, од, жр, им, еж»)) (ДОРОГА, С, («жр, им,ед»)) (ЛЮБИМАЯ, С, («жр, им,ед»)) (ЛЮБИТЬ, ПРИЧАСТИЕ, («стр, но,од,нст,жр,им,ед»)) (ЛЮБИМЫЙ, П, («но,од,жр,им,ед»)) (ДОРОГА, КР_ПРИЛ, («но,од,жр,ед»))

25. ДЛИННАЯ ЛЮБИМАЯ ДОРОГА После применения ряда подобных правил приступаем к поиску на обработанном сегменте пар синтаксических отношений (ДЛИННЫЙ, П, («но, од, жр, им, еж»)) (ДОРОГА, С, («жр, им,ед»)) (ЛЮБИМЫЙ, П, («но,од,жр,им,ед»))

26. Поиск пар Порядок выполнения правил важен, пусть и в самой минимальной степени ПРИЛ_СУЩ ГЕНИТ_ИГ ПРЯМ_ДОП ПРОБРОС ГЛАГ_ИНФ ПОДЛ

27. ПРИЛ_СУЩ ДЛИННАЯ ЛЮБИМАЯ ДОРОГА Рассмотренный пример даёт: ПРИЛ_СУЩ ( ДЛИННАЯ ДОРОГА ) ПРИЛ_СУЩ ( ЛЮБИМАЯ ДОРОГА ) СУЩЕСТВИТЕЛЬНОЕ согласованные с существительным ПРИЛАГАТЕЛЬНЫЕ

28. ГЕНИТ_ИГ Обозначим ИГ (именная группа) - существительное с впереди стоящими согласованными прилагательными. ГЛАГОЛ ИГ винительный падеж ИГ родительный падеж ИГ родительный падеж ИГ родительный падеж ИГ первая с начала ИГ именительный падеж

29. ГЛАГ_ИНФ между глаголом и инфинитивом нет ничего ПРЯМ_ДОП между глаголом и существительным прилагательные и наречия ГЛАГОЛ ИНФИНИТИВ ГЛАГОЛ невозвратный СУЩЕСТВИТЕЛЬНОЕ Винительный падеж

30. ПОДЛ До ИГ нет предлога, между ИГ и глаголом нет союза «и», глагол и существительное согласованы и для глагола нет других «кандидатов» - в ИГ самое левое согласованное существительное согласование, нет «и» ГЛАГОЛ ИГ именительныйпадеж ГЛАГОЛ возвратный ИГ именительныйпадеж

32. Формат результата Это конечный автомат БЕРЕТ СУЩЕСТВИТЕЛЬНОЕ 123 БРАТЬ ГЛАГОЛ 566 КРАСИВЫЙ ПРИЛАГАТЕЛЬНОЕ 1235 ПЛАТОК СУЩЕСТВИТЕЛЬНОЕ 435 ПРИЛ_СУЩ 254 ПРЯМ_ДОП 57 ПРЯМ_ДОМ 24 … … …

35. Учёт части речи Пример: brief (noun): affidavit 0.13, petition 0.05, memorandum 0.05, motion 0.05, lawsuit 0.05, deposition 0.05, slight 0.05, prospectus 0.04, document 0.04 paper 0.04, ... brief (verb): tell 0.09, urge 0.07, ask 0.07, meet 0.06, appoint 0.06, elect 0.05, name 0.05, empower 0.05, summon 0.05, overrule 0.04, ... brief (adjective): lengthy 0.13, short 0.12, recent 0.09, prolonged 0.09, long 0.09, extended 0.09, daylong 0.08, scheduled 0.08, stormy 0.07, planned 0.06, ...

36. Кластеризация комитетами список похожих слов для слова suit и кластеры. Пример: suit : lawsuit, jacket, shirt, pant, dress, case, sweater, coat, trouser, claim, business suit, … ( suit Nq34 0.39 (blouse, slack, legging, sweater) Nq137 0.20 (lawsuit, allegation, case, charge) )