20 апреля 2010 Витивцкий С.В.

1. Витвицкий С.В. Автоматическая кластеризация близких по смыслу слов

6. Синтаксические контексты Пример: Исходный текст обрабатывается синтаксическим анализатором программного средства АОТ

9. Синтаксические контексты Пример: Взятие нормальных форм слов. Проблема неоднозначных слов.

13. Синтаксические контексты Пример: СВЕРДЛОВСКИЙ ПРИЛ_СУЩ ОБЛ ПРИЛ_СУЩ ОБЛАСТЬ ПРИЛ_СУЩ ОТДЕЛЕНИЕ ПРИЛ_СУЩ ИСПОЛКОМ ПРИЛ_СУЩ ДЕЛЕГАЦИЯ ПРИЛ_СУЩ БИЗНЕСМЕН ПРИЛ_СУЩ ДУМА ПРИЛ_СУЩ МИЛИЦИОНЕР ПРИЛ_СУЩ КОЛЛЕДЖ ПРИЛ_СУЩ ОТРЯД ПРИЛ_СУЩ МАГИСТРАЛЬ ПРИЛ_СУЩ АГЕНТСТВО ПРИЛ_СУЩ ДОРОГОЙ ПРИЛ_СУЩ ДЕПО ВОЛОГОДСКИЙ ПРИЛ_СУЩ ОБЛАСТЬ ПРИЛ_СУЩ ОТДЕЛЕНИЕ ПРИЛ_СУЩ ЛЕСОПРОМЫШЛЕННИК ПРИЛ_СУЩ ОБЛ ПРИЛ_СУЩ ОБЪЕДИНЕНИЕ ПРИЛ_СУЩ МЯСОКОМБИНАТ ПРИЛ_СУЩ МАШИНА ПРИЛ_СУЩ СКОРЫЙ САРАТОВСКИЙ ПРИЛ_СУЩ ОБЛАСТЬ ПРИЛ_СУЩ МЕЧЕТЬ ПРИЛ_СУЩ ОТДЕЛЕНИЕ ПРИЛ_СУЩ ДУМА

14. Синтаксические контексты Пример: ПРИЗ ГЕНИТ_ИГ ВРУЧЕНИЕ ПРИЛ_СУЩ ГЛАВНЫЙ ПРЯМ_ДОП ПОЛУЧИТЬ ПРИЛ_СУЩ ЦЕННЫЙ ГЕНИТ_ИГ ФОНД ПРИЛ_СУЩ ДЕНЕЖНЫЙ … ПРЯМ_ДОП ЗАВОЕВАТЬ ПОДЛ ДОСТАТЬСЯ ПРЯМ_ДОП ЗАСЛУЖИВАТЬ ПРЯМ_ДОП ОТДАТЬ ПРЯМ_ДОП ВРУЧИТЬ ГЕНИТ_ИГ СОИСКАНИЕ СФАЛЬСИФИЦИРОВАТЬ ПОДЛ ОНИ ПРИЛ_СУЩ ВЫБОРЫ ПРЯМ_ДОП РЕЗУЛЬТАТ ПОДЛ ЯНУКОВИЧ ПРИЛ_СУЩ РЕЗУЛЬТАТ ПОДЛ ЦИК ПОДЛ ИТОГ ИЮЛЬ ГЕНИТ_ИГ ГОД ПРИЛ_СУЩ РАНЕНЫЙ ГЕНИТ_ИГ ВЕЩАНИЕ ГЕНИТ_ИГ СЕРЕДИНА ГЕНИТ_ИГ РУБЛЬ ГЕНИТ_ИГ НАЧАЛО ГЕНИТ_ИГ КУЧМА ГЕНИТ_ИГ КОНЕЦ ГЕНИТ_ИГ ЗРИТЕЛЬ

15. Меры подобия слов

16. Меры подобия слов Пример:

17. Меры подобия слов Пример:

18. Меры подобия слов Пример:

21. Кластеризация похожих слов Пример: НАГРАДА 0,28354 ДИПЛОМ ПРИЗ 0,28690 ДИПЛОМ ДИПЛОМ 0,28354 НАГРАДА 0,28690 ПРИЗ

22. Кластеризация похожих слов Пример: СРЕДНЕСРОЧНЫЙ 0,27854 ИНВЕСТИЦИОННЫЙ ИНВЕСТИЦИОННЫЙ 0,27854 СРЕДНЕСРОЧНЫЙ ПЕРЕДАВАТЬ 0,30000 СООБЩАТЬ СООБЩАТЬ 0,30000 ПЕРЕДАВАТЬ ИСКАЗИТЬ 0,38490 СФАЛЬСИФИЦИРОВАТЬ СФАЛЬСИФИЦИРОВАТЬ 0,38490 ИСКАЗИТЬ

23. Кластеризация похожих слов Пример:

24. Кластеризация похожих слов Пример: Поддеревья, полученные из исходного дерева отсечением по неположительному весу

25. Кластеризация похожих слов Пример: Полученные кластеры похожих по смыслу слов

28. Обзор существующих решений Пример: brief (noun): affidavit 0.13, petition 0.05, memorandum 0.05, motion 0.05, lawsuit 0.05, deposition 0.05, slight 0.05, prospectus 0.04, document 0.04 paper 0.04, ... brief (verb): tell 0.09, urge 0.07, ask 0.07, meet 0.06, appoint 0.06, elect 0.05, name 0.05, empower 0.05, summon 0.05, overrule 0.04, ... brief (adjective): lengthy 0.13, short 0.12, recent 0.09, prolonged 0.09, long 0.09, extended 0.09, daylong 0.08, scheduled 0.08, stormy 0.07, planned 0.06, ...

30. Обзор существующих решений Значение коэффициента подобия между тезаурусом авторов и WordNet – 0.297, а между Roget и WordNet – 0 Пример: Тезаурус авторов brief (noun): affidavit 0.13, petition 0.05, memorandum 0.05, motion 0.05, lawsuit 0.05, deposition 0.05, slight 0.05, prospectus 0.04, document 0.04 paper 0.04. WordNet brief (noun): outline 0.96, instrument 0.84, summary 0.84, affidavit 0.80, deposition 0.80, law 0.77, survey 0.74, sketch 0.74, resume 0.74, argument 0.74. Roget brief (noun): recital 0.77, saga 0.77, autobiography 0.77, anecdote 0.77, novel 0.77, novelist 0.77, tradition 0.70, historian 0.70, tale 0.64.

33. Обзор существующих решений Полученный ранее список похожих слов для слова suit и кластеры. Пример: suit : lawsuit, jacket, shirt, pant, dress, case, sweater, coat, trouser, claim, business suit, … ( suit Nq34 0.39 (blouse, slack, legging, sweater) Nq137 0.20 (lawsuit, allegation, case, charge) )