Fact Extraction (ideograph)

Автоматическое извлечение фактов из текста На примере газетных статей Татьяна Ландо ООО «Идеограф»

Что это такое?
Fact extraction (text mining) – автоматическое извлечение из текстов новой, заранее неизвестной информации, для построения фактов.
Примеры фактов:
Установление связей между объектами
Установление свойств объектов
Установление значений параметров

Зачем это надо?
Сокращение трудоемкости при обработке текстов в конкретной предметной области. Популярная область применения:
Медицина, биотехнологии.
Может применяться в:
Поддержка систем принятия решений
Экспертные системы
Базы знаний
Системы документооборота

Пример: текст
«Евросеть», крупнейшая розничная компания СНГ, объявляет о назначении на пост Вице-президента по маркетингу и рекламе компании Андрея Рукавишникова. Оборот компании «Евросеть», в 2006 году составил 4,62 млрд. долларов.

Пример: факты
1. отношения между объектами
Андрей Рукавишников - вице-президент по маркетингу и рекламе компании «Евросеть».
2. свойства объектов
«Евросеть» - крупнейшая розничная компания СНГ
3. значение параметров
Оборот компании «Евросеть» - 4,62 млрд. долларов за 2006 год.

Формулировка задачи
Извлекать факты из газетных текстов.
(Создать базу данных фактов)
На данном этапе стоят задачи:
Отождествлять имена собственные:
Андрей Рукавишников = > человек
«Евросеть» => компания
Устанавливать связи между ними
вице-президент по маркетингу и рекламе = >
=> занимаемая должность

Существующие проекты
Яндекс.Новости – пресс-портреты. http://news.yandex.ru/people/
RCO Fact Extractor http://rco.ru
Интегрум http:// www.integrum.ru /

Зачем еще одна система?
Существующие системы построены практически без использования лингвистических технологий.
Применение лингвистики может
обогатить результаты
сделать их более качественными
придать системе гибкость и расширяемость
Добавляем лингвистику!

определения
Термин – компонент тройки, т.е.единица релевантная для системы, в нашем случае: Имя человека, Название компании, Должность
Элементарный факт - полностью заполненная тройка (Человек, Компания, Должность) должность компания человек

Этапы обработки текста (для любой системы)
Первичная обработка текста (структурирование)
Извлечение фактов, с использованием образцов (паттернов)
Интерпретация результатов

Этапы работы нашей системы
Первичная обработка текста
Токенизация
Парсинг
Извлечение фактов
Идентификация терминов
Построение элементарных фактов
Проверка корректности
Запись в базу данных

Обязательные компоненты
Разбивка текста на слова.
Лемматизация (Нормализация)
приведение слова к начальной (нормальной) форме
Дополнительные компоненты
Частичный синтаксический анализ

- Разбивка текста на слова.
Маркеры:
Пунктуация
Пробелы
Цифры
Проблемы:
Дефисное написание Связь-Банк
Использование пунктуации и цифр в именах собственных заявочный комитет "Сочи-2014"

Лемматизация
Приведение слова к начальной (нормальной) форме
Основная проблема:
Морфологическая неоднозначность директора – ед.ч. Р.п. или мн.ч. Им.п
Способы решения:
Статистический (частотный)
Учет синтаксической информации

Частичный синтаксический анализ
Частичный разбор предложения, установление грамматических связей между словами
Функции:
Снятие морфологической неоднозначности
Первичная идентификация терминов
Метод:
особый формализм для описания естественно-языковых грамматик: AGFL

AGFL
Affix grammar over the finite lattice
Распространяется под свободной лицензией ( GNU GPL )
уже подтверждена перспективность использования (на материале других европейских языков) для представления естественного языка в NLP технологиях
http :// www.agfl.cs.ru.nl / links.html ( примеры)

AGFL
Гибкость и устойчивость системы:
работает не только с предложениями, но и с «сегментами» текста
может обрабатывать грамматически неверные или неполные предложения
разрешение неоднозначности за счет сочетания признаков слов.

AGFL
Двухуровневая контекстно-свободная порождающая формальная грамматика
Морфология
Синтаксис
дополнена решеткой признаков с конечным числом значений.
Признаки:
грамматические категории,
лексико-грамматические разряды частей речи,
любые необходимые формальные характеристики

AGFL : морфологический модуль
задается анализ основных частей речи (существительных, глаголов, прилагательных и наречий).
использует лексикон основ, для которых указаны основные классификационные категории частей речи:
характеристика рода и одушевленности существительных,
лексико-грамматический разряд прилагательных
схема управления глаголов и т. д.
дополнительно используется модуль деривации

AGFL : морфологический модуль
результат работы
приписанная форме слова частеречная характеристика и набор значений морфологических категорий (многозначный – в случае омонимии форм )
встроен в синтаксический модуль
учет локального синтаксического контекста для снятия омонимии
наличие предлогов
соответствия между значениями грамматических категорий
словоформа пути в конструкции в пути получит не 5 интерпретаций в роли существительного а 2 – П.п. ед.ч. и В.п. мн.ч.

AGFL : синтаксический модуль
частотные конструкции словосочетаний,
частотные схемы построения простых предложений
отдельные осложняющие конструкции в простом предложении
ряды
причастные обороты
деепричастные обороты

AGFL : пример
Директора интерпретации :
Р.п. ед.ч., В.п. ед.ч., Им.п. мн.ч.
В заседании приняли(мн.ч) участие директора(мн.ч) крупнейших компаний Петербурга
Он был назначен на должность (управляет Р.п.) директора(Р.п.) по маркетингу.
Вчера совет акционеров снял(требует В.п.) с должности директора(В.п.) по инвестициям.

Парсинг

На основе синтаксических зависимостей между словами делается вывод о том, обозначает ли эта конструкция один термин.
Для имен собственных учитываются так же пунктуация и заглавные буквы, написание латиницей

Поиск опорного элемента
Предикаты
назначить
Маркеры классов
Господин
Компания
Должность
2. Наличие в словаре или онтологии
3. Паттерны / регулярные выражения

Идентификация терминов: пример
Новым директором по финансам и управлению в российском подразделении компании T-Systems назначен Игорь Чупалов
директор по NP(dat)
компания CompanyName
назначен PersonName(Nom)

В реальности: почти неотделимо от предыдущего этапа.
Полный элементарный факт в одном предложении
Особый предикат
Отсутствие предиката
Особый маркер (временной, глагол говорения)

Особый предикат
Новым директором по финансам и управлению в российском подразделении компании T-Systems назначен Игорь Чупалов
Отсутствие предиката
С 1 октября 2007 г. Джонатан Спарроу– генеральный директор Nokia Siemens Networks в России
Особый маркер (время, глагол говорения)
Президент компании «Евросеть» Алексей Чуйкин отметил: <…>

Сложные ситуации:
В предложении содержится неполный факт.
В 1995 году возглавлял отдел маркетинга в компании Rothmans. (Решение: Учет всего абзаца)
В предложении содержится более одного факта.
Ранее г-н Шенделл работал на позиции вице-президента по продажам, а г-н Имс – старшего вице-президента Best Buy (Решение пока не найдено)

Парсинг

Осуществляется с помощью онтологии.
Онтология – формализация некоторой области знаний с помощью концептуальной схемы.
Иерархия понятий (объектов) и заданные отношения между ними.
Подробнее через неделю

С января Donald Ims директор Best Buy.
Donald Ims, Best Buy: человек vs компания?
… годовой оборот Best Buy превышает…
Онтология: у компании есть признак «оборот» = > Best Buy - компания
C января Х директор компании
=> Donald Ims – человек

Запись фактов в базу данных (RDF?)
Организация поиска по базе данных
должность штат компания человек оборот

Использованные технологии
Разработана специальная платформа Ideolog:
Является системой логического вывода,
Полностью создана на основе платформы Java
Имеет классический набор встроенных предикатов, который подойдет для решения любых задач логического вывода.

Ideolog
имеет расширение для работы с типизированными структурами ( TFS ).
является полностью расширяемой и может быть дополнена модулями для решения новых задач
имеет простой механизм пополнения встроенными предикатами, типами данных и т.п.
имеет удобную и наглядную графическую среду

Отличия от остальных систем
Использование формальной грамматики:
Для снятия морфологической омонимии
Для идентификации терминов
Использование онтологии
Не использование статистики и машинного обучения
(планируется на дальнейших стадиях)

Достоинства
Работает для отдельных текстов (не нужен массив для составления статистики)
Легко расширить элементарный факт, подключив, например, учет размера штата или местонахождения компании,
Есть решение, позволяющее автоматически расширять онтологию (в разработке)

Спасибо за внимание!
[email_address]

Полезные ссылки
http://ideograph.ru ООО «Идеограф»
http://www.cs.ru.nl/agfl AGFL
http://www.w3.org/TR/owl-features Онтологии и язык OWL
http://people.ischool.berkeley.edu/~hearst/text-mining.html - Статья Марти Херста об извлечении фактов
http://filebox.vt.edu/users/wfan/text_mining.html Коллекция ссылок по информационному поиску и извлечению фактов

http://mathlingvo.ru	298
http://ahe.org.ru	63
http://shcherbak.net	41
http://www.slideshare.net	39
http://nlpseminar.ru	36
http://www.mathlingvo.ru	22
http://s3.amazonaws.com	1
http://static.slidesharecdn.com	1
http://feeds.feedburner.com	1

Fact Extraction (ideograph)

by NLPseminar on Nov 02, 2007

Accessibility

Tags

Upload Details

Usage Rights

9 Embeds 502

Statistics

Fact Extraction (ideograph) — Presentation Transcript