1. Принципы извлечения и
структурирования информации
из описательного текста
Евгений Ветров

2. Пустой Слайд

3. Data Mining Extraction

4. Извлечение Характеристик
Структурирование

5. Семантическая Разметка

6. The Rock

7. Demo

8. Next Challenge

9. Результат
• ~ 0.015 ER
• В продакшене (beta)

11. Первый Шаг
PoS

12. PoS Tagging
Продаю /Verb
квартиру /Noun
недалеко /Adverb
от /Preposition
Таганки /Proper_Noun

13. Семантический анализ
предложений

15. Стилистика ОЧЕНЬ важна

16. Стилистика. Case #1

17. Стилистика. Case #2

19. Divide et Impera
• Выделение предложений
• Выделение фраз

20. Tokenization
Продаю двухкомнатную квартиру 50 кв.
Продаю /word
двух /number
квартиру /word
50 /number
кв /word
. /point

21. Форматирование текста

22. Punctuation Hell
• 10,000 рублей
• 2.5 млн
• 20,40,30 и 15 м2

23. Значение где-то рядом

24. Вариации имени свойства
апартаменты = квартира = кв.
кв. = квадратный метр
комната = комн. = ком. = к.

25. Синонимы и акронимы
• Словари и Тезаурусы
• Частотный Анализ

26. Частотный анализ

27. Частотный анализ

28. Boolean Features
Продажа… ипотека
Продажа… ипотека невозможна

29. Self descriptive values

30. Исключения из правил
• Ленинская площадь 20
• на 1-ом этаже спортзал

32. Верификация результата
• Инварианты
10 этаж 5 этажного дома
• Регрессионный анализ

33. Типы ошибок извлечения
• Характеристика не извлечена
• Неправильное значение хар-ки
• Несуществующая хар-ка

34. Наборы данных
• Обучающий набор
• Тестовый набор

35. ИТОГО
• Ориентированность на
домен
• Статистика

36. Спасибо!
Буду рад ответить на ваши вопросы:
Евгений Ветров – eugene@choister.net