Владимир Батыгин "Автоматический сбор данных по примерам" Первый Я.Субботник в Санкт-Петербурге О докладе: В настоящее время в интернете можно найти огромное количество полезной информации. Повсеместно встает проблема сбора этой информации в автоматическом режиме. Однако полностью автоматические методы извлечения информации далеко не всегда могут обеспечить необходимую полноту и точность результата. В докладе представлен новый инструмент для управляемого извлечения структурированных данных. Пользователь указывает примеры интересующей его информации на нескольких страницах сайта. Система автоматически строит шаблоны специального вида для поиска такой же информации на всех страницах сайта. Повествуем об используемых алгоритмах и проблемах, с которыми пришлось столкнуться при их реализации. Также даем обзор нерешённых задач и перспектив их развития.

1. Автоматический сбор
данных по примерам
Владимир Батыгин
Разработчик
Я.Субботник, Санкт-Петербург, 26 февраля 2011

2. План
● Введение
● Singlepage
● Алгоритм
● Итоги
2

3. Глава 1.
Введение
3

5. 5

6. 6

7. Вёрстка
7

8. Вёрстка
Разнообразна
8

9. Вёрстка
Разнообразна Часто изменяется
9

10. Специализированные
парсеры
На каждый сайт – свой
10

11. Нужна армия
11

12. Общие алгоритмы
Предполагают наличие
на странице регулярной
структуры
12

13. MDR
13

14. Требования
14

15. Требования
● Простая настройка
● Простая поддержка
15

16. Требования
● Простая настройка
● Простая поддержка
● Высокие показатели полноты и
точности
16

17. Глава 2.
SinglePage
17

18. Управляемая экстракция
1. Пользователь задает примеры
2. Система автоматически извлекает
данные со всего сайта
18

19. Преимущества
● Быстрая настройка
● Не требуется разбираться в структуре
страницы
● Структурированное извлечение нужной
информации
● Устойчивость к изменениям вёрстки
19

20. Ограничения
● Отдельная страница на каждый объект
● Группа страниц с однотипной вёрсткой
20

21. Глава 3.
Алгоритм
21

22. Взгляд внутрь
1. По примерам строим шаблоны (один
атрибут – один шаблон)
2. Применяем шаблоны к остальным
(подходящим) страницам
22

23. 23

24. Интерфейс
24

25. Построение шаблона
25

26. Построение шаблона
Для каждого атрибута строится
отдельный шаблон
26

27. 27

28. //ul/li[3]/span
28

29. 29

30. //ul/li[3]/span
30

31. //ul/li[3]/span Size=20 quad laser...
31

32. TreePattern
32

33. TreePattern
Homeworld: Size: Weapon:
Corellia 26, 7 meters long quad laser
cannons ...
33

34. Построение TreePattern
34

35. Построение TreePattern
35

36. Построение TreePattern
36

37. Построение TreePattern
37

38. Проблема
38

39. Проблема
39

40. Необязательный узел
<h1>
? <span>
[Target]
Driod Control Ship
40

41. Поиск вхождений
41

42. Множественные
вхождения
4 комбинации
Выбираем лучшую
42

43. Применение шаблона к сайту
43

44. Кластеризация
Все страницы
Не
Применяем применяем
шаблоны шаблоны
44

45. Глава 4.
Итоги
45

46. Статистика
Время создания < 20 мин
Полнота: 88% Точность: 92%
46

47. Happy End?
47

48. Нерешенные задачи
● Динамический контент
● Плагин для браузера
48

49. Заключение
Полуавтоматические методы:
● По качеству данных и универсальности
сравнимы со сбором «в ручную»
● Сложность и время настройки
минимальны
49

50. P.S. Экономьте Ваше
время!
50

51. Вопросы
51

52. Батыгин Владимир
Разработчик
111033, Россия, Санкт-Петербург,
Свердловская наб., д. 44.
vbatygin@yandex-team.ru