1. Автоматический сбор
данных по примерам
Сергей Нурк
Разработчик
YaC, Москва, 1 октября 2010 года

2. План
● Введение
● SinglePage
● Алгоритм
● Итоги
2

3. Глава 1.
Введение
3

5. 5

6. 6

7. Вёрстка
Разнообразна Часто изменяется
7

8. Специализированные
парсеры
На каждый сайт – свой
8

9. Нужна армия
9

10. Общие алгоритмы
Предполагают наличие
на странице регулярной
структуры
10

11. 11
MDR

12. Основные требования
● Простая настройка
● Простая поддержка
● Высокие показатели полноты и
точности
12

13. Глава 2.
SinglePage
13

14. Управляемая экстракция
1. Пользователь задает примеры
2. Система автоматически извлекает
данные со всего сайта
14

15. Взгляд внутрь
1. По примерам строим шаблоны (один
атрибут – один шаблон)
2. Применяем шаблоны к остальным
(подходящим) страницам
15

16. Гипотетические
преимущества
● Быстрая настройка
● Не требуется разбираться в структуре
страницы
● Структурированное извлечение нужной
информации
● Устойчивость к изменениям вёрстки
(пересоздание шаблонов)
16

17. Ограничения
● Отдельная страница на каждый объект
● Группа страниц с однотипной вёрсткой
17

18. Глава 3.
Алгоритм
18

19. Позиционирование
1. Xpath
2. Шаблон в виде дерева
19

20. 20

21. 21
//ul/li[3]/span

22. 22

23. 23
//ul/li[3]/span

24. 24
//ul/li[3]/span Size=20 quad laser...

25. TreePattern
25

26. 26
TreePattern

27. Схема алгоритма
27
● Находим вхождения примеров
● Строим TreePattern, задающий
положение узла
● Применяем TreePattern к
остальным страницам

28. Построение TreePattern
28
● Начинаем от мест вхождения
примеров
● Синхронно движемся по деревьям,
сравнивая узлы
● Накапливаем TreePattern

29. Построение TreePattern
29

30. Построение TreePattern
30 30

31. Построение TreePattern
31 31

32. Построение TreePattern
32 32

33. Построение TreePattern
33 33

34. 34
Проблема

35. Препятствия
● Сложности с вхождением примеров
● Неправильные страницы
35

36. Поиск вхождений
36

37. Множественные
вхождения
4 варианта
Выбираем лучший
37

38. Фильтрация страниц
38
Применяем
шаблоны
Не
применяем
шаблоны
Все страницы

39. Глава 4.
Итоги
39

40. Изменяющийся контент
Изменяется не везде
Хватает информации для формирования
шаблонов
Есть возможность исправить пример
40

41. Статистика
Время создания < 20 мин
Предварительная оценка качества – несколько
секунд
Полнота: 88% Точность: 92%
success
fail
success
fail
41

42. Нерешенные задачи
● Несколько объектов на странице
● Хорошая устойчивость к неоднородной
верстке
42

43. Заключение
Полуавтоматические методы
● По качеству данных и универсальности
сравнимы со сбором «в ручную»
● Сложность и время настройки минимальны
P.S. Экономьте Ваше
время!
43

44. Вопросы
44

45. Нурк Сергей
Разработчик
111033, Россия, Санкт-Петербург,
Свердловская наб., д. 44.
sergeynurk@yandex-team.ru