2GIS Machine learning DevDay

1. MACHINE LEARNING

2. МАШИННОЕ ОБУЧЕНИЕ ДЛЯ
АНАЛИЗА ТЕКСТОВ
И ВЕБ-МАЙНИНГА

3. ИВАН БОНДАРЕНКО
АЛЕКСАНДР РАДИОНОВ

4. ТЕОРИЯ

5. ВИДЫ ML
• Статистические методы
• Нейронные сети
• Рассуждения по аналогии
• Деревья решений
• Генетические алгоритмы

6. ИЗВЛЕЧЕНИЕ ФАКТОВ
С САЙТОВ
• Сайты с однотипной структурой
• Разная структура

7. NAMED ENTITY RECOGNITION
• Определяем классы извлекаемых сущностей
• Размечаем учебный и тестовый корпус
• Обучаем алгоритм
• Извлекаем факты из новых страниц

8. ЧТО РАСПОЗНАЁМ?

9. ЧТО РАСПОЗНАЁМ?
ADDR_HOUSE
ADDR_HOUSEADDR_STREET
ADDR_STREET
ADDR_CITY
ADDR_CITY
SCHEDULE
TEL
EMAIL
ORG

10. КАК РАЗМЕЧАЕМ?

11. КОРПУС
• 10 асессоров
• Свыше 20 тыс сущностей 11 классов
• 9 тыс организаций
• 8 тыс адресов
• 500 расписаний
• …

12. BIO-ФОРМАТ
Begin, Inside, Outside
Минздрав B-ORG
Московской I-ORG
области: I-ORG
ул. B-ADDR_STREET
Большая I-ADDR_STREET
Полянка, I-ADDR_STREET
д. B-ADDR_HOUSE
42/2 I-ADDR_HOUSE
1 O
этаж O

13. CONDITIONAL RANDOM FIELDS
y0
y1
y2
yT-1
yT
yT-2
x1
x2
xT-1
xT
xT-2
- вектор признаков t-го слова
- класс t-го слова

14. CONDITIONAL RANDOM FIELDS
- признаки t-го слова
- класс t-го слова

15. ОЦЕНКА КАЧЕСТВА

16. ПОЛНОТА 69.06
ТОЧНОСТЬ 90.69

17. ПРАКТИКА

20. ДАННЫЕ

21. ДАННЫЕ

22. ШИНЫ

23. ДАННЫЕ

24. ДАННЫЕ

25. РЕГУЛЯРКИ
(?<=s|[,(])RE[s|-]?(0[0-9]{2})(?=s|[,)])
s?[VZ]?s?Rs?([0-9]{2}[.,][0-9]{1,2})

26. РЕГУЛЯРКИ
Сотни :(
Полнота ~ 50%
RegEx-Hell

27. ПИОНЕР
Лексикографические признаки
Морфология
Словари
Корни
Суффиксы / Префиксы
Опциональные слова

28. ПОЛНОТА 93.74
ТОЧНОСТЬ 97.14

29. ПОЛНОТА 95.61
ТОЧНОСТЬ 97.52
*
* регулярки ~ 50

31. ЧТО ХОТИМ
• Сверять данные по существующим фирмам
• Искать новые

32. НАМ ПРИХОДИТСЯ
• Скачивать много сайтов
• Рендерить страницы в браузере
• Извлекать новые ссылки
• Распознавать сущности

33. КАК ДЕЛАЕМ
• Docker для контейнеров
• Kubernetes для оркестрирования

34. KUBERNETES

35. АРХИТЕКТУРА
Downloader
Scheduler
Extractor
K
A
F
K
A Saver

36. DOWNLOADER
• Консольный браузер на базе WebKit
• Расстановка ComputedStyle

37. DOWNLOADER
<h1>
Machine Learning
</h1>

38. DOWNLOADER
<h1 dgis-ner-left="230" dgis-ner-top="347" dgis-ner-
width="980" dgis-ner-height="122">
Machine Learning
</h1>

39. EXTRACTOR
Extractor PioNER
POD
RestKafka
Metrics

40. PIONER
• Сборка, тестирование, обучение на коммит
• Сборка Docker, публикация тоже
• Мониторинг качества

41. КАЧЕСТВО

42. КАЧЕСТВО

43. СКОРОСТЬ
Все сайты из 2ГИС выкачиваются и распознаются за 4 дня

44. ДЕМО

45. WE MACHINE LEARNING