Download as PDF, PPTX
Uploaded by2ГИС Технологии
«Дорожная сеть в графовой базе данных Neo4j» — Вадим Шашенко, 2ГИС
Документ обсуждает создание и оптимизацию дорожной сети в графовой базе данных Neo4j, включая проверку связности графа и использование алгоритмов обхода. В нем представлены характеристики дорожной сети, проблемы старой системы и преимущества использования Neo4j, такие как быстрая обработка данных. В итоге автор рекомендует Neo4j для работы с большими графами из-за его rich функционала и активной поддержки сообщества.
«Дорожная сеть в графовой базе данных Neo4j» — Вадим Шашенко, 2ГИС
- 1. Дорожная сеть вграфовой базе данных Neo4j Вадим Шашенко 2gis.ru @rnd2gis
- 2.
- 3.
- 4.
- 5.
- 6. Проверка графа насвязность • Существование маршрута между двумя любыми вершинами • Алгоритм требует обхода всех вершин и всех ребер • Параметризация проверки (тип транспорта, время) 6
- 7.
- 8.
- 9.
- 10.
- 11.
- 12. Всё вместе Всё покрытие2ГИС • 85 городов России (все с нас. более 300 тыс.) • 3 города Казахстана • 2 города Украины • 1 город Италии и Кипра Ждем новые города с плотной дорожной сетью 12
- 13. Характеристики графа • 2.3млн вершин • 5.5 млн ребер • 9 млн атрибутов Это стартовые данные 13
- 14. Проблема На нашей старойсистеме проверка связности на Москве: • Без параметров – 30 минут • С параметрами – 4-6 часов 14
- 15. Проблема Данных много Хочется: • Меньшеожидание пользователя • Больше rps Поэтому нам нужна быстрая обработка графа 15
- 16. Задача • Геометрия дорожнойсети в реляционной БД • Проверка на связность • Делать это быстро • Частые запуски проверок • Часто меняющийся граф 16
- 17.
- 18. Решения на RDBMS •Закачать весь граф в память (pgRouting) • Быстрый обход графа • Ограничены памятью • Геометрия в БД меняется 18
- 19. Решения на RDBMS •Закачать весь граф в память (pgRouting) • Быстрый обход графа • Ограничены памятью • Геометрия в БД меняется • Работать в таблице ребер (рекурсивный поиск ребра в таблице) • Не ограничены памятью • Очень медленный обход графа 19
- 20. Обход графа втаблице 20
- 21. Решения на RDBMS •Закачать весь граф в память (pgRouting) • Быстрый обход графа • Ограничены памятью • Геометрия в БД меняется • Работать в таблице ребер (рекурсивный поиск ребра в таблице) • Очень медленный обход графа • Не ограничены памятью Наша старая система - схожий с RDBMS принцип - 30 минут 21
- 22. Решения на NoSQL– графовая база данных Neo4j • Загрузили все наши данные • Потестировали алгоритмы обхода графа 22
- 23. Решения на NoSQL– графовая база данных Neo4j • Загрузили все наши данные • Потестировали алгоритмы обхода графа • Обход графа поиском в глубину – 1 мин • Проверка связности графа на Москве – 15 секунд • Проверка связности всего графа – 10 мин • Не зависит от количества данных в хранилище 23
- 24. Проверка на связностьМосквы 24
- 25. Обход графа RDBMSvs Neo4j VS 25
- 26. Обзор Neo4j • Естественнаяработа с математическим графом • Вершины, ребра, атрибуты • Язык запросов cypher • Индексы на значения атрибутов • ACID • REST API. Веб-админка • Расширения-плагины • Open source. Java. 26
- 27. Почему именно Neo4j •Самая популярная из графовых баз данных • Богатый функционал • Активная разработка • Живое сообщество • Готовые сторонние расширения: пространственный индекс, разные алгоритмы на графе, импортер из csv. • Коннекторы из множества языков программирования 27
- 28. Недостатки Neo4j • Нетгоризонтального масштабирования • Удаление из бд не освобождает место на диске (требуется рестарт) 28
- 29.
- 30. Возможные оптимизации • Разбиениена подграфы • Иерархичность 30
- 31. Мы довольны • Будемпродолжать использовать • Будем наблюдать за поведением с ростом данных 31
- 32. Итог Есть много данных,которые можно представить графом? Нужна быстрая работа графовых алгоритмов? Стоит попробовать Neo4j. 32
- 33.