Trillion graph : Distribuer les données connectées sur des centaines d'instances Neo4j

Neo4j, Inc. All rights reserved 2021
1
The trillion graph
Performances à l’échelle des graphes Neo4j
Nicolas Rouyer
Pre-sales, Neo4j France

2
Question 1
Utilisez vous déjà Neo4j ?
𛲝 édition community
𛲝 édition enterprise
𛲝 non

Actualités Neo4j
Neo4j 4.4

4
Neo4j 4.4
Neo4j 4.4 GA !

5

6
Le rapport Forrester

7
Passage à l’échelle de
Neo4j
Notions de base

Scalabilité - définition
Il n’y a pas de définition canonique. Il faut toujours demander à son
client ce qu’il veut dire.
Notre compréhension: comment le système se comporte-t-il si nous
modifions la charge ? Si nous voulons un débit x2, cela signifie-t-il que
nous avons besoin de 2x les ressources du système ou de 10x les
ressources du système ?
=> il faut parler de la performance à l’échelle !

Quels sont les 3 axes de passage à l’échelle ?
Cela se traduit par les 3 principales composantes d’un serveur,
la RAM, le CPU et l’IO:
● Taille du graphe (noeuds et relations) ⇒ détermine la RAM
(si vous voulez exécuter le programme en cache)
--- 1 graphe avec 1 trillion de relations...
● Nombre et complexité des requêtes ⇒ détermine le nombre et la
puissance des CPUs
● Taux d’écriture ⇒ détermine la puissance IO requise
--- optimiser les requêtes

Performances dans le monde réel avec Neo4j
https://neo4j.com/users/adobe/ https://neo4j.com/users/meredith-corporation/ https://neo4j.com/case-studies/atpco/

Adobe Behance - gain de performance X12600, des millions
d’utilisateurs, TCO divisé par 5, inscription 72% + rapide
18 million
d’utilisateurs Adobe Behance reçoivent des
millions d’alertes via leur fil d’activités, ce qui
permet aux membres du site de partager
leurs travaux et projets, de collaborer et de
communiquer.
CHALLENGE
● Projet de Modernisation “Activity Feed”
MongoDB- 125 Serveurs, 20TB Data
Cassandra- 48 Instances, 50TB Data
● 18 Million Utilisateurs simultanés
● Modèle de données rigide optimisé pour la
lecture
● Utilisation des ressources très ÉLEVÉE
10x
Réduction dans la taille des données vis-à vis
du système Cassandra, plus une réduction 5X
du TCO en production
VÉLOCITÉ À L'ÉCHELLE AVEC Neo4j
● Infrastructure “Activity Feed” réduite à 3
Instances Neo4j
● Elimination des Fan-Outs par rapport au
précédent modèle de données NoSQL
● Réduction de la taille des données de 50TB à
50GB
● TCO /5 par Scalabilité Verticale
● Modèle de données graphe Neo4j Flexible
12600x
Gain de performance sur les mises à jour de
données. Les mises à jour qui prenaient 12 à
30 minutes sur la précédente plateforme de
données s'effectuent désormais en 100 ms
avec Neo4j.
AMÉLIORATION
● Performance à l’Echelle
● Le temps moyen entre l'inscription et l'activité
initiale des utilisateurs est passé de 1,4 s à
400 ms, soit une accélération de 72 % de
l'inscription à l'activité initiale
● Augmentation significative du nombre total
de projets disponibles dans les flux d'activités
des utilisateurs finaux.
“Our infrastructure strategy became more problematic as our app
grew and we added more users and more data,” Fox concluded.
“Neo4j helped to fix the problem. We’ll continue to add more
compelling features to our activity experience, thanks to our new
flexible infrastructure.” - Fox
11

eBay s'appuie sur Neo4j pour optimiser l'expérience de recherche
sur plus de 20 000 produits, 160 millions d'utilisateurs et un demi-milliard de nœuds.
12
20k+
Produits avec >150 000 attributs.
Difficulté à faire fonctionner des
conversations shopbot en parallèle.
CHALLENGE
● Commerce Conversationnel
Sophistiqué
● La majorité du contexte d'achat
est perdue en utilisant la boîte de
recherche standard, ce qui oblige
l'utilisateur à trier les résultats
manuellement
● Passage à l’échelle pour des
conversations sur des milliers de
produits
16 milliards
Relations dans un modèle de données
transactionnel très complexe
● 0,5 milliard de Noeuds
● Tests en charge concluants
● Tests à l’échelle avec dialogues utilisateurs
simultanés sur des milliers de produits
● Le shopbot utilise le graphe de
connaissances Neo4j, l’intelligence
artificielle intégrée, et le traitement
automatique des langues (NLP) pour
converser par la voix
$11 milliards
De ventes mobiles, 160 millions
d’utilisateurs eBay actifs
AMÉLIORATION
● L'application eBay stocke, se souvient et
apprend des interactions passées avec les
acheteurs pour fournir des recommandations
vraiment personnalisées
● Neo4j + des algorithmes de compréhension
du langage naturel (NLU) interprètent
l’orthographe et la grammaire des intentions
des clients afin de faciliter les conversations
autour de l’achat
“Our goal is to bring the best of eBay to your fingertips,
highlighting the best of our inventory, with a focus on fixed-price
items, fast and free shipping, and deals.” – RJ Pittman, SVP, Chief
Product Officer, eBay

Dun & Bradstreet accélère la détection de fraude, de plusieurs jours à
quelques ms, et économise des millions de dollars en manque à gagner !
13
350 millions
D’enregistrements uniques sur les
entreprises, recueillies auprès de
dizaines de milliers de sources, mises
à jour 5 millions de fois par jour
CHALLENGE
● Les organisations doivent faire face à des
coûts élevés et à des retards dans les
nouveaux businesses lorsqu'elles vérifient les
antécédents de leurs clients
● Il faut pouvoir maintenir un temps de
réponse rapide alors même que les données
sont connectées de manière complexe
● Une seule investigation immobilise des
personnes clés pendant 10 à 15 jours, ce qui
entraîne un manque à gagner et rend
difficile le passage à l'échelle.
400 millions
Noeuds connectant 100 millions
d’actionnaires
● Service d’information accéléré
● Modèle de Données Graphe Neo4j
Flexible
● Rentabilité et Croissance à 2 chiffres en
adoptant le nouveau service
.
1,2 milliards X
Change in query responses, going from
10-15 days of skilled manual search to
few milliseconds; enabling faster and
accelerated fraud detection
AMÉLIORATION
● Interrogation accélérée de l’historique
des relations entre dirigeants
d'entreprises et entreprises.
“The Neo4j stack, its network of nodes and connections, mean data can
be surfaced for an individual in milliseconds – that’s a very quick return
of information and was the ideal fit for our needs.” – Paul Westcott,
Senior Product Manager, Compliance, Dun & Bradstreet

Autres cas d’usage
Références

15
• Challenge: Il est difficile de faire des
recommandations à des utilisateurs
anonymes.
• Solution: Connecter les cookies du site et et
des sites tiers en utilisant des algorithmes de
graphes pour créer des profils uniques.
• Résultats :
○ 14B d’enregistrements anonymes
convertis en 163M de profils
utilisateurs uniques
○ Ces profils utilisateur - et les
recommandations personnalisées -
ont permis une augmentation de
612% du trafic web
Meredith Corp
Identifier les profils anonymes

16
ATPCO
Calcul de prix &
Recherche orientée-graphe
● Challenge: Modélisation de variables très
complexes d'itinéraire/de billetterie
● Solution: Utiliser Neo4j pour analyser les
tarifs des compagnies aériennes au travers
de l’écosystème mondial des compagnies
aériennes
● Résultats:
○ Le moteur de tarification est
maintenant au cœur de 5 services
ATPCO aux compagnies aériennes
○ Exposition de données utiles aux
startups via le programme
d’incubation de l’entreprise

17
● Challenge : Gestion de la BOM pour tous
les composants avec les coûts, les
équipements associés et la durée de vie
prévue
● Solution : Déploiement d'un graphe de
connaissances Neo4j qui permet d'effectuer
des commandes, des prévisions
budgétaires et des analyses de type
"what-if".
● Résultats :
○ La commande et le remplacement
des pièces est 7.5x + rapide et +
précis
○ L’analyse rapide “What-If” a permis
de réagir + rapidement à différents
scénarios
US Army
BOM Management

18
• Challenge: Difficulté à identifier les composants
défectueux via des analyses ad hoc sur une
chaîne d'approvisionnement intégrée verticalement
• Solution: Utiliser un graphe de connaissances
pour modéliser et analyser les produits complexes.
• Résultats:
○ Détermination rapide des causes
profondes des problèmes
○ Temps de réponse réduits de 2
minutes à 1 seconde
○ Anti-recommendation utilisant des
algorithmes de graphes pour identifier
et éliminer les mauvaises combinaisons
de composants et faire des économies
Boston Scientific
Recherche de composants défectueux

19
● Challenge: Le marché mondial du transport par
conteneurs représente près de 9 milliards d'€,
mais des itinéraires mal planifiés peuvent faire
perdre du temps, de l'argent et des ressources.
● Solution: OrbitMI utilise les algorithmes de
recherche de chemins de GDS pour planifier les
routes maritimes en fonction des distances, des
coûts et de la logique interne.
● Résultats:
○ GDS permet de planifier les routes
maritimes en moins d’1 seconde
○ La GDS soutient la plateforme
analytique SaaS d'OrbitMI, qui permet
aux utilisateurs d'augmenter leur
productivité de 60 %, d'obtenir un retour
sur investissement de 12 à 16 millions
d'euros et d'économiser plus de 60 000
tonnes d'émissions de carbone.
OrbitMI
Planification et Optimisation des Itinéraires

20
Question 2
Rencontrez-vous des
problématiques de passage à l’
échelle de votre projet de graphes
?
𛲝 oui
𛲝 non
𛲝 je n’ai pas de projet de graphes
pour le moment

Passage à l’échelle des graphes Neo4j
Détails

L'architecture de cluster distribué haute
performance de Neo4j s'adapte à vos
données et aux besoins de votre
entreprise dans des situations réelles, en
minimisant les coûts et le matériel tout en
maximisant les performances sur
l'ensemble des données connectées.
Le Chemin le + court vers le Développement Agile
et les graphes à l’échelle

Optimisation pour des débits très élevés
Pour une croissance sans contraintes de votre base de données
Graphes d’Activité & Comportement
10 Milliards → Trillions
Graphes de Transactions
100 Million → 100 Milliards
Graphes
d’Objets
1M → 1B
Actifs
Actions
Sujets Clusters Répliqués
Clusters Répliqués XXL / Scale-Out
Scale-Out & Sharding
CLÉ pour la Stratégie de Passage à l'Échelle

L'architecture distribuée haute performance de
Neo4j est tolérante aux pannes et garantit
l'intégrité des données (conformité ACID) dans
toutes les topologies, ce qui assure une évolutivité
fiable sans compromettre les performances. Les
sessions stateful, cluster-aware, avec des
connexions cryptées, ne nécessitent pas de load
balancers pour garantir que toutes les demandes
des clients sont redirigées de manière transparente
vers le bon serveur.
Architecture Illimitée pour le Passage à L'Échelle

L'architecture distribuée de Neo4j offre :
Disponibilité Continue pour l’OLTP
• Temps de reprise sur incident +rapide
• Commit garanti dans tout le cluster
lorsqu’une majorité est atteinte
(“consensus commits”)
• Serveurs Core réservés aux
opérations d’écriture, Read Replicas
dédiés
Disponibilité mondiale
• Déploiements multi-datacenter
géo-distribués
Graph Data Science et passage à l’échelle de
l’analytique
• Passage à l'échelle illimité en lecture avec
un seul serveur core, read replicas
illimités.
Clusters hybrides à grande échelle
• Montée en charge quasi illimitée pour les
traitements intensifs en écriture et en
lecture grâce à Neo4j Fabric
• Fabric fournit des capacités de sharding et
de fédération dans des environnements
locaux et géo-distribués.
Vous pouvez monter en charge horizontalement les lectures, c'est-à-dire multiplier par 1000 le
nombre de lectures en ajoutant simplement plus de read replicas.

Le passage à l’échelle horizontal illimité avec Neo4j - Sharding
Une base de données de graphes volumineuse peut comporter un nombre potentiellement illimité de nœuds. La possibilité de
répartir la base de données de graphes sur de nombreux serveurs est donc essentielle pour le passage à l’échelle, ainsi que pour la
prise en charge de cas d'utilisation tels que la conformité aux réglementations sur la confidentialité des données.
Le sharding est la division d'une base de données logique unique en autant de machines physiques que nécessaire. Avec Neo4j,
vous pouvez obtenir un passage à l’échelle horizontal illimité via le sharding pour les applications critiques avec un gain de
performances significatif : de quelques minutes à quelques millisecondes.

Neo4j Fabric
La technologie pour le passage à l’échelle horizontal illimité
et pour le “trillion graph”

28
Question 3
Avez-vous déjà entendu parler de
Neo4j fabric ?
𛲝 oui
𛲝 non
𛲝 qu’est-ce que je fabric ici ?

Neo4j Fabric
Fabric vous permet de bénéficier des avantages suivants :
• Une vue unifiée des données locales et distribuées, accessible
via une unique connexion client et session utilisateur
• Une montée en charge accrue des opérations en
lecture/écriture, du volume de données et du parallélisme
• Un temps de réponse prédictible des requêtes exécutées en
temps normal, pendant une bascule, ou autres changements
d’infrastructure
• La Haute Disponibilité pour les gros volumes de données sans
SPOF
Il existe 2 modes de fonctionnement de Fabric:
● Sharding : Opérer sur un seul grand graphe
● Federation : Interroger des graphes disjoints

Sharding Neo4j permet aux organisations de scinder leurs jeux de données de
graphes à grande échelle en morceaux séparés, plus petits et plus rapides
(shards) et de les stocker en utilisant notre architecture de sharding
distribuée sur plusieurs systèmes. Bien que le stockage physique d'un
ensemble de données de graphes soit réparti sur plusieurs serveurs ou
clusters, la vitesse, la cohérence et l'intégrité des données sont
maintenues.
Pourquoi distribuer un graphe en “shards” :
● Isoler les données pour se conformer à des règlements (GDPR, …)
● Minimiser la latence des requêtes dans diverses régions en
stockant les fragments au plus près des utilisateurs
● Diviser les très grands graphes (des dizaines de milliards de
nœuds) en graphes plus petits, afin de pouvoir fonctionner sur du
matériel de plus petite taille, tout en conservant les performances
souhaitées par les utilisateurs

Fédération
Alors que le sharding divise les graphes, la fédération permet des requêtes
sur des graphes disjoints en rassemblant plusieurs graphes.
Imaginez avoir des graphes dans toute votre organisation, de l'informatique
aux finances, en passant par les opérations, les ventes, les RH, le marketing,
la fabrication, etc. Neo4j exploite la puissance de Cypher, permettant aux
développeurs d'effectuer des requêtes sur ces graphes, même s'ils ont des
schémas différents, comme s'il s'agissait d'un seul grand graphe..
Le résultat : Toutes les données stockées dans l'écosystème de bases de
données de graphes d'une entreprise peuvent désormais être recherchées à
l'aide d'une seule requête Cypher - une capacité tout à fait inédite et
puissante pour le monde des bases de données de graphes.

Modes de déploiement Neo4j Fabric
1. Déploiement Fabric
mono-instance

sans SPOF

pour le passage à l’échelle
sans SPOF

Le “trillion graph”
Comment ça marche ?

Sharding Graphe Natif – Investir dans la Modélisation

Sharding Graphe Natif – Échelle ET Performance AVEC ACID
Size Write Read

Sharding Graphe Natif – LE Passage à l'Échelle !
Size Write Read

39

40
11 Milliards
Noeuds &
Relations
Shard Person 10 Shards Forum
19 Milliards
Noeuds &
Relations

41
11 Milliards
Noeuds &
Relations
19 Milliards
Noeuds &
Relations

11 Milliards
Noeuds &
Relations
42
19 Milliards
Noeuds &
Relations
<20 ms
LATENCY

43

108 Milliards
Noeuds &
Relations
44
19 Milliards
Noeuds &
Relations
<20 ms
LATENCY

45
108 Milliards
Noeuds &
Relations
19 Milliards
Noeuds &
Relations

46
108 Milliards
Noeuds &
Relations
100 Shards Forum
19 Milliards
Noeuds &
Relations

47

48
Shard Person >1000 Shards Forum
19 Milliards
Noeuds &
Relations
<20 ms
LATENCY
1,2 TRILLION
Noeuds &
Relations

49
19 Milliards
Noeuds &
Relations
1,2 TRILLION
Noeuds &
Relations

50
>1000 Shards Forum
19 Milliards
Noeuds &
Relations
1,2 TRILLION
Noeuds &
Relations

Trop beau pour être vrai ?
https://github.com/neo4j/trillion-graph
trillion-graph

NODES 2021
● 1128 shards forum, 1 shard person, 3
processeurs Fabric
● Chaque forum shard contient 900 millions
de relations et 182 millions de noeuds – le
shard person contient 3 milliards de
personnes et 16 milliards de relations
entre eux
● Au global, le jeu de données représente
280 TB, et 1 trillion de relations
● 3 semaines depuis la conception jusqu’au
résultat final
● Coûts : $400/h en fonctionnement max
Record du monde
de BD graphe
(>1 trillion relations)
“100 machines isn’t cool. You know what’s cool? One trillion
relationships.”

NODES 2021
https://neo4j.com/product/neo4j-graph-database/scalability/

54
Question 4
Voulez-vous être contactés à
l’issue de ce webinaire pour votre
projet de graphes ?
𛲝 oui
𛲝 non

55
Références
• https://neo4j.com/product/neo4j-graph-database/scalability/
• https://adamcowley.co.uk/neo4j/sharding-neo4j-4.0/
• https://neo4j.com/blog/getting-started-with-neo4j-fabric/
• https://github.com/neo4j/trillion-graph
• https://neo4j.com/press-releases/forrester-total-economic-impact-study/
• https://neo4j.com/blog/neo4j-4-4-the-fastest-path-to-graph-database-prod
uctivity-generally-available/
• https://neo4j.com/docs/operations-manual/current/fabric/

56
Merci
Contactez-nous
ventes@neo4j.com
nicolas.rouyer@neo4j.com

57
Question 5
Sur une échelle de 1 à 10, ce
webinaire
𛲝 9-10 a répondu à mes attentes
𛲝 6-8 a répondu en partie à mes
attentes
𛲝 3-5 a peu répondu à mes
attentes
𛲝 1-2 n’a pas répondu à mes
attentes

Trillion graph : Distribuer les données connectées sur des centaines d'instances Neo4j

More Related Content

What's hot

Similar to Trillion graph : Distribuer les données connectées sur des centaines d'instances Neo4j

More from Neo4j

Recently uploaded

Trillion graph : Distribuer les données connectées sur des centaines d'instances Neo4j