La démystification
du Big Data
Benjamin Guinebertière
Technical Evangelist
Microsoft France
@benjguin

François Simoës
V-T...
Donnez votre avis !
Depuis votre smartphone sur :
http://notes.mstechdays.fr
De nombreux lots à gagner toute les heures !!...
Master Chief utilise
Big Data
 Une analyse du jeu permet de
détecter les tricheurs et améliore
l'expérience pour tous
 P...
Big Data – tendances du marché
Grands volumes de données

Nombreux types de
données

Coûts du stockage et des
matériels

#...
Plateforme Big Data de Microsoft – vue d’ensemble
Volume x Variété x Vélocité x Visualisation = Valeur

Architecture/Azure...
Hadoop ouvert,
partenariat stratégique Hortonworks
HDInsight

#mstechdays

+

Hortonworks
Data Platform
for Windows

Archi...
Map/Reduce: Word Count

Extrait de « Hadoop Tutorial from Yahoo!" (Yahoo! Inc.) / CC BY 3.0 »

#mstechdays

Architecture/A...
Hive

#mstechdays

Architecture/Azure/Cloud
HDInsight
Nœud
de
sécurité

Nœud de
tête
Stockage Windows
Azure

 Gérez des données de tous types
et toutes tailles
 Séc...
Architecture

#mstechdays

Architecture/Azure/Cloud
Cas d’usage : APVX

#mstechdays

Aide a la Prévision
des Ventes

Architecture/Azure/Cloud
Cas d’usage : APVX

#mstechdays

Architecture/Azure/Cloud
HDINSIGHT
• Création d’un cluster
• Hive : Table Externe - Table Interne – View - UDF
…
• Sqoop : Transfert
#mstechdays

A...
SSIS HDInsight Tasks

BI & POWER BI
• Automatisation : SSIS & PowerShell
• Power Pivot, Power Query
• Power View, Power Q&...
V-TRAFFIC

Notre Ambition : Offrir les informations les plus pertinentes et
fiables pour le confort des utilisateurs, sur ...
#mstechdays

Architecture/Azure/Cloud
V-Traffic
Récolte des
données avec
plus de 100
sources

Publiques
Privées
FCD/FMD
TIC
Partenariats

#mstechdays

Spécialis...
Utilisations des véhicules traceurs (FCD) - Suivi de
véhicule
4. Suivi du véhicule : localisation sur le réseau
routier

3...
Cartographie du trafic routier avec FCD:
Exemple : une journée de conditions de circulation à Toulouse 7h-21h (25/05/2010)...
Cartographie du trafic routier avec FCD:
Exemple : une journée de conditions de circulation à Toulouse 7h-21h (25/05/2010)...
HDInsight pour V-Traffic
• Localisation de chaque position dans une des
36000 villes de France
• 1 job Hive qui réalise 3 ...
DÉMO

#mstechdays

Architecture/Azure/Cloud
Architecture

#mstechdays

Architecture/Azure/Cloud
Visualisation/Résultat SSRS

#mstechdays

Architecture/Azure/Cloud
Benchmarks / Performances
30
29
28
27
26
25
24
23
22
21
20
19
18
17
16
15
14
13
12
11
10
9
8
7
6
5
4
3
2
1
0

29

77 milli...
Benchmarks / Performances
120
115
110
105
100
95
90
85
80
75
70
65
60
55
50
45
40
35
30
25
20
15
10
5
0

7,389 €/h

4,767 ...
29 Mars 2014

http://bit.ly/GWAB2014Paris
Testez dès maintenant Windows Azure !
MSDN:

Partenaires:

http://aka.ms/MSDN/Avantages/Abo

150€ de
ressources

http://ak...
Digital is
business
La démystification du Big Data
Upcoming SlideShare
Loading in …5
×

La démystification du Big Data

2,467 views

Published on

L'idée de la session est de démystifier les BigData et plus précisément HDInsight en montrant des exemples concrets d'utilisation. Cette session s’adresse aux consultants BI et aux désireux de connaitre la solution BigData de Microsoft ainsi qu'aux architectes SI. Au programme : présentation de l’offre BigData de Microsoft (HDInsight OnPremise ou dans Windows Azure), les outils du monde Hadoop (Hive, Pig, HBase), la place du Framework Hadoop dans nos systèmes d’informations, des cas d’utilisation et des démonstrations. V-Traffic viendra également nous présenter comment ils utilisent HDInsight !

Speakers : Benjamin Guinebertière (Microsoft), François Simoës (v-traffic), Romain Casteres (DCube (Microsoft Partner)), Yazid Moussaoui (DCube (Microsoft Partner))

Published in: Technology
  • Be the first to comment

La démystification du Big Data

  1. 1. La démystification du Big Data Benjamin Guinebertière Technical Evangelist Microsoft France @benjguin François Simoës V-Traffic ( Mediamobile) www.v-traffic.com Romain Casteres MVP SQL Server Consultant BI @PulsWeb Sébastien Etcheverry V-Traffic ( Mediamobile) www.v-traffic.com Architecture/Azure/Cloud
  2. 2. Donnez votre avis ! Depuis votre smartphone sur : http://notes.mstechdays.fr De nombreux lots à gagner toute les heures !!! Claviers, souris et jeux Microsoft… Merci de nous aider à améliorer les Techdays ! #mstechdays Architecture/Azure/Cloud
  3. 3. Master Chief utilise Big Data  Une analyse du jeu permet de détecter les tricheurs et améliore l'expérience pour tous  Permet des campagnes ciblées qui améliorent la fidélisation des clients
  4. 4. Big Data – tendances du marché Grands volumes de données Nombreux types de données Coûts du stockage et des matériels #mstechdays Création des données en temps réel Attentes des utilisateurs Architecture/Azure/Cloud
  5. 5. Plateforme Big Data de Microsoft – vue d’ensemble Volume x Variété x Vélocité x Visualisation = Valeur Architecture/Azure/Cloud MARKETPLACE #mstechdays SERVICES ET DONNEES EXTERNES Polybase
  6. 6. Hadoop ouvert, partenariat stratégique Hortonworks HDInsight #mstechdays + Hortonworks Data Platform for Windows Architecture/Azure/Cloud
  7. 7. Map/Reduce: Word Count Extrait de « Hadoop Tutorial from Yahoo!" (Yahoo! Inc.) / CC BY 3.0 » #mstechdays Architecture/Azure/Cloud
  8. 8. Hive #mstechdays Architecture/Azure/Cloud
  9. 9. HDInsight Nœud de sécurité Nœud de tête Stockage Windows Azure  Gérez des données de tous types et toutes tailles  Sécurisez votre cluster Hadoop avec un nœud de sécurité dans HDInsight  Intégration étroite avec la plateforme de données Microsoft #mstechdays Stockage à long terme redondé localement [et géographiquement] Nœuds de traitement, HDFS local hdfs:// Architecture/Azure/Cloud wasb://
  10. 10. Architecture #mstechdays Architecture/Azure/Cloud
  11. 11. Cas d’usage : APVX #mstechdays Aide a la Prévision des Ventes Architecture/Azure/Cloud
  12. 12. Cas d’usage : APVX #mstechdays Architecture/Azure/Cloud
  13. 13. HDINSIGHT • Création d’un cluster • Hive : Table Externe - Table Interne – View - UDF … • Sqoop : Transfert #mstechdays Architecture/Azure/Cloud
  14. 14. SSIS HDInsight Tasks BI & POWER BI • Automatisation : SSIS & PowerShell • Power Pivot, Power Query • Power View, Power Q&A #mstechdays Architecture/Azure/Cloud
  15. 15. V-TRAFFIC Notre Ambition : Offrir les informations les plus pertinentes et fiables pour le confort des utilisateurs, sur ​n’importe quel support #mstechdays Architecture/Azure/Cloud
  16. 16. #mstechdays Architecture/Azure/Cloud
  17. 17. V-Traffic Récolte des données avec plus de 100 sources Publiques Privées FCD/FMD TIC Partenariats #mstechdays Spécialistes en solution d’aide à la mobilité depuis 1996 Analyse, modélisation, traitement et édition Distribution par des multiples canaux RDS TMC DAB GPRS/3G WEB Architecture/Azure/Cloud
  18. 18. Utilisations des véhicules traceurs (FCD) - Suivi de véhicule 4. Suivi du véhicule : localisation sur le réseau routier 3. Mediamobile collecte ces données 5. Détermination de la vitesse du véhicule sur le réseau Lat1,Long1,D1 1. Les taxis envoient leurs positions lors de leurs déplacements via leur GPS et un accès à internet mobile Lat2,Long2,D2 2. Nos fournisseurs récoltent les données de géo-localisation #mstechdays Architecture/Azure/Cloud
  19. 19. Cartographie du trafic routier avec FCD: Exemple : une journée de conditions de circulation à Toulouse 7h-21h (25/05/2010) Fusion Capteurs statiques Véhicules traceurs Diffusion #mstechdays Architecture/Azure/Cloud
  20. 20. Cartographie du trafic routier avec FCD: Exemple : une journée de conditions de circulation à Toulouse 7h-21h (25/05/2010) Fusion Capteurs statiques Véhicules traceurs Diffusion #mstechdays Architecture/Azure/Cloud
  21. 21. HDInsight pour V-Traffic • Localisation de chaque position dans une des 36000 villes de France • 1 job Hive qui réalise 3 tâches : -Load des données dans des tables Hive (external) -Traitement Python ( PointInPolygon) -GroupBy • Le volume : 3777912 véhicules envoient 77 millions de positions pour 30 j • Outil d’aide à la décision( comparer les fournisseurs ) #mstechdays Architecture/Azure/Cloud
  22. 22. DÉMO #mstechdays Architecture/Azure/Cloud
  23. 23. Architecture #mstechdays Architecture/Azure/Cloud
  24. 24. Visualisation/Résultat SSRS #mstechdays Architecture/Azure/Cloud
  25. 25. Benchmarks / Performances 30 29 28 27 26 25 24 23 22 21 20 19 18 17 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 0 29 77 millions de positions en 16 minutes = 80208 points/sec !! 19 16 3 nodes #mstechdays Temps de traitement par cluster 6 nodes 16 16 16 9 nodes 15 nodes 18 nodes 30 nodes Architecture/Azure/Cloud
  26. 26. Benchmarks / Performances 120 115 110 105 100 95 90 85 80 75 70 65 60 55 50 45 40 35 30 25 20 15 10 5 0 7,389 €/h 4,767 €/h 4,052€/h [VALUE] mapMAX 2,622 €/h [VALUE] mapMAX Max MAP Capacity [VALUE] mapMAX 1,907 €/h Real MAP Nb [VALUE] mapMAX Duree (mins) 1,192 €/h [VALUE] mins [VALUE] mapMAX [VALUE] mapMAX [VALUE] mins [VALUE] mins [VALUE] mins [VALUE] mins [VALUE] mins [VALUE] MAP [VALUE] MAP [VALUE] MAP [VALUE] MAP [VALUE] MAP 3 nodes #mstechdays [VALUE] MAP 6 nodes 9 nodes 15 nodes 18 nodes 30 nodes Architecture/Azure/Cloud
  27. 27. 29 Mars 2014 http://bit.ly/GWAB2014Paris
  28. 28. Testez dès maintenant Windows Azure ! MSDN: Partenaires: http://aka.ms/MSDN/Avantages/Abo 150€ de ressources http://aka.ms/Azure/Partner Poursuivez la discussion sur le stand “au coeur du SI” http://aka.ms/free/trial
  29. 29. Digital is business

×