GAB 2017 PARIS - Azure Data Lake La Big Data 2.0 par Jean-Pierre Riehl et Fabien Adato

Azure Data Lake
La Big Data 2.0
Jean-Pierre Riehl – Fabien Adato

www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
2
Meet the Team
Jean-Pierre Riehl
Practice Manager Data & BI
Fabien Adato
Expert Data & BI
@fabienAD
http://fadata-blog.com
MVP Data Platform
French Data
Community Leader
@djeepy1
http://blog.djeepy1.net
MVP Data Platform

www.azug.fr
3
 Azure Data Lake, c’est quoi ?
 Azure Data Lake Store
 Azure Data Lake Analytics
 Outillage
 Coder en U-SQL
 Etendre ADLA
 ADL avec PowerShell
 Q&R
Agenda

Azure Data Lake, c’est quoi ?

www.azug.fr
5
Un peu d’histoire
Microsoft a besoin
d’une technologie
pour analyser des
Péta-octets de
données
2007-2008
MS Research crée
« Cosmos »
2011-2012
Le phénomène
Big Data démarre

www.azug.fr
6
Solution « Big Data » managée proposée sur Azure
 ADL Store : un système de stockage distribué de type HDFS
 ADL Analytics : un moteur de requêtage « analytique »
 U-SQL : La simplicité du SQL, la puissance de .NET
Azure Data Lake

www.azug.fr
7
Cortana Analytics Suite
Transform data into intelligent action
Business
apps
Custom
apps
Sensors
and devices
People
Automated
Systems
Data Collection ToolsData Collection Tools

www.azug.fr
8
Azure Data Lake
Analytics
Storage
Azure Data Lake
Analytics
Azure Data Lake Store
HDInsight
(“managed clusters”)
U-SQL
Azure Blob

www.azug.fr
10
 Pushing the Limits !!!
 Pas de limite sur les tailles de fichier / stockage
 « massive throughput, low latency »
 Sécurité avancée (type NTFS/POSIX)
 Compatible HDFS, WebHDFS
 « Optimisé pour l’analytique »

www.azug.fr
11
Azure Blob vs. ADL Store
 Le prix :
 ADL : 34€ / To / mois
 Azure Blob : 20€ / To / mois*
* Hot LRS, First 100TB
?

www.azug.fr
12
Focus Sécurité
 Chiffré avec Azure Key Vault
 Authentification moderne (OAuth, MFA, etc.)
 Intégration Azure Active Directory
 Autorisation avec ACL (type POSIX)
 Audit

www.azug.fr
15
Azure Data Lake Analytics
Les arguments Marketing
 “Elastic analytics service”
 “all data, at any size”
 “No Limits to Scale”

www.azug.fr
16
 Service PaaS, serverless
 Mode batch (on parle de « job »)
 Modèle de tarification à l’exécution
 Sécurité et Audit
 Optimisé pour ADL Store
 Langage dédié : U-SQL
Les + :

www.azug.fr
DEMO

www.azug.fr
19
Le language U-SQL
Les basiques de SQL
 Clauses de base
 SELECT, FROM, WHERE
 GROUP BY, JOIN, OVER
 Fonctionne sur des données
structurées et non-structurées
 Modèle relationnel pour les
méta-données
La puissance de .NET
 C# Expressions
 Code Behind
 Types
 Fonctions
 Agrégats
 Extractors / Outputters
 Processors
 Réutilisation d’Assemblies .NET

www.azug.fr
20
Usages U-SQL
Source @DoktorKermit

www.azug.fr
21
Ma 1ere requête U-SQL
@checkins =
EXTRACT [Date] DateTime,
[Checkins] int,
[DenRatio] string, [MayorRatio] string,
[Category] string, [Subcategory] string,
Venue string, Country string, City string,
Latitude string, Longitude string
FROM "/Samples/Data/Djeepy1Foursquare/Export-ADL-20170305.csv"
USING Extractors.Csv(skipFirstNRows : 1);
@resByCat =
SELECT [Category],
COUNT( * ) AS NbCheckins
FROM @checkins
GROUP BY [Category];
OUTPUT @resByCat
TO "/Samples/Data/Djeepy1Foursquare/Out-ByCat-FirstQuery.csv"
USING Outputters.Csv();
Extraction des données
Schema-on-Read
Manipulation des données
Sortie

www.azug.fr
DEMO
Ma 1ere requête U-SQL

www.azug.fr
25
L’exécution d’un job U-SQL
Job
Scheduler &
Queue
Front-EndService
Vertex Execution
Consume
Local
Storage
Data Lake
Store
Author
Plan
Compiler Optimizer
Vertexes
running in
YARN
Containers
U-SQL
Runtime
Optimized
Plan
Vertex Scheduling
On containers
Job Manager
USQL
Compiler
Service &
USQL Catalog

www.azug.fr
26
Plan d’exécution (aka “Job Graph”)
Le job est découpé en
Vertex
Les vertex sont organisés par
“type de travail” (SuperVertex)
“Job Graph”

www.azug.fr
DEMO
Ma 1ere exécution

www.azug.fr
28
Ma première exécution

www.azug.fr
29
Analyse de l’exécution
5 DLAU
allouées
1 DLAU
consommée

www.azug.fr
30
Data Lake Analytical Unit
 ADLAU : unité d’exécution d’un Job
 ADLAU = 1 VM avec 2 cœurs et 6Go de RAM
 Déclaratif : on indique combien d’ADLAU on souhaite
 Les Vertex sont « affectés » sur des ADLAU pour exécution
 La facturation se fait sur les ADLAU allouées

www.azug.fr
31
Tarification

www.azug.fr
33
Visual Studio
 Intellisense
 Exécution locale
 Visualisation des jobs
 Optimisation
 Replay
 Debug
Téléchargez
Azure Data Lake Tools

www.azug.fr
35
Etendre U-SQL avec .NET
 C# Expressions
 UDFs : Fonctions
 UDAGGs : Agrégats
 UDOs : Opérations (Extractors, Outputters)
 PROCESS : traitements

www.azug.fr
DEMO
Etendre U-SQL

www.azug.fr
38
ADL Store - commandes

www.azug.fr
39
ADL Analytics - commandes

www.azug.fr
DEMO
Azure Data Lake & PowerShell

www.azug.fr
41
Merci !
Questions…
…et réponses

www.azug.fr
42
Merci à nos sponsors
PLATINUM
LOCAUX
PARTENAIRES MEDIA

www.azug.fr
43
Sponsors internationaux

www.azug.fr
44
Nous suivre
Facebook
facebook.com/groups/azugfr/
Twitter
twitter.com/AZUGFR
Meetup
meetup.com/AZUG-FR/
LinkedIn
Linkedin.com/inspirasign
Web
www.azug.fr

Merci
d’être venus
A bientôt !

GAB 2017 PARIS - Azure Data Lake La Big Data 2.0 par Jean-Pierre Riehl et Fabien Adato

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to GAB 2017 PARIS - Azure Data Lake La Big Data 2.0 par Jean-Pierre Riehl et Fabien Adato

Similar to GAB 2017 PARIS - Azure Data Lake La Big Data 2.0 par Jean-Pierre Riehl et Fabien Adato (20)

More from AZUG FR

More from AZUG FR (20)

GAB 2017 PARIS - Azure Data Lake La Big Data 2.0 par Jean-Pierre Riehl et Fabien Adato