Big Data & BI : Retour d'expérience

1,049 views
912 views

Published on

Besoin Clients : APVX
Pourquoi la Big Data ?
Présentation de Hadoop
Offre Microsoft : HDInsight
Complémentarité BI & Big Data
Architecture mise en place
Démos :-)

Published in: Technology
1 Comment
0 Likes
Statistics
Notes
  • Be the first to like this

No Downloads
Views
Total views
1,049
On SlideShare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
38
Comments
1
Likes
0
Embeds 0
No embeds

No notes for slide

Big Data & BI : Retour d'expérience

  1. 1. Les journées SQL Server 2013 Un événement organisé par GUSS #JSS2013
  2. 2. Les journées SQL Server 2013 Romain Casteres MVP SQL Server Consultant BI @PulsWeb Yazid Moussaoui Consultant Senior BI MCSA 2008/2012 Etienne Pommier Ingénieur Etude & Développement .Net Big Data & BI Retour d’expérience Un événement organisé par GUSS #JSS2013
  3. 3. Merci à nos sponsors #JSS2013
  4. 4. Agenda Planning o o o o o o o Besoin Clients : APVX Pourquoi la Big Data ? Présentation de Hadoop Offre Microsoft : HDInsight Complémentarité BI & Big Data Architecture mise en place Démos  #JSS2013
  5. 5. Besoin Client : APVX Aide à la prévision des ventes  Besoin d’analyse des réseaux sociaux  Poids des campagnes réalisées sur les réseaux  Trouver une relation entre les ventes et ce qui se dit sur les réseaux #JSS2013
  6. 6. Pourquoi la Big Data ? Volume, Variété & Vitesse #JSS2013
  7. 7. La tendance #JSS2013
  8. 8. Framework Apache Hadoop  HDFS Ecriture Lecture #JSS2013
  9. 9. Framework Apache Hadoop  Map & Reduce #JSS2013
  10. 10. Apache Hadoop, Hortonworks, Hdinsight Apache Hadoop • • • • • • • • Hive : Gestionnaire des données distribuées (SQL Like) Pig : Scripting ETL Sqoop : Transfer des données entre Hadoop et des SGBDR Hbase : Base de données non relationnelle Hcatalog : services de méta données Mahout : Langage de programmation pour le Machine Learning Flume : Intégrateur de logs Oozie : Ordonnanceur … HDInsight • HDP 1.3 pour Windows  On Azure  On Premise • Scale Out for Pay As You Go • Windows Azure PowerShell • CodePlex .Net SDK • Microsoft Hive ODBC Driver #JSS2013
  11. 11. Plate-forme Big Data Microsoft Volume x Variety x Velocity x Visualization = Value MARKETPLACE SERVICES ET DONNEES EXTERNES Polybase Polybase Native Query #JSS2013
  12. 12. Architecture WASB #JSS2013
  13. 13. Architecture WASB #JSS2013
  14. 14. La solution sur Windows Azure • Un Azure Web Site (ASP .Net MVC 4) • Un Cloud Service • Un Compte de stockage (Tables et Blobs) • Une SQL Database #JSS2013
  15. 15. Le site • Interface de gestion • Azure Active Directory Authentification #JSS2013
  16. 16. Le Cloud Service #JSS2013
  17. 17. RÉCUPÉRATION DE DONNÉES TWITTER #JSS2013
  18. 18. Architecture WASB #JSS2013
  19. 19. Création du cluster HDInsight  Nombre de Nœud  Hive Meta Données  Stockage  Activation de l’accès distant  Installation du Driver Hive ODBC  Linked Server #JSS2013
  20. 20. Hive  Table Externe  Table Interne  UDF : User Defined Functions #JSS2013
  21. 21. Flux des données Windows Azure Storage Blob Azure Network Hadoop On Azure Compute Node #JSS2013
  22. 22. Automatisation via SSIS  Création d’un package SSIS SSIS HDInsight Tasks  Création d’une source de données ODBC http://tinyurl.com/HDInsightSSIS | Livre Blanc HDInsight & Visual Studio : aka.ms/lbhdinsight #JSS2013
  23. 23. Architecture WASB #JSS2013
  24. 24. Exploitation des données 2 scénarios : « BI d’entreprise » ou « BI en Self-Service » BI d’entreprise Integration Services POWER BI Power Query Excel SQL Server Power Pivot Excel SSAS Tabular Power View SharePoint Power View Excel #JSS2013
  25. 25. Integration des données avec SSIS BI d’entreprise SQL Server Integration Services Importation des table Hive vers une base de donnée locale Source : Table Hive SELECT Theater, ScreenAuthorizationNumber, Screen, Title, TitleId FROM lecture Destination : Table SQL Server Connexion ODBC #JSS2013
  26. 26. Analyse et restitution des données Analysis Services • • • Mode Serveur Cube tabulaire Langage DAX SharePoint Server BI d’entreprise SQL Server 2012 Instance Analysis Services Power View for SharePoint • • Intégration à SharePoint Publication et partage • • • Création de rapports en self-service Drag & Drop Analyse des données issues de PowerPivot ou d’Analysis Services PowerPoint • Instance SQL Server DWH #JSS2013
  27. 27. BI en self-service avec Excel 2013 POWER BI Excel 2013 POWER QUERY POWER PIVOT POWER VIEW #JSS2013
  28. 28. Power Query POWER BI • ETL destiné à l’utilisateur • Import Data From Hadoop File (HDFS) From Windows Azure HDInsight #JSS2013
  29. 29. Power Pivot • POWER BI Création du modèle de données à partir de sources distinctes : – Tables SQL Server – Table hive intégrés au modèle via Power Query #JSS2013
  30. 30. Power View • • POWER BI Création de rapport Ad-hoc interactif Source de donnée : – Classeur de Modèle Power Pivot – Modèle Tabulaire SSAS (Power View mode SharePoint) #JSS2013
  31. 31. Questions ? Merci ! #JSS2013 #JSS2013

×