Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Big Data & BI : Retour d'expérience

1,349 views

Published on

Besoin Clients : APVX
Pourquoi la Big Data ?
Présentation de Hadoop
Offre Microsoft : HDInsight
Complémentarité BI & Big Data
Architecture mise en place
Démos :-)

Published in: Technology
  • Be the first to like this

Big Data & BI : Retour d'expérience

  1. 1. Les journées SQL Server 2013 Un événement organisé par GUSS #JSS2013
  2. 2. Les journées SQL Server 2013 Romain Casteres MVP SQL Server Consultant BI @PulsWeb Yazid Moussaoui Consultant Senior BI MCSA 2008/2012 Etienne Pommier Ingénieur Etude & Développement .Net Big Data & BI Retour d’expérience Un événement organisé par GUSS #JSS2013
  3. 3. Merci à nos sponsors #JSS2013
  4. 4. Agenda Planning o o o o o o o Besoin Clients : APVX Pourquoi la Big Data ? Présentation de Hadoop Offre Microsoft : HDInsight Complémentarité BI & Big Data Architecture mise en place Démos  #JSS2013
  5. 5. Besoin Client : APVX Aide à la prévision des ventes  Besoin d’analyse des réseaux sociaux  Poids des campagnes réalisées sur les réseaux  Trouver une relation entre les ventes et ce qui se dit sur les réseaux #JSS2013
  6. 6. Pourquoi la Big Data ? Volume, Variété & Vitesse #JSS2013
  7. 7. La tendance #JSS2013
  8. 8. Framework Apache Hadoop  HDFS Ecriture Lecture #JSS2013
  9. 9. Framework Apache Hadoop  Map & Reduce #JSS2013
  10. 10. Apache Hadoop, Hortonworks, Hdinsight Apache Hadoop • • • • • • • • Hive : Gestionnaire des données distribuées (SQL Like) Pig : Scripting ETL Sqoop : Transfer des données entre Hadoop et des SGBDR Hbase : Base de données non relationnelle Hcatalog : services de méta données Mahout : Langage de programmation pour le Machine Learning Flume : Intégrateur de logs Oozie : Ordonnanceur … HDInsight • HDP 1.3 pour Windows  On Azure  On Premise • Scale Out for Pay As You Go • Windows Azure PowerShell • CodePlex .Net SDK • Microsoft Hive ODBC Driver #JSS2013
  11. 11. Plate-forme Big Data Microsoft Volume x Variety x Velocity x Visualization = Value MARKETPLACE SERVICES ET DONNEES EXTERNES Polybase Polybase Native Query #JSS2013
  12. 12. Architecture WASB #JSS2013
  13. 13. Architecture WASB #JSS2013
  14. 14. La solution sur Windows Azure • Un Azure Web Site (ASP .Net MVC 4) • Un Cloud Service • Un Compte de stockage (Tables et Blobs) • Une SQL Database #JSS2013
  15. 15. Le site • Interface de gestion • Azure Active Directory Authentification #JSS2013
  16. 16. Le Cloud Service #JSS2013
  17. 17. RÉCUPÉRATION DE DONNÉES TWITTER #JSS2013
  18. 18. Architecture WASB #JSS2013
  19. 19. Création du cluster HDInsight  Nombre de Nœud  Hive Meta Données  Stockage  Activation de l’accès distant  Installation du Driver Hive ODBC  Linked Server #JSS2013
  20. 20. Hive  Table Externe  Table Interne  UDF : User Defined Functions #JSS2013
  21. 21. Flux des données Windows Azure Storage Blob Azure Network Hadoop On Azure Compute Node #JSS2013
  22. 22. Automatisation via SSIS  Création d’un package SSIS SSIS HDInsight Tasks  Création d’une source de données ODBC http://tinyurl.com/HDInsightSSIS | Livre Blanc HDInsight & Visual Studio : aka.ms/lbhdinsight #JSS2013
  23. 23. Architecture WASB #JSS2013
  24. 24. Exploitation des données 2 scénarios : « BI d’entreprise » ou « BI en Self-Service » BI d’entreprise Integration Services POWER BI Power Query Excel SQL Server Power Pivot Excel SSAS Tabular Power View SharePoint Power View Excel #JSS2013
  25. 25. Integration des données avec SSIS BI d’entreprise SQL Server Integration Services Importation des table Hive vers une base de donnée locale Source : Table Hive SELECT Theater, ScreenAuthorizationNumber, Screen, Title, TitleId FROM lecture Destination : Table SQL Server Connexion ODBC #JSS2013
  26. 26. Analyse et restitution des données Analysis Services • • • Mode Serveur Cube tabulaire Langage DAX SharePoint Server BI d’entreprise SQL Server 2012 Instance Analysis Services Power View for SharePoint • • Intégration à SharePoint Publication et partage • • • Création de rapports en self-service Drag & Drop Analyse des données issues de PowerPivot ou d’Analysis Services PowerPoint • Instance SQL Server DWH #JSS2013
  27. 27. BI en self-service avec Excel 2013 POWER BI Excel 2013 POWER QUERY POWER PIVOT POWER VIEW #JSS2013
  28. 28. Power Query POWER BI • ETL destiné à l’utilisateur • Import Data From Hadoop File (HDFS) From Windows Azure HDInsight #JSS2013
  29. 29. Power Pivot • POWER BI Création du modèle de données à partir de sources distinctes : – Tables SQL Server – Table hive intégrés au modèle via Power Query #JSS2013
  30. 30. Power View • • POWER BI Création de rapport Ad-hoc interactif Source de donnée : – Classeur de Modèle Power Pivot – Modèle Tabulaire SSAS (Power View mode SharePoint) #JSS2013
  31. 31. Questions ? Merci ! #JSS2013 #JSS2013

×