Big Data & BI : Retour d'expérience
Upcoming SlideShare
Loading in...5
×

Like this? Share it with your network

Share

Big Data & BI : Retour d'expérience

  • 524 views
Uploaded on

Besoin Clients : APVX ...

Besoin Clients : APVX
Pourquoi la Big Data ?
Présentation de Hadoop
Offre Microsoft : HDInsight
Complémentarité BI & Big Data
Architecture mise en place
Démos :-)

More in: Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to like this
No Downloads

Views

Total Views
524
On Slideshare
486
From Embeds
38
Number of Embeds
4

Actions

Shares
Downloads
20
Comments
1
Likes
0

Embeds 38

http://www.scoop.it 35
http://www.linkedin.com 1
http://translate.googleusercontent.com 1
http://bicelte.tumblr.com 1

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Les journées SQL Server 2013 Un événement organisé par GUSS #JSS2013
  • 2. Les journées SQL Server 2013 Romain Casteres MVP SQL Server Consultant BI @PulsWeb Yazid Moussaoui Consultant Senior BI MCSA 2008/2012 Etienne Pommier Ingénieur Etude & Développement .Net Big Data & BI Retour d’expérience Un événement organisé par GUSS #JSS2013
  • 3. Merci à nos sponsors #JSS2013
  • 4. Agenda Planning o o o o o o o Besoin Clients : APVX Pourquoi la Big Data ? Présentation de Hadoop Offre Microsoft : HDInsight Complémentarité BI & Big Data Architecture mise en place Démos  #JSS2013
  • 5. Besoin Client : APVX Aide à la prévision des ventes  Besoin d’analyse des réseaux sociaux  Poids des campagnes réalisées sur les réseaux  Trouver une relation entre les ventes et ce qui se dit sur les réseaux #JSS2013
  • 6. Pourquoi la Big Data ? Volume, Variété & Vitesse #JSS2013
  • 7. La tendance #JSS2013
  • 8. Framework Apache Hadoop  HDFS Ecriture Lecture #JSS2013
  • 9. Framework Apache Hadoop  Map & Reduce #JSS2013
  • 10. Apache Hadoop, Hortonworks, Hdinsight Apache Hadoop • • • • • • • • Hive : Gestionnaire des données distribuées (SQL Like) Pig : Scripting ETL Sqoop : Transfer des données entre Hadoop et des SGBDR Hbase : Base de données non relationnelle Hcatalog : services de méta données Mahout : Langage de programmation pour le Machine Learning Flume : Intégrateur de logs Oozie : Ordonnanceur … HDInsight • HDP 1.3 pour Windows  On Azure  On Premise • Scale Out for Pay As You Go • Windows Azure PowerShell • CodePlex .Net SDK • Microsoft Hive ODBC Driver #JSS2013
  • 11. Plate-forme Big Data Microsoft Volume x Variety x Velocity x Visualization = Value MARKETPLACE SERVICES ET DONNEES EXTERNES Polybase Polybase Native Query #JSS2013
  • 12. Architecture WASB #JSS2013
  • 13. Architecture WASB #JSS2013
  • 14. La solution sur Windows Azure • Un Azure Web Site (ASP .Net MVC 4) • Un Cloud Service • Un Compte de stockage (Tables et Blobs) • Une SQL Database #JSS2013
  • 15. Le site • Interface de gestion • Azure Active Directory Authentification #JSS2013
  • 16. Le Cloud Service #JSS2013
  • 17. RÉCUPÉRATION DE DONNÉES TWITTER #JSS2013
  • 18. Architecture WASB #JSS2013
  • 19. Création du cluster HDInsight  Nombre de Nœud  Hive Meta Données  Stockage  Activation de l’accès distant  Installation du Driver Hive ODBC  Linked Server #JSS2013
  • 20. Hive  Table Externe  Table Interne  UDF : User Defined Functions #JSS2013
  • 21. Flux des données Windows Azure Storage Blob Azure Network Hadoop On Azure Compute Node #JSS2013
  • 22. Automatisation via SSIS  Création d’un package SSIS SSIS HDInsight Tasks  Création d’une source de données ODBC http://tinyurl.com/HDInsightSSIS | Livre Blanc HDInsight & Visual Studio : aka.ms/lbhdinsight #JSS2013
  • 23. Architecture WASB #JSS2013
  • 24. Exploitation des données 2 scénarios : « BI d’entreprise » ou « BI en Self-Service » BI d’entreprise Integration Services POWER BI Power Query Excel SQL Server Power Pivot Excel SSAS Tabular Power View SharePoint Power View Excel #JSS2013
  • 25. Integration des données avec SSIS BI d’entreprise SQL Server Integration Services Importation des table Hive vers une base de donnée locale Source : Table Hive SELECT Theater, ScreenAuthorizationNumber, Screen, Title, TitleId FROM lecture Destination : Table SQL Server Connexion ODBC #JSS2013
  • 26. Analyse et restitution des données Analysis Services • • • Mode Serveur Cube tabulaire Langage DAX SharePoint Server BI d’entreprise SQL Server 2012 Instance Analysis Services Power View for SharePoint • • Intégration à SharePoint Publication et partage • • • Création de rapports en self-service Drag & Drop Analyse des données issues de PowerPivot ou d’Analysis Services PowerPoint • Instance SQL Server DWH #JSS2013
  • 27. BI en self-service avec Excel 2013 POWER BI Excel 2013 POWER QUERY POWER PIVOT POWER VIEW #JSS2013
  • 28. Power Query POWER BI • ETL destiné à l’utilisateur • Import Data From Hadoop File (HDFS) From Windows Azure HDInsight #JSS2013
  • 29. Power Pivot • POWER BI Création du modèle de données à partir de sources distinctes : – Tables SQL Server – Table hive intégrés au modèle via Power Query #JSS2013
  • 30. Power View • • POWER BI Création de rapport Ad-hoc interactif Source de donnée : – Classeur de Modèle Power Pivot – Modèle Tabulaire SSAS (Power View mode SharePoint) #JSS2013
  • 31. Questions ? Merci ! #JSS2013 #JSS2013