Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
SQLSaturday Paris 2016
Projet [Vélib’ by Cortana]
SQLSaturday Paris 2016
Merci à nos sponsors
SQLSaturday Paris 2016
Merci à nos volontaires
SQLSaturday Paris 2016
Speakers
Romain Casteres
Microsoft PFE Data Insight
@PulsWeb
www.PulsWeb.fr
Yassine Khelifi
Support...
SQLSaturday Paris 2016
Agenda
 Présentation du Projet
 Cortana Intelligent Suite
 Création de l’architecture …
 V next...
SQLSaturday Paris 2016
Présentation du Projet
300 000 Utilisateurs  1216 Stations  19 000 Vélos
-Obtenir une analyse des...
SQLSaturday Paris 2016
Objectifs de la solution
SQLSaturday Paris 2016
Transformez les données en actions intelligentes
Sources de
données
Applications
Capteurs
& Objets
...
SQLSaturday Paris 2016
1 min
Cloud
service
Processing
Data flow
SQLSaturday Paris 2016
API JCDecaux
SQLSaturday Paris 2016
Azure Cloud Service
SQLSaturday Paris 2016
Azure
Event Hub
1 min
Cloud
service
Processing
Data flow
SQLSaturday Paris 2016
Azure Event Hub
Sources
d’événements Services de cloud
Stockage & Analyse
Dév. Spécifique &
service...
SQLSaturday Paris 2016
Azure Stream
Analytics Power BI
Azure
Event Hub
1 min
Cloud
service
Processing
Data flow
5 min
Cort...
SQLSaturday Paris 2016
Stream Analytics : Analyses en temps réel
 Traitement des données en continu
 Collecte des millio...
SQLSaturday Paris 2016
Azure Stream Analytics
SQLSaturday Paris 2016
Architecture Lambda
Récupération des données provenant des stations qui vont suivre 2 process :
• U...
SQLSaturday Paris 2016
Azure SQL Database
SQLSaturday Paris 2016
Power BI
SQLSaturday Paris 2016
Cortana
 Cortana comprend et indique l’état
des stations maintenant et dans l’heure
qui suit
« Pré...
SQLSaturday Paris 2016
Azure
Machine Learning
Azure Stream
Analytics Power BI
Azure
Event Hub
1 min
Cloud
service
Processi...
SQLSaturday Paris 2016
• Algorithme “Décision Forest Regression”
• Utilisation du language R pour définir des
attributs ét...
SQLSaturday Paris 2016
Exploratory Data Analysis
Données brute
Caractéristiques temporelles
Horizon de prévision
Heure
Minutes
Jour
Mois
Lag t-1 à t-4
Modèle autorégressif...
SQLSaturday Paris 2016
Azure
Machine Learning
Azure Stream
Analytics Power BI
Azure
Event Hub
1 min
Azure Data Factory
Clo...
SQLSaturday Paris 2016
Azure Data Factory
SQLSaturday Paris 2016
Azure
Machine Learning
Azure Stream
Analytics Power BI
Azure
Event Hub
1 min
Azure Data Factory
Clo...
SQLSaturday Paris 2016
Idées pour la prochaine version
 Azure Bot
 Spark
 R Server
 …
SQLSaturday Paris 2016
Et en plus vous
pouvez gagner des
cadeaux !
Donnez votre avis sur les sessions :
http://GUSS.pro/sq...
SQLSaturday Paris 2016
Merci !
• https://mva.microsoft.com/
• https://blogs.msdn.microsoft.com/big_data_france/
Des idées ...
SQLSaturday Paris 2016
Pourquoi Vélib’ by Cortana ?
 Offrir une plateforme de demos aux MSFTs français
 Offrir une plate...
SQLSaturday Paris 2016
Actions
Actions
humaines
Systemes
automatisés
Apps
Web
Mobile
Bots
Intelligence
Dashboards &
Visual...
SQLSaturday Paris 2016
Power BI
Azure
Event Hub
1 min
DAGScheduler
Cloud
service
Processing
Data flow
5 min
Cortana
SQL Saturday Paris 2016 #510 - Velib & Cortana Intelligent Suite
SQL Saturday Paris 2016 #510 - Velib & Cortana Intelligent Suite
Upcoming SlideShare
Loading in …5
×

SQL Saturday Paris 2016 #510 - Velib & Cortana Intelligent Suite

1,720 views

Published on

Vélib est un service public à grande échelle de location de vélos sur la région parisienne en France. Lancé le 15 juillet 2007, le service propose aujourd’hui environ 14 500 vélos et 1230 stations sur Paris. Grâce à la suite Azure Cortana Analytics Suite, nous allons mettre en place une solution d’analyse des données de ces Vélib de façon à répondre à 2 problématiques :
- Obtenir une analyse descriptive en temps réel du réseau Vélib
- Mettre à disposition une analyse prédictive permettant de prédire la disponibilité du nombre de vélos et de stations disponibles pour une station donnée.

Dans la présentation nous montrerons comment nous avons mis en place la solution dans le Cloud Azure à l’aide des services suivants :
- Azure Event Hubs
- Azure Stream Analytics
- Azure Data Factory
- Azure Machine Learning
- Azure SQL Database
- Power BI

  • Be the first to comment

SQL Saturday Paris 2016 #510 - Velib & Cortana Intelligent Suite

  1. 1. SQLSaturday Paris 2016 Projet [Vélib’ by Cortana]
  2. 2. SQLSaturday Paris 2016 Merci à nos sponsors
  3. 3. SQLSaturday Paris 2016 Merci à nos volontaires
  4. 4. SQLSaturday Paris 2016 Speakers Romain Casteres Microsoft PFE Data Insight @PulsWeb www.PulsWeb.fr Yassine Khelifi Support Escalation Engineer https://blogs.msdn. microsoft.com/big_data_france/
  5. 5. SQLSaturday Paris 2016 Agenda  Présentation du Projet  Cortana Intelligent Suite  Création de l’architecture …  V next ?
  6. 6. SQLSaturday Paris 2016 Présentation du Projet 300 000 Utilisateurs  1216 Stations  19 000 Vélos -Obtenir une analyse descriptive en temps réel du réseau Vélib. -Mettre à disposition une analyse prédictive permettant de prédire la disponibilité du nombre de vélos et de stations disponibles.
  7. 7. SQLSaturday Paris 2016 Objectifs de la solution
  8. 8. SQLSaturday Paris 2016 Transformez les données en actions intelligentes Sources de données Applications Capteurs & Objets Actions humaines Données Intelligence Cortana Intelligence Actions Applications Systemes automatisés
  9. 9. SQLSaturday Paris 2016 1 min Cloud service Processing Data flow
  10. 10. SQLSaturday Paris 2016 API JCDecaux
  11. 11. SQLSaturday Paris 2016 Azure Cloud Service
  12. 12. SQLSaturday Paris 2016 Azure Event Hub 1 min Cloud service Processing Data flow
  13. 13. SQLSaturday Paris 2016 Azure Event Hub Sources d’événements Services de cloud Stockage & Analyse Dév. Spécifique & services tiers Interfaces utilisateurs Web/Mobile Services d’intégration Event Hub - Montée en charge - Autogéré - Interopérable - Sécurisé - Coût modéré
  14. 14. SQLSaturday Paris 2016 Azure Stream Analytics Power BI Azure Event Hub 1 min Cloud service Processing Data flow 5 min Cortana SQL Database
  15. 15. SQLSaturday Paris 2016 Stream Analytics : Analyses en temps réel  Traitement des données en continu  Collecte des millions d’évènements par seconde  Solution avec montée en charge intégrée  Transformer, enrichir, opérations temporelles  Détection des patterns et des anomalies  Corrélation du flux de données avec des données de référence Point of Service Devices Self Checkout Stations Kiosks Smart Phones Slates/ Tablets PCs/ Laptops Servers Digital Signs Diagnostic EquipmentRemote Medical Monitors Logic Controllers Specialized DevicesThin Clients Handhelds Security POS Terminals Automation Devices Vending Machines Kinect ATM
  16. 16. SQLSaturday Paris 2016 Azure Stream Analytics
  17. 17. SQLSaturday Paris 2016 Architecture Lambda Récupération des données provenant des stations qui vont suivre 2 process : • Un flux sera traité en temps réel • Un flux sera stocké pour être traité et analysé
  18. 18. SQLSaturday Paris 2016 Azure SQL Database
  19. 19. SQLSaturday Paris 2016 Power BI
  20. 20. SQLSaturday Paris 2016 Cortana  Cortana comprend et indique l’état des stations maintenant et dans l’heure qui suit « Prévisions pour la station madeleine »
  21. 21. SQLSaturday Paris 2016 Azure Machine Learning Azure Stream Analytics Power BI Azure Event Hub 1 min Cloud service Processing Data flow 5 min 1 heure Cortana SQL Database
  22. 22. SQLSaturday Paris 2016 • Algorithme “Décision Forest Regression” • Utilisation du language R pour définir des attributs étendus • Le modèle de prediction est recalculé tout les trois jours
  23. 23. SQLSaturday Paris 2016 Exploratory Data Analysis
  24. 24. Données brute Caractéristiques temporelles Horizon de prévision Heure Minutes Jour Mois Lag t-1 à t-4 Modèle autorégressif à base de lag distribué 1ère & 2nd Dérivée Moyenne Mobile Moyenne Mobile à Pondération Exponentielle Forêt d'arbres décisionnels Validation croisée Optimisation des hyper Parameters Modèle finale Caractéristiques statistiques Moyenne Arithmétique Écart absolu moyen Variance Skewness Asymétrie Kurtosis Min Max Fréquence Cumulée Écart Type
  25. 25. SQLSaturday Paris 2016 Azure Machine Learning Azure Stream Analytics Power BI Azure Event Hub 1 min Azure Data Factory Cloud service Processing Data flow 5 min Cortana SQL Database
  26. 26. SQLSaturday Paris 2016 Azure Data Factory
  27. 27. SQLSaturday Paris 2016 Azure Machine Learning Azure Stream Analytics Power BI Azure Event Hub 1 min Azure Data Factory Cloud service Processing Data flow 5 min Cortana SQL Database
  28. 28. SQLSaturday Paris 2016 Idées pour la prochaine version  Azure Bot  Spark  R Server  …
  29. 29. SQLSaturday Paris 2016 Et en plus vous pouvez gagner des cadeaux ! Donnez votre avis sur les sessions : http://GUSS.pro/sqlsat
  30. 30. SQLSaturday Paris 2016 Merci ! • https://mva.microsoft.com/ • https://blogs.msdn.microsoft.com/big_data_france/ Des idées pour la prochaines version ? Liens :
  31. 31. SQLSaturday Paris 2016 Pourquoi Vélib’ by Cortana ?  Offrir une plateforme de demos aux MSFTs français  Offrir une plateforme de demos aux P-Sellers et aux partenaires  Délivrer des workshops Cortana Intelligence aux partenaires et aux clients  Fournir un lab de type “step by step” pour apprendre à utiliser Cortana Intelligence Suite  Créer du contenu Microsoft Virtual Academy
  32. 32. SQLSaturday Paris 2016 Actions Actions humaines Systemes automatisés Apps Web Mobile Bots Intelligence Dashboards & Visualizations Cortana Bot Framework Cognitive Services Power BI Management de l’information Event Hubs Data Catalog Data Factory Machine Learning et Analyse avancée HDInsight (Hadoop et Spark) Stream Analytics Intelligence Data Lake Analytics Machine Learning Stockage Big Data SQL Data Warehouse Data Lake Store Sources de données Applications Capteurs & Objets Données
  33. 33. SQLSaturday Paris 2016 Power BI Azure Event Hub 1 min DAGScheduler Cloud service Processing Data flow 5 min Cortana

×