Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
DataStax Enterprise
Cas d’usage
Trivadis Cassandra Essentials Day
26 janvier 2016
Victor Coustenoble Ingénieur Solutions
v...
« DataStax délivre une plateforme de la base de
données Apache Cassandra, conçue spécifiquement
pour les besoins en Perfor...
Confidential 2016
Un nouveau monde connecté a besoin
d’un nouveau Système de Base de Données
Confidential 2016
Client-Server
Isolated
Social...
Confidential 2016
DataStax Entreprise
Confidential 2016
RELATIONALDATABASES
CQL SQL
OpsCenter / DevCenter Management tools
DSE for search & analytics Integration
Security Securit...
DataStax Enterprise (DSE)
Robustesse et Support
pour la Production
Solution d’Entreprise
Puissance pour le
Développement
W...
Cassandra Certifié
Confidential 2016
• Prêt et certifié pour les
environnements de production
• Processus rigoureux de cer...
Administration du Cluster - OpsCenter
Confidential 2016
• Interface Web avec des API REST
• Installation, configuration et...
Confidential 2016
Services d’Administration Automatique
Gestion automatique des tâches de maintenance
et d’administration
...
Confidential 2016
Sécurité
• Authentification Externe
(Kerberos, LDAP / Active
Directory)
• Chiffrement transparent des
do...
Confidential 2016
Support Expert
• Support Technique 24x7x365
• Couvre à la fois les environnements
de production et non-p...
Confidential 2016
DataStax Enterprise Standard
Confidential 2016
In-Memory
• Base de données en mémoire
• Simple à utiliser
• Tables en mémoire comme les
tables Cassandr...
Recherche Intégrée
Confidential 2016
• Recherche sur des données Cassandra à travers une intégration
forte des moteurs Sol...
Analytique et Transformation de données
Confidential 2016
• Intégration poussée avec Cassandra de Apache Spark
• Spark = T...
C*
C*
C*C*
Spark Executor
C* Java Driver
Spark-Cassandra Connector
User Application
Cassandra
Connecteur Spark Cassandra
•...
Cas d’utilisation
Load data from various
sources
Analytics (join, aggregate, transform, …)
Sanitize, validate, normalize d...
Traitement Temps-réel ou Batch
Confidential 2016
Enrichissement
des Données
Batch Processing
Machine Learning
Agrégats pré...
Isolation des workload
Confidential 2016
No ETL
DataStax Enterprise
OpsCenter
Services
Monitoring
Operations
Operational
Application
Real Time
Search
Real Time
Analytics
...
Le Futur de DataStax Enterprise
Confidential 2016
Base de données Graphe ?
Confidential 2016
€
€
€
F F
Í
Í
Í
DataStax
DataBricks
Spark
DSE
CassandraJonathan Ellis
Robin
Sch...
RDBMS vs. Graph DB
SELECT TOP (5) [t14].[ProductName]
FROM (SELECT COUNT(*) AS [value],
[t13].[ProductName]
FROM [customer...
Cas d’utilisation et pourquoi ?
Confidential 2016
Meilleur réponse pour les applications avec des données
hautement connec...
Multi-Modèle dans DataStax Enterprise
Confidential 2016
Transactions Analytics Search
MixedWorkload Needed?
Solved in DSE
...
DataStax Enterprise Graph
“DSE Graph est une solution de base de données graphe scalable pour les
applications Web et Mobi...
Cas d’usage
Confidential 2016
Cas d’usage fréquents
Messagerie
Catalogue/
Playlists
Détection de
Fraude
Recommandation/
Personnalisation
Objets connecté...
Des clients sur tous les verticaux
Confidential 2016
Performance - Montée en Charge - Disponibilité
Cassandra fonctionne aussi bien pour des petits que pour des déploiements é...
Netflix séduit ses Clients avec des Recommandations Personnalisées
Leader mondial de la vidéo en streaming avec un revenu ...
Cassandra @ Netflix
• 80+ Clusters
• 2500+ noeuds
• 4 Data Centres (Régions Amazon)
• > 1 Trillion transactions par jour
h...
British Gas Tackles Internet-of-Things with DataStax
Connected Homes, a new business unit, handles IoT-based customer syst...
Confidential 2016
Confidential 2016
Google Nest Revolutionizes the Thermostat
Google pays $3BN for Nest, not for thermostat, but for data
All interactions wit...
Spotify Translates Mood into Music by Delivering the Right Playlist for Every Moment
Leading streaming music provider with...
Credit Suisse Benefits from Cassandra’s Resiliency
Public clouds not an option
Key infrastructure challenges: high availab...
©2013 DataStax Confidential. Do not distribute without consent. 41
Cassandra @ ING
http://supernova-team.github.io/cassand...
Confidential 2016
Exemple d’architecture chez ING
Source :http://www.natalinobusa.com/2015/11/why-is-smack-stack-all-rage-...
Détection de fraude
Confidential 2016
DataStax Use Cases in Financial Services
• Real Time Payments Engine
• Post Trade Risk
Reporting/Capital Adequacy
• Global...
Sony PS4 Delivers Social and Engaging Gaming Experiences with DataStax
Sony Entertainment Network provides digital enterta...
Delivers 150+ Billion Content Recommendations Per Month
Serves content for largest media brands in the
world: Reuters, Wal...
Comcast Invents the Future of Television on Cassandra
Future of TV: cloud-based X1 platform connects viewers with more
con...
EBay Connects 100M Customers with 400M Items; Always-On
World’s largest online marketplace needed highly scalable, availab...
eBay – Massive Performance and Scalability
Confidential 2016
http://www.datastax.com/resources/casestudies/ebay
Target Scales Across Geographies with Cassandra
Leading American retailer with over 1900 stores
Legacy infrastructure limi...
Apprendre et en savoir plus
Confidential 2016
DataStax Academy : https://academy.datastax.com
Confidential 2016
Self-Paced Courses
Confidential 2016
O’Reilly Certification
Confidential 2016
Plus d’information
Confidential 2016
DataStax: http://www.datastax.com
Downloads: http://www.datastax.com/download
Documen...
Merci
We power the big data apps
that transform business.
©2013 DataStax Confidential. Do not distribute without consent.
Upcoming SlideShare
Loading in …5
×

DataStax Enterprise - Cas d'usage

6,095 views

Published on

Séminaire Trivadis DataStax Cassandra, 26.01.2016
Victor Coustenoble
DataStax

Published in: Data & Analytics
  • Be the first to comment

  • Be the first to like this

DataStax Enterprise - Cas d'usage

  1. 1. DataStax Enterprise Cas d’usage Trivadis Cassandra Essentials Day 26 janvier 2016 Victor Coustenoble Ingénieur Solutions victor.coustenoble@datastax.com @vizanalytics
  2. 2. « DataStax délivre une plateforme de la base de données Apache Cassandra, conçue spécifiquement pour les besoins en Performance et Disponibilité exigés par les applications d’Internet des Objets, Web ou Mobiles, en offrant aux entreprises une base de données Sécurisée toujours disponible, qui reste Simple à administrer même pour des déploiements à grande échelle, dans un seul ou de Multiples Data Centers et dans le Cloud. » Confidential 2016
  3. 3. Confidential 2016
  4. 4. Un nouveau monde connecté a besoin d’un nouveau Système de Base de Données Confidential 2016 Client-Server Isolated SocialMobileCloud Mainframe 1970’s 1990’s Today IBM ORACLE Semi-Connected Radically Connected DATASTAX Distributed
  5. 5. Confidential 2016
  6. 6. DataStax Entreprise Confidential 2016
  7. 7. RELATIONALDATABASES CQL SQL OpsCenter / DevCenter Management tools DSE for search & analytics Integration Security Security Support, consulting & training 30 years ecosystem Confidential 2016
  8. 8. DataStax Enterprise (DSE) Robustesse et Support pour la Production Solution d’Entreprise Puissance pour le Développement Workloads différents Une plateforme de base de données Opérationnelle Confidential 2016
  9. 9. Cassandra Certifié Confidential 2016 • Prêt et certifié pour les environnements de production • Processus rigoureux de certification: • Tests assurance qualité étendus • Tests de performance et de montée en charge avec des clusters de 1 000 noeuds • Validation des logiciels tiers • Résolution des défauts • Certifié pour toutes les plateformes supportés
  10. 10. Administration du Cluster - OpsCenter Confidential 2016 • Interface Web avec des API REST • Installation, configuration et administration • Sauvegarde / Restauration • Supervision temps-réel et Alertes • Contrôle des accès
  11. 11. Confidential 2016 Services d’Administration Automatique Gestion automatique des tâches de maintenance et d’administration Repair service : Cohérence automatique des données Capacity service : Analyse des tendances historiques et la prévision des futurs besoins Performance service : Performances du cluster et des métriques de Solr et Spark dans Cassandra Best Practice service : Règles des meilleurs pratiques dans plusieurs domaines (securité, configuration, etc.) pour une utilisation optimale Backup Service : Gestion des sauvegardes/restaurations, du chiffrement, de la migration de données avec des rapports d’activité
  12. 12. Confidential 2016 Sécurité • Authentification Externe (Kerberos, LDAP / Active Directory) • Chiffrement transparent des données • Chiffrement sur disque • Audit de données, log et trace
  13. 13. Confidential 2016 Support Expert • Support Technique 24x7x365 • Couvre à la fois les environnements de production et non-production • Revues (health checks) régulières pour de l’assistance sur l’architecture, la conception et l’opmisation • Correctifs (Hot-fix) pour les situations de maintenance urgente
  14. 14. Confidential 2016 DataStax Enterprise Standard
  15. 15. Confidential 2016 In-Memory • Base de données en mémoire • Simple à utiliser • Tables en mémoire comme les tables Cassandra • Cas pour latence faible en lecture • Ecritures durables • Amélioration de x10-x100
  16. 16. Recherche Intégrée Confidential 2016 • Recherche sur des données Cassandra à travers une intégration forte des moteurs Solr et Lucene • Facettes, filtres, recherche geospatial, recherche plein texte, jointures, etc… • Opérations de recherche et d’indexation temps réel • Requêtes de recherche depuis CQL et l’API REST de Solr • Index Solr distribués et répliqués, architecture Masterless
  17. 17. Analytique et Transformation de données Confidential 2016 • Intégration poussée avec Cassandra de Apache Spark • Spark = Traitement Distribué : “In-memory Map/Reduce”, multi-thread … • GraphX, MLLib (Machine learning), SparkSQL, Spark Streaming, SparkR • Serveur Spark JDBC – Spark Job Server • Intégration de Solr • Partenariat DataStax / Databricks
  18. 18. C* C* C*C* Spark Executor C* Java Driver Spark-Cassandra Connector User Application Cassandra Connecteur Spark Cassandra • Lecture / Ecriture de données Cassandra depuis Spark • Mapping entre tables Cassandra et RDD / DataFrame • Data Locality • Mapping entre partitions Spark et partitions Cassandra • Conversion des types • API Scala, Java et Python Confidential 2016
  19. 19. Cas d’utilisation Load data from various sources Analytics (join, aggregate, transform, …) Sanitize, validate, normalize data Schema migration, Data conversion Confidential 2016
  20. 20. Traitement Temps-réel ou Batch Confidential 2016 Enrichissement des Données Batch Processing Machine Learning Agrégats pré- calculés Données Sans ETL
  21. 21. Isolation des workload Confidential 2016 No ETL
  22. 22. DataStax Enterprise OpsCenter Services Monitoring Operations Operational Application Real Time Search Real Time Analytics Batch Analytics Analytics Transformation s Cassandra Cluster – Nodes Ring – Column Family Storage High Performance – Alway Available – Massive Scalability Advanced Security In-Memory Support
  23. 23. Le Futur de DataStax Enterprise Confidential 2016
  24. 24. Base de données Graphe ? Confidential 2016 € € € F F Í Í Í DataStax DataBricks Spark DSE CassandraJonathan Ellis Robin Schumacher Billy Bosworth worksFor title: VP Product develops uses uses reportsTo worksFor title: CTO worksFor title: CEO
  25. 25. RDBMS vs. Graph DB SELECT TOP (5) [t14].[ProductName] FROM (SELECT COUNT(*) AS [value], [t13].[ProductName] FROM [customers] AS [t0] CROSS APPLY (SELECT [t9].[ProductName] FROM [orders] AS [t1] CROSS JOIN [order details] AS [t2] INNER JOIN [products] AS [t3] ON [t3].[ProductID] = [t2].[ProductID] CROSS JOIN [order details] AS [t4] INNER JOIN [orders] AS [t5] ON [t5].[OrderID] = [t4].[OrderID] LEFT JOIN [customers] AS [t6] ON [t6].[CustomerID] = [t5].[CustomerID] CROSS JOIN ([orders] AS [t7] CROSS JOIN [order details] AS [t8] INNER JOIN [products] AS [t9] ON [t9].[ProductID] = [t8].[ProductID]) WHERE NOT EXISTS(SELECT NULL AS [EMPTY] FROM [orders] AS [t10] CROSS JOIN [order details] AS [t11] INNER JOIN [products] AS [t12] ON [t12].[ProductID] = [t11].[ProductID] WHERE [t9].[ProductID] = [t12].[ProductID] AND [t10].[CustomerID] = [t0].[CustomerID] AND [t11].[OrderID] = [t10].[OrderID]) AND [t6].[CustomerID] <> [t0].[CustomerID] AND [t1].[CustomerID] = [t0].[CustomerID] AND [t2].[OrderID] = [t1].[OrderID] AND [t4].[ProductID] = [t3].[ProductID] AND [t7].[CustomerID] = [t6].[CustomerID] AND [t8].[OrderID] = [t7].[OrderID]) AS [t13] WHERE [t0].[CustomerID] = N'ALFKI' GROUP BY [t13].[ProductName]) AS [t14] ORDER BY [t14].[value] DESC g.V('customerId','ALFKI').as('customer') .out('ordered').out('contains').out('is').as('products') .in('is').in('contains').in('ordered').except('customer') .out('ordered').out('contains').out('is').except('products') .groupCount().cap().orderMap(T.decr)[0..<5].productName VS. Confidential 2016
  26. 26. Cas d’utilisation et pourquoi ? Confidential 2016 Meilleur réponse pour les applications avec des données hautement connectés (Réseaux électriques, réseaux sociaux …)
  27. 27. Multi-Modèle dans DataStax Enterprise Confidential 2016 Transactions Analytics Search MixedWorkload Needed? Solved in DSE Wide Row Graph JSON Mixed Model Needed? Solved in DSE DSE Analytics Search Transactions DSE Wide Row JSON Graph
  28. 28. DataStax Enterprise Graph “DSE Graph est une solution de base de données graphe scalable pour les applications Web et Mobiles avec des besoins de gérer des données hautement connectés” Origine : Projet Open Source Titan DSE Graph est intégré dans DSE: • Intégration forte dans Cassandra • OLAP et analyse Graph avec Apache Spark • OLTP avec support de Apache Solr pour la recherche • Supervision depuis OpsCenter • Pas de besoin de noeuds ou clusters additionnels • Pas de processus externe, même JVM • Utilisation et Support du framework TinkerPop Confidential 2016
  29. 29. Cas d’usage Confidential 2016
  30. 30. Cas d’usage fréquents Messagerie Catalogue/ Playlists Détection de Fraude Recommandation/ Personnalisation Objets connectés/ Données de Capteurs Confidential 2016
  31. 31. Des clients sur tous les verticaux Confidential 2016
  32. 32. Performance - Montée en Charge - Disponibilité Cassandra fonctionne aussi bien pour des petits que pour des déploiements énormes! Déploiement Cassandra chez Apple 75 000+ noeuds 10’s petabytes de données Millions ops/second Plus gros cluster à 1000+ noeuds Apple Inc.: Cassandra at Apple for Massive Scale Video https://www.youtube.com/watch?v=Bc4ql9TDzyg From Cassandra Summit, London, December 2014 Confidential 2016
  33. 33. Netflix séduit ses Clients avec des Recommandations Personnalisées Leader mondial de la vidéo en streaming avec un revenu supérieur à 1.5 Milliard de $ Adapte le contenu délivré en se basant sur les données de visionnage capturées dans Cassandra Capitalisation boursière en hausse de 600% depuis 2012 L’introduction des ‘Profiles’ a poussé le débit à plus de 10M de transactions par seconde A remplacé Oracle dans six data centers dans le monde, 100% en mode cloud Use Case: Personalization Confidential 2016
  34. 34. Cassandra @ Netflix • 80+ Clusters • 2500+ noeuds • 4 Data Centres (Régions Amazon) • > 1 Trillion transactions par jour http://planetcassandra.org/functional-use-cases/ Performance et Montée en Charge Confidential 2016
  35. 35. British Gas Tackles Internet-of-Things with DataStax Connected Homes, a new business unit, handles IoT-based customer systems Provides remote control over thermostats and boilers via smart phones/tablets Delivers analytics on energy usage to customers Will be using predictive analysis to forecast things like boiler failures Uses DataStaxEnterprise for transactional data consumption and real-time analytics Confidential 2016
  36. 36. Confidential 2016
  37. 37. Confidential 2016
  38. 38. Google Nest Revolutionizes the Thermostat Google pays $3BN for Nest, not for thermostat, but for data All interactions with customer thermostats are written to DataStax All mobile application interactions are handled by DataStax DataStax chosen for ability to handle high velocity writes in time series Use Case: Internet Of Things Confidential 2016
  39. 39. Spotify Translates Mood into Music by Delivering the Right Playlist for Every Moment Leading streaming music provider with over 40M+ active monthly users Empowers users to access massive database of music and create and share custom playlists Over 1 billion playlists created and managed in real time More than 40,000 requests/second handled without latency Managing 500+ nodes across 4000 servers in 4 data centers without any downtime Use Case: Playlists Confidential 2016
  40. 40. Credit Suisse Benefits from Cassandra’s Resiliency Public clouds not an option Key infrastructure challenges: high availability, data retention, scale and user experience Started with risk-management systems to help improve up-time Expanding into new areas A new approach—traditional databases could not meet performance needs Cassandra Credit Suisse @ Summit 2014 http://www.slideshare.net/planetcassandra/cassandra-summit-2014-an-overview-of-the-hippo-project-at-credit-suisse Confidential 2016
  41. 41. ©2013 DataStax Confidential. Do not distribute without consent. 41 Cassandra @ ING http://supernova-team.github.io/cassandra-presentations/cassandra-summit-2014/#/ Why DataStax Enterprise Need for • Very High Availability: 100% ! • Stability Use Cases • Payment Engine Availability (process payment even if issues) • Mobile Payment Application ‘PayPal like” • More and more …. Confidential 2016
  42. 42. Confidential 2016 Exemple d’architecture chez ING Source :http://www.natalinobusa.com/2015/11/why-is-smack-stack-all-rage-lately.html Spark Mesos Akka Cassandra Kafka
  43. 43. Détection de fraude Confidential 2016
  44. 44. DataStax Use Cases in Financial Services • Real Time Payments Engine • Post Trade Risk Reporting/Capital Adequacy • Global Reference Data Replication • Market Data Capture/Replay • Post Trade Surveillance • Real Time Fraud Analytics • Forward Curve Analytics • Fraud Detection/Money Laundering • Security • Product Personalization • Identity Management Confidential 2016
  45. 45. Sony PS4 Delivers Social and Engaging Gaming Experiences with DataStax Sony Entertainment Network provides digital entertainment services among which PS4 is a huge success
PS4: engages gamers with personalized product recommendation and always connected social gaming features Reaches over 200,000 /second read/write speeds to guarantee application performance Hybrid deployment with front features on AWS and multi micro services on-premise Confidential 2016
  46. 46. Delivers 150+ Billion Content Recommendations Per Month Serves content for largest media brands in the world: Reuters, Wall St Journal, USA Today Needed a massively scalable datastore High velocity of data with 58,000 links to content per second Always-on data architecture Use Case: Recommendations / Personalization Confidential 2016
  47. 47. Comcast Invents the Future of Television on Cassandra Future of TV: cloud-based X1 platform connects viewers with more content Track your favorite team’s score while watching a movie, or TV show Off the shelf offerings and traditional technologies failed Requires a robust infrastructure with low overhead Needs to be always-on across multiple datacenters Use Case: Messaging Confidential 2016
  48. 48. EBay Connects 100M Customers with 400M Items; Always-On World’s largest online marketplace needed highly scalable, available and robust data store Handles fraud detection, messaging, and more with DataStax Enterprise Ensures that users get the most accurate results for their searches Stores vast amounts of data: 250 TBs (Single transactional table: 40TB!) Handles high velocity with over 6 billion writes and 5 billion reads daily Confidential 2016
  49. 49. eBay – Massive Performance and Scalability Confidential 2016 http://www.datastax.com/resources/casestudies/ebay
  50. 50. Target Scales Across Geographies with Cassandra Leading American retailer with over 1900 stores Legacy infrastructure limited scale across geographies and innovation of mobile features DataStaxchosen as the database platform for Target’s web and high transaction mobile API 3 months from choosing DataStaxto live in a critical production environment Agility and 4x faster time to market of innovative features Use Case: Personalization Confidential 2016
  51. 51. Apprendre et en savoir plus Confidential 2016
  52. 52. DataStax Academy : https://academy.datastax.com Confidential 2016
  53. 53. Self-Paced Courses Confidential 2016
  54. 54. O’Reilly Certification Confidential 2016
  55. 55. Plus d’information Confidential 2016 DataStax: http://www.datastax.com Downloads: http://www.datastax.com/download Documentation: http://www.datastax.com/docs Developer Blog: http://www.datastax.com/dev/blog Academy: https://academy.datastax.com Community Site: http://planetcassandra.org
  56. 56. Merci We power the big data apps that transform business. ©2013 DataStax Confidential. Do not distribute without consent.

×