Watch full webinar here: https://bit.ly/34EYBaE
Découvrez la Data Virtualization lors d'un atelier organisé à distance pour les professionnels de la donnée mardi 29 octobre. Quel que soit votre rôle, responsables IT, architectes, data scientists, analystes ou CDO, vous découvrirez comment la Data Virtualization permet de livrer des données en temps réel et accéder à tout type de source de données pour en tirer de la valeur.
GenAI y el futuro de la gestión de datos: mitos y realidades
Discovery Session France: Atelier découverte de la Data Virtualization
1. Atelier découverte de la virtualisation des
données
Octobre 2020
Tarik Zaakour, Principal sales engineer
2. Agenda1. Généralités
2. Introduction à la Data Virtualization
3. Architecture
4. Cas d’usage et études de cas clients
5. Gouvernance & sécurité
6. Performance
7. Questions/Réponses
8. Démonstration avec le Denodo Test Drive
9. Questions/Réponses
10.Prochaines étapes
4. 4
Quelques généralités
• La présentation sera enregistrée
• Les échanges et les questions/réponses
• Avant la démonstration
• A la fin de la présentation
• N’hésitez pas à poser vos questions dans le chat au fil de
l’eau
• Pour accéder aux test drives :
• Se connecter à www.denodo.com
• Rubrique “Try Denodo Platform” puis “Denodo Test
Drives”
• Le Test Drive sur Azure n’est qu’un début : cas d’usage
Data Science et Data Marketplace sur AWS et GCP
5. Introduction à la Data Virtualization
Pourquoi la Data Virtualization? Défis, Solutions et Avantages
6. 6
Acteurs et données de nos écosystèmes actuels
Situation actuelle simplifiée
Sales
HR
Apps/API
Executive
75% de la donnée stockée
jamais utilisée
90% des demandes nécessitent
du temps-réel
Marketing
Problèmes les plus communs:
× Collaboration et partage limitées
× Vues métiers inconsistantes et limitées
× Gouvernance complexe
× Environnement fragmenté
× Beaucoup (trop) de réplication
× Synchronisations en cascade, longues et
coûteuses
Data Science
AI/ML
7. 7
Plateforme de données moderne souhaitée
POINT D’ENTRÉE UNIFIÉ POUR RECHERCHER,
EXPLORER ET CONSOMMER LA DONNÉE
SELF-SERVICE POUR TOUS LES PROFILS DE
L’ENTREPRISE
SÉCURITÉ & GOUVERNANCE RENFORCÉES
Simplicité, rapidité/agilité, sécurité… à moindre coût
Plateforme moderne
Sales
HR
Executive
Marketing Apps/API
Data Science
AI/ML
8. 8
CONNECTER, INTROSPECTER & GOUVERNER VOS
SOURCES, AVEC ZERO REPLICATION DE LA DONNÉE
COMBINER & INTEGRER VOS DONNÉES EN VUES
MÉTIERS
CONSOMMER & SÉCURISER LES VUES MÉTIERS DANS
DE MULTIPLES FORMATS
Qu’est-ce la Data Virtualization?
Un logiciel permettant l’intégration et la gestion moderne des données d’entreprises
Sales
HR
Executive
Marketing Apps/API
Data Science
AI/ML
9. 9
CONNECTER, INTROSPECTER & GOUVERNER VOS
SOURCES, AVEC ZERO REPLICATION DE LA DONNÉE
COMBINER & INTEGRER VOS DONNÉES EN VUES
MÉTIERS
CONSOMMER & SECURISER LES VUES MÉTIERS DANS
DE MULTIPLES FORMATS
Le fonctionnement de la Data Virtualization?
Connecter, Combiner & Consommer
Sales
HR
Executive
Marketing Apps/API
Data Science
AI/ML
COMBINE & INTEGRATE INTO BUSINESS DATA VIEWS
12. Les architectures de référence
Les données au cœur de l’entreprise
1
Logical Data
Warehouse
13. 13
Architecture de référence de virtualisation des données
Gestion des métadonnées, Gouvernance de données, Sécurité de données
Sensor Data
Machine Data
(Logs)
Social Data
Clickstream Data
Internet Data
Image and Video
Enterprise Content
(Unstructured)
Cloud
Applications
Enterprise
Applications
Predictive
Analytics
Statistical
Analytics (R)
Text Analytics
Data Mining
Real-Time
Decision
Management
Alerts
Scorecards
Dashboards
Reporting
Data Discovery
Self-Service
Search
EDW
In-Memory (SAP
Hanna, …)
Analytical
Appliances
Tez
Map
Reduce
Hive
Spark
Drill
Impala
Storm
ODS
Cloud DW
(Redshift, …)
NosSQL
HBase
Solr
Hunk
YARN / Workload Management
HDFS
Big
Data
Cloud
Traditional
Enterprise
Data
Batch DW SQL Streams NoSQL Search
Data Storage and Analysis
Data Lake
Data Warehouse
Data
Sources
Data
Collection
Data Insights
(Flume, Kafka, …)
Real-Time Data Access (On-Demand / Streaming)
Data
Virtualization
Data Search & Discovery
Federation
Transformation
Abstraction
DataServices
Federation
Transformation
Abstraction
Optimization
Security
Governance
Data Caching
Big Data et Analytiques…
Direct Access to non-curated data
Logical Data Warehouse
Data Virtualization
Sqoop
ETL
CDC
DataVirtualization
14. 14
Architecture de référence de virtualisation des données
Opérationel and Transactionel
Metadata Management, Data Governance, Data Security
Data
Warehouse
Web,
Cloud,
Saas
Enterprise
Applications
Enterprise
Application
Web
Mobile
Data Sources Service Consumers
Data Abstraction &
Delivery
Data Search & Discovery
Federation
Transformation
Abstraction
DataServices
Federation
Transformation
Abstraction
Optimization
Security
Governance
Data Caching
Enterprise
Service Bus
SOA
Service Providers
16. 16
Les cas d’usage de la Data Virtualization
DU STOCKAGE & MANAGEMENT, À LA CONSOMMATION, EN PASSANT PAR LA GOUVERNANCE ET LA SÉCURITÉ
DÉCISION
(REAL TIME)
K.Y.C.
(CLIENTS 360)
BI AGILE
(SELF-SERVICE)
DATA
SCIENCE
(ML & AI)
APPS
(MOBILE & WEB)
FUSIONS &
ACQUISITIONS
DATA
MARKETPLACE
RÉGLEMENTATIONS
(IFRS17, GRC)
GOUVERNANCE
& SÉCURITÉ
APIFICATION
(& SQLIFICATION)
COUCHE DONNÉE
UNIFIÉE
AGILITÉ
& SIMPLICITÉ
LIVRAISON
TEMPS-RÉELLE
ABSTRACTION
DONNÉES
ZÉRO
RÉPLICATION
DATA
CATALOG
PERFORMANCES
OPTIMISÉES
LOGICAL DATA
WAREHOUSE/LAKE
BIG DATA
FABRIC
HYBRID
DATA FABRIC
DATA
INTEGRATION
DATA
MIGRATION
REFACTORING &
REPLATFORMING
DATA CONSUMPTION
DATA STORAGE & MANAGEMENT
DATA GOVERNANCE, MANIPULATION & ACCESS
Sales
HR
Executive
Marketing Apps/API
Data Science
AI/ML
LOGICAL
DATA
WAREHOUSE
API
MIGRATION
MOVETO
THECLOUD
BIG
DATA
FABRIC
DATAGOVERNANCE
DATACATALOG
17. 17
Présentation
Ucb est une société biopharmaceutique mondiale,
fondée en 1928, son ambition est de transformer la vie
des personnes atteintes de maladies neurologiques et
immunologiques sévères. En 2018, avec environ 7500
employés dans le monde, l'entreprise a réalisé un
chiffre d'affaires total de plus de 5 milliards de dollars.
18. 18
Présentation
• Besoin d'une vue omnicanal en temps
réel à 360 degrés des données des
patients à travers les différentes
sources.
• Les processus ETL traditionnels
n'étaient pas assez rapides pour
répondre aux besoins en données des
équipes métiers.
• Réduire le temps de développement
pour transformer les données pour au
final un usage analytique.
• Faciliter l'accès aux données sur
plusieurs sources de données.
• De plus en plus d'applications migrent
vers le cloud, mais la nécessité
d'analyser les données de manière
croisée reste toujours présente
• Les scientifiques des données utilisent
la couche de virtualisation Denodo
pour explorer les données, écrire des
scripts et élaborer des
recommandations pour augmenter les
ventes et améliorer les traitements
• La plate-forme Denodo est établie
comme un élément essentiel de
l'architecture de l'entrepôt de données
logique au-dessus des diverses sources
de données d'UCB.
• La plate-forme Denodo se connecte, au
lieu de collecter des données comme
dans ETL, à chaque source et présente
des vues de données aux utilisateurs
professionnels sous la forme d'une
couche sémantique virtuelle
• En un an de mise en œuvre de
Denodo, UCB a pu mettre en
production six cas d'utilisation
différents dans différents domaines
fonctionnels.
• La plate-forme Denodo a réduit de
moitié le temps de développement
par rapport au temps requis par les
processus ETL de l'entreprise.
• Denodo a fourni à UCB la vitesse,
l'efficacité et l'agilité dont
l'entreprise avait besoin, ce qui lui a
permis d'avancer avec ses produits
de données tout en rationalisant les
rapports réglementaires.
Les défis La Solution Les résultats
20. 20
Présentation
Rexel est un groupe français, fondé en 1967, spécialisé
dans la distribution de matériel électrique, de
chauffage, d'éclairage et de plomberie mais aussi dans
les énergies renouvelables et les produits et services
d'efficacité énergétique, l'habitat connecté, et les
services comme la location d'outillage portatif ou des
suites logicielles à destination des professionnels
21. 21
Présentation
• Remplacement de la solution
actuelle de grilles de tarification
client
• Sources de données disparates dans
le système d'informations
• Denodo suppose une couche
d'abstraction logique et simplement
un accès aux données pour les
applications métiers
• Nouvelles fonctionnalités apportées
par Denodo en tant que requêtes
SQL complexe qui gèrent certains
calculs entre l’ERP et la couche BI.
Par exemple: Denodo fournit des
KPI directs à l'utilisateur final.
• Tout d'abord, permettre de capitaliser
sur des structures standardisées
indépendantes des sources de données.
• Favoriser l'accélération de la
digitalisation et ne pas placer la
construction de solutions applicatives
consommatrices de données
référentielles sur le chemin critique.
• Diffusion et consommation de données
d'entreprise hautement flexibles,
résilientes et efficaces sur un point
unique et cohérent
• La valeur de Denodo est perçue comme
offrant des rendements élevés grâce à
l'agilité et la flexibilité en tant que
composante stratégique clé de notre
modernisation des SI.
Les défis La Solution Les résultats
24. 24
Leurs défis
• Données mondialement distribuées à travers des
outils et technologies hétérogènes
• Nouvelles sources de données (ex: big data) &
nouveaux consommateurs (ex: émergence du SaaS)
• Nouveaux canaux de communication (ex: mobile)
• Web Services et API Management
• Fusions et acquisitions
• Analystes en demande de données fraîches et
faciles d’accès
25. 25
Résultats
• Données mondialement distribuées à travers des
outils et technologies hétérogènes
• Nouvelles sources de données (ex: big data) &
nouveaux consommateurs (ex: émergence du SaaS)
• Nouveaux canaux de communication (ex: mobile)
• Web Services et API Management
• Fusions et acquisitions
• Analystes en demande de données fraîches et
faciles d’accès
27. 27
Gouvernance et virtualisation des données
• La gouvernance des données est un sujet vaste et supérieur à la portée de la
virtualisation des données
• La virtualisation des données peut aider un processus de gouvernance des
données dans les domaines suivants :
• La cohérence des données
• Qualité et intégrité des données (et confiance dans ces données)
• Accès aux données
• Facilité d'utilisation des données
29. 29
Principes de sécurité
Contrôle centralisé
Autoriser l'accès en fonction des besoins de
l'entreprise, indépendamment de la
localisation des données ou de la méthode
d'accès
Définir un contrôle d'accès fin sur toutes les
sources de données (fichiers, services web, ...)
Configuration centralisée
Intégré à votre environnement
SSO, Kerberos
Authentification locale ou LDAP
Comptes de pass-though ou de service
nom pays téléphone SSN
John Smith USA 555-1212
Alain
Durand
France
Mary White USA 555-2212
Contrôler l'accès aux colonnes,
aux lignes ou même aux
valeurs individuelles
30. 30
Principes de sécurité
Contrôle centralisé
Denodo gère la sécurité comme sur une DB :
▪ S’intègre avec votre Active Directory & SSO
▪ Masquage dynamique, restrictions sur les colonnes et les
lignes selon les Roles & Privileges des utilisateurs
Intégré à votre environnement
Centralise la sécurité - basée sur comment les
utilisateurs utilisent la donnée et non
comment elle est stockée
IT Semantic Layer
JOIN
GROUP
BY
GROUP
BY
1. Requête métier
2. Authentification avec
une corporate identity
3. Application des règles
d’autorisation .
Par exemple, masque SSN
et restriction locale
4. Requête envoyée à la
source avec les filtres de
conditions correspondants
5. Résultat sécurisé
est généré et envoyé
à l’utilisateur
DISPARATE DATA SOURCESLess StructuredMore Structured
DATA CONSUMERSDATA CONSUMERSAnalytical Operational
32. 32
La performance
Les données restent à la source
Lorsqu’une requête est traitée par Denodo, les données sont
remontées depuis les sources
Potentiellement un volume de données important dans des sources
disparates
Stratégie de Denodo : Maximiser le traitement à la source
Minimiser le trafic réseau
Tirer parti des capacités de traitement des sources
Compléter avec un cache intelligent
Optimisations spécifiques pour les sources MPP (Massively Parallel
Processing)
33. 33
La performance
Combiner
Transformer
Livrer
Application
Source
RDBMS
Source
Big Data
Source
Web Service
Un volume de données important
est potentiellement transféré
2) Toutes les données
concernées sont remontées
des systèmes sources
Sans Data Virtualization… 1) L’utilisateur demande la donnée
à travers une application
3) Les données sont ensuite
combinées et transformées
directement dans l’application
et livrées à l’utilisateur
Tout le travail est
exclusivement
fait dans
l’application
34. 34
La performance
Combiner
Transformer
Livrer
Application
Source
RDBMS
Source
Big Data
Source
Web Service
Avec Data Virtualization
1) L’utilisateur demande la donnée
à travers une application. Denodo
analyse la requête et envoie des
requêtes ciblées aux sources
2) Le traitement des données à
la source est maximisé via
la délégation, selon leurs
capacités techniques
3) Les données sont ensuite
combinées et transformées
par Denodo, livrées à l’application
et l’utilisateur
Le travail
est partagé par les
sources et par
Denodo
Le volume de données transféré
est nettement réduit
35. 35
La performance
SELECT c.state, AVG(s.amount)
FROM customer c JOIN sales s
ON c.id = s.customer_id
GROUP BY c.state
Ventes Client
JOIN
GROUP BY
Ventes Client
Table
temporaire
JOIN
GROUP BY
Option 1 Option 2 Option 3
Temp-Client
Les données « clients » et « ventes » sont stockées dans différentes
sources.
Quel est le meilleur plan d'exécution ?
Stratégie fédération simple
(outils BI)
Mouvement temporaire des données
(Si les sources le permettent)
300 M 2 M 2 M
50
Ventes Client
JOIN
GROUP BY
ID
GROUP BY
state
Délégation partielle d'agrégation
2 M
2 M
... juste un exemple parmi les
stratégies appliquées par Denodo
dans l'optimisation des requêtes
36. 36
La performance
SELECT c.state, AVG(s.amount)
FROM customer c JOIN sales s
ON c.id = s.customer_id
GROUP BY c.state
Fonctionnement de Denodo par rapport aux autres moteurs de la fédération
Système Temps d'exécution
Données
transférées
Technique d'optimisation
Denodo 9 sec. 4 M
La delegation de
l'agrégation
Autres 125 sec. 302 M Aucun : scan complet
300 M 2 M
Ventes Client
JOIN
GROUP BY
2 M
2 M
Ventes Client
JOIN
GROUP BY
ID
GROUP BY
state
Pour maximiser la délégation
au dataware, l'agrégation est
divisée en 2 étapes :
• 1ère par ID client
• 2ème par État
Cela a considérablement
réduit le trafic réseau et la
complexité de traitement
dans Denodo
41. Clients
850+ actifs
F500, G2000 & Start-ups
Santé financière
$4B+ Fond privé (HGGC).
60+% croissance annuelle; Zéro dette; Profitable.
Présence Denodo
Palo Alto (USA) & A Coruña (Espagne)
Présence mondiale
Leadership
A l’origine et « Pure Player » de la data
virtualization (leader & pionnier) – depuis 1999
Reconnaissance des analystes et du marché en
tant que leader (Forrester, Gartner, Clients depuis
6+ ans)
Nombreux trophées
Denodo Technologies
Leader & Pionnier dans la Data Virtualization
Technologie
Industrie
Service financier
Assurance
Santé
Secteur public
Télécommunication
Distribution
Pharma / Bio-Tech
Energie
42. Denodo Technologies
Leader & Pionnier dans la Data Virtualization
Partenaires technologiques
Intégrateurs & ESN
Clients
850+ actifs
F500, G2000 & Start-ups
Santé financière
$4B+ Fond privé (HGGC).
60+% croissance annuelle; Zéro dette; Profitable.
Présence Denodo
Palo Alto (USA) & A Coruña (Espagne)
Présence mondiale
Leadership
A l’origine et « Pure Player » de la data
virtualization (leader & pionnier) – depuis 1999
Reconnaissance des analystes et du marché en
tant que leader (Forrester, Gartner, Clients depuis
6+ ans)
Nombreux trophées
43. Denodo Technologies
Leader & Pionnier dans la Data Virtualization
Clients
850+ actifs
F500, G2000 & Start-ups
Santé financière
$4B+ Fond privé (HGGC).
60+% croissance annuelle; Zéro dette; Profitable.
Présence Denodo
Palo Alto (USA) & A Coruña (Espagne)
Présence mondiale
Leadership
A l’origine et « Pure Player » de la data
virtualization (leader & pionnier) – depuis 1999
Reconnaissance des analystes et du marché en
tant que leader (Forrester, Gartner, Clients depuis
6+ ans)
Nombreux trophées
AUTO ÉVALUATION
ÉVALUATION COLLABORATIVE
Téléchargez Denodo Express
Contactez-nous !
Évaluez (1h) avec le Test Drive:
Denodo Platform
for AWS, Azure ou GCP