• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
Mise en place d'un Data Warehouse
 

Mise en place d'un Data Warehouse

on

  • 7,412 views

Projet de fin d'études

Projet de fin d'études

Statistics

Views

Total Views
7,412
Views on SlideShare
7,412
Embed Views
0

Actions

Likes
4
Downloads
729
Comments
5

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel

15 of 5 previous next Post a comment

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
  • Mercii
    Are you sure you want to
    Your message goes here
    Processing…
  • merci
    Are you sure you want to
    Your message goes here
    Processing…
  • MERCIIIIIIIIIIII
    Are you sure you want to
    Your message goes here
    Processing…
  • merci bien
    Are you sure you want to
    Your message goes here
    Processing…
  • merci
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    Mise en place d'un Data Warehouse Mise en place d'un Data Warehouse Presentation Transcript

    • Ecole nationale Supérieure d’InformatiquePrésenté par: FILALI Abderrahmane Date: 06/07/2010 KEDJNANE Sofiane Durée: 30min
    • OrganismeIntroduction Préambule d’accueil Problématique Décisionnel Systèmes DataDéfinitions décisionnels VS Warehouse opérationnelPrésentation Démarche Conception de de la adoptée la solution Mise en œuvre solutionConclusion etperspectives
    • Introduction Définitions Présentation de la solution Conclusion 3
    • Introduction Définitions Présentation de la solution Conclusion •1947, Création de « EGA » •1969, Création de SONELGAZ •1991, SONELGAZ devient un « EPIC » • Juin 2002, Le statut de SPA 4
    • Introduction Définitions Présentation de la solution ConclusionLe métier de la distribution: 5
    • Introduction Définitions Présentation de la solution ConclusionLe métier de la distribution: Direction de Distribution 1 Direction de Distribution 2 …… Direction de Distribution N Agence 1 Agence 2 … Agence N 6
    • Introduction Définitions Présentation de la solution Conclusion Quantité de données Besoin d’un support De décision Insuffisances de Opportunités la méthode actuelle pour un tel projet 7
    • Introduction Définitions Présentation de la solution Conclusion 8
    • Introduction Définitions Présentation de la solution Conclusion Consolidation ELIT ou SD Envoie Extraction 9
    • Introduction Définitions Présentation de la solution Conclusion SQL SGC 10
    • Introduction Définitions Présentation de la solution Conclusion 11
    • Introduction Définitions Présentation de la solution Conclusion Rendre les données accessibles, Présenter les données d’une façon cohérente et fiable, Minimiser le coût d’élaboration de rapport en ressources (temps et argent), Assurer une indépendance fonctionnelle vis-à-vis du système opérationnel, 12
    • Introduction Définitions Présentation de la solution Conclusion DD2 DD1 DD58 13
    • Introduction Définitions Présentation de la solution Conclusion 14
    • Introduction Définitions Présentation de la solution Conclusion Entrepôt de données Infocentre bases de données opérationnelles 1970 1980 1990 Évolution des bases de données décisionnelles 15
    • Introduction Définitions Présentation de la solution Conclusion« Le Data Warehouse est une collection de données orientées sujet, intégrées, non volatiles et évolutives dans le temps, organisées pour le support d’un processus d’aide à la décision. »[Inmon, 2002] 16
    • Introduction Définitions Présentation de la solution Conclusion Données Usage L’orientation des La Finalité données La situation reflétée Les manipulations Le stockage des Les utilisateurs données 17
    • Introduction Définitions Présentation de la solution Conclusion • Les systèmes décisionnels et opérationnels sont appelés, de part leurs finalités et leurs usages, à la cohabitation. • Les systèmes opérationnels représentent la première source de données pour les systèmes décisionnels. 18
    • Introduction Définitions Présentation de la solution Conclusion Extraction Chargement Présentation Architecture et environnement du DW 19
    • Introduction Définitions Présentation de la solution ConclusionLa zone de présentation: On-Line Analytical Processing (O.L.A.P.) est un style d’interrogation spécifiquement dimensionnel. Définit par E. Codd (Père des BDD relationnelles). On trouve les types suivants de serveurs : Entrepôt Traitement Présentation 21
    • Introduction Définitions Présentation de la solution Conclusion Conception de Conception de la zone la zone d’entreposage d’alimentation Définition Mise en des besoins route Étude Conception technique des cubes dimensionnels 22
    • Introduction Définitions Présentation de la solution Conclusion Définition de Modélisation Démarche : dimensionnelle l’architecture technique Gestion et Conception planification du physique projet Etude des  Buttom up (sources de Construction besoinsdonnées) Maintenance et croissance de la zone d’alimentation Planification Portail de  Top Down (besoins utilisateurs) du restitution déploiement Étude des besoins dans un projet Data Warehouse.[Kimball, 96] 23
    • Introduction Définitions Présentation de la solution Conclusion Audit de la base de données et SO Supports existantsEntretiens Démarche mixte 24
    • Introduction Définitions Présentation de la solution Conclusion Cette étude a abouti à : L’Identification des postes utilisateur (DCM, DCF, PDG, …ETC.) La Détection des besoins, La classification des besoins en quatre volets, qui sont : Ventes, Suivi des abonnés, Suivi des affaires, Recouvrement, 25
    • Introduction Définitions Présentation de la solution ConclusionAnalyse des priorités : GA: Gestion des affaires. Ventes: Suivi des Ventes ventes Rec SA: Suivi des abonnés GA Rec: Recouvrement Intérêt SA Facilité 26
    • Introduction Définitions Présentation de la solution Conclusion Nouveaux besoins Nouvelle modélisation Nouveaux objectifs 27
    • Introduction Définitions Présentation de la solution ConclusionLa Modélisation dimensionnelle: Table de fait Dimension Temps Dimension produit -Clé temps -Clé temps -Clé produit -Clé produit -Année -Clé magasin -Désignation produit -Mois -…. -Type produit -Jours -Montant - -… Modélisation Dimension magasin dimensionnelle -Clé magasin 28
    • Introduction Définitions Présentation de la solution Conclusion Dimension Dimension Dimension Fait Fait Dimension Dimension Dimension Dimension Fait Dimension Dimension 29
    • Introduction Définitions Présentation de la solution Conclusion Avantages : Performant, Simple et intuitif, Réutilisation des dimensions, Réduction des temps de chargement, 30
    • Introduction Définitions Présentation de la solution ConclusionLe Processus de Modélisation: Choix de l’activité Construction Définition de des agrégats la granularité Détection Détection des des dimensions mesurables 31
    • Introduction Définitions Présentation de la solution ConclusionStructure de la zone d’entreposage: META DATA ZONE AGRÉGÉE ZONE DÉTAILLÉE 32
    • Introduction Définitions Présentation de la solution Conclusion Extract. Transform. Load (E.T.L.): Extraire Transformer Charger • Lire • Nettoyer • Charger • Interpréter • Intégrer • Indexer • Copier • agréger 33
    • Introduction Définitions Présentation de la solution Conclusion Être correctif Être rapide Processus Être sûr ETL Être transparent Qualité de données 34
    • Introduction Définitions Présentation de la solution ConclusionEtapes de la construction: Elaboration Mise en Etude des de stratégie place d’une sources d’extraction architecture 35
    • Introduction Définitions Présentation de la solution ConclusionContraintes Réseau Qualité de données ETL Quantité de données Structure de l’entreprise 36
    • Introduction Définitions Présentation de la solution ConclusionEtude des sources •Gestion des Travaux (Raccordements BT/BP) •Relève et facturation BT/BP, MT, MP • Recouvrement • SGBD : INGRES 2006, • Open ROAD • Trésorerie et comptabilité •452 Tables, • 35 applications • 2900 utilisateurs, • 6 millions de clients, • 70000 factures / jour 37
    • Introduction Définitions Présentation de la solution ConclusionEtude des sources 38
    • Introduction Définitions Présentation de la solution ConclusionStratégie d’extraction: Processus de chargement Dimensions Données prêtes a être chargées Faits Particulières Processus de chargement 39
    • Introduction Définitions Présentation de la solution ConclusionArchitecture de la zone d’alimentation: Pousse Tire La méthode Push and Pull Base de données Système source Serveur ELIT intermédiaire 40
    • Introduction Définitions Présentation de la solution ConclusionArchitecture globale de la zone d’alimentation: Transformation Meta-Data SGC Extraction Staging Direction regionale Transformation SGC Extraction Serveur ETL Elit DW Staging Direction regionale FTP Transformation SGC Extraction Staging Direction regionale 41
    • Introduction Définitions Présentation de la solution ConclusionEn cas de problèmes? Rôle des METADATA Solution secours numéro une: Lancement du chargement paramétré Solutions secours numéro deux: Recourt au fichiers historiques. 42
    • Introduction Définitions Présentation de la solution ConclusionAvantages: Outre un chargement sûr, Cette architecture permet : • Une réduction importante des temps de chargement, grâce au chargement parallèle • Facilité de recours à la solution secours en cas d’échec d’un chargement • L’impact réduit d’un chargement échoué 43
    • Introduction Définitions Présentation de la solution Conclusion Construction Définition Définition des des des dimensions hiérarchies mesurables 44
    • Introduction Définitions Présentation de la solution Conclusion 45
    • Introduction Définitions Présentation de la solution ConclusionArchitecture technique: Entreposage Alimentation de données de l’entrepôt Outil de Serveur reporting R-OLAP « QBE » 48
    • Introduction Définitions Présentation de la solution Conclusion Expansion Formation Data Support Warehouse Support technique 46
    • Introduction Définitions Présentation de la solution Conclusion Gestion des Meta Data utilisateurs Constitution Suivi de zone de l’alimentation restitution 47
    • Introduction Définitions Présentation de la solution Conclusion Une démarche spécifique. Présentation de la solution a un « comité de projet » Déploiement sur des sites pilotes. Intégration dans une équipe pour étendre la solution. Offrir un rapport comme support à la solution. Evolution dans un milieu fort intéressant. 49
    • Introduction Définitions Présentation de la solution Conclusion Suivre le déploiement actuel et recueillir les correctifs et remarques des utilisateurs. Etendre le déploiement de manière à couvrir, à terme la, totalité du territoire national. Etendre la solution vers d’autres systèmes opérationnels notamment les systèmes de la HP/HT. Utilisation des méthodes et algorithmes de Data Mining pour une meilleure exploitation des données. Continuer le développement du portail de restitution. 50
    • 51