Goulla jamal master miage ntdp v2.0
•
2 likes•839 views
Slides présentation de travail de fin d'études Master2 MIAGE NTDP
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to Goulla jamal master miage ntdp v2.0
Similar to Goulla jamal master miage ntdp v2.0 (20)
Goulla jamal master miage ntdp v2.0
- 1. Mise en place d’une plateforme Business Intelligence Open Source Présenté par : Membres du jury : M. Jamal GOULLA M. Jean Pierre LIPS M. Mohammed RAMDANI M. Pierre CRESCENZO M. Reda CHERQUI Projet de fin d’études en entreprise Année universitaire 2012 - 2013 Ecole Marocaine des Sciences de l’Ingénieur Université Nice Sophia Antipolis Lyonnaise des Eaux de Casablanca
- 2. Lancement du projet Livraison de la v1 Déroulement 2 / 40 15/03/2013 Mise en place d’une plateforme OSBI
- 3. Plan 09/06/2015 3 / 40 Jamal GOULLA Présentation du projet de fin d’études en entreprise Contexte du projet Gestion de projet Outils décisionnels Réalisation et mise en œuvre Analyse et modélisation
- 4. Lyonnaise des Eaux de Casablanca Opérateur de services publics Gestion déléguée Depuis le 1er août 1997 Plus de 5 millions d’habitants Plus de 3400 employés 4 métiers Distribution d’électricité Distribution d’eau potable Gestion de l’éclairage publique Gestion de l’assainissement liquide La Lydec 4 / 40 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Contexte du projet Gestion de projet Outils décisionnels Réalisation Analyse et modélisation
- 5. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Actionnaires de la Lydec 5 / 40 • Présence mondial • Au Maroc depuis 1912 • Métiers de l’eau et des déchets • société d'investissement du groupe CDG • Filiale de FinanceCom • Compagnie d'assurance SUEZ Environnement Fipar Holding RMA Watania Bourse de Casablanca • Marché officiel d’actions • 8 000 000 de titres • Capitalisation de 2,5 milliards de dirhams Contexte du projet Gestion de projet Outils décisionnels Réalisation Analyse et modélisation
- 6. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Gouvernance Interne 6 / 40 Direction générale Directiond'administrationfinancière Directiondesressourceshumaines Directiondecommunicationetde développementdurable DirectiondesSystèmes d'Information Directiontechnique Directiond'exploitation,d'électricité etd'éclairagepublique Directiondesfonctionsdesupport Directiondesopérations Directiond'auditinterneet d'inspectiongénérale Directiondegestiondecontrat Contexte du projet Gestion de projet Outils décisionnels Réalisation Analyse et modélisation
- 7. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Département d’acceuil 7 / 40 Direction des systèmes d'information Département Architecture Département Télécoms Département Logistique Département Développement Département Exploitation Chef du département Administrateurs télécom Exploitants télécom Contexte du projet Gestion de projet Outils décisionnels Réalisation Analyse et modélisation
- 8. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Contexte du projet 8 / 40 Refonte du système téléphonique de la Lydec en VoIP. Communication unifiée. nouveaux modèles de communication accroitre la productivité améliorer la relation client simplifier la gestion des systèmes et réseaux répondre à la vision de l’entreprise Contexte du projet Gestion de projet Outils décisionnels Réalisation Analyse et modélisation
- 9. Cisco Unified Communications Manager Système édité par Cisco qui permet de traiter les communications dans une entreprise. Annuaire Services standards Services spécifiques Accès opérateurs Collaboration Messagerie unifiée 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise CUCM 9 / 40Contexte du projet Gestion de projet Outils décisionnels Réalisation Analyse et modélisation
- 10. Réseau WAN Lydec Réseau téléphonique 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Réseau Lydec 10 / 40Contexte du projet Gestion de projet Outils décisionnels Réalisation Analyse et modélisation
- 11. PhonexOneCisco Unified ContactCisco Unified Meeting Place Cisco Webex Cisco Unified Communications Conferencing CiscoUnifiedCommunication Manager Opérateurs télécoms 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Problématique 11 / 40 Mise en place d’une plateforme Business Intelligence Contexte du projet Gestion de projet Outils décisionnels Réalisation Analyse et modélisation
- 12. Entrepôt de données Magasins de données Cubes OLAP Sources internes Sources externes Reporting Tableaux de bords Feed-backutilisateurs Production ServirCharger Extraire Nettoyer Transformer Charger ETL Environnement Décisionnel Documenter Collecter Stocker Distribuer Exploiter 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Architecture décisionnelle 12 / 40Contexte du projet Gestion de projet Outils décisionnels Réalisation Analyse et modélisation
- 13. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Plan 13 / 40 Contexte du projet Gestion de projet Outils décisionnels Réalisation et mise en œuvre Analyse et modélisation
- 14. Mener une analyse des besoins fonctionnels et techniques. Concevoir les datamarts nécessaires. Mettre en place et configurer les outils nécessaires. Réaliser les flux d’alimentation des datamarts, les cubes OLAP et développer les rapports. La restitution au métier. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Objectifs 14 / 40Contexte du projet Gestion de projet Outils décisionnels Réalisation Analyse et modélisation
- 15. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Risques 15 / 40Contexte du projet Gestion de projet Outils décisionnels Réalisation Analyse et modélisation RISQUES Gestion de projet Techniques Humains Fonctionnels Retard par rapport au planning. Tâches non accomplies. Perte des données (panne matériel). Instabilité de l'environnement. Le projet est de taille excessive. Les interfaces ne répondent pas aux attentes des utilisateurs. Compétences techniques insuffisantes.
- 16. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Rôles et tâches 16 / 40Contexte du projet Gestion de projet Outils décisionnels Réalisation Analyse et modélisation
- 17. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Planning prévisionnel 17 / 40Contexte du projet Gestion de projet Outils décisionnels Réalisation Analyse et modélisation
- 18. Phase I Phase II Lancement et Organisation du Projet Prise en charge de projet 2 jours Phase III Etudes & Modélisation 26 jours Phase IV Réalisation et tests Déploiement Phase V 39 jours 46 jours 8 jours 15 mars 2013 - 18 mars 2013 18 mars 2013 - 19 Avril 2013 23 Avril 2013 - 27 Mai2013 (DM model) 11 Juin 2013 - 2 Juillet 2013 29 Mai 2013 - 7 Juin (DM model) 4 Juillet 2013 - 3 Septembre 2013 5 Sptembre 2013 - 16 Septembre 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Déroulement 18 / 40Contexte du projet Gestion de projet Outils décisionnels Réalisation Analyse et modélisation
- 19. Ecarts 19 / 40 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise + 5j Taille du projet. + 1j Multitude d’outils. + 3j Complexité de la tâche. + 5j Complexité de la tâche. +1j Allocation de mémoire JVM. - 6j Maitrise (DM modèle). - 2j Solution intégrée. Contexte du projet Gestion de projet Outils décisionnels Réalisation Analyse et modélisation
- 20. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Plan 20 / 40 Contexte du projet Gestion de projet Outils décisionnels Réalisation et mise en œuvre Analyse et modélisation
- 21. Un Datawarehouse permet d’intégrer des sources de données hétérogènes à des fins d’analyse. La modélisation d’un entrepôt de données se base sur deux concepts: les faits et les dimensions. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Modélisation multidimensionnelle 21 / 40Contexte du projet Gestion de projet Outils décisionnels Réalisation Analyse et modélisation
- 22. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Conception 22 / 40Contexte du projet Gestion de projet Outils décisionnels Réalisation Analyse et modélisation
- 23. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise QOS 23 / 40 Qualité de service (QoS) est un ensemble de technologies pour la gestion du trafic réseau. Voice Quality représente le rapport qualité / clarté d'un appel téléphonique sur un réseau. Contexte du projet Gestion de projet Outils décisionnels Réalisation Analyse et modélisation QOS perte de paquets gigue latence
- 24. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Conception 24 / 40Contexte du projet Gestion de projet Outils décisionnels Réalisation Analyse et modélisation
- 25. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Plan 25 / 40 Contexte du projet Gestion de projet Outils décisionnels Réalisation et mise en œuvre Analyse et modélisation
- 26. Pourquoi les DSI se tournent-ils vers l’Open Source ? En fonction des besoins, certaines solutions s’avèreront plus pratiques et adaptées que d’autres. Il faut faire une étude comparative entre toutes les solutions de BI open source. OSBI 26 / 40 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Gestion de projet Outils décisionnels Analyse et modélisation Contexte du projet Réalisation
- 27. Critère Poids Pentaho BI Spago BI Une communauté en ligne active et un forum riche. 5 Solution 100% Open Source (tous les modules sont libres). 5 Documentation détaillée et accessible en ligne. 5 Implémentation d’une sécurité avancée. 3 Dispose d’une interface Web riche et ergonome. 3 Donne accès aux fonctions d’administration. 1 Solution flexible et facilement paramétrable. 1 Création de requête intuitive via une interface graphique. 1 Les indicateurs sont capables d’actualiser leurs données sans intervention de l’utilisateur (Reporting en temps réel). 3 Des profils différents sont disponibles pour les utilisateurs, les développeurs et les administrateurs. 3 Score 64 74 Poids 1: Faible 3: Moyen 5: Important Scoring Faible Moyen Bon 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Suite BI 27 / 40Gestion de projet Outils décisionnels Analyse et modélisation Contexte du projet Réalisation
- 28. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise SpagoBI 28 / 40Gestion de projet Outils décisionnels Analyse et modélisation Contexte du projet Réalisation
- 29. Critère Poids Talend TOS Pentaho DI Intégration native avec la solution SpagoBI. 5 Une communauté en ligne active et un forum riche. 3 Solution 100% Open Source (tous les modules sont libres). 3 Documentation détaillée et accessible en ligne. 3 Développement des jobs avec un modèle graphique à base d’étapes. 1 Dispose d’une interface intuitive et ergonome. 1 Permet de suivre l’exécution des transformations ETL en temps réel. 3 Intégration d’un planificateur de tâches. 3 Des connecteurs sont disponibles pour se connecter aux principales bases de données, annuaires, Web Services et différents types de fichiers (texte, CSV, Excel, XML) 5 Score 72 58 Poids 1: Faible 3: Moyen 5: Important Scoring Faible Moyen Bon 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Choix d’ETL 29 / 40Gestion de projet Outils décisionnels Analyse et modélisation Contexte du projet Réalisation
- 30. ETL Réseau LAN Administrateur Fichiers CDR et CMR CUCM DB PhonEX One DB ICM AW/HDS Facture Opérateur télécom 1 Facture Opérateur télécom 2 Jobs Talend Schémas OLAP Mondrian Fichiers JRXML Managers et Administrateurs Editeur graphique de Schémas OLAP Mondrian Workbench Générateur de rapports Suite SpagoBI 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Architecture de la plateforme 30 / 40Gestion de projet Outils décisionnels Analyse et modélisation Contexte du projet Réalisation
- 31. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Plan 31 / 40 Contexte du projet Gestion de projet Outils décisionnels Réalisation et mise en œuvre Analyse et modélisation
- 32. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Job ETL 32 / 40Gestion de projet Outils décisionnels Réalisation Analyse et modélisation Contexte du projet
- 33. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Tableau Croisé Dynamique 33 / 40Gestion de projet Outils décisionnels Réalisation Analyse et modélisation Contexte du projet
- 34. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Portail Web 34 / 40Gestion de projet Outils décisionnels Réalisation Analyse et modélisation Contexte du projet
- 35. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Reporting 35 / 40Gestion de projet Outils décisionnels Réalisation Analyse et modélisation Contexte du projet
- 36. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Rapports 36 / 40Gestion de projet Outils décisionnels Réalisation Analyse et modélisation Contexte du projet
- 37. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Etat d’avancement 37 / 40 Etude de l’existant. Etude fonctionnelle. Etude comparative et benchmarking des outils composant la solution. Conception des Datamarts. Réaliser les schémas OLAP. Développement des jobs ETL. Rédaction des manuels utilisateurs. Modélisation des cubes. Elaborer l’architecture de la plateforme. Installation et intégration des outils. Développement des rapports. Développement des tableaux de bords.
- 38. La version livrée permettra de considérer une plateforme open source comme solution aux besoins de reporting. Etendre l’accés aux rapports et tableaux de bord au mobile. Le projet décisionnel se veut agile et itérative, pour accompagner les évolutions métier. Dans le future, il est sera question d’optimiser les jobs ETL et déployer plus de rapports et TB. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Perspectives 38 / 40
- 39. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise Bilan 39 / 40 Professionnel Apprendre un nouveau métier. Familiarisation avec les outils OSBI. Gestion et organisation de travail. Domaine du décisionnel. Mettre en pratique et enrichir les connaissances acquises lors de ma formation académique. Personnel Patience et détermination. Responsabilité. Communication. Savoir-faire. Réseau social. MERCI pour votre attention
- 40. Mise en place d’une plateforme Business Intelligence Open Source Présenté par : Membres du jury : M. Jamal GOULLA M. Jean Pierre LIPS M. Mohammed RAMDANI M. Pierre CRESCENZO M. Reda CHERQUI Projet de fin d’études en entreprise Année universitaire 2012 - 2013 Ecole Marocaine des Sciences de l’Ingénieur Université Nice Sophia Antipolis Lyonnaise des Eaux de Casablanca
Editor's Notes
- Je me présente, Jamal Goulla élève ingénieur à l’EMSI et à l’UNICE où je prépare un Master2 Miage NTDP Je remercie tout d’abord l’audience pour avoir répondu présent Messieurs honorables memebres du jury merci d’avoir accepter d’évaluer mon travail, travail qui conciste à la mise en place d’une solution BI open source analysant les données relatives aux communications traitées le départemetntélécom de la lydec
- Mon stage s’est déroulé sur une durée de 6 mois au sein de la lydec du 15/03 au 15/09 date à laquelle la solution a été livrée
- Sans plus tarder le plan de la présentation est le suivant Je commencerai par le contexte général du projet Pour ensuite présenté les asxpects de gestion de projet Suivi par l’analyse et modélisation Les outils utilisés lors du projet Enfin la derniere partie concerne la réalisation et mise en oeuvre
- LYDEC est un opérateur de services. Ces missions lui ont été confiées dans le cadre d'un contrat de gestion déléguée signé en 1997 par lesCommunes urbaines. Lydec gere les ressources de plus de 5 millions d’habitants du grand Casablanca confendu avec plus de 3400 employés L'activité est structurée autour de quatre métiers :
- Depuis juillet 2005, Lydec est une entreprise cotée en bourse. Son capital se répartit de la manière suivante : Suez Environnement l’activité de SUEZ ENVIRONNEMENT comprend l’alimention en eau potable, services d'assainissement et la collecte des déchets. RMA Watanya Filiale de FinanceCom, RMA Watanya est une compagnie d'assurance, née en 2005, de la fusion des compagnies RMA et Al Watanya. Il a rejoint le capital de Lydec en 2005. Fipar Holding société d'investissement du groupe Caisse de Dépôt et de Gestion, premier investisseur institutionnel du pays. Fipar Holding a pour vocation de détenir des participations minoritaires et stratégiques dans les secteurs industriels, financiers et de services, avec un objectif de rendement financier à moyen et long terme. Actionnariat flottant à la Bourse des valeurs de Casablanca Bourse des Valeurs de Casablanca (BVC) est le marché officiel des actions au Maroc.
- La Lydec est organisée en plusieurs directions J’ai effectué mon stage au sein de la DSI
- Plus précisement dans le département télécom. Les administraeurs et exploitants télécom avec à leur tête un chef de département ont pour mission la gestion de la structure télécom de l’entreprise, ceci comprend la structure réseau et téléphonique ainsi que l’administration des solutions logiciels
- Mise en place un système de Téléphonie sur permet - ouvrir la voie à de nouveaux modèles de communication - accroitre la productivité, - améliorer la relation client, - simplifier la gestion des systèmes et réseaux - répondre à la vision de l’entreprise.
- Services standards: messagerie vocale, Appels internes/externes.. Services spécifiques: Clic to call à partir de l’annuaire ou d’un dialer ; Filtrage patron/secrétaire Les accès opérateur: choix de garder une relation d’interdépendance avec les fournisseurs d’accès téléphoniques, assurer un routage intelligent en fonction des destinations La messagerie unifiée: avoir l’ensemble des messages vocaux et fax directement sur la plateforme de messagerie électronique Collaboration: L’un des objectifs de la migration vers une infrastructure IP est de tirer profit du travail multimédia Cette solution est complétée par les applications de messagerie unifiée, de centre d’appels, de travail collaboratif, de mobilité, d’administration et de Taxation. Fonction d’accueil centralisé : L’accueil téléphonique passant par des numéros publics de Lydec. Applications WEB: LYDEC souhaite intégrer les fonctionnalités WEB aux niveaux de toutes les applications téléphoniques proposées. L’administration et la supervision : La solution d’administration du système téléphonique offrir aux administrateurs un outil simple et intégré de gestion de la plateforme téléphonique. Cet outil devra être centralisé et permettre l’accès à distance via le web. Le centre de relation client: LYDEC dispose de centres d’appels virtuels pour la relation client externe et interne gérés par une même plate-forme. L’objectif étant d’offrir, à tout moment et en temps réel, un service répondant aux attentes de ses clients à travers tout type de contact : Téléphonie, Fax, Web, Mail Taxation et plafonnement: L’outil de taxation proposé doit pouvoir centraliser l’ensemble des tickets de taxation des sites
- Le réseau de LYDEC est composé de 20 sites: 2 sites principaux le premier situé au Siège Diouri et un deuxième à un site de backup. 18 sites distants situés dans les agences et délégations. L’ensemble des sites distants sont connectés aux deux sites centraux. WebEx de Cisco exploitent des options de conférence audio et vidéo basées sur le résea
- L’appli de conferencing qui complète la solution CUCM cree des fichiers plats contenant des infos sur les conferences, L’app de centre d’appel stocke toutes les informations relatives au centre de contact dans 2 BD La BD de PhonexOne contient les infos sur les frais des comm CUCM genere 2 fichiers CDR et CMR journal des appel et de qualité
- Prod : Données heterognes Externe : internet, WS, BD des clts et partenaires DM ayant un sujet commun
- Pour mettre en place la plateforme BI, nous nous sommes fixés les objectifs suivants : Mener une analyse des besoins fonctionnels et techniques. Concevoir les datamarts nécessaires et la réalisation de leurs flux d’alimentation. Mettre en place et configurer les outils nécessaires. Répondre aux exigences de reporting et disposer de tableaux de bord spécifiques. Délivrer la bonne information, au bon temps, à la bonne personne et sous le bon format. Intégrer et fusionner toutes les données transactionnelles. La restitution au métier.
- Lors de la phase de planification j’ai pu dégager 4 familles de risques à savoir
- Planification ETL + documentation + configuration d’entreopot des MetaData + Modelisation DB
- Le PP est organisé en 6 pahes avec une balidation à la fin de chaque phase
- Durant le deroulement du projet La premiere ajustation apporté au PP est la méthodologie de travail Suite aux conseils de mes encadrants, j’ai conçu et réaliser un DM modele pour bien cerner les difficultes de ces taches
- Les faits étant ce que je voulais analyser et les dimensions, les données suivant les quelles seront analysés ces faits.
- Plusieurs facteurs influent sur la qualité des communications sur IP. Les facteurs les plus cruciaux de la qualité de la voix sont la latence des paquets (retard), gigue des trames et la perte de paquets. Lorsque ces valeurs sont petites alors la QoS doit avoir une grande valeur. la gigue est la variation de la latence au fil du temps. Il est la différence de délai de transmission de bout en bout entre des paquets choisis dans un même flux de paquets
- L'offre de progiciels Business Intelligence Open Source disponibles est en effet désormais en phase avec les exigences attendues pour la majorité d'applications d'entreprise. Red Hat vient de publier son premier « Observatoire de l’open source » qui compile les réponses de 387 DSI (en France) issus du secteur public, de l’éducation, de l’IT, des télécoms, de la finance et de l’industrie.
- SpagoBI est une suite décisionnelle. Cette suite, la seule entièrement Open Source. SpagoBI s’appuie sur un ensemble de projet open source connexes et permet de puissantes. SpagoBI propose une vingtaine de composant (ou «moteurs») complémentaires: Reporting: JasperReport, BIRT, Accessible report, BO. Analyse Multidimensionnelle: Jpivot/Mondrian, JPalo/Mondrian,JPXMLA. DataMining : Weka. Analyse géographique : GEO, GIS. Tableaux de bord : outils KPI et COCKPIT. ETL : Talend.
- Pour illustrer la phase de reporting
- Besoins reporting non couverts par le progiciel SAP, je souligne que les deux solutions peuvent cohexister vu que Talend permet d’integer les données des modules de SAP installés.