Sur une planète toujours plus intelligente, instrumentée et interconnectée, la masse d\'information explose. Il n\'y a pas de prise de décision de qualité sans une information fiable, pertinente, à la bonne personne au bon moment. Lors des Tendances Logicielles New Intelligence, Dan Benouaisch, IBM, a développé les concepts et présenté l\'offre IBM InfoSpere qui répond à ces impératifs.

1. Disposer d'informations fiables, à l'instant voulu, pour prendre de meilleures décisions Matthieu Maurice Dan Benouaisch

4. Solution IBM InfoSphere – End to End Cognos Data Integration Data Quality Data Delivery Operational Source Systems Structured/ Unstructured Data InfoSphere MDM Server COMMON METADATA Data Glossary Spreadsheets Applications Information Server Federated Data Cubing Services Industry Models Data Repository Multidimensional Analysis Data Mining Data Definition Glossary SOA Web Service InfoSphere Warehouse Common Definition Management Deployment

9. CONSTRUIRE OU ACHETER : LES CONSTATS Construire, à condition de pouvoir le justifier Acheter, mais en trouvant le bon compromis Un impact sur les temps de mise en œuvre et sur les coûts Un impact sur l’ouverture et la flexibilité « Il coûte 7 à 10 fois plus cher de développer en spécifique une fonction plutôt que d’utiliser son équivalent dans un progiciel » GIGA GROUP « Nos études montrent que les coûts de possession du spécifique dépassent de 40% ceux du Progiciel » GARTNER Progiciel par défaut Au cas par cas en fonction du projet Progiciel systématiquement Selon le coût NSP Progiciel adapté aux processus Progiciel adapté aux métiers Approche mixte Source Forrester (Étude Sur 25 grands comptes Européens), AMR et Gartner Plus facile avec un progiciel Plus facile avec un spécifique Équivalent NSP Spécifique plus cher Équivalent Logiciel plus cher NSP

10. Une méthodologie adaptée à vos enjeux métiers Time To Value Est-ce que vos sources de données contiennent l’information que vous pensez y trouver? Quelles sont les sources à utiliser pour ce projet? Est-ce que le sens de vos données est celui que vous croyez? Découvrir Comment rapprocher les enregistrements de même signification? Pouvez-vous corriger et améliorer la qualité de vos données? Standardiser Pouvez-vous affecter un sens aux données à destination des utilisateurs ? Pouvez-vous apporter une synchronisation des données entre les systèmes? Pouvez-vous délivrer & mettre à jour les données en temps réel? Vos données peuvent-elles être délivrées sur la base d’évènements ou selon leur contenu? Transformer & Délivrer Fédérer Comment accéder de manière transparente, efficace et simple à des données provenant de sources hétérogènes ?

11. Vos projets d’intégration de l’information … Exécution performante quelque soit la volumétrie Une seule plateforme, un seul outil : le Serveur d’Information Connectivité étendue aux applications, données et contenu Comprendre Cartographier, définir, découvrir et modéliser et maîtriser qualité et structure de l’information Nettoyer Standardiser, fusionner et corriger l’information Transformer Transformer, enrichir, déplacer et synchroniser l’information Fédérer Virtualiser et simplifier l’accès à l’information Déployer la logique d’intégration sous forme de Service Gérer de façon unique et simple toutes vos métadonnées

13. IBM Information Server Delivering information you can trust Comprendre Nettoyer Transformer Fédérer QualityStage Information Analyzer Federation Server DataStage Business Glossary Information Services Director Metadata Server Exécution parallélisée Connectivité aux applications, données et contenu Information Server Metadata Workbench

20. IBM Information Server Delivering information you can trust Comprendre Nettoyer Transformer Fédérer QualityStage Information Analyzer Federation Server DataStage Business Glossary Information Services Director Metadata Server Exécution parallélisée Connectivité aux applications, données et contenu Information Server Metadata Workbench

22. La démarche Qualité

23. Le processus de Nettoyage des données Vues Consolidées 1. Standardiser 2. Rapprocher 3. Consolider Clients Transactions Vendeurs / Fournisseurs Cible Produits / Matériels

24. Un exemple de données “non propres” Comment identifier et consolider des données quand le nombre d’enregistrement s’élève a plusieurs millions/milliards d’enregiqtrement ? 90328574 IBM 187 N.Pk. Str. Salem NH 01456 8,494.00 90328575 I.B.M. Inc. 187 N.Pk. St. Salem NH 01456 3,432.00 90238495 Int. Bus. Machines 187 No. Park St Salem NH 04156 2,243.00 90233479 International Bus. M. 187 Park Ave Salem NH 04156 5,900.00 90233489 Inter-Nation Consults 15 Main Street Andover MA 02341 6,800.00 90234889 Int. Bus. Consultants PO Box 9 Boston MA 02210 10,243.00 90345672 I.B. Manufacturing Park Blvd. Bostno MA 04106 15,999.00 Pas de clés communes Anomalies Erreurs de traduction Pas de standard

25. Étape 1 : La standardisation (exemple  adresses) Analyse lexicale: Détermination de la signification métier de chaque composant Mise en contexte: Identification de la structure variable des données et de leur signification ^ Repetition Street Common + Index Type Word 3 | BIS | RUE | DE | PARIS melle Morognier Françoise 3 bis, r. de Paris 72000 Le Mans House Repetition Street Street Number Index Type Name 3 | B | RUE | DE PARIS 3 | BIS | R. | DE | PARIS Décomposition: Détermination de la signification métier de chaque composant FRADDR

26. Étape 1 : La standardisation (exemple  produits) Pneu Energy Serie Audi A4 TDI 115ch 2.0 2.0 Pneu Pilot Primacy 205/55R16 Audi A4 91/H Pneu Exalto Option AudiA4 130ch 2.2 Pneu Pilot Sport Serie Audi A4 TDi quattro 2.5 2.3 91/Y Audi A4 TDI Quatro Audi A4 TDI 130ch Audi A4 TDI Audi A4 TDI 115ch Type Voiture 2.5 2.3 2.2 2.2 2.2 2.2 2.0 2.0 Pression AV AR Serie 91/Y 225/45ZR17 Pneu Pilot Sport Option 91/V 205/55R16 Pneu Pilot Exalto Option 91/H 205/55R16 Pneu Pilot Primacy Ssérie 91/H 195/65R15 Pneu Energy Monte IC/IV Dimension Description

27. Étape 2 : Le Rapprochement Prénom 2ème Prénom Nom Fonction ALEXANDRE J DEMARIA DG ALEXANDRE JEAN DEMARA DG + 7 +1 + 1 0 +5 = 23 Le s CUTOFF sont le s score s au dessus et en dessous d es quel s un rapprochement est considéré comme bon ou non Le score d’un poids est une mesure relative de probabilité de match 0 500 1000 1500 2000 2500 3000 3500 4000 -50 -40 -30 -20 -10 0 10 20 30 40 50 60 Nbre Paires Non rapprochées Rapprochées

28. Le scoring probabiliste améliore la qualité Les Tables de Décisions de la méthode classique (déterministe) appliquent les même règles quel que soit le contenu intrinsèque. Par contre, la méthode probabiliste tient compte de la différence intrinsèque des valeurs. Un nom rare (« YUSKA ») et des chaînes plus longues compensent les champs manquants ou litigieux. Illustration dans cette détection de foyer : la pattern déterministe « ABBCB » est un non-match, alors que l’algorithme probabiliste donne 24 > 21 = match non oui non (erreur !) L-Name Hse# Street Apt# Zip Rec-1 SMITH 123 BEECH 18A 02112 Rec-2 SMITH 132 BEACH 18 02111 Pattern A B B C B ABBCB Weight 5 2 7 1 4 19 Rec-3 YUSKA 5401 VETCH 818A 02112 Rec-4 YUSKA 5410 VEECH 81A 02111 Pattern A B B C B ABBCB Weight 7 3 8 2 4 24

31. Un exemple d’harmonisation (produits) DONNEES EN ENTREE Operation Work Instructions in a free text field WNG ASSY DRL 3 HOLE USE HEXBOLT ¼ INCH WING ASSEMBY, HEX BOLT .25” - DRILL FOUR, USE 5J868-A USE 4 5J868A BOLTS (HEX .25) - DRILL HOLES FOR EACH ON WING ASSEM RUDER, TAP 6 WHOLES, SECURE W/KL2301 RIVETS (10 CM) Assembly Instruction QTY Type Part Size Unit Measure SKU WING DRILL 3 HOLES HEXBOLT .25 INCH WING DRILL 4 HEXBOLT .25 INCH 5J868A WING DRILL 4 HOLES HEXBOLT .25 5J868A RUDDER TAP 6 HOLES RIVET 10 CM KL2301 STANDARDISATION Assembly Instruction QTY Type Part Size Unit Measure SKU WING DRILL 3 HOLES HEXBOLT .25 INCH WING DRILL 4 HEXBOLT .25 INCH 5J868A WING DRILL 4 HOLES HEXBOLT .25 5J868A RUDDER TAP 6 HOLES RIVET 10 CM KL2301 RAPPROCHEMENT MATCH Assembly Instruction QTY Type Part Size Unit Measure SKU WING DRILL 4 HOLES HEXBOLT .25 INCH 5J868A RUDDER TAP 6 HOLES RIVET 10 CM KL2301 CONSOLIDATION

34. Gestion de la qualité de donnée : Performance & Scalabilté

35. Plus de 500 clients en France Banque & Assurance Communications & Services Industries Secteur Public Distribution Majeurs SAP

40. Des questions ?

43. Thank You Merci Grazie Gracias Obrigado Danke Japanese French Russian German Italian Spanish Brazilian Portuguese Arabic Traditional Chinese Simplified Chinese Hindi Tamil Thai Korean

44. Démonstration