Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Matinée Découverte Big Data & Data Science - 24012017

1,068 views

Published on

Big Data & Data Science : Les best practices
Démystifions la Data Science !

  • DOWNLOAD THAT BOOKS INTO AVAILABLE FORMAT (2019 Update) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ......................................................................................................................... ................................................................................................................................... eBook is an electronic version of a traditional print book that can be read by using a personal computer or by using an eBook reader. (An eBook reader can be a software application for use on a computer such as Microsoft's free Reader application, or a book-sized computer that is used solely as a reading device such as Nuvomedia's Rocket eBook.) Users can purchase an eBook on diskette or CD, but the most popular method of getting an eBook is to purchase a downloadable file of the eBook (or other reading material) from a Web site (such as Barnes and Noble) to be read from the user's computer or reading device. Generally, an eBook can be downloaded in five minutes or less ......................................................................................................................... .............. Browse by Genre Available eBooks .............................................................................................................................. Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, ......................................................................................................................... ......................................................................................................................... .....BEST SELLER FOR EBOOK RECOMMEND............................................................. ......................................................................................................................... Blowout: Corrupted Democracy, Rogue State Russia, and the Richest, Most Destructive Industry on Earth,-- The Ride of a Lifetime: Lessons Learned from 15 Years as CEO of the Walt Disney Company,-- Call Sign Chaos: Learning to Lead,-- StrengthsFinder 2.0,-- Stillness Is the Key,-- She Said: Breaking the Sexual Harassment Story That Helped Ignite a Movement,-- Atomic Habits: An Easy & Proven Way to Build Good Habits & Break Bad Ones,-- Everything Is Figureoutable,-- What It Takes: Lessons in the Pursuit of Excellence,-- Rich Dad Poor Dad: What the Rich Teach Their Kids About Money That the Poor and Middle Class Do Not!,-- The Total Money Makeover: Classic Edition: A Proven Plan for Financial Fitness,-- Shut Up and Listen!: Hard Business Truths that Will Help You Succeed, ......................................................................................................................... .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THAT BOOKS INTO AVAILABLE FORMAT (2019 Update) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... Download Full doc Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... Download PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... ......................................................................................................................... ................................................................................................................................... eBook is an electronic version of a traditional print book that can be read by using a personal computer or by using an eBook reader. (An eBook reader can be a software application for use on a computer such as Microsoft's free Reader application, or a book-sized computer that is used solely as a reading device such as Nuvomedia's Rocket eBook.) Users can purchase an eBook on diskette or CD, but the most popular method of getting an eBook is to purchase a downloadable file of the eBook (or other reading material) from a Web site (such as Barnes and Noble) to be read from the user's computer or reading device. Generally, an eBook can be downloaded in five minutes or less ......................................................................................................................... .............. Browse by Genre Available eBooks .............................................................................................................................. Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, ......................................................................................................................... ......................................................................................................................... .....BEST SELLER FOR EBOOK RECOMMEND............................................................. ......................................................................................................................... Blowout: Corrupted Democracy, Rogue State Russia, and the Richest, Most Destructive Industry on Earth,-- The Ride of a Lifetime: Lessons Learned from 15 Years as CEO of the Walt Disney Company,-- Call Sign Chaos: Learning to Lead,-- StrengthsFinder 2.0,-- Stillness Is the Key,-- She Said: Breaking the Sexual Harassment Story That Helped Ignite a Movement,-- Atomic Habits: An Easy & Proven Way to Build Good Habits & Break Bad Ones,-- Everything Is Figureoutable,-- What It Takes: Lessons in the Pursuit of Excellence,-- Rich Dad Poor Dad: What the Rich Teach Their Kids About Money That the Poor and Middle Class Do Not!,-- The Total Money Makeover: Classic Edition: A Proven Plan for Financial Fitness,-- Shut Up and Listen!: Hard Business Truths that Will Help You Succeed, ......................................................................................................................... .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD FULL BOOKS, INTO AVAILABLE FORMAT ......................................................................................................................... ......................................................................................................................... 1.DOWNLOAD FULL. PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Hey guys! Who wants to chat with me? More photos with me here 👉 http://www.bit.ly/katekoxx
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

Matinée Découverte Big Data & Data Science - 24012017

  1. 1. DÉMYSTIFIONS LA DATA SCIENCE ! DAVID-STÉPHANEFALA DirecteurPracticeBigData&DataIntelligence TANGUYLENOUVEL DirecteurPracticeDataScience BIG DATA & DATA SCIENCE : LES BEST PRACTICES Mardi24janvier2017
  2. 2. 1. INTRODUCTION 2. BIG DATA : À L’HEURE DU CONSTAT 3. DATA MINING ET DATA SCIENCE 4. BEST PRACTICES POUR ALLER VERS LA DATA SCIENCE 5. JUSQU’OÙ PEUT-ON EXPLOITER LES BIG DATAS 6. CONCLUSIONS ET PERSPECTIVES Table des matières DÉMYSTIFIONS LA DATA SCIENCE !
  3. 3. INTRODUCTION
  4. 4. 4 PREAMBULE Nous sommes tous d’accord … … nous entrons dans une nouvelle ère avec les big datas INNOVATION PERMANENTE Google glasses/car, iWatch, 3D printing, … VIE HYPER CONNECTÉE 4 à 6 heures par jour web + mobile LES MACHINES PARLENT Internet of (every)Things … 20 à 50 milliards d’objets connectés d’ici 2020 INFORMATION CONSTANTE 60s = 4mio Google queries, 2.5mio nouveaux contenus Facebook, … NOUVEAUX ECOSYSTEMES Co-conception avec les clients / utilisateurs, start- ups, social networks, … Matinée Découverte – 24-01-2017
  5. 5. 5 UN NOUVEAU MONDE CONNECTÉ De nouveaux usages amenés par un monde hyper connecté Matinée Découverte – 24-01-2017 “The Internet of Everything” Mainframe 1970’s IBM Client-Serveur 1990’s ORACLE SocialMobileCloud Aujourd'hui Hadoop Distribué Isolé Semi-Connecté Tout connecté
  6. 6. 6 LES NOUVEAUX BARBARES ARRIVENT L'émergence de l'économie disruptive Matinée Découverte – 24-01-2017 La plus grande compagnie de taxis au monde … N'a pas de véhicules Le plus grand média … Ne crée pas de contenus Le distributeur le plus valorisé … N'a pas d'inventaire La plus grande chaîne hôtelière au monde … Ne possède pas d'hôtel Dans votre industrie, xxx … N'a pas de … ?
  7. 7. 7 révolution transition numérique Transformation digital ubérisation cloud mutationmobilité robots Watson Intelligence artificielle Internet des objets Big data High-tech usage disruption La révolution numérique c’est quoi concrètement Matinée Découverte – 24-01-2017
  8. 8. 8Quand on pense révolution numérique, on pense … Matinée Découverte – 24-01-2017
  9. 9. 9 Distributeur de pizza à Beauvoir sur mer Mais la transformation numérique, c’est aussi… Matinée Découverte – 24-01-2017
  10. 10. 10 …les imprimantes 3D Matinée Découverte – 24-01-2017
  11. 11. 11…ou encore l’intelligence artificielle Matinée Découverte – 24-01-2017
  12. 12. 12 En fait, le numérique a changé nos vies ! Matinée Découverte – 24-01-2017
  13. 13. 13 Tous les secteurs sont touchés Matinée Découverte – 24-01-2017
  14. 14. 14LEUR POINT COMMUN ? Demande des technologies disruptives Ils interagissent principalement avec leurs clients via le web, utilisent des architectures de données modernes et font de la data science Matinée Découverte – 24-01-2017Matinée Découverte – 04-20-2016
  15. 15. 15 À L’HEURE DU CONSTAT BIG DATA :
  16. 16. 16 • La transformation numérique c'est la vraie vie • Le numérique, ce n’est pas les start up, c’est bien plus • La masse est remplacée par la multitude • La transition numérique implique une rupture profonde • L’entreprise doit passer du produit / service à l’expérience client • La question de la gouvernance est essentielle pour affronter les nouveaux enjeux. Quelques repères pour s’y retrouver Matinée Découverte – 24-01-2017
  17. 17. 17 • Le Big Data n’est pas une fatalité ou une obligation. • Les enjeux métiers passent avant la dimension technologique. • Les technologies associées au Big Data doivent supporter vos enjeux et non l’inverse. • La Gouvernance est un préalable à tout projet Big Data • Il faut être réaliste (se poser les questions quant à la captation de l’information, sa sécurité, sa disponibilité, sa volumétrie, sa durée de vie) • Au final le choix des technologies importe peu, qu’il s’agisse de Big Data, NoSQL, technologies disruptives, c’est votre projet qui va conditionner le choix des technologies Quelques repères pour s’y retrouver Matinée Découverte – 24-01-2017
  18. 18. 18 • Une grande partie des cas d’usages sur lesquels s’appuient « les nouveaux barbares » ne pourraient pas se réaliser sans la Data Science. • Elle est à l’initiative de 50% de nos projets Big Data • Elle est partie intégrante des plateformes Big Data • Mais le Big Data n’est pas nécessaire pour débuter en Data Science • L’industrialisation de la Data Science nécessite une réelle expérience et une compréhension fine de vos enjeux • Ne pas oublier la dimension juridique ! Et la Data Science dans tout cela Matinée Découverte – 24-01-2017
  19. 19. 19 L'EXEMPLE AMAZON GO Boot Camp Big Data - (C) Micropole Institut - Jan.2017 - Tous droits réservés
  20. 20. 20 LES TECHNOLOGIES QUI RENDENT POSSIBLE AMAZON GO Boot Camp Big Data - (C) Micropole Institut - Jan.2017 - Tous droits réservés Data Science CRM SCM Deep Learning Sensor Fusion Données structurées Données non-structurées Socle Big Data
  21. 21. 21 CE SONT AUSSI DES QUESTIONS Boot Camp Big Data - (C) Micropole Institut - Jan.2017 - Tous droits réservés  Quel avenir pour les caissières ?  Pour les personnes travaillant dans la chaîne d'approvisionnement ?  Plus globalement quel est l'impact du Big Data sur notre société de demain ?  Comment accompagner les entreprises dans la conduite du changement ?  La théorie du déversement  Les impacts politiques
  22. 22. 22 DATA SCIENCE DATA MINING &
  23. 23. 23 FOCUS SUR LA DATA SCIENCE REVENONS SUR CES DERNIÈRES ANNÉES • Des dizaines de milliers d’articles et beaucoup de buzz dans les médias • De nombreux nouveaux acteurs. De multiples acquisitions • Des cas d’usage à foison … telles que prédire l’évolution d’épidémies, la survenance de catastrophes naturelles :: IBM acquires AlchemyAPI, a deep learning startup :: Microsoft buys Revolution Analytics, a predictive analysis startup :: En rachetant TupleJump, Apple se positionne aussi sur le machine learning Matinée Découverte – 24-01-2017
  24. 24. 24 LE BIG DATA PEUT-IL TOUT PRÉDIRE ? Prédiction de l’évolution d’une épidémie de grippe aux Etats-Unis • Quand Google prépare une « app » ayant vocation à prédire l’évolution d’épidémies en fonction des recherches sur son moteur de recherche • Et que quelques data scientists détectent la supercherie… Matinée Découverte – 24-01-2017 This month, in a Science magazine article, four quantitatively adept social scientists reported that Google’s flu-tracking service not only wildly overestimated the number of flu cases in the United States in the 2012- 13 flu season — a well-known miss — but has also consistently overshot in the last few years. En France, on utilise le réseau Sentinelle
  25. 25. 25 DATA MINING & DATA SCIENCE UN LIEN TRÈS FORT ! CHRONOLOGIE : 1850 : STATISTIQUE Quelques centaines d’individus et quelques variables, recueillies selon un protocole strict pour une étude scientifique 1960 : ANALYSE DE DONNÉES Quelques dizaines de milliers d’individus et quelques dizaines de variables recueillies de façon rigoureuse pour une enquête précise 1990 : DATA MINING Plusieurs millions d’individus et plusieurs centaines de variables hétérogènes, recueillies dans le système d’information des entreprises pour de l’aide à la décision 2010 : DATA SCIENCE Les Big Datas avec plusieurs centaines de millions d’individus et plusieurs milliers de variables, de tous types, recueillies dans les entreprises, les systèmes, Internet, pour de l’aide à la décision, de nouveaux services  La data science n’est pas nouvelle.  Elle représente l’application (et l’adaptation) du data mining aux Big Datas… Matinée Découverte – 24-01-2017
  26. 26. 26 DATA MINING & DATA SCIENCE ON RETROUVE LES DEUX MÊMES APPROCHES  Les techniques DESCRIPTIVES – EXPLORATOIRES • visent à mettre en évidence des informations présentes mais cachées par le volume des données (segments de clients aux profils comparables, présence d’associations de produits dans les tickets de caisse) • réduisent, résument, synthétisent les données et permettent une meilleure compréhension • il n’y a pas de variable « cible »  Les techniques PREDICTIVES – DECISIONNELLES • visent à expliquer et/ou prédire un évènement (Achat, Résiliation, Panne) ou un phénomène (Fréquentation en magasin, Nombre d’appels) à partir des informations du passé • expliquent les données • il y a une variable « cible » à prédire, à expliquer Matinée Découverte – 24-01-2017 Ces 2 approches sont complémentaires
  27. 27. 27 DATA MINING & DATA SCIENCE ET AUSSI LA MÊME DÉMARCHE Matinée Découverte – 24-01-2017 Quel que soit l’objectif à atteindre ou la nature des informations à traiter, la démarche méthodologique ne change pas.  Démarche itérative en 6 étapes  Ces étapes peuvent se transposer pour la quasi-totalité des projets.  Les trois premières phases sont les plus déterminantes pour la réussite du projet, ce sont aussi celles qui prennent le plus de temps et.  Que l’on parle de data mining ou de data science, il n’y a rien de magique là-dedans mais une démarche minutieuse, réfléchie et très itérative !  S’il suffisait de stocker un maximum de données et de les passer à la moulinette d’algorithmes pour trouver des pépites… EVALUATION ET SUIVI DE LA PERFORMANCE VALIDATION DES OBJECTIFS ET INDUSTRIALISATION EXPLORATION, MODÉLISATION, OPTIMISATION SÉLECTION, EXPLORATION ET PRÉPARATION DES DONNÉES CADRAGE DU PROJET DÉFINITION DES OBJECTIFS
  28. 28. 28 DATA MINING & DATA SCIENCE QUELLES DIFFÉRENCES ALORS ???  NOMBRE DE VARIABLES / CRITERES / FEATURES Plusieurs milliers en data science versus quelques centaines en data mining  OPEN SOURCE • Accès généralisé à des fonctionnalités et des algorithmes de dernière génération qui jusque-là n’étaient disponibles que dans des suites logicielles payantes et parfois onéreuses : Arbres boostés (GBM), Règles d’association séquentielles, Régressions logistiques Ridge, Lasso, ElasticNet, SVM, Réseaux de neurones… • In-Memory : si ça passe, c’est beaucoup plus rapide ! • Parallel processing : pour tirer un maximum de la machine et gagner du temps • Nouvelles données : de nombreux outils/API/packages pour extraire, stocker et transformer des données issues du Web, des médias sociaux, de l’open data, données météo, images ou vidéos, IoT  BUZZ MARKETING – DISCOURS TRÈS TECHNOLOGIQUE Matinée Découverte – 24-01-2017 Et bien pas mal finalement !
  29. 29. 29 DATA MINING & DATA SCIENCE ILLUSTRATION DES DIFFÉRENCES EN MATIÈRE DE MODÉLISATION  Illustration avec un exemple volontairement simplifié • Contexte : o Données issues d’une enquête online, réalisée sur un panel de plusieurs centaines de milliers de personnes. o Avec cette enquête, nous connaissons l’âge, le genre, le niveau d’équipement et les loisirs des répondants o Parmi les question posées : Aimez-vous les jeux vidéo ? Donnez une note de 0 (non, pas du tout) à 10 (oui, beaucoup). • Objectif de l’étude : Modéliser l’attrait pour les jeux vidéo à partir des informations disponibles • Pour notre compréhension, nous allons suivre plus particulièrement les 5 personnes suivantes : Matinée Découverte – 24-01-2017
  30. 30. 30 DATA MINING ARBRE DE DECISION  Modélisation par arbre de décision Matinée Découverte – 24-01-2017 25% Score = 7.1 15% Score = 5.5 Garçon ? NO 20% Score = 3.8 40% Score = 1.9 A une tablette ? NO 10% Score = 4.3 10% Score = 3.3 Utilise son PC chaque jour ? NO 100% Score = 3.8 Aimez-vous les jeux vidéos ? 40% Score = 6.5 60% Score = 2.0 Moins de 15 ans ? O N Fonctionnement : De haut en bas, à chaque segmentation, on teste toutes les variables et on choisit la « meilleure » Pour les variables continues, on teste toutes les coupures possibles et on choisit la meilleure On s’arrête lorsque l’on atteint un des critères d’arrêt (segment trop petit, différence non significative) Tous les répondants sont classés dans une des feuilles de l’arbre. On calcule ensuite la note moyenne d’intérêt pour les jeux vidéos dans chaque feuille : le score Le modèle est intuitif et ne requiert aucune connaissance spécifique en data mining pour le comprendre Cette feuille (i.e. segment) correspond aux jeunes garçons de moins de 15 ans. Ils aiment plus les jeux vidéo que les autres avec une note moyenne de 7.1 On peut facilement prédire l’attrait pour les jeux vidéos de quelqu’un qui n’aurait pas répondu à l’enquête. Il est donc facilement industrialisable
  31. 31. 31 DATA MINING ARBRE DE DECISION  Le modèle est-il bon ?  Plus les écarts entres les notes réelles et les notes prédites sont petits en valeur absolue et meilleur est le modèle… en apparence.  Erreur moyenne de prédiction en valeur absolue = 1.7Matinée Découverte – 24-01-2017 Nous nous intéressons ici à l’erreur apparente de prédiction. Pour mesurer la « vraie » erreur de prédiction, il aurait fallu dès le départ mettre de côté un échantillon de répondants (dont on connaît la note d’amour pour les jeux vidéos), leur appliquer le modèle et calculer alors l’erreur de prédiction. Répondant Aimez- vous les jeux vidéo ? Note prédite par l’arbre de décision Ecart 10 7.1 2.9 8 5.5 2.5 2 1.9 0.1 5 4.3 0.7 1 3.3 -2,3 … … … …
  32. 32. 32 DATA SCIENCE ARBRES DE DECISION BOOSTÉS  On calcule plusieurs arbres de décision successivement. Les arbres sont moins profonds et contiennent moins de segments. Chaque arbre est moins bon que celui du data mining mais les prédictions finales sont meilleures :  Les prédictions finales (i.e. notes prédites) des répondants sont calculées en sommant les scores obtenus dans chaque arbre : Matinée Découverte – 24-01-2017 100% Score = 3.8 40% Score = 6.5 25% Score = 7.1 15% Score = 5.5 60% Score = 2.0 ARBRE N°1 Aimez-vous les jeux vidéos ? Moins de 15 ans ? O N Garçon ? NO Fonctionnement : 1. Arbre n°1 : construit comme en data mining. 2. Calcul de l’erreur de prédiction pour chaque répondant. 3. Arbre n°2 : construit en modélisant non plus « Aimez-vous les jeux vidéos ? » mais l’erreur de prédiction. 4. Mise à jour des prédictions : somme des scores des arbres précédents pour chaque répondant. 5. Mise à jour des erreurs de prédictions 6+ On continue de construire de nouveaux arbres tant qu’on arrive à faire baisser l’erreur de prédiction en répétant les étapes 3 à 5 100% Score = 0 65% Score = +1.5 30% Score = +1.54 35% Score = 0.82 35% Score = -1 ARBRE N°2 Erreur de prédiction Utilise son PC chaque jour ? O N A une tablette ? NO Note prédite ( ) = 7.1 + 1.54 = 8.64 Note prédite ( ) = 2 – 1 = 1
  33. 33. 33 DATA SCIENCE ARBRES DE DECISION BOOSTÉS  Le modèle est-il apparemment bon ?  Note prédite = SOMME(scores des différents arbres)  Erreur moyenne de prédiction en valeur absolue = 1,064Matinée Découverte – 24-01-2017 On obtient dans cet exemple de meilleurs résultats qu’avec un arbre unique. Dans la pratique, c’est quasiment systématique. Les résultats sont même souvent bluffants avec relativement peu d’efforts ! Répondant Aimez- vous les jeux vidéo ? Score prédit par l’arbre n°1 Ecart Etape 1 Score prédit par l’arbre n°2 Note prédite par les 2 arbres Ecart Etape 2 10 7.1 2.9 +1.54 8.64 1.36 8 5.5 2.5 +0.82 6.32 1.68 2 2 0 +0.82 2.82 -0.82 5 2 3 +1,54 3.54 1.46 1 2 -1 -1 1 0 … … … … … …
  34. 34. 34 DATA SCIENCE ARBRES DE DECISION BOOSTÉS  En pratique, on enchaine non pas 2 arbres mais des centaines voire des milliers d’arbres.  Le modèle devient donc illisible et ininterprétable… mais dans certains cas la précision prime sur la compréhension (Risque, recommandations en ligne, automates)  Les seules informations disponibles pour aider à la compréhension concernent l’importance des variables et leur fréquence d’apparition dans les différents arbres construits Matinée Découverte – 24-01-2017 En revanche, on perd en lisibilité et donc en compréhension / connaissances
  35. 35. 35 DATA SCIENCE AGRÉGATION DE MODÈLES, MÉLANGES… Bagging : • Construction de N échantillons par tirage aléatoire avec remise (bootstrap) à partir de l’échantillon initial. • Construction de N modèles : un par échantillon • Prédiction finale obtenue en calculant la moyenne des prédictions des N modèles. Boosting : • Processus itératif basé sur une succession de tirages aléatoires avec remise et l’introduction d’une pondération donnant plus de poids aux individus mal classés/scorés par le modèle construit lors de l’itération. • Prédiction finale obtenue en calculant la moyenne des prédictions des N modèles, pondérée selon l’erreur de prédiction de chaque modèle. Matinée Découverte – 24-01-2017 Même si ces approches ne sont pas récentes, on constate une très forte montée en puissance de leur utilisation Plus on agrège de modèles et meilleures sont les prédictions… Echantillon d’apprentissage Echantillons Bagging Echantillons Boosting
  36. 36. 36 DATA SCIENCE AGRÉGATION DE MODÈLES, MÉLANGES… Stacking : Prédiction à partir de prédictions • 1ère étape : on construit plusieurs modèles avec des algorithmes différents. • 2ème étape : on construit un ou plusieurs modèles à partir des prédictions des modèles précédents (variables explicatives). Blending : Mélange de modèles • Phase finale de la modélisation. • Assemblage de modèles (moyenne, combinaison linéaire, voire nouvelle modélisation) Matinée Découverte – 24-01-2017 Induit une forte complexité tant dans la phase de construction que d’industrialisation Xgboost : arbres boostés RF : Random Forests – Forêts aléatoires GLMNET : régressions logistiques NN : Neural Network – Réseaux de Neurones KNN : K Nearest Neighours, K plus proches voisins
  37. 37. 37 DATA SCIENCE BILAN : DES PROMESSES ET QUELQUES DÉRIVES  Des solutions trop complexes, impossibles à industrialiser ou à maintenir  Exemple d’une stratégie de modélisation d’un participant à un concours de data science proposé par Kaggle (7ème sur 1 326 participants) : o Près de 400 modèles imbriqués dans une approche intégrant bagging, boosting, stacking, blending !!! Matinée Découverte – 24-01-2017 On observe des dérives dans la pratique où l’on passe bien trop de temps sur la modélisation et pas assez sur la compréhension du sujet et la préparation des données. Les modèles obtenus permettent peut-être de gagner des concours mais ne seront sans doute jamais industrialisés. Xgboost : arbres boostés RF : Random Forests – Forêts aléatoires GLMNET : régressions logistiques lasso et elastic-net NN : Neural Network – Réseaux de Neurones KNN : K Nearest Neighours, K plus proches voisins
  38. 38. 38 DATA SCIENCE LES DÉRIVES  NETFLIX n’a jamais implémenté la solution développée par les gagnants de leur concours à 1 Million de dollars pour optimiser leur moteur de recommandations  Pourquoi ? Matinée Découverte – 24-01-2017 EXEMPLE AVEC NETFLIX “This is a truly impressive compilation and culmination of years of work, blending hundreds of predictive models to finally cross the finish line,” they say. “We evaluated some of the new methods offline but the additional accuracy gains that we measured did not seem to justify the engineering effort needed to bring them into a production environment.”
  39. 39. 39 DATA SCIENCE LES DÉRIVES  Objectif : optimiser la gestion des sinistres en identifiant les dossiers sans risque pouvant faire l’objet de remboursements accélérés  Jeu de données : • 145 231 déclarations de sinistres, • 1 934 infos anonymisées (V1, V2, …, V1934) par déclaration • 1 variable à prédire prenant la valeur 1 si pas de risque, 0 sinon  Comparaison de deux stratégies gagnantesMatinée Découverte – 24-01-2017 EXEMPLE AVEC LE CONCOURS KAGGLE – BNP PARIBAS : Can you accelerate BNP Paribas Cardif's claims management process ? 2 926 Participants 30 K$ de gains
  40. 40. 40 DATA SCIENCE LES DÉRIVES Matinée Découverte – 24-01-2017 A nouveau plusieurs centaines de modèles Les efforts déployés pour améliorer le modèle ont probablement peu de valeur d’un point de vue opérationnel. Stratégie de modélisation de l’équipe classée 2ème
  41. 41. 41 DATA SCIENCE LES DÉRIVES L’anonymisation des données empêche théoriquement d’injecter des indicateurs métiers plus intelligents que les données brutes. Sauf pour cette équipe qui a su déjouer cette situation. Avec un seul modèle prédictif, elle devance la solution précédente. Par contre, le modèle est inexploitable car il utilise les données du futur pour prédire le passé… 1. Identifier les variables les plus importantes à l’aide d’un premier modèle prédictif. Arrêter la modélisation. 2. Donner un sens à ces variables en s’intéressant à la problématique traitée • On travaille sur des déclarations de sinistres… Un client peut avoir plusieurs sinistres. Les sinistres ont lieu à un moment précis. Les contrats n’ont pas tous la même ancienneté… • Donc je devrais pouvoir trouver plusieurs champs « date » et un identifiant client dans mes données anonymisées et donc calculer des agrégats… 3. Calculer des agrégats/indicateurs qui résument le profil et la trajectoire des clients : Nombre de contrats, anciennetés, nombre de sinistres, nombre de sinistres constatés au cours des X derniers mois… 4. Modéliser avec des arbres boostés Matinée Découverte – 24-01-2017 Stratégie de modélisation de l’équipe gagnante “In the end we created a useless model for Bnp, as our lead(target) variables use information from the future:)”
  42. 42. 42 DATA MINING & DATA SCIENCE QUESTIONS / REFLÉXIONS ?  « Si mes prédictions étaient plus précises, le réseau commercial les utiliserait-il davantage ? »  « Si mes prédictions ne sont pas performantes, est-ce un problème de conception, de cadrage ou d’optimisation ? »  « Si je prédis bien le caractère frauduleux de certaines déclarations : • Je peux m’en servir pour transmettre à mes contrôleurs une liste de dossiers à contrôler en priorité • Mais si je suis incapable de qualifier chaque dossier en termes de profil de fraude et d’indicateurs à investiguer, utiliseront-ils mon ciblage ? » Matinée Découverte – 24-01-2017
  43. 43. 43 DATA MINING & DATA SCIENCE ON DOIT TIRER PROFIT DES DEUX  Finalement • Un bon modèle est un modèle utilisable et utilisé, qui améliore l’existant • Lorsque la compréhension importe moins que la précision, les modèles « boites noires » sont à privilégier à condition d’être industrialisables et d’apporter une réelle plus-value. • Lorsque la compréhension est indispensable : o Soit on fait 2 modèles (un pour prédire et un pour expliquer/convaincre), o Soit on trouve un modèle qui optimise le compromis « Performance / Compréhension ». Matinée Découverte – 24-01-2017
  44. 44. 44 DATA MINING & DATA SCIENCE LE CADRAGE : UNE ETAPE ESSENTIELLE  Objectifs du cadrage : fixer le cadre du projet et maximiser ses chances de succès en se posant les bonnes questions et en embarquant les bons profils (équipes Métiers, Data Science et IT) dès le départ Matinée Découverte – 24-01-2017
  45. 45. 45 DATA MINING & DATA SCIENCE LE CADRAGE : UNE ETAPE ESSENTIELLE  Objectifs du cadrage : fixer le cadre du projet et maximiser ses chances de succès en se posant les bonnes questions et en embarquant les bons profils (équipes Métiers, Data Science et IT) dès le départ PROBLEMATIQUE Description du contexte Constats précédents Objectifs métiers Objectifs opérationnels KPI Quanti / Quali Contexte d’industrialisation et contraintes associées LIVRABLES Date de livraison souhaitée Types de livrables souhaités Liste de diffusion Données à restituer Déploiement DONNEES Cartogragphie des sources de données internes et externes éligibles à l'étude Périmètre des données à extraire Période d'analyse Définition de la ou des variable(s) à expliquer s'il s'agit de modèles prédictifs Contraintes sur les données Nettoyage des données Agrégation des données METHODOLOGIE Proposition d'approche ETAPES PROJET Etapes Acteurs Deadline Ateliers Cadrage Métiers / Data / IT Collecte des données Préparation des données Validation du périmètre de l'étude Exploration / Modélisation Livraison intermédiaire Validation des résultats / modèles - Corrections Livraison finale Déploiement Back-Testing – Suivi des perfs Documentation Matinée Découverte – 24-01-2017 ORGANISATION - PILOTAGE
  46. 46. 46 DEMARCHE DATA SCIENCE EXTRAIT DES PRINCIPAUX CRITÈRES DE SUCCÈS  Des objectifs précis, opérationnels et réalistes  La qualité des données  La préparation et la sélection des données pertinentes par rapport à l’objectif et au sujet traité  La collaboration des compétences métiers et data science avec organisation d’ateliers d’échanges : • Dès le démarrage du projet pour préciser les attentes, les objectifs, le contexte opérationnel du projet, • Pour impliquer et fédérer les équipes internes • Pour traduire en nouveaux indicateurs la connaissance des experts  La collaboration avec l’IT pour définir les conditions de mise en production de la solution cible et le planning de déploiement  Points de validation réguliers permettant de valider les travaux effectués et de passer aux étapes suivantes • Ordres de grandeur, Compréhension des données • Résultats intermédiaires • Adéquation des premiers résultats avec les objectifs opérationnels visés Matinée Découverte – 24-01-2017
  47. 47. 47 VERS LA DATA SCIENCE BEST PRACTICES POUR ALLER
  48. 48. 48 BEST PRACTICES POUR ALLER VERS LA DATA SCIENCE LAISSER LA TECHNOLOGIE A SA PLACE EN ABORDANT VOS BESOINS D’UN POINT DE VUE MÉTIER ET NON D’UN POINT DE VUE TECHNO / OUTILS 1. Se concentrer sur vos besoins métiers et non sur des questions technologiques ou de choix d’outils • Sachant que : o La data science est censée pouvoir prédire tout ce qu’un expert saurait prédire ou diagnostiquer à condition… o On peut tester l’apport de nouvelles données, structurées ou non (open data, météo, logs webs, IoT , images, vidéos, textes) par rapport à un objectif précis, sans coût additionnel de licence et sans plate-forme BigData. o Les algorithmes prédictifs de dernière génération sont directement accessibles dans les outils open source, o L’intelligence en matière de data science se situe davantage dans la traduction de nouveaux indicateurs reflétant la connaissance des experts que dans le choix d’une solution ou d’un algorithme • Les besoins métiers ou cas d’usage n’ont pas vocation à démontrer la valeur ajoutée de choix d’architectures ou de technologies mais plutôt à les orienter. Matinée Découverte – 24-01-2017
  49. 49. 49 BEST PRACTICES POUR ALLER VERS LA DATA SCIENCE LES PROFILS ? 2.Inutile de chercher le mouton à 12 pattes • Sachant que : o Il n’existe peut-être pas o Vous ne pourriez peut-être pas le recruter… o Depuis 5 ans, la plupart des diplômés sont bac+5 et n’apprennent a priori pas 2 fois plus vite qu’avant… Leurs profs n’ont fondamentalement pas changé non plus o Vous disposez sans doute déjà de profils susceptibles de monter en compétences o C’est un travail d’équipe qui nécessite des compétences pluri-disciplinaires qu’il sera difficile de trouver au sein d’un même profil o Le profil du « Modern Data Scientist » a été défini par des experts du e-Commerce marketing… (4 en tout en fait) o Les data miners n’ont qu’une marche à monter pour y arriver ! Matinée Découverte – 24-01-2017
  50. 50. 50 BEST PRACTICES POUR ALLER VERS LA DATA SCIENCE LES PROFILS ? Une marche à monter pour le data miner !  Apprentissage de nouveaux langages (R, Python pour commencer)  Adaptation / Formation : nouveaux algorithmes, nouvelles approches, concepts  Transfert de compétences : co-réalisation  Ressources en lignes : Analytique Connaît les modèles statistiques théoriques et est capable de les construire Métier Est capable de comprendre le besoin client (en amont), de faire des recommandations business sur la base d’analyses (en aval) Analytique Connaît les modèles statistiques théoriques et est capable de les construire Métier Est capable de comprendre le besoin client (en amont), de faire des recommandations business sur la base d’analyses (en aval) Analytique Connaît les modèles statistiques théoriques et est capable de les construire Développement Evolue avec aisance dans les nouveaux environnements et avec les nouveaux outils (notamment R et Python) Statisticien Data Miner Data Scientist Data management Gère les bases data mining, construit et exploite les KPI Data management Gère les bases data mining, construit et exploite les KPI Data management Gère les bases data mining, construit et exploite les KPI Matinée Découverte – 24-01-2017
  51. 51. 51 BEST PRACTICES POUR ALLER VERS LA DATA SCIENCE OPEN SOURCE, QUELLE STRATÉGIE ? 3. Ne pas tout miser sur l’open source • Sauf si on souhaite devenir éditeur de ses propres solutions… avec toutes les charges que cela suppose : o Développement, maintenance, installation, formation, documentation, support, backup o Tests de non régression, corrections de bugs natifs (car il y en a !), développements spécifiques… o Tests de montées de versions, de compatibilité entre packages, versionning, mises en production, migrations • Trouver un bon compromis o On utilise l’open source pour toutes ses fonctionnalités additionnelles o On conserve ce qui est industrialisé et ce qui donne satisfaction sur les outils actuels puis on évalue la complexité, les risques et le ROI d’une migration progressive vers l’open source • S’en passer o Ce serait se priver de fonctionnalités dont la valeur ajoutée est grande Matinée Découverte – 24-01-2017
  52. 52. 52 BEST PRACTICES POUR ALLER VERS LA DATA SCIENCE ORGANISATION  Monter une équipe pluri-disciplinaire réunissant des compétences : • Métiers, terrain • Analytiques (data prep, dataviz, data mining), • Architecture, administration de bases de données, Qualité de données, BigData, Sécurité • Programmation SQL, R, Python, • Administration fonctionnelle (garant des bonnes pratiques) • Correspondant Informatique et Libertés  Eventuellement en mode lab, création d’une pizza team pour désiloter les projets et les équipes  Définir un plan de montée en compétences progressif avec des objectifs réalistes en privilégiant une approche agile et pragmatique qui s’insère bien dans le plan de chargesMatinée Découverte – 24-01-2017
  53. 53. 53 EXEMPLE DE TRAJECTOIRE DATA SCIENCE EN 6 ÉTAPES Avant- projet Formation et transfert de compétences Bilan et Organisation cible Matinée Découverte – 24-01-2017
  54. 54. 54 EXPLOITER LES BIG DATA ? JUSQU’OÙ PEUT-ON
  55. 55. 55 JUSQU’OÙ PEUT- ON EXPLOITER LES BIG DATAS ? CATÉGORIES DE DONNÉES  Données objectives • Elles ne font pas l’objet d’appropriation • Elles « appartiennent » à tous • Exemples : données météo, données de trafic, caractéristiques des immeubles  Données à caractère personnel • Une donnée personnelle est une donnée se rapportant à une personne physique, qui peut être identifiée quel que soit le moyen utilisé • Impact sur la vie privée • Surveillance et sanction de la CNIL • Déclaration préalable • Exemples : nom et prénom, photo d'un visage, vidéo montrant une personne, extrait sonore de la voix d'une personne, numéro de sécurité sociale, numéro d'employé, numéro de téléphone, croisement date de naissance et ville de naissanceMatinée Découverte – 24-01-2017
  56. 56. 56 JUSQU’OÙ PEUT- ON EXPLOITER LES BIG DATAS ? DEVOIRS  A partir du moment ou l’on traite, à titre professionnel des données personnelles, la loi informatique et libertés s'applique et nous devons sous peine de sanctions pénales : • déclarer nos traitements à la CNIL, • mettre en place toute les mesures de sécurité nécessaire pour protéger ces données, • nous assurer de collecter uniquement des données pertinentes et le faire de manière loyale, • ne pas transférer ces données hors de l'UE, et en particulier dans des pays à faible niveau de protection, etc. Matinée Découverte – 24-01-2017
  57. 57. 57 JUSQU’OÙ PEUT- ON EXPLOITER LES BIG DATAS ? CONDITIONS POUR LA LICÉITÉ DU TRAITEMENT DE DONNÉES À CARACTÈRE PERSONNEL  1 socle (la finalité du traitement) + 4 conditions • Finalité explicite et légitime • Loyauté dans la mise en œuvre du traitement • Données pertinentes • Durée de conservation non excessive • Sécurité  Et indispensable : le consentement préalable et éclairé de la personne physique concernée Matinée Découverte – 24-01-2017
  58. 58. 58 JUSQU’OÙ PEUT- ON EXPLOITER LES BIG DATAS ? COMMENT EXPLOITER SES DONNÉES SANS CONSENTEMENT ?  Pseudonymisation : niveau de protection insuffisant  K-anonymisation : réduire le niveau de détail des données de telle sorte qu’il y ait au moins k individus identiques pour chaque combinaison de critères considérés comme des « quasi-identifiants »  Autres approches : I-diversité, confidentialité différentielle Matinée Découverte – 24-01-2017
  59. 59. 59 PERSPECTIVES CONCLUSION &
  60. 60. 60 CONCLUSION & PERSPECTIVES  Se concentrer sur vos besoins métiers et non sur des questions technologiques ou de choix d’outils  Testez l’apport des nouvelles approches de data science et de nouvelles données en adoptant une approche pragmatique et agile  Faites-vous challenger par des partenaires  Ne pas minimiser les compétences nécessaires pour aborder ces nouveaux sujets  Ne pas négliger la complexité des nouvelles plate-formes  Vous mettre en conformité vis-à-vis de la CNIL  Vers une démarche big data / data science écologique ? Matinée Découverte – 24-01-2017
  61. 61. TANGUY LE NOUVEL DIRECTEUR PRACTICE DATA SCIENCE M +33 (0) 6 81 95 84 22 @ tlenouvel@micropole.com WWW.MICROPOLE.COM 91-95 RUE CARNOT - 92 300 LEVALLOIS-PERRET T +33 (0)1 74 18 74 18 / F +33 (0)1 74 18 74 00 DAVID-STÉPHANE FALA DIRECTEUR PRACTICE BIG DATA & DATA INTELLIGENCE M +33 (0) 6 87 34 61 04 @ dfala@micropole.com WWW.MICROPOLE.COM 91-95 RUE CARNOT - 92 300 LEVALLOIS-PERRET T +33 (0)1 74 18 74 18 / F +33 (0)1 74 18 74 00 MERCI DE VOTRE ATTENTION QUESTIONS
  62. 62. 62 LE GROUPE MICROPOLE1 100 COLLABORATEURS 100 M€ de CA 25+ ANS D'EXPERTISE OPÉRATIONNELLE 7 SITES EN FRANCE [PARIS / LYON / AIX-EN-PROVENCE / SOPHIA ANTIPOLIS / TOULOUSE / RENNES / NANTES / LILLE] 5 SITES EN EUROPE [GENÈVE / LAUSANNE / ROTTERDAM / BRUXELLES / LUXEMBOURG] 3 SITES EN CHINE [PÉKIN / SHANGHAÏ / HONG KONG]  UN POSITIONNEMENT DE SPÉCIALISTE  Alliance d’expertises fonctionnelles et techniques  Une agence intégrée spécialisée dans l’Expérience Client (Wide)  Savoir-faire historique centré Data Intelligence et Digitalisation des processus Internes / Externes  UNE CULTURE DE L'INNOVATION  Au cœur de notre expertise, tournée vers les usages au service de nos clients  Accompagnement de « Start Up » valorisant la donnée  Diffusion de l’innovation : Micropole Lab Network
  63. 63. 63 Segmentation de la clientèle des commerçants et recommandations sur les offres à leur adresser. Qualification des transactionsQualification des transactions Transactions étudiées Moteur de règles Analyse et classement des transactions Transactions renseignées sur le profil  Qualification des transactionsQualification des transactions Transactions étudiées Moteur de règles Analyse et classement des transactions Transactions renseignées sur le profil  Agrégation et calcul d’indicateurs pour chaque carte, sur chaque profil Cartes renseignées sur l’affectation des dépenses en € et en nb Calcul dCalcul d’’indicateurs par carteindicateurs par carte  Agrégation et calcul d’indicateurs pour chaque carte, sur chaque profil Cartes renseignées sur l’affectation des dépenses en € et en nb Calcul dCalcul d’’indicateurs par carteindicateurs par carte  Segmentation des cartesSegmentation des cartes Segmentation des cartes pour chaque profil Affectation des cartes dans les segments  Segmentation des cartesSegmentation des cartes Segmentation des cartes pour chaque profil Affectation des cartes dans les segments  Ciblage des cartesCiblage des cartes  Ciblage des cartesCiblage des cartes  Segmentation des joueurs de live betting (paris en temps réel) Scores d’attrition et valeur client Mise en place de l’architecture fonctionnelle de SAS pour le département Pricing Modélisation de la valeur résiduelle des véhicules en fin de contrat de location Enrichissement du référentiel produits par la notion d’œuvre (Rapprochement de données non structurées via Text mining, Fuzzy matching et data science) Fusion de référentiels musicaux indépendants par fuzzy matching Modélisation du départ des clients à la concurrence à partir des nouveaux algorithmes de machine learning et de nouvelles données relationnelles Construction d’un datalake dédié et mise en œuvre de modèles prédictifs de la fraude (secteur entreprises) à l’aide des dernières approches en matière de modélisation prédictive et de plusieurs milliers de variables Amélioration d’un dispositif de géo- localisation d’objets Indoor à partir de données issues de capteurs géolocalisant des puces RFID. Conseil en architecture BigData et modélisation de la localisation des objets via une approche data Science LUXE CONFIDENTIEL Analyse et classification d’images diffusées sur les réseaux sociaux pour identification d’objets de la marque dans le but d’identifier des influenceurs, de comprendre et de maximiser leur impact sur le développement du CA Segmentation de la clientèle des pros selon les usages croisés que font les clients La Poste des produits présents au catalogue. Recherche de segments à fort potentiel, de nouveaux packages de produits et de quicks wins. EXTRAIT DE PROJETS DATA SCIENCE Matinée Découverte – 24-01-2017

×