Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

29/06/17 Matinale Python

1,908 views

Published on

Comment utiliser Python pour votre projet Big Data et Data Sciences ?

Avec Python, langage des Data Ingenieurs et des Data Scientists, découvrez comment mener à bien vos projets dans votre environnement Big Data.


Avec le développement du Big Data, Python devient un outil incontournable pour les Data Ingenieurs et les Data Scientists car il cumule de nombreux avantages :

• Libre de droit,
• Simple d’utilisation,
• De larges capacités pour le traitement des données, les statistiques et le Machine Learning,
• Systématiquement associé à l’installation d’une plate-forme Big Data, il peut être utilisé en local ou en serveur de manière transparente pour l’utilisateur,
• Utilisé par l’ensemble de la communauté internationale des Data Ingenieurs et Data Scientists,
• Accès aux procédures les plus innovantes.

Atelier 1 :
Présentation d’une démarche de projet Data Science dans un environnement Big Data / DataLab.

Atelier 2 :
Zoom sur deux fonctionnalités de Python : le multicore et le Machine Learning avec scikit-learn.

Published in: Technology
  • DOWNLOAD THAT BOOKS INTO AVAILABLE FORMAT (2019 Update) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ......................................................................................................................... ................................................................................................................................... eBook is an electronic version of a traditional print book that can be read by using a personal computer or by using an eBook reader. (An eBook reader can be a software application for use on a computer such as Microsoft's free Reader application, or a book-sized computer that is used solely as a reading device such as Nuvomedia's Rocket eBook.) Users can purchase an eBook on diskette or CD, but the most popular method of getting an eBook is to purchase a downloadable file of the eBook (or other reading material) from a Web site (such as Barnes and Noble) to be read from the user's computer or reading device. Generally, an eBook can be downloaded in five minutes or less ......................................................................................................................... .............. Browse by Genre Available eBooks .............................................................................................................................. Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, ......................................................................................................................... ......................................................................................................................... .....BEST SELLER FOR EBOOK RECOMMEND............................................................. ......................................................................................................................... Blowout: Corrupted Democracy, Rogue State Russia, and the Richest, Most Destructive Industry on Earth,-- The Ride of a Lifetime: Lessons Learned from 15 Years as CEO of the Walt Disney Company,-- Call Sign Chaos: Learning to Lead,-- StrengthsFinder 2.0,-- Stillness Is the Key,-- She Said: Breaking the Sexual Harassment Story That Helped Ignite a Movement,-- Atomic Habits: An Easy & Proven Way to Build Good Habits & Break Bad Ones,-- Everything Is Figureoutable,-- What It Takes: Lessons in the Pursuit of Excellence,-- Rich Dad Poor Dad: What the Rich Teach Their Kids About Money That the Poor and Middle Class Do Not!,-- The Total Money Makeover: Classic Edition: A Proven Plan for Financial Fitness,-- Shut Up and Listen!: Hard Business Truths that Will Help You Succeed, ......................................................................................................................... .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THAT BOOKS INTO AVAILABLE FORMAT (2019 Update) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ......................................................................................................................... ................................................................................................................................... eBook is an electronic version of a traditional print book that can be read by using a personal computer or by using an eBook reader. (An eBook reader can be a software application for use on a computer such as Microsoft's free Reader application, or a book-sized computer that is used solely as a reading device such as Nuvomedia's Rocket eBook.) Users can purchase an eBook on diskette or CD, but the most popular method of getting an eBook is to purchase a downloadable file of the eBook (or other reading material) from a Web site (such as Barnes and Noble) to be read from the user's computer or reading device. Generally, an eBook can be downloaded in five minutes or less ......................................................................................................................... .............. Browse by Genre Available eBooks .............................................................................................................................. Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, ......................................................................................................................... ......................................................................................................................... .....BEST SELLER FOR EBOOK RECOMMEND............................................................. ......................................................................................................................... Blowout: Corrupted Democracy, Rogue State Russia, and the Richest, Most Destructive Industry on Earth,-- The Ride of a Lifetime: Lessons Learned from 15 Years as CEO of the Walt Disney Company,-- Call Sign Chaos: Learning to Lead,-- StrengthsFinder 2.0,-- Stillness Is the Key,-- She Said: Breaking the Sexual Harassment Story That Helped Ignite a Movement,-- Atomic Habits: An Easy & Proven Way to Build Good Habits & Break Bad Ones,-- Everything Is Figureoutable,-- What It Takes: Lessons in the Pursuit of Excellence,-- Rich Dad Poor Dad: What the Rich Teach Their Kids About Money That the Poor and Middle Class Do Not!,-- The Total Money Makeover: Classic Edition: A Proven Plan for Financial Fitness,-- Shut Up and Listen!: Hard Business Truths that Will Help You Succeed, ......................................................................................................................... .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THAT BOOKS INTO AVAILABLE FORMAT (2019 Update) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ......................................................................................................................... ................................................................................................................................... eBook is an electronic version of a traditional print book that can be read by using a personal computer or by using an eBook reader. (An eBook reader can be a software application for use on a computer such as Microsoft's free Reader application, or a book-sized computer that is used solely as a reading device such as Nuvomedia's Rocket eBook.) Users can purchase an eBook on diskette or CD, but the most popular method of getting an eBook is to purchase a downloadable file of the eBook (or other reading material) from a Web site (such as Barnes and Noble) to be read from the user's computer or reading device. Generally, an eBook can be downloaded in five minutes or less ......................................................................................................................... .............. Browse by Genre Available eBooks .............................................................................................................................. Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, ......................................................................................................................... ......................................................................................................................... .....BEST SELLER FOR EBOOK RECOMMEND............................................................. ......................................................................................................................... Blowout: Corrupted Democracy, Rogue State Russia, and the Richest, Most Destructive Industry on Earth,-- The Ride of a Lifetime: Lessons Learned from 15 Years as CEO of the Walt Disney Company,-- Call Sign Chaos: Learning to Lead,-- StrengthsFinder 2.0,-- Stillness Is the Key,-- She Said: Breaking the Sexual Harassment Story That Helped Ignite a Movement,-- Atomic Habits: An Easy & Proven Way to Build Good Habits & Break Bad Ones,-- Everything Is Figureoutable,-- What It Takes: Lessons in the Pursuit of Excellence,-- Rich Dad Poor Dad: What the Rich Teach Their Kids About Money That the Poor and Middle Class Do Not!,-- The Total Money Makeover: Classic Edition: A Proven Plan for Financial Fitness,-- Shut Up and Listen!: Hard Business Truths that Will Help You Succeed, ......................................................................................................................... .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THAT BOOKS INTO AVAILABLE FORMAT (2019 Update) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ......................................................................................................................... ................................................................................................................................... eBook is an electronic version of a traditional print book that can be read by using a personal computer or by using an eBook reader. (An eBook reader can be a software application for use on a computer such as Microsoft's free Reader application, or a book-sized computer that is used solely as a reading device such as Nuvomedia's Rocket eBook.) Users can purchase an eBook on diskette or CD, but the most popular method of getting an eBook is to purchase a downloadable file of the eBook (or other reading material) from a Web site (such as Barnes and Noble) to be read from the user's computer or reading device. Generally, an eBook can be downloaded in five minutes or less ......................................................................................................................... .............. Browse by Genre Available eBooks .............................................................................................................................. Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, ......................................................................................................................... ......................................................................................................................... .....BEST SELLER FOR EBOOK RECOMMEND............................................................. ......................................................................................................................... Blowout: Corrupted Democracy, Rogue State Russia, and the Richest, Most Destructive Industry on Earth,-- The Ride of a Lifetime: Lessons Learned from 15 Years as CEO of the Walt Disney Company,-- Call Sign Chaos: Learning to Lead,-- StrengthsFinder 2.0,-- Stillness Is the Key,-- She Said: Breaking the Sexual Harassment Story That Helped Ignite a Movement,-- Atomic Habits: An Easy & Proven Way to Build Good Habits & Break Bad Ones,-- Everything Is Figureoutable,-- What It Takes: Lessons in the Pursuit of Excellence,-- Rich Dad Poor Dad: What the Rich Teach Their Kids About Money That the Poor and Middle Class Do Not!,-- The Total Money Makeover: Classic Edition: A Proven Plan for Financial Fitness,-- Shut Up and Listen!: Hard Business Truths that Will Help You Succeed, ......................................................................................................................... .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THAT BOOKS INTO AVAILABLE FORMAT (2019 Update) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ......................................................................................................................... ................................................................................................................................... eBook is an electronic version of a traditional print book that can be read by using a personal computer or by using an eBook reader. (An eBook reader can be a software application for use on a computer such as Microsoft's free Reader application, or a book-sized computer that is used solely as a reading device such as Nuvomedia's Rocket eBook.) Users can purchase an eBook on diskette or CD, but the most popular method of getting an eBook is to purchase a downloadable file of the eBook (or other reading material) from a Web site (such as Barnes and Noble) to be read from the user's computer or reading device. Generally, an eBook can be downloaded in five minutes or less ......................................................................................................................... .............. Browse by Genre Available eBooks .............................................................................................................................. Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, ......................................................................................................................... ......................................................................................................................... .....BEST SELLER FOR EBOOK RECOMMEND............................................................. ......................................................................................................................... Blowout: Corrupted Democracy, Rogue State Russia, and the Richest, Most Destructive Industry on Earth,-- The Ride of a Lifetime: Lessons Learned from 15 Years as CEO of the Walt Disney Company,-- Call Sign Chaos: Learning to Lead,-- StrengthsFinder 2.0,-- Stillness Is the Key,-- She Said: Breaking the Sexual Harassment Story That Helped Ignite a Movement,-- Atomic Habits: An Easy & Proven Way to Build Good Habits & Break Bad Ones,-- Everything Is Figureoutable,-- What It Takes: Lessons in the Pursuit of Excellence,-- Rich Dad Poor Dad: What the Rich Teach Their Kids About Money That the Poor and Middle Class Do Not!,-- The Total Money Makeover: Classic Edition: A Proven Plan for Financial Fitness,-- Shut Up and Listen!: Hard Business Truths that Will Help You Succeed, ......................................................................................................................... .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

29/06/17 Matinale Python

  1. 1. © Soft Computing – www.softcomputing.com Utilisez Python pour votre projet Big Data et Data Sciences 29/06/17
  2. 2. © 2 Comment utiliser Python pour votre projet Big Data et Data Science ? Matinale Technologique Python le 29 juin 2017 Avec Python, langage des Data Ingenieurs et des Data Scientists, découvrez comment mener à bien vos projets dans votre environnement Big Data. Avec le développement du Big Data, Python devient un outil incontournable pour les Data Ingenieurs et les Data Scientists car il cumule de nombreux avantages : libre de droit, simple d’utilisation, de larges capacités pour le traitement des données, les statistiques et le Machine Learning. Systématiquement associé à l’installation d’une plate-forme Big Data, il peut être utilisé en local ou en serveur de manière transparente pour l’utilisateur, utilisé par l’ensemble de la communauté internationale des Data Ingenieurs et Data Scientists et accès aux procédures les plus innovantes. A propos Soft Computing est le spécialiste du marketing digital data-driven. Ses 400 consultants, experts en sciences de la donnée, en marketing digital et en technologies big data, aident au quotidien plus de 150 entreprises à travers le monde à exploiter tout le potentiel de la donnée pour améliorer l’expérience de leurs clients et le ROI de leur marketing digital. Soft Computing est côté à Paris sur NYSE Euronext (ISIN : FR0000075517, Symbole : SFT). Cet événement est réservé aux clients et prospects Soft Computing. Pour tout autre profil, l'inscription sera soumise à validation. Soft Computing |55 quai de Grenelle|75015 Paris|01 73 00 55 00 | www.softcomputing.com Agenda : 08h45 – 11h30 ▪ Python dans le monde Big Data / Data Science ▪ Pyspark – Des données au Machine Learning ▪ Python – focus sur deux incontournables ▪ Retours d’expérience et bonnes pratiques Pré requis : Ces démonstrations pratiques sont ouvertes à des développeurs ayant déjà pratiqué la manipulation de données sous SAS ainsi que des Chefs de Projet désireux d'avoir un aperçu des possibilités de Reporting sous SAS. Modalités : Ce séminaire aura lieu dans les locaux de Soft Computing. Ou via notre site: www.softcomputing.com
  3. 3. © 3 Carte d’identité
  4. 4. © 4 Exploiter tout le potentiel de la data Créer des expériences Client sans couture Démultiplier la performance du marketing digital Mission Marketing Intelligence Big Data Driven Digital Experience
  5. 5. © 5 Compétences : un mix unique de compétences pointues Digital Marketing Data Science Project Management Information Technologies
  6. 6. © 6 A la carte Think Build Run Délégation Projet Centre de services Digital-Marketing IT AMOA Offre Delivery Clients
  7. 7. © 7 Extraits de références Digital Marketing Big Data Valorisation des données Web Analytics via l’analyse des parcours de conversion. Cadrage des uses cases et mise en œuvre opérationnelle d'un POC DMP. Programme relationnel multi-devices et remarketing. Déploiement international. DMP, CRM, orchestration omnicanal, et déploiement des usages Data-driven Marketing. Mise en œuvre et exploitation opérationnelle d'une DMP. Refonte de la stratégie de fidélisation omnicanale multi-marques. Centre de Services gestion des campagnes marketing multicanal, mise en place du Web Analytics. Mesure de l'impact des parcours multicanaux sur le NPS et recommandations d'améliorations. Déploiement d’une plate-forme CRM multi-marques multi-pays. Centre de Services gestion des campagnes marketing et connaissance clients. Accompagnement Data Science à la valorisation des données Big Data. Stratégie de sécurité et construction d'une plate-forme d’industrialisation des flux Big Data. Formation aux méthodes et outils en Data Science, France et international. Définition de la gouvernance d’un Référentiel client multi-activités et international. Mise en œuvre et intégration des flux Big Data pour optimiser l'animation des parcours clients.
  8. 8. © 8 Experts reconnus InformerEcrire Enseigner blog.softcomputing.com/ fr.slideshare.net/softcomputing twitter.com/softcomputing linkedin.com/company/soft-computing facebook.com/softcomputing softcomputing.com/news/
  9. 9. © 9 Recruteur de talents Datascience Projet TechnologiesDigital Marketing CRM Big Data 100 CDI à pourvoir cette année Contact : recrutement@softcomputing.com – http://www.softcomputing.com/offres-d-emploi
  10. 10. © 10 1. Python dans le monde Big Data / Data Science 2. Pyspark – Des données au Machine Learning 3. Python – focus A.Python multicore B. Machine Learning – Scikit-learn C. Gitlab 4. Retours d’expérience et bonnes pratiques 5. Q&A
  11. 11. © 11 Le Datalab Data Science ➢ Développer et industrialiser les projets de Data Science, dans un environnement centralisé, partagé et sécurisé, ➢ Permettre des traitements de données performants, y compris sur des volumétries massives OBDA Datalake Ready
  12. 12. © 12 Le Datalab Data Science Les 3 grandes étapes d’une démarche Data Science 1- Data Management 2- Analyses & Machine Learning 3- Restitution Fichier Plat Chargement mannuel ou programmé (flux sFTP) Table Etude
  13. 13. © 13 Architecture
  14. 14. © 14 Python quel version ? packages BDA Edge
  15. 15. © 15 PySpark Avantages ● Accès aux contextes spark immédiat grâce aux variables "sc/SparkContext, sqlContext/HiveContext" ● Programmation itérative (ligne par ligne) ● Sauvegarde de RDD en mémoire ● Possibilité de travailler dans un mode exploration de donnée.
  16. 16. © 16 PySpark Inconvénients ● Consommation de mémoire importante ● Sauvegarde des sources délicates
  17. 17. © 17 spark-submit Avantages ● Code quasi identique à pyspark ● Utilisation d’un éditeur ● Les RDD sont toujours en mémoire
  18. 18. © 18 spark-submit Inconvénients ● Gestion de la mémoire pour les administrateurs ● Gestion des librairies pour les administrateurs (scikit learn, etc..)
  19. 19. © 19 Python : Editeur lourd Avantages ● Le code peut être testé sur son PC. Indépendance. ● Plein d’aide à la programmation ○ coloration ○ complétion du code ○ compilation à la volée ○ SCM intégré Inconvénients ● Configuration pour l’accès à spark compliquée
  20. 20. © 20 Python : Editeur léger Avantages ● Le code peut être testé sur un serveur puissant. ● Configuration d’accès à spark facile ● Multi-interpréteur Inconvénients ● Dépendance vis des autres développeurs (CPU, RAM) ● Absence d’aide à la programmation
  21. 21. © 21 Python : Editeur léger Le challenger
  22. 22. © 22 1. Python dans le monde Big Data / Data Science 2. Pyspark – Des données au Machine Learning 3. Python – focus A. Python multicore B. Machine Learning – Scikit-learn C. Gitlab 4. Retours d’expérience et bonnes pratiques 5. Q&A
  23. 23. © 23 Démo - Atelier 1 ✓ Import des données ✓ Cleaning et retraitement ✓ Future engineering ✓ Machine Learning : score
  24. 24. © 24 RETOUR D’EXPERIENCE Construction d’un prototype pour automatiser la réalisation des segmentations et des scores Distribution ✓ Efficacité dans la construction des segmentations et scores ✓ Garantir le choix du meilleur modèle enjeuxsecteur Démarche ▪ Moteur d’import des données ➔ tables HIVE ▪ Rapport d’audit : complétude, fiabilité des données (tendance centrale et dispersion des données) ▪ Future engineering : transformation des données, agrégats clients et indicateurs ▪ Machine Learning : pipeline (fiting, tunning des paramètres par cross validation et évaluation) ▪ Restitution : fiche de présentation et modèle réalisation Démo Démo Spark ML
  25. 25. © 25 Démo Big Data ➢ Le choix de plateforme et des outils est un pilier important quand on développe et industrialise des projets Data Science.
  26. 26. © 26 Workflow du use case 1- Ingestion des sources 2- Traitement & Règles de gestion 3- Mise à disposition pour le Datalab Fichier Plat Source de données (flux entrant) Table Etude
  27. 27. © 27 Les étapes clés de construction d’un modèle : le Pipeline Machine Learning Table Etude Train Set Test Set Train Futures Algo ML Cross Valid ModèleTest Futures Test Predict Score Future engineering New Set Evaluation Test Futures Predict Nouvelles Données Apprentissage / Test du modèle
  28. 28. © 28 RETOUR D’EXPERIENCE Des exemples de livrables Segmentation Persona Segmentation Comportement d’achat – Les Portraits Robots Score - Restitution
  29. 29. © 29 En conclusion - Les grandes familles de fonctions SPARK ML LogisticRegression DecisionTreeClassifier RandomForestClassifier GBTClassifier NaiveBayes LinearRegression DecisionTreeRegressor RandomForestRegressor GBTRegressor ParamGridBuilder CrossValidator StringIndexer OneHotEncoder Tokenizer Ngram HashingTF IDF (ALS) (KMeans)
  30. 30. © 30 1. Python dans le monde Big Data / Data Science 2. Pyspark – Des données au Machine Learning 3. Python – focus A. Python multicore B. Machine Learning – Scikit-learn C. Gitlab 4. Retours d’expérience et bonnes pratiques 5. Q&A
  31. 31. © 31 Démo - Atelier 2 ✓Python multi core ✓Scikit-learn ✓Gitlab
  32. 32. © 32 Python Multicore - 1
  33. 33. © 33 Python Multicore - 2 1 2 3 4 Point de vigilance: Si on traite des petites volumétries on risque d’avoir temps de performance plus élevés. En général, on est capable de réduire le temps de calcul fois le nombre de coeurs disponibles par machine.
  34. 34. © 34 Python Multicore - 3 1 2 Le temps de réponse sont équivalents à l’approche précédant mais avec des avantages: ● Lisibilité du code ● Maintenance du code ● Parametrization dynamique possible
  35. 35. © 35 Démo - Atelier 2
  36. 36. © 36 Scikit-learn – Les grandes familles de fonctions LogisticRegression DecisionTreeClassifier RandomForestClassifier GradientBoostingClassifier GaussianNB AdaBoostClassifier SVC GridSearchCV PCA MCA KMeans linkage AgglomerativeClustering DBSCAN Apprentissage Non Supervisé Apprentissage Supervisé Tunning des parametres http://scikit-learn.org
  37. 37. © 37 Au-delà de Scikit-Learn Visualisation des données : pandas & seaborn Deep Learning
  38. 38. © 38 Démo - Atelier 2
  39. 39. © 39 Présentation d’un SCM : GitLab
  40. 40. © 40 Gitlab : Création d’un nouveau projet Git global setup git config --global user.name "Mickael Patron" git config --global user.email "mpt@softcomputing.com" Create a new repository git clone git@continuum.softbda.corp:mpt/myproject.git cd myproject touch README.md git add README.md git commit -m "add README" git push -u origin master Existing folder cd existing_folder git init git remote add origin git@continuum.softbda.corp:mpt/myproject.git git add . git commit -m "Initial commit" git push -u origin master Existing Git repository cd existing_repo git remote add origin git@continuum.softbda.corp:mpt/myproject.git git push -u origin --all git push -u origin --tags
  41. 41. © 41 Gitlab : Repository
  42. 42. © 42 Gitlab : Commit
  43. 43. © 43 Gitlab : Versioning
  44. 44. © 44 Gitlab : Le wiki
  45. 45. © 45 Gitlab : Deployment automatique
  46. 46. © 46 Gitlab : Éditeurs multi-environnement
  47. 47. © 47 1. Python dans le monde Big Data / Data Science 2. Pyspark – Des données au Machine Learning 3. Python – focus sur deux incontournables A. Python multicore B. Machine Learning – Scikit-learn C. Gitlab 4. Retours d’expérience et bonnes pratiques 5. Q&A
  48. 48. © 48 RETOUR D’EXPERIENCE Accompagnement dans la réalisation d’un moteur de recommandation Site Web ✓ Construction d’un moteur de recommandation personnalisée ✓ Montée en compétence des ressources internes enjeuxsecteur ▪ Cadrage : Définition de la vision cible (ergonomie du site, algorithme de recommandation, architecture). ➢ Entretiens avec le métier et l'IT pour définir les besoins ➢ Benchmarch ergonomie du site réalisation ▪ Accompagnement au quotidien des équipes Data Science et IT ➢ Formation des équipes à Python (programmation et Machine Learning) ➢ Algorithmes de recommandation (recommandation personnalisée, en fonction de la demande de l’internaute et de sa navigation sur le site) : feuille de route et plan de recette ➢ Architecture : accompagnement environnement et Web Services. DEMARCHE EN 2 ETAPES
  49. 49. © 49 RETOUR D’EXPERIENCE Mises en place de Scores de Churn & Prospection et Segmentation client Re-Assurance B2B ✓ Refonte de la segmentation actuelle vers une segmentation lifecycle ✓ Elaboration et mise en production de multiples scores pour les équipes Marketing de différents pays : Churn, Prospectionenjeuxsecteur ▪ Segmentation : ➢ Réunions de cadrage et définition du scope avec les équipes métiers ➢ Proposition de 3 types de segmentations aux équipes métiers (valeur, naturelle, lifecycle) : méthodologie DEEP + programmation Python avec utilisation ScikitLearn ▪ Scores sur des BU internationales : ➢ Réunions de cadrage et définition du scope avec les équipes métiers ➢ Construction des matrices de travail sous Python : croisement de plusieurs sources – Sales Force, IRP, CRM ➢ Machine Learning en Python sur machine Amazon Web Services (EC2) ➢ Data Visualisation en Python pour améliorer les outils internes des équipes directement en relation avec le client ➢ Mise en production avec automatisation des flux réalisation
  50. 50. © 50 RETOUR D’EXPERIENCE Mise en place d’une plateforme Big Data Datalake - RCU Distribution ✓ Centralisation des données des consommateurs à des fins de connaissances clients et de campagnes marketing enjeuxsecteur ▪ Cadrage : Définition de la stratégie CRM omnicanal et accompagnement dans la mise en œuvre et l’exploitation de la plateforme ➢ Activités de Business Analyst ➢ Ingestion de données externes (prospects, retour de campaignes, …) ➢ Consolidation, normalisation et remontée d'informations vers le RCU ➢ Matching des consommateurs et regroupement parental ➢ Identification des consommateurs pour différents endpoints ➢ Gestion des Optin ➢ Tableau de bord Click sur le suivi des campagnes et l'efficacité marketing ▪ Facteurs clés de succès: ➢ Enrichissement qualitative des données ➢ Sécurisation et partitionnement des données réalisation
  51. 51. © 51 Conclusion : OPEN SOURCE - S’orienter selon son besoin Identifier l’environnement, le besoin pour choisir les outils en adéquation Datalab Volumétrie Volumétrie OUI NON Industrialisation
  52. 52. © 52 Coaching et formation Sélection des cas d’usages Sélection de l’outillage Modélisation/ Machine Learning Optimisation Intégration informatique Consolidation Datalab Exploitation On peut aider ?
  53. 53. © 53 Soft Computing, vivier de compétences Python, vous propose une formation Python dispensée par ses experts Formation Python ■ 1 800 € HT/ personne en inter-entreprise ■ 9h – 17h30 ■ Déjeuners compris dans le coût de la formation ■ Dans les locaux de Soft Computing Paris Nous consulter pour une version intra entreprise Public concerné Présentation de Python Modalités ■ Data Scientist / DataMiner ■ Débutant en Python ■ Statisticien ■ Marketer spécialiste de la data ■ Utilisateur de bases de données intéressé par l’analyse Pré-requis Agrément ■ Connaissances en statistiques ■ Connaissances d’un autre langage de programmation SAS/SPSS/VBA/MatLab/R/C Objectifs de la formation Apprendre à programmer en Python dans le but de : • Faire son data management sous Python • Explorer ses données sous Python • Utiliser les principaux algorithmes de modélisation du datamining sous Python ■ Numéro d’agrément de formation : 11 75 43610 75 Soft Computing ▪ 55 Quai de Grenelle-75015 Paris ▪ Tél. +33 (0)1 73 00 55 00 ▪ www.softcomputing.com ▪ Siret : 330 076 159 00079 ▪ DA : 11 75 43610 75 ■ Libre de droit et simple d’installation ■ Systématiquement associé à l’installation d’une plate- forme Big Data, peut être utilisé en local ou en serveur de manière transparente pour l’utilisateur Python est un langage et un environnement pour la manipulation de données, les calculs statistiques et leurs représentations graphiques. Cet outil devient incontournable pour les Data Scientists car il cumule nombre d’avantages : ■ Utilisé par la communauté internationale des Data Ingenieur, Data Miners et des Data Scientists ■ Donne accès aux procédures les plus innovantes 2, 3 & 4 octobre 2017 :
  54. 54. © 54 Jour 2 Segmenter Construire une classification et les portraits-robots ■ analyse factorielle sous Python ■ algorithmes non supervisés sous Python Jour 1 Les fondamentaux Créer une base de travail et l’explorer : ■ débuter un programme sous Python, les bonnes pratiques ■ importer des données, auditer et faire le data management ■ faire l’analyse exploratoire des données Formation Python Programme de formation Extrait de références Soft Computing, principal vivier de compétences Python en France vous propose une formation Python dispensée par ses experts Prochaines sessions ■ 2-3-4 Octobre 2017 (sous réserve d’un minimum de 4 inscrits) Inscriptions Les + SC University © ■ Télécharger et retourner le bulletin d’inscription dûment complété à university@softcomputing.com ■ Les formateurs sont des chefs de projets qui utilisent Python dans le cadre des missions effectuées auprès de nos clients ■ Supervision académique des contenus de la formation ■ Possibilité de personnaliser la formation ■ Repartez de la formation avec vos codes prêts à l’emploi travaillant sur votre ordinateur dans votre environnement Jour 3 Scorer Créer un modèle de score et le réappliquer ■ algorithmes supervisés sous Python ■ Retourner un exemplaire de la convention qui vous sera envoyée dûment complétée et signée ■ Conditions générales de vente téléchargeables sur notre site
  55. 55. © 55 - www.softcomputing.com - @softcomputing @softcomputing @softcomputing Merci ! Des questions contact@softcomputing.com – Tél. : +33 (0)1 73 00 55 00

×