Valtech - Big Data : Détails d’une mise en œuvre

2,590 views

Published on

Big Data : Détails d’une mise en œuvre

Construction d’une solution d’analyse d’e-reputation
Collecter et stocker les données : Quelle infrastructure ?
Corréler et agréger les données : Quelle analyse ?
Restituer et exploiter : Quels résultats ?

Présentation animée par Hervé Desaunois, Responsable Technique, Valtech
herve.desaunois@valtech.fr


Evénement - Big Data : ne dormez pas sur vos données !
Valtech - 29/11

Published in: Technology
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
2,590
On SlideShare
0
From Embeds
0
Number of Embeds
217
Actions
Shares
0
Downloads
102
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

Valtech - Big Data : Détails d’une mise en œuvre

  1. 1. Big Data Détails d’une mise en œuvreHervé Desaunois Responsable IT
  2. 2. Méthodologie Cas d’utilisation ValtechArchitecture! Tendance Big Data
  3. 3. SommaireMéthodologie Ò  Présentation Ò  Cas d’utilisation Ò  Architecture Ò  Cas Pratique Ò  Conclusion Ò  Références Ò  Annexes 3
  4. 4. Big Data / MéthodologieLa mise en place d’une démarche Big Data est toujourscomposée de trois étapes : Ò  Collecter, stocker les données. Ò  Analyser, explorer, corréler, agréger les données. Ò  Visualiser, exploiter.
  5. 5. Architecture
  6. 6. Architecture Big Data BUSINESS LES DONNEES COLLECTER Audio, Docs, Social, Capteurs, Web logs, Spatial, Vidéo, Texte, Graphs, Graphs, Autres Clicks, GPS Image XML RSS, RSS, STOCKAGE & ORGANISATION Base de données Distributed File Orientée colonne Base de System NoSQL données SQL EXTRACTION Map Reduce SQLVISUALISERANALYSER Analytiques , Business Intelligent &
  7. 7. Architecture Big Data BUSINESS LES DONNEES COLLECTER Audio, Docs, Social, Capteurs, Web logs, Spatial, Vidéo, Texte, Graphs, Graphs, Autres Clicks, GPS Image XML RSS, RSS, STOCKAGE & ORGANISATION HBase, Big Table, HDFS, GFS, S3, Cassandra, Oracle, DB2, … DynamoDB, … MySQL, … EXTRACTION SQLVISUALISERANALYSER &
  8. 8. Cas d’utilisation Valtech eReputation
  9. 9. SommaireItération I Ò  Présentation Ò  Cas d’utilisation Ò  Architecture Ò  Cas Pratique Ò  Conclusion Ò  Références Ò  Annexes 9
  10. 10. Cas d’utilisation Valtech eReputation ERM MapReduce S3 DynamoDB eReputation Server Histogramme Client RIA GWT
  11. 11. Collecter les données Connecteurs Web Service Web Service / Rest Web Service / Rest Web Service / RestGoogle Custom Search API Twitter Search API Facebook Search API
  12. 12. Stockage Base de données Orientée Colonne
  13. 13. Organisation Modèle de données – Attributs, éléments et tables
  14. 14. Organisation Modèle de données – Attributs, éléments et tables
  15. 15. Extraction Amazon Elastic MapReduce
  16. 16. Analyser Stocker les réponses sur S3
  17. 17. Analyser Visualisation du résultat sur S3
  18. 18. Visualiser Client RIA GWT
  19. 19. Démo eReputation Valtech
  20. 20. BIG DATA Complexité Big Data Big Data Self Intelligent ? Data Scientist Big Data + Business Intelligent = ROI
  21. 21. SommaireItération II Ò  Présentation Ò  Cas d’utilisation Ò  Architecture Ò  Cas Pratique Ò  Conclusion Ò  Références Ò  Annexes 21
  22. 22. Cas d’utilisation Valtech eReputation MapReduce New SaaS S3 DynamoDB New eReputation ServerNew New
  23. 23. Aujourdhui• Volumes de données importants (Tera, Peta, ..)• De l’infiniment petit (génomique) à l’infiniment grand (astrophysique)• Du plus quotidien (reconnaissance de l’écriture manuscrite sur les enveloppes) aumoins quotidien (aide au pilotage aéronautique)• Du plus ouvert (e-commerce) au plus sécuritaire (détection de la fraude dans latéléphonie mobile ou les cartes bancaires)• Du plus industriel (contrôle qualité…) au plus théorique (sciences humaines,biologie…)• Du plus alimentaire (agronomie et agroalimentaire) au plus divertissant (prévisionsd’audience TV)• Systèmes d’aide à la décision plus ou moins automatiques © Stéphane Tufféry
  24. 24. Machine Learning Lapprentissage automatique (machine learning en anglais), un des champs détude de lintelligence artificielle, est la discipline scientifique concernée par le développement, lanalyse et limplémentation de méthodes automatisables qui permettent à une machine (au sens large) dévoluer grâce à un processus dapprentissage, et ainsi de remplir des tâches quil est difficile ou impossible de remplir par des moyens algorithmiques plus classiques.
  25. 25. Analyse - Algorithme Machine Learning Recommandation Classification Cluster
  26. 26. Analyse sémantique Natural Language Processing Utilisation d’une solution de ”Catégorisation de document – Machine learning”
  27. 27. Analyse sémantique Natural Language ProcessingCatégorisation : Expertise javaÒ  26 mai 2008 – Grâce à son expertise Java, Valtech Technology sassocie avec Talend pour améliorer lagilité des systèmes dinformation de ses clients.Ò  Cédric Bertrand, Consultant confirmé JAVA/J2EE, Valtech de Paris (Ile-de-France).Ò  Valtech Agency propose une triple maîtrise dans les domaines du conseil, ... Des compétences de développement Java, ..Ò  Valtech: conseil en management, en technologies. Conseil et projets ebusiness, agence web, Offshore, Formation nouvelles technologies, objet, Java EEÒ  Au travers du déroulement itératif dun projet, vous utiliserez des techniques moins connues de programmation Java comme la gestion poussée des Threads
  28. 28. Analyser Algorithme de clusters K-Means
  29. 29. Data Scientist L’intelligence des données Web Mining & Text Mining
  30. 30. Analyser - Algorithme Data Mining
  31. 31. Tendance Big Data
  32. 32. Gartner talk« Dici 2015, 4,4 millions demplois informatiques seront créés dansle monde pour soutenir le Big Data, dont 1,9 millions aux Etat-Unis », a déclaré Peter Sondergaard, senior vice-président etresponsable mondial de la recherche chez Gartner. Wanted « Data Scientist » 100 000 to 500 000 $
  33. 33. Valtech Web Scientiste L’intelligence des données Web Mining & Text Mining
  34. 34. Big Data tendance Cloud
  35. 35. Big Data full solution
  36. 36. Thank you
  37. 37. Tarification!Ò  ERM : http://aws.amazon.com/fr/elasticmapreduce/#pricingÒ  DynamoDB : http://aws.amazon.com/fr/dynamodb/#pricingÒ  S3 : http://aws.amazon.com/fr/s3/pricing/Ò  EC2 : http://aws.amazon.com/fr/ec2/pricing/

×