Track 2 - Atelier 1 - Big data analytics présenté avec Intel

950 views

Published on

En savoir plus sur les outils, techniques et technologies pour travailler de manière productive avec des données à n'importe quelle échelle. Vous découvrirez la gamme d'outils d'analyse des données disponible sur AWS et que vous pouvez utiliser pour collecter, stocker, analyser et partager vos données, pour des volumes allant du giga-octets au péta-octets (1024 tera-octets). Nous discuterons d’Amazon Elastic MapReduce, d’Hadoop, de données structurées et non structurées, et des types d'instances Amazon EC2 qui permettent des analyses hautes performances à coûts optimisés.

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
950
On SlideShare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Track 2 - Atelier 1 - Big data analytics présenté avec Intel

  1. 1. Big Data Analytics Laurent Guiraud Business Development Manager, AWS Big Data Stephan Hilby EMEA Cloud Service Provider Manager, Intel
  2. 2. 1. Introduction Big Data 2. De la donnée à la prise de décision 3. Big Data Analytics et Cloud Computing 4. Écosystème Big Data Agenda 5. Innovations technologiques pour le Big Data
  3. 3. Introduction Big Data 1
  4. 4. Génération Collecte & Stockage Analyse & Traitement Collaboration & Partage
  5. 5. Les coûts de génération de données sont en chute.
  6. 6. Génération Collecte & Stockage Analyse & Traitement Collaboration & Partage Coûts réduits , Accroissement du debit
  7. 7. Génération Collecte & Stockage Analyse & Traitement Collaboration & Partage Contraintes fortes Coût réduit , Accroissement du débit
  8. 8. Données Générées Disponibles pour analyse et traitement Volume données Gartner: User Survey Analysis: Key Trends Shaping the Future of Data Center Infrastructure Through 2011 IDC: Worldwide Business Analytics Software 2012–2016 Forecast and 2011 Vendor Shares
  9. 9. Elastique et hautement évolutif Aucune avance de capitaux Paiement à l'usage + + Disponible à la demande + = Contraintes supprimer
  10. 10. Génération Collecte & Stockage Analyse & Traitement Collaboration & Partage Contraintes fortes Coût réduit, Accroissement du debit
  11. 11. Génération Collecte & Stockage Analyse & Traitement Collaboration & Partage Accélération
  12. 12. Close the gap.
  13. 13. Technologies et techniques pour travailler de manière productive avec des données sans limite d’échelle. Big Data
  14. 14. De la Donnée à la prise de Décision 2
  15. 15. “Qui sont les acheteurs de jeux video?”
  16. 16. 3.5 Milliard d’enregistrements 13 TB de click stream logs 71 million de cookies uniques Par jour:
  17. 17. 500% retour sur dépenses publicitaires 17,000% reduction en temps d’acquisition Resultats:
  18. 18. “Qui sont nos utilisateurs?”
  19. 19. Identification utilisation mobile croissante Investissement sur les applications mobiles Recherche de signaux faibles dans la masse des logs
  20. 20. 9,432,061 utilisations uniques depuis un mobile. 4 million+ appels. 5 million+ directions. Janvier 2013
  21. 21. Index Web ouvert. 3.4 Milliard d’enregistrements. Disponible pour tous.
  22. 22. Analyse complete de mesure d’impact des réseaux sociaux 300 lignes de code Ruby. 14 heures. $100.
  23. 23. You Are What You Tweet: Analyzing Twitter for Public Health. M. J. Paul and M. Dredze, 2011 Tweeting et prediction de la grippe
  24. 24. Tweets sur le prix du riz Inflation mesurée Tweeting sur le prix de la nourriture
  25. 25. Big Data Analytics et Cloud Computing 3
  26. 26. Génération Collecte & Stockage Analyse & Traitement Collaboration & Partage
  27. 27. Génération Collecte & Stockage Analyse & Traitement Collaboration & Partage S3, Glacier, Storage Gateway, DynamoDB, Redshift, RDS, HBase
  28. 28. Génération Collecte & Stockage Analyse & Traitement Collaboration & Partage EC2 & Elastic MapReduce
  29. 29. Génération Collecte & Stockage Analyse & Traitement Collaboration & Partage Amazon EC2 & Elastic MapReduce
  30. 30. Génération Collecte & Stockage Analyse & Traitement Collaboration & Partage Amazon EC2 & S3, CloudFormation, Elastic MapReduce, RDS, DynamoDB, Redshift
  31. 31. Génération Collecte & Stockage Analyse & Traitement Collaboration & Partage EC2 & S3, CloudFormation, Elastic MapReduce, RDS, DynamoDB, Redshift EC2 & Elastic MapReduce S3, Glacier, Storage Gateway, DynamoDB, Redshift, RDS, HBase AWS Data Pipeline
  32. 32. Génération Collecte & Stockage Analyse & Traitement Collaboration & Partage EC2 & S3, CloudFormation, Elastic MapReduce, RDS, DynamoDB, Redshift EC2 & Elastic MapReduce S3, Glacier, Storage Gateway, DynamoDB, Redshift, RDS, HBase AWS Data Pipeline
  33. 33. Elastic MapReduce
  34. 34. Hadoop tout-en-un
  35. 35. Input data S3, DynamoDB, Redshift
  36. 36. Elastic MapReduce Code Input data S3, DynamoDB, Redshift
  37. 37. Elastic MapReduce Code Name node Input data S3, DynamoDB, Redshift
  38. 38. Elastic MapReduce Code Name node Input data Elastic cluster S3, DynamoDB, Redshift S3/HDFS
  39. 39. Elastic MapReduce Code Name node Input data S3/HDFS Queries + BI Via JDBC, Pig, Hive S3, DynamoDB, Redshift Elastic cluster
  40. 40. Elastic MapReduce Code Name node Output Input data Queries + BI Via JDBC, Pig, Hive S3, DynamoDB, Redshift Elastic cluster S3/HDFS
  41. 41. Output Input data S3, DynamoDB, Redshift
  42. 42. 1. Cluster Elastique
  43. 43. 10 heures
  44. 44. 6 heures
  45. 45. Capacité en pointe
  46. 46. 2. Rapide, provisionnement optimal
  47. 47. 3. 100% Hadoop
  48. 48. Écosystème varié Databases, machine learning, segmentation, clustering, analytics, metadata stores, exchange formats, and so on...
  49. 49. 4. Experimentation facile
  50. 50. Choix des instances. Flexibilité du choix, type et nombre.
  51. 51. 5. Optimisation des coûts .
  52. 52. Compatible avec les instances spot. Choix du prix.
  53. 53. 1. Cluster Elastique 2. Rapide, provisionnement optimal 3. 100% Hadoop 4. Experimentation facile. 5. Optimisation des couts
  54. 54. Écosystème Big Data 4
  55. 55. Données, Données, partout... Donnees stockées en silos.
  56. 56. S3 DynamoDB EMR HBase on EMR RDS Redshift On-premises
  57. 57. “Comment migrer mes données vers le cloud?”
  58. 58. Data mobility Generation directe dans AWS Gratuité du transfert de données vers AWS. Multipart upload vers S3 Import / Export de disques physiques AWS Direct Connect Copie d’AMI et snapshot entre régions
  59. 59. “Comment puis je organiser mes flux de données?”
  60. 60. S3 DynamoDB EMR HBase on EMR RDS Redshift On-premises
  61. 61. S3 DynamoDB EMR HBase on EMR RDS Redshift On-premises
  62. 62. S3 DynamoDB EMR HBase on EMR RDS Redshift On premises
  63. 63. S3 DynamoDB EMR HBase on EMR RDS Redshift On premises
  64. 64. S3 DynamoDB EMR HBase on EMR RDS Redshift On premises
  65. 65. AWS Data Pipeline Orchestration orienté données .
  66. 66. AWS Data Pipeline Orchestration orienté données Fiable et souple Utilisation facile par glisser-déposer Execution et logique de reprise Cartographie des dépendances entre les données. Creation et gestion de resources de traitement
  67. 67. Anatomie d’un pipeline
  68. 68. Vérification et notifications
  69. 69. Pipelines simples ou complexes
  70. 70. aws.amazon.com/datapipeline
  71. 71. aws.amazon.com/big-data
  72. 72. Innovations technologiques pour le Big Data 5
  73. 73. Une génération & création de données sans précédent Business Generated Human Generated Machine Generated Une croissance exponentielle de l’usage d’Internet  Davantage d’Utilisateurs  Davantages de Périphériques  Davantage de Contenus
  74. 74. Les différentes étapes de maturité du Big Data Introduction Intégration Endoctrinement Analyse Prescriptive Analyse Descriptive Analyse Predictive Intuition Analytics Réduction des coûts Croissance des revenus Clients fidèles
  75. 75. Analyser les données peut aider à transformer la société Create new business models and improve organizational processes. Enhance scientific understanding, drive innovation, and accelerate medical cures. Increase public safety and improve energy efficiency with smart grids.
  76. 76. La vision d’Intel pour démocratiser le Big Data Unlock Value in Silicon Support Open Platforms Deliver Software Value
  77. 77. Intel : A la croisée des chemins menant au Big Data Enabling exascale computing on massive data sets Helping enterprises build open interoperable clouds Contributing code and fostering ecosystem HPC Cloud Open Source
  78. 78. Les technologies Intel au coeur du Cloud Computing Serveur Stockage Réseau Logiciel
  79. 79. Des processeurs taillés pour démultiplier les usages du Big Data Hadoop & Data Warehouse Engines Cost-effective performance •Intel® Advanced Vector Extension Technology •Intel® Turbo Boost Technology 2.0 •Intel® Advanced Encryption Standard New Instructions Technology Processeur Intel® Xeon® E5
  80. 80. 92 Intel® Advanced Vector Extensions (AVX) • Newest in a long line of processor instruction innovations • Increases floating point operations per clock up to 2X1 performance 1 : Performance comparison using Linpack benchmark. See backup for configuration details. For more legal information on performance forecasts go to http://www.intel.com/performance Software and workloads used in performance tests may have been optimized for performance only on Intel microprocessors. Performance tests, such as SYSmark and MobileMark, are measured using specific computer systems, components, software, operations and functions. Any change to any of those factors may cause the results to vary. You should consult other information and performance tests to assist you in fully evaluating your contemplated purchases, including the performance of that product when combined with other products.
  81. 81. Intel® Turbo Boost 2.0 More Performance Higher turbo speeds maximize performance for single and multi-threaded applications
  82. 82. Intel® Advanced Encryption Standard New Instructions (AES-NI) • Processor assistance for performing AES encryption 7 new instructions • Makes enabled encryption software faster and stronger
  83. 83. L’effet combiné des technologies Intel Richer user experiences 4 HRS 50% Reduction 10 MIN 80% Reduction 50% Reduction 40% Reduction TeraSort for 1 TB sort Intel® Xeon® Processor E5 2600 Solid-State Drive 10G Ethernet Intel® Apache Hadoop Previous Intel® Xeon® Processor
  84. 84. Cloud Intelligent Systems Clients Le cercle vertueux de l’expérience utilisateur
  85. 85. Les innovations Intel au service du Big Data Unlock Value in Silicon Support Open Platforms Deliver Software Value
  86. 86. 1. Introduction Big Data 2. De la donnée à la prise de décision 3. Big Data Analytics et Cloud Computing 4. Écosystème Big Data Conclusion 5. Innovations technologiques pour le Big Data
  87. 87. Merci laurentg@amazon.lu aws.amazon.com/elasticmapreduce aws.amazon.com/datapipeline aws.amazon.com/big-data stephan.hilby@intel.com www.powerof60.com ITcenter.intel.com

×