Une Introduction à Hadoop

  • 826 views
Uploaded on

A l'occasion de Solution Linux 2013 nous présentons Hadoop à la communauté en France. Ici une introduction à Hadoop.

A l'occasion de Solution Linux 2013 nous présentons Hadoop à la communauté en France. Ici une introduction à Hadoop.

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
826
On Slideshare
0
From Embeds
0
Number of Embeds
2

Actions

Shares
Downloads
77
Comments
0
Likes
2

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’UtilisationCommerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/HUG France SL2013 – Mai 2013Une Introduction à HadoopLes Big Data ont déjà leur standard : Hadoop !Charly CLAIRMONTAltic - http://altic.orgcharly.clairmont@altic.org@egwada
  • 2. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/On a un problème !
  • 3. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/Un problème de données !1.2 ZettabytesAttendu dici la fin2013Gigabyte -> Terabyte -> Petabyte -> Exabyte -> Zettabyte
  • 4. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/Tout le monde a ce problème !
  • 5. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/DRH SAVAchatsMarketingPublicitéVenteSous-TraitantProducteurde MachinesFournisseursSupplyChainManagtB to BWebFournisseursSoc deServicePushBanqueActionnairesSites deRecrutementE-learning Télé-TutoringDistributeurMarchande-commerceSitesd ’appeld ’offreCONCURRENTSMarketingone tooneSiteFinanciere-mailing, bandeaux,site promotionnel...trackingLogistiqueCLIENTSBack-uptechniciensSVPréclamationsTutoringClubutilisateurTélémaintenanceBtoBCo-ingienerieExtranetAdministr@tionsSitedecriseDGBureaud’EtudeMaintenanceEDIBack-upcommerciauxPartenairesVeilleConcurrentielleet IntelligenceEconomique$Gestion TrésorerieDématérialisationdes procéduresTélémaintenance machinesVeilleTechnologiqueRecherchenouveauxFournisseursMarket-PlaceTélétravailASPGestionSource :Jean-Michel YOLINhttp://yolin.net/
  • 6. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/DRH SAVAchatsMarketingPublicitéVenteSous-TraitantProducteurde MachinesFournisseursSupplyChainManagtB to BWebFournisseursSoc deServicePushBanqueActionnairesSites deRecrutementE-learning Télé-TutoringDistributeurMarchande-commerceSitesd ’appeld ’offreCONCURRENTSMarketingone tooneSiteFinanciere-mailing, bandeaux,site promotionnel...trackingLogistiqueCLIENTSBack-uptechniciensSVPréclamationsTutoringClubutilisateurTélémaintenanceBtoBCo-ingienerieExtranetAdministr@tionsSitedecriseDGBureaud’EtudeMaintenanceEDIBack-upcommerciauxPartenairesVeilleConcurrentielleet IntelligenceEconomique$Gestion TrésorerieDématérialisationdes procéduresTélémaintenance machinesVeilleTechnologiqueRecherchenouveauxFournisseursMarket-PlaceTélétravailASPGestionBig DATA
  • 7. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/Où est ce problème ?
  • 8. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/Mais où ? Là !!
  • 9. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/Heureusement il y a des solutions !
  • 10. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/Avec Hadoop... ça passe !
  • 11. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/Hadoop !EDWApplications d’EntrepriseODS &DatamartsApplications &Feuille de CalculVisualisation &BIDécouverteExplorationDEV / IDELow LatencyNoSQLWebWebApplicationsOpérations(API)Custom ExistingTempleton SqoopWebHDFS FlumeHCatalogPigHBaseHiveAmbari HAOozieZooKeeperMapReduce HDFSBig Data Sources(transactions, observations, interactions)CRM ERPExhaustDatalogs filesfinancialsSocialMediaNouvelletechnoTableausources
  • 12. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/Hadoop● WebHDFSFacilite l’accès au données, même depuis votre explorateur de fichiers● HCatalogVision unifiée de la donnée● PigLangage de très haut niveau, aussi simple que SQLTransformation, Filtre, Statistique, Scripting● HiveImplémentation du langage SQL● HbaseSystème de base de données orienté colonnes● AmbariGestion & Surveillance plateforme Hadoop● Map / ReduceFramework de calcul● HDFSSystème de fichiers distribué● ...
  • 13. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/Pourquoifaire ?
  • 14. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/Et pour quels besoins ?Media Meilleur ContenuIntelligence Meilleure DétectionFinance Meilleur AlgorithmePublicité Meilleure PerformanceFraude Meilleure PréventionDistribution Meilleure Rotation des stocksProduction Meilleure Chaîne logistiqueSanté Meilleur SoinEducation Meilleur EnseignementGouvernement Meilleur Service CitoyensSource: Geoffrey Moore. Hadoop Summit 2012 keynote presentation.sources
  • 15. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/Hadoop, de lOpen Source pour un vraimarché économique
  • 16. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/Au fait pourquoi Hadoop ?FlexibilitéScalabilitéÉconomique
  • 17. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’UtilisationCommerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/HUG France SL2013 – Mai 2013Une Introduction à HadoopMerci !Charly CLAIRMONTAltic - http://altic.orgcharly.clairmont@altic.org@egwada