• Like
HDFS HA : Stockage à haute disponibilité par Damien Hardy
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

HDFS HA : Stockage à haute disponibilité par Damien Hardy

  • 1,921 views
Published

Jusqu'alors dans HDFS, NameNode etait un élément critique difficile à fiabiliser. Hadoop 2 et donc CDH4 introduisait HDFS HA. CDH4.1 élimine tous les SPOF. Nous verrons comment mettre en place la …

Jusqu'alors dans HDFS, NameNode etait un élément critique difficile à fiabiliser. Hadoop 2 et donc CDH4 introduisait HDFS HA. CDH4.1 élimine tous les SPOF. Nous verrons comment mettre en place la haute disponibilité dans HDFS. Quels sont les nouveaux services, comment les articuler.
http://fr.viadeo.com/fr/profile/damien.hardy8

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
1,921
On SlideShare
0
From Embeds
0
Number of Embeds
3

Actions

Shares
Downloads
24
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Hadoop CDH4.1.2HDFS HA : Stockage à haute disponibilité Viadeo Tech Days 2012 Damien Hardy Architecte Infrastructure @Viadéo
  • 2. Overview1. Hadoop par Cloudera2. CDH3 : Hadoop 13. CDH4 : Hadoop 24. HDFS HA5. Paramétrage6. Mire en route7. Failover8. Coté client9. Information ailleurs10.Questions
  • 3. Cloudera : distribution Hadoop Packetage Debian et Redhat Dépots publiques Patchs Commiteurs Apache
  • 4. CDH3 : Doù venons nous ? Hadoop 1.0 NameNode (SPOF) SecondarynameNode (ceci nest pas un NameNode) DataNode Jobtracker Tasktracker Hbase 0.90 Master server Region server Zookeeper 3.3 ...
  • 5. ©http://lesjoiesdusysadmin.tumblr.com/post/35638011614
  • 6. CDH4.1 : HADOOP 2 Hadoop 2.0 NameNode DataNode JournalNode ZK Failover Controler (ZKFC) Jobtracker Tasktracker Hbase 0.92 Master server Region server Zookeeper 3.4 ...
  • 7. HDFS HA NameNode nest plus un SPOF o/ SecondaryNameNode nest plus utile 2 NameNodes en mode active/standby Bascule automatique possible (ZKFC) Pas dIP flottante ni de hearbeat/keepalive basé sur Zookeeper (déjà utilisé pour Hbase) avec ou sans NFS (grace aux JournalNodes)
  • 8. hdfs-site.xml : déclaration du cluster dfs.nameservices : nom du "point daccès" dfs.ha.namenodes.hdfscluster : liste des 2 noms de serveurs NameNode dfs.namenode.rpc- address.hdfscluster.<nom> : adresse RPC du node dfs.namenode.http- address.hdfscluster.<nom> : adresse HTTP du node
  • 9. hdfs-site.xml : méthode Failover dfs.ha.automatic-failover.enabled : bascule automatique ? ha.zookeeper.quorum : liste des serveurs du cluster ZooKeeper
  • 10. hdfs-site.xml : partager les données dfs.namenode.shared.edits.dir : dossier de partage des meta données (sur NFS ou Quorum JournalNode) dfs.journalnode.edits.dir : chemin de stockage pour le JournalNode (sur chaque serveur du Quorum) dfs.ha.fencing.methods : méthode de STONITH (pour dossier partagé)
  • 11. Initialisation Hdfs NameNode (premier) hdfs namenode -format start hadoop-hdfs-namenode Hdfs NameNode (second) hdfs namenode -bootstrapStandby start hadoop-hdfs-namenode Hdfs zkfc (bascule automatique) hdfs zkfc -formatZK start hadoop-hdfs-zkfc (sur 2 NameNode)
  • 12. Administration hdfs haadmin Usage: DFSHAAdmin [-ns <nameserviceId>] [-transitionToActive <serviceId>] [-transitionToStandby <serviceId>] [-failover [--forcefence] [--forceactive] <serviceId> <serviceId>] [-getServiceState <serviceId>] [-checkHealth <serviceId>] [-help <command>] Pour provoquer une bascule de serveur. checkHealth non implémenté
  • 13. Côté client HDFS: lexemple HBase hbase-site.xml hbase.rootdir : hdfs://<dfs.nameservices>/hbase La config HDFS dans le $CLASSPATH core-site.xml dfs.client.failover.proxy.provider.<ns> hdfs-site.xml
  • 14. Résultat Démo
  • 15. Information http://ccp.cloudera.com/display/CDH4DOC/CD H4+High+Availability+Guide
  • 16. Merci de votre attention, à vos questions!