Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Définir un cluster sous hadoop avec apache ambari

812 views

Published on

  • Be the first to comment

  • Be the first to like this

Définir un cluster sous hadoop avec apache ambari

  1. 1. Définir un cluster sous Hadoop avec Apache Ambari Charif Mahmoudi Fabrice Mourlin
  2. 2. Architecture matérielle Réseau Nat virtuel Node1 Node2 Node3
  3. 3. Architecture logicielle Ambari Server node1.mcc Ambari Agent1 node1.mcc Ambari Agent2 node2.mcc Ambari Agent3 node3.mcc
  4. 4. Configuration des VMs • Virtualisation par l’emploi de VirtualBox 4.3.28 • Chaque VM a pour image un Ubuntu 12.X (64 bits) • Chaque VM comporte • 8 Go de RAM • 32 Go de disque • appartient au réseau Nat (Natnetwork) • Il est possible d’ajouter une interface Host Only pour chacune des machines de l’architecture physique.
  5. 5. CONFIGURATION RÉSEAU DU CLUSTER Réseau VirtualBox
  6. 6. Configuration Host Only HostOnly adapter 169.254.198.27 node1.mcc 169.254.198.101 node2.mcc 169.254.198.102 node3.mcc 169.254.198.103
  7. 7. Configuration Host Only • Pour chacune des machines, modifier le fichier de configuration réseau sudo nano /etc/network/interfaces • node1.mcc auto eth1 iface eth1 inet static address 169.254.198.101 netmask 255.255.0.0 network 169.254.198.27 broadcast 169.254.198.255 • Redémarrer le service réseau sudo service networking restart
  8. 8. Configuration de nom de domaine • Pour chacune des machines, modifier le fichier de dns local sudo nano /etc/hosts • Les 3,lignes de configuration suivantes doivent apparaître sur tous les noeuds 169.254.198.101 node1.mcc node1 169.254.198.102 node2.mcc node2 169.254.198.103 node3.mcc node3
  9. 9. INSTALLATION AMBARI Cluster Hadoop
  10. 10. Architecture logicielle (rappel) Ambari Server node1.mcc Ambari Agent1 node1.mcc Ambari Agent2 node2.mcc Ambari Agent3 node3.mcc
  11. 11. Configuration du serveur Ambari • Sur node1, exécuter la liste des commandes • cd /etc/apt/sources.list.d • sudo wget http://public-repo- 1.hortonworks.com/ambari/ubuntu12/2.x/updates/2.0 .1/ambari.list • sudo apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD • sudo apt-get update • sudo apt-get install ambari-server • sudo ambari-server setup • sudo ambari-server start • Il est possible d’accéder à l’interface Web depuis l’adresse http://169.254.198.101:8080 • Login admin • Pass admin
  12. 12. Configuration des agents Ambari • Sur tous les noeurs, exécuter la liste des commandes • cd /etc/apt/sources.list.d • sudo wget http://public-repo- 1.hortonworks.com/ambari/ubuntu12/2.x/updates/2.0.1/am bari.list • sudo apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD • sudo apt-get update • sudo apt-get install ntp • sudo apt-get install ambari-agent • Il faut configurer l’agent Ambari • sudo nano /etc/ambari-agent/conf/ambari-agent.ini • [server] • hostname=node1.mcc • url_port=4080 • secured_url_port=8443 • Pour démarrer l’agent Ambari • sudo ambari-agent start
  13. 13. Potentielles erreurs • En cas d’erreur suite à l’apt-get update du type • Hash sum mismatch • sudo rm -f -R /var/lib/apt/lists/* • sudo apt-get update • Il faut reprendre après l’apt-get update du slide précédent
  14. 14. DEPLOIEMENT DES COMPOSANTS Configuration de la stack Ambari
  15. 15. Deployer le cluster Hadoop • Accès à Ambari WebUI • http://169.254.198.101:8080 • Configurer un cluster et les services à démarrer
  16. 16. Réinitialiser un cluster Ambari • Se placer sur node1.mcc • sudo ambari-server stop • sudo ambari-server reset • sudo ambari-server start • sudo ambari-agent restart • Puis, il faut utiliser le client WebUI à l’url http://169.254.198.101:8080
  17. 17. EXEMPLE MAPREDUCE UtiliserHadoop
  18. 18. Exemple de Map Reduce • Télécharger l’exemple Map Reduce Hadoop depuis • sudo wget http://central.maven.org/maven2/org/apache/hadoop/hadoop- mapreduce-examples/2.6.0/hadoop-mapreduce-examples-2.6.0.jar • Créer un fichier où il y a des données à utiliser • Par exemple rediriger la sortie de la commande • ps –eaf 2> mccdemo.txt • Se connecter en tant qu’utilisateur hdfs • sudo su hdfs • hdfs dfs –mkdir /mcc • hdfs dfs –mkdir /mcc/input • hdfs dfs –put mccdemo.txt /mcc/input • hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount /mcc/input /mcc/output • hdfs dfs –cat /mcc/output/*
  19. 19. Bilan • charif.mahmoudi@u-pec.fr • fabrice.mourlin@u-pec.fr

×