Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Hadoop平台搭建

2,707 views

Published on

Published in: Technology
  • Be the first to comment

Hadoop平台搭建

  1. 1. Hadoop 平台搭建 唐李洋
  2. 2. <ul><li>Vmware Workstation 7.0 </li></ul><ul><li>CentOS 4.8 (or other Linux version) </li></ul><ul><li>JDK 1.6 + ( jdk-6u21-linux-i586.bin ) </li></ul><ul><li>Hadoop 0.20.2 </li></ul><ul><li>Hbase 0.20.6 </li></ul><ul><li>SSH Secure Shell Client 3.2.9 </li></ul>软件环境
  3. 3. 安装 JDK <ul><li>1. 下载 jdk-6u21-linux-i586.bin 拷贝到 /cloud 目录下 </li></ul><ul><li>2. 进入 cd /cloud </li></ul><ul><li>3. 增加执行权限  </li></ul><ul><ul><li>chmod +x jdk-6u21-linux-i586.bin </li></ul></ul><ul><li>4. 执行安装命令 </li></ul><ul><ul><li>./jdk-6u21-linux-i586.bin </li></ul></ul><ul><li>5. 设置 JDK 环境变量 </li></ul><ul><ul><li>vi /etc/profile </li></ul></ul><ul><ul><li>export JAVA_HOME=/cloud/jdk1.6.0_21 </li></ul></ul><ul><ul><li>export PATH=/cloud/jdk1.6.0_21:$PATH    </li></ul></ul><ul><ul><li>export CLASSPATH=.:/cloud/jdk1.6.0_21/lib:/cloud/jdk1.6.0_21/jre/lib </li></ul></ul><ul><ul><li>source /etc/profile </li></ul></ul><ul><li>6. 查看安装成功 </li></ul><ul><ul><li>Java -version </li></ul></ul>
  4. 4. Hadoop 0.20.2 <ul><li>1. 解压缩 tar –xzf hadoop-0.20.2.tar.gz </li></ul><ul><li>2. 设置 hadoop-env.sh </li></ul><ul><ul><li>添加 export JAVA_HOME=/cloud/jdk1.6.0_21 </li></ul></ul>
  5. 5. <ul><li>3. conf/core-site.xml </li></ul><ul><li>4. conf/hdfs-site.xml </li></ul><ul><li>5. conf/mapred-site.xml </li></ul><ul><li>6. 设置 conf/masters, conf/slaves </li></ul>Hadoop 0.20.2
  6. 6. SSH 无密码通信 <ul><li>1. ssh-keygen –t rsa </li></ul><ul><li>2. 加入 authorized_keys </li></ul><ul><li>3. ssh 主机名 登陆即可 </li></ul>
  7. 7. Hadoop 操作 <ul><li>1. 格式化 NameNode </li></ul><ul><li>2. 启动 hadoop </li></ul><ul><ul><li>在浏览器输入 http://sev-130:50070 , 查看是否启动成功 </li></ul></ul><ul><li>3. 关闭 bin/stop-all.sh </li></ul>
  8. 8. HBase 安装 <ul><li>1. 解压缩 </li></ul><ul><li>2. 配置 conf/hbase-env.sh </li></ul><ul><li>3. conf/hbase-site.xml </li></ul><ul><li>4. 将 Hadoop site 配置文件( core-site.xml, hdfs-site.xml, mapred-site.xml )复制到 hbase/conf 目录下 </li></ul><ul><li>5. 修改 conf/regionservers </li></ul><ul><li>6. 将 hbase 的 jar 包复制到 hadoop/lib 目录 </li></ul><ul><li>7. 启动 hbase </li></ul><ul><ul><li>bin/start-hbase.sh </li></ul></ul><ul><ul><li>http://sev-130:60010/ 查看 hbase 安装成功 </li></ul></ul>
  9. 9. Hadoop Cluster - SSH <ul><li>将已经配置好的虚拟机镜像 clone 并拷贝到其他机器上 </li></ul><ul><li>修改 hostname 和 IP 地址 </li></ul><ul><ul><li>vi /etc/sysconfig/network </li></ul></ul><ul><ul><li>vi /etc/sysconfig/network-scripts/ifcfg-eth0 </li></ul></ul><ul><ul><li>Reboot </li></ul></ul><ul><li>在两台机器上都修改 /etc/hosts </li></ul><ul><li>两台机器都 ssh-keygen </li></ul><ul><li>Master(sev-130) 上: </li></ul><ul><ul><li>scp authorized_keys sev-128:/root/.ssh </li></ul></ul><ul><li>Slave(sev-128) 上 : </li></ul><ul><ul><li>cd /root/.ssh </li></ul></ul><ul><ul><li>chmod 644 authorized_keys </li></ul></ul><ul><li>注意:将虚拟机 Linux 的 NETWORK 改为 bridged </li></ul>
  10. 10. Hadoop Cluster – Hadoop conf <ul><li>拷贝文件到 sev-128 </li></ul><ul><ul><li>scp –r /cloud sev-128:/cloud </li></ul></ul><ul><li>在 slave 上重新安装 JDK </li></ul><ul><li>两台机器上配置: </li></ul><ul><ul><li>conf/slaves </li></ul></ul><ul><ul><ul><li>sev-128 </li></ul></ul></ul><ul><ul><ul><li>sev-130 </li></ul></ul></ul><ul><li>在 master 上登陆 slave </li></ul><ul><ul><li>ssh sev-128 </li></ul></ul><ul><li>格式化并启动 </li></ul>
  11. 11. Hadoop Cluster - WordCount
  12. 12. Vmware tool <ul><li>VM -> install vmware tools </li></ul><ul><li>Vmware-tools 默认安装在 /media/cdrom 目录 </li></ul><ul><li>解压缩 </li></ul><ul><ul><li>cd vmware-tools </li></ul></ul><ul><ul><li>./VMTools-install.pl </li></ul></ul><ul><li>设置共享文件夹 </li></ul><ul><ul><li>Options -> shared folder </li></ul></ul><ul><li>进入共享目录 </li></ul><ul><ul><li>cd /mnt/hgfs </li></ul></ul>
  13. 13. Eclipse 插件 <ul><li>1. 下载 Eclipse </li></ul><ul><ul><li>eclipse-jee-helios-linux-gtk.tar.gz </li></ul></ul><ul><li>2. 解压缩 tar </li></ul><ul><li>3. 将 hadoop Eclipse 插件复制到 Eclipse/plugins 目录下 </li></ul><ul><ul><li>cp /cloud/hadoop-0.20.2/contrib/hadoop-0.20.2-eclipse-plugin.jar /cloud/eclipse/plugins </li></ul></ul><ul><li>4. 进入 /cloud/eclipse 目录,双击打开 Eclipse </li></ul>
  14. 14. Eclipse 插件 <ul><li>选择 perspective -> other -> MapReduce </li></ul><ul><li>具体请参考 </li></ul><ul><ul><li>http://trac.nchc.org.tw/cloud/wiki/Hadoop_Lab5#a2.1%E5%AE%89%E8%A3%9Dhadoop%E7%9A%84eclipseplugin </li></ul></ul><ul><li>注意该插件在 Eclipse 中的 run on hadoop 选项不可用,采用 Makefile 方式运行,具体设置参考 </li></ul><ul><ul><li>http://tlyxy228.blog.163.com/blog/static/1810901201052191836360/ </li></ul></ul>
  15. 15. PS : Bridged 上网设置 <ul><li>1. 设置 ip ,子网掩码,网络地址,广播地址,网关和 DNS </li></ul><ul><ul><li>应用程序 -> 系统设置 -> 网络 </li></ul></ul><ul><li>2. 重启网络服务 </li></ul><ul><ul><li>Service network restart </li></ul></ul><ul><li>详见 http://blog.chinaunix.net/u/25340/showart.php?id=2190957 </li></ul>

×