本文档详细介绍了在 VMware Workstation 上搭建 Hadoop 和 HBase 平台的步骤，包括安装 JDK、配置 Hadoop 和 HBase 环境、无密码 SSH 登录，以及在集群中配置虚拟机。每个步骤提供了命令和文件配置示例，以确保成功安装和运行。还包括了如何在 Eclipse 中设置 Hadoop 插件的说明。

1. Hadoop 平台搭建 唐李洋

2. Vmware Workstation 7.0 CentOS 4.8 (or other Linux version) JDK 1.6 + （ jdk-6u21-linux-i586.bin ） Hadoop 0.20.2 Hbase 0.20.6 SSH Secure Shell Client 3.2.9 软件环境

3. 安装 JDK 1. 下载 jdk-6u21-linux-i586.bin 拷贝到 /cloud 目录下 2. 进入 cd /cloud 3. 增加执行权限 chmod +x jdk-6u21-linux-i586.bin 4. 执行安装命令 ./jdk-6u21-linux-i586.bin 5. 设置 JDK 环境变量 vi /etc/profile export JAVA_HOME=/cloud/jdk1.6.0_21 export PATH=/cloud/jdk1.6.0_21:$PATH export CLASSPATH=.:/cloud/jdk1.6.0_21/lib:/cloud/jdk1.6.0_21/jre/lib source /etc/profile 6. 查看安装成功 Java -version

4. Hadoop 0.20.2 1. 解压缩 tar –xzf hadoop-0.20.2.tar.gz 2. 设置 hadoop-env.sh 添加 export JAVA_HOME=/cloud/jdk1.6.0_21

5. 3. conf/core-site.xml 4. conf/hdfs-site.xml 5. conf/mapred-site.xml 6. 设置 conf/masters, conf/slaves Hadoop 0.20.2

6. SSH 无密码通信 1. ssh-keygen –t rsa 2. 加入 authorized_keys 3. ssh 主机名 登陆即可

7. Hadoop 操作 1. 格式化 NameNode 2. 启动 hadoop 在浏览器输入 http://sev-130:50070 ， 查看是否启动成功 3. 关闭 bin/stop-all.sh

8. HBase 安装 1. 解压缩 2. 配置 conf/hbase-env.sh 3. conf/hbase-site.xml 4. 将 Hadoop site 配置文件（ core-site.xml, hdfs-site.xml, mapred-site.xml ）复制到 hbase/conf 目录下 5. 修改 conf/regionservers 6. 将 hbase 的 jar 包复制到 hadoop/lib 目录 7. 启动 hbase bin/start-hbase.sh http://sev-130:60010/ 查看 hbase 安装成功

9. Hadoop Cluster - SSH 将已经配置好的虚拟机镜像 clone 并拷贝到其他机器上 修改 hostname 和 IP 地址 vi /etc/sysconfig/network vi /etc/sysconfig/network-scripts/ifcfg-eth0 Reboot 在两台机器上都修改 /etc/hosts 两台机器都 ssh-keygen Master(sev-130) 上： scp authorized_keys sev-128:/root/.ssh Slave(sev-128) 上 : cd /root/.ssh chmod 644 authorized_keys 注意：将虚拟机 Linux 的 NETWORK 改为 bridged

10. Hadoop Cluster – Hadoop conf 拷贝文件到 sev-128 scp –r /cloud sev-128:/cloud 在 slave 上重新安装 JDK 两台机器上配置： conf/slaves sev-128 sev-130 在 master 上登陆 slave ssh sev-128 格式化并启动

11. Hadoop Cluster - WordCount

12. Vmware tool VM -> install vmware tools Vmware-tools 默认安装在 /media/cdrom 目录 解压缩 cd vmware-tools ./VMTools-install.pl 设置共享文件夹 Options -> shared folder 进入共享目录 cd /mnt/hgfs

13. Eclipse 插件 1. 下载 Eclipse eclipse-jee-helios-linux-gtk.tar.gz 2. 解压缩 tar 3. 将 hadoop Eclipse 插件复制到 Eclipse/plugins 目录下 cp /cloud/hadoop-0.20.2/contrib/hadoop-0.20.2-eclipse-plugin.jar /cloud/eclipse/plugins 4. 进入 /cloud/eclipse 目录，双击打开 Eclipse

14. Eclipse 插件 选择 perspective -> other -> MapReduce 具体请参考 http://trac.nchc.org.tw/cloud/wiki/Hadoop_Lab5#a2.1%E5%AE%89%E8%A3%9Dhadoop%E7%9A%84eclipseplugin 注意该插件在 Eclipse 中的 run on hadoop 选项不可用，采用 Makefile 方式运行，具体设置参考 http://tlyxy228.blog.163.com/blog/static/1810901201052191836360/

15. PS ： Bridged 上网设置 1. 设置 ip ，子网掩码，网络地址，广播地址，网关和 DNS 应用程序 -> 系统设置 -> 网络 2. 重启网络服务 Service network restart 详见 http://blog.chinaunix.net/u/25340/showart.php?id=2190957