Hadoop 平台搭建 唐李洋
<ul><li>Vmware Workstation 7.0 </li></ul><ul><li>CentOS 4.8  (or other Linux version) </li></ul><ul><li>JDK 1.6 + ( jdk-6u...
安装 JDK <ul><li>1. 下载 jdk-6u21-linux-i586.bin   拷贝到 /cloud 目录下 </li></ul><ul><li>2. 进入  cd /cloud </li></ul><ul><li>3. 增加执行...
Hadoop 0.20.2 <ul><li>1.  解压缩  tar –xzf hadoop-0.20.2.tar.gz  </li></ul><ul><li>2.  设置  hadoop-env.sh </li></ul><ul><ul><l...
<ul><li>3. conf/core-site.xml </li></ul><ul><li>4. conf/hdfs-site.xml </li></ul><ul><li>5. conf/mapred-site.xml </li></ul>...
SSH 无密码通信 <ul><li>1. ssh-keygen –t rsa </li></ul><ul><li>2.  加入 authorized_keys </li></ul><ul><li>3. ssh  主机名 登陆即可 </li></ul>
Hadoop 操作 <ul><li>1.  格式化  NameNode </li></ul><ul><li>2.  启动 hadoop </li></ul><ul><ul><li>在浏览器输入 http://sev-130:50070 , 查看...
HBase 安装 <ul><li>1.  解压缩 </li></ul><ul><li>2.  配置  conf/hbase-env.sh </li></ul><ul><li>3. conf/hbase-site.xml </li></ul><u...
Hadoop Cluster - SSH <ul><li>将已经配置好的虚拟机镜像 clone 并拷贝到其他机器上 </li></ul><ul><li>修改 hostname 和 IP 地址 </li></ul><ul><ul><li>vi /...
Hadoop Cluster – Hadoop conf <ul><li>拷贝文件到 sev-128 </li></ul><ul><ul><li>scp –r /cloud sev-128:/cloud </li></ul></ul><ul><...
Hadoop Cluster - WordCount
Vmware tool <ul><li>VM -> install vmware tools </li></ul><ul><li>Vmware-tools 默认安装在 /media/cdrom 目录 </li></ul><ul><li>解压缩 ...
Eclipse 插件 <ul><li>1.  下载 Eclipse </li></ul><ul><ul><li>eclipse-jee-helios-linux-gtk.tar.gz </li></ul></ul><ul><li>2.  解压缩...
Eclipse 插件 <ul><li>选择 perspective -> other -> MapReduce </li></ul><ul><li>具体请参考 </li></ul><ul><ul><li>http://trac.nchc.org...
PS : Bridged 上网设置 <ul><li>1.  设置 ip ,子网掩码,网络地址,广播地址,网关和 DNS </li></ul><ul><ul><li>应用程序 -> 系统设置 -> 网络 </li></ul></ul><ul><l...
Upcoming SlideShare
Loading in...5
×

Hadoop平台搭建

2,496

Published on

Published in: Technology
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
2,496
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
35
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

Hadoop平台搭建

  1. 1. Hadoop 平台搭建 唐李洋
  2. 2. <ul><li>Vmware Workstation 7.0 </li></ul><ul><li>CentOS 4.8 (or other Linux version) </li></ul><ul><li>JDK 1.6 + ( jdk-6u21-linux-i586.bin ) </li></ul><ul><li>Hadoop 0.20.2 </li></ul><ul><li>Hbase 0.20.6 </li></ul><ul><li>SSH Secure Shell Client 3.2.9 </li></ul>软件环境
  3. 3. 安装 JDK <ul><li>1. 下载 jdk-6u21-linux-i586.bin 拷贝到 /cloud 目录下 </li></ul><ul><li>2. 进入 cd /cloud </li></ul><ul><li>3. 增加执行权限  </li></ul><ul><ul><li>chmod +x jdk-6u21-linux-i586.bin </li></ul></ul><ul><li>4. 执行安装命令 </li></ul><ul><ul><li>./jdk-6u21-linux-i586.bin </li></ul></ul><ul><li>5. 设置 JDK 环境变量 </li></ul><ul><ul><li>vi /etc/profile </li></ul></ul><ul><ul><li>export JAVA_HOME=/cloud/jdk1.6.0_21 </li></ul></ul><ul><ul><li>export PATH=/cloud/jdk1.6.0_21:$PATH    </li></ul></ul><ul><ul><li>export CLASSPATH=.:/cloud/jdk1.6.0_21/lib:/cloud/jdk1.6.0_21/jre/lib </li></ul></ul><ul><ul><li>source /etc/profile </li></ul></ul><ul><li>6. 查看安装成功 </li></ul><ul><ul><li>Java -version </li></ul></ul>
  4. 4. Hadoop 0.20.2 <ul><li>1. 解压缩 tar –xzf hadoop-0.20.2.tar.gz </li></ul><ul><li>2. 设置 hadoop-env.sh </li></ul><ul><ul><li>添加 export JAVA_HOME=/cloud/jdk1.6.0_21 </li></ul></ul>
  5. 5. <ul><li>3. conf/core-site.xml </li></ul><ul><li>4. conf/hdfs-site.xml </li></ul><ul><li>5. conf/mapred-site.xml </li></ul><ul><li>6. 设置 conf/masters, conf/slaves </li></ul>Hadoop 0.20.2
  6. 6. SSH 无密码通信 <ul><li>1. ssh-keygen –t rsa </li></ul><ul><li>2. 加入 authorized_keys </li></ul><ul><li>3. ssh 主机名 登陆即可 </li></ul>
  7. 7. Hadoop 操作 <ul><li>1. 格式化 NameNode </li></ul><ul><li>2. 启动 hadoop </li></ul><ul><ul><li>在浏览器输入 http://sev-130:50070 , 查看是否启动成功 </li></ul></ul><ul><li>3. 关闭 bin/stop-all.sh </li></ul>
  8. 8. HBase 安装 <ul><li>1. 解压缩 </li></ul><ul><li>2. 配置 conf/hbase-env.sh </li></ul><ul><li>3. conf/hbase-site.xml </li></ul><ul><li>4. 将 Hadoop site 配置文件( core-site.xml, hdfs-site.xml, mapred-site.xml )复制到 hbase/conf 目录下 </li></ul><ul><li>5. 修改 conf/regionservers </li></ul><ul><li>6. 将 hbase 的 jar 包复制到 hadoop/lib 目录 </li></ul><ul><li>7. 启动 hbase </li></ul><ul><ul><li>bin/start-hbase.sh </li></ul></ul><ul><ul><li>http://sev-130:60010/ 查看 hbase 安装成功 </li></ul></ul>
  9. 9. Hadoop Cluster - SSH <ul><li>将已经配置好的虚拟机镜像 clone 并拷贝到其他机器上 </li></ul><ul><li>修改 hostname 和 IP 地址 </li></ul><ul><ul><li>vi /etc/sysconfig/network </li></ul></ul><ul><ul><li>vi /etc/sysconfig/network-scripts/ifcfg-eth0 </li></ul></ul><ul><ul><li>Reboot </li></ul></ul><ul><li>在两台机器上都修改 /etc/hosts </li></ul><ul><li>两台机器都 ssh-keygen </li></ul><ul><li>Master(sev-130) 上: </li></ul><ul><ul><li>scp authorized_keys sev-128:/root/.ssh </li></ul></ul><ul><li>Slave(sev-128) 上 : </li></ul><ul><ul><li>cd /root/.ssh </li></ul></ul><ul><ul><li>chmod 644 authorized_keys </li></ul></ul><ul><li>注意:将虚拟机 Linux 的 NETWORK 改为 bridged </li></ul>
  10. 10. Hadoop Cluster – Hadoop conf <ul><li>拷贝文件到 sev-128 </li></ul><ul><ul><li>scp –r /cloud sev-128:/cloud </li></ul></ul><ul><li>在 slave 上重新安装 JDK </li></ul><ul><li>两台机器上配置: </li></ul><ul><ul><li>conf/slaves </li></ul></ul><ul><ul><ul><li>sev-128 </li></ul></ul></ul><ul><ul><ul><li>sev-130 </li></ul></ul></ul><ul><li>在 master 上登陆 slave </li></ul><ul><ul><li>ssh sev-128 </li></ul></ul><ul><li>格式化并启动 </li></ul>
  11. 11. Hadoop Cluster - WordCount
  12. 12. Vmware tool <ul><li>VM -> install vmware tools </li></ul><ul><li>Vmware-tools 默认安装在 /media/cdrom 目录 </li></ul><ul><li>解压缩 </li></ul><ul><ul><li>cd vmware-tools </li></ul></ul><ul><ul><li>./VMTools-install.pl </li></ul></ul><ul><li>设置共享文件夹 </li></ul><ul><ul><li>Options -> shared folder </li></ul></ul><ul><li>进入共享目录 </li></ul><ul><ul><li>cd /mnt/hgfs </li></ul></ul>
  13. 13. Eclipse 插件 <ul><li>1. 下载 Eclipse </li></ul><ul><ul><li>eclipse-jee-helios-linux-gtk.tar.gz </li></ul></ul><ul><li>2. 解压缩 tar </li></ul><ul><li>3. 将 hadoop Eclipse 插件复制到 Eclipse/plugins 目录下 </li></ul><ul><ul><li>cp /cloud/hadoop-0.20.2/contrib/hadoop-0.20.2-eclipse-plugin.jar /cloud/eclipse/plugins </li></ul></ul><ul><li>4. 进入 /cloud/eclipse 目录,双击打开 Eclipse </li></ul>
  14. 14. Eclipse 插件 <ul><li>选择 perspective -> other -> MapReduce </li></ul><ul><li>具体请参考 </li></ul><ul><ul><li>http://trac.nchc.org.tw/cloud/wiki/Hadoop_Lab5#a2.1%E5%AE%89%E8%A3%9Dhadoop%E7%9A%84eclipseplugin </li></ul></ul><ul><li>注意该插件在 Eclipse 中的 run on hadoop 选项不可用,采用 Makefile 方式运行,具体设置参考 </li></ul><ul><ul><li>http://tlyxy228.blog.163.com/blog/static/1810901201052191836360/ </li></ul></ul>
  15. 15. PS : Bridged 上网设置 <ul><li>1. 设置 ip ,子网掩码,网络地址,广播地址,网关和 DNS </li></ul><ul><ul><li>应用程序 -> 系统设置 -> 网络 </li></ul></ul><ul><li>2. 重启网络服务 </li></ul><ul><ul><li>Service network restart </li></ul></ul><ul><li>详见 http://blog.chinaunix.net/u/25340/showart.php?id=2190957 </li></ul>
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×