Hadoopのインストール

1,270 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,270
On SlideShare
0
From Embeds
0
Number of Embeds
16
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Hadoopのインストール

  1. 1. Hadoop勉強会:インストール N. Shimizu chikoski@gmail.com
  2. 2. Hadoopと関連物 • hadoop – map-reduceの実行基盤 – hdfs:分散ファイルシステム • Pig: データ操作のDSL • Hive: hadoop上に作られる分散DB • ZooKeeper:?
  3. 3. 動かすのに必要なもの • Java 1.6.x • ssh と sshd • あとrsyncも必要っぽい
  4. 4. sshdのスタート 共有
  5. 5. sshdのスタート リモートログインにチェックを入れる
  6. 6. 公開鍵の登録 • ssh-keygen • cd ~/.ssh • cat idrsa.pub >> authorized_keys
  7. 7. stableをダウンロード http://hadoop.apache.org/common/releases.html
  8. 8. 展開と設定 • tgzを任意の場所に展開 • conf/hadoop-env.shを設定
  9. 9. conf/hadoop-env.shを設定 • JAVA_HOMEを設定する • Mac OSXの場合だと /System/Library/Frameworks/Ja vaVM.framework/Versions/Curre ntJDK/Home に設定すれば良い。
  10. 10. インストール終了
  11. 11. hadoopの動作モード • ローカルモード • 仮想分散モード – ローカルで複数のVMを使用 – 利用側は仮想か完全かを気にしなくて よい • 完全分散モード
  12. 12. ローカルモードのでの動作チェック % mkdir input % cp conf/*.xml input % bin/hadoop jar hadoop-0.20.2- examples.jar grep input output ‘dfs[a-z.]+’ % cat output/*
  13. 13. 仮想分散モードでの動作チェック 1. 設定ファイルを書く – conf/core-site.xml – conf/hdfs-site.xml – conf/mapred-site.xml 2. デーモンの起動 3. grepプログラムを動かす
  14. 14. conf/core-site.xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value > </property> </configuration>
  15. 15. conf/hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
  16. 16. conf/mapred-site.xml <configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>
  17. 17. デーモンの起動 % bin/hadoop namenode –format % bin/start-all.sh
  18. 18. 動作テスト % bin/hadoop fs –put conf input % bin/hadoop jar hadoop-0.20.2- examples.jar grep input output 'dfs[a-z.]+' %

×