Your SlideShare is downloading. ×
Hadoopのインストール
Hadoopのインストール
Hadoopのインストール
Hadoopのインストール
Hadoopのインストール
Hadoopのインストール
Hadoopのインストール
Hadoopのインストール
Hadoopのインストール
Hadoopのインストール
Hadoopのインストール
Hadoopのインストール
Hadoopのインストール
Hadoopのインストール
Hadoopのインストール
Hadoopのインストール
Hadoopのインストール
Hadoopのインストール
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Hadoopのインストール

1,144

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
1,144
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Hadoop勉強会:インストール N. Shimizu chikoski@gmail.com
  • 2. Hadoopと関連物 • hadoop – map-reduceの実行基盤 – hdfs:分散ファイルシステム • Pig: データ操作のDSL • Hive: hadoop上に作られる分散DB • ZooKeeper:?
  • 3. 動かすのに必要なもの • Java 1.6.x • ssh と sshd • あとrsyncも必要っぽい
  • 4. sshdのスタート 共有
  • 5. sshdのスタート リモートログインにチェックを入れる
  • 6. 公開鍵の登録 • ssh-keygen • cd ~/.ssh • cat idrsa.pub >> authorized_keys
  • 7. stableをダウンロード http://hadoop.apache.org/common/releases.html
  • 8. 展開と設定 • tgzを任意の場所に展開 • conf/hadoop-env.shを設定
  • 9. conf/hadoop-env.shを設定 • JAVA_HOMEを設定する • Mac OSXの場合だと /System/Library/Frameworks/Ja vaVM.framework/Versions/Curre ntJDK/Home に設定すれば良い。
  • 10. インストール終了
  • 11. hadoopの動作モード • ローカルモード • 仮想分散モード – ローカルで複数のVMを使用 – 利用側は仮想か完全かを気にしなくて よい • 完全分散モード
  • 12. ローカルモードのでの動作チェック % mkdir input % cp conf/*.xml input % bin/hadoop jar hadoop-0.20.2- examples.jar grep input output ‘dfs[a-z.]+’ % cat output/*
  • 13. 仮想分散モードでの動作チェック 1. 設定ファイルを書く – conf/core-site.xml – conf/hdfs-site.xml – conf/mapred-site.xml 2. デーモンの起動 3. grepプログラムを動かす
  • 14. conf/core-site.xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value > </property> </configuration>
  • 15. conf/hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
  • 16. conf/mapred-site.xml <configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>
  • 17. デーモンの起動 % bin/hadoop namenode –format % bin/start-all.sh
  • 18. 動作テスト % bin/hadoop fs –put conf input % bin/hadoop jar hadoop-0.20.2- examples.jar grep input output 'dfs[a-z.]+' %

×