1. Pigのインストールと実行
N. Shimizu
chikoski@gmail.com

2. Pigとは
• 行指向データのデータを操作するた
めのDSL実行環境
• Hadoopと連携可能
– HDFS上のデータを操作可能
– Mapper / Reducerの自動作成
• 自作モジュールで拡張可能

3. 必要なもの
• 絶対必要なもの
– Hadoop 0.20.x
– Java 1.6.x
• なくてもいいもの
– Ant 1.7
– Junit 4.5

4. stableバージョンをダウンロード
http://hadoop.apache.org/common/releases.html

5. tgzの展開
% cd [インストール先]
% tar zxf pig-0.7.0.tar.gz.gz
% cd pig-0.7.0

6. Hadoopとの連携
• conf/pig.properties に設定
• 設定項目
– HDFSのネームノード
– JobTrackerの走っているノード

7. conf/pig.propertiesに追加する項目
• fs.default.name
– HDFSのネームノードのURL
– HadoopRoot/etc/core-site.xml の該当
項目の値を書けば良い
• mapred.job.tracker
– JobTrackerのURL
– HadoopRoot/etc/mapred-site.xmlの該
当項目の値を書けば良い

8. 仮想分散モードで動かしている場合
fs.default.name=hdfs://localhost:9
000/
mapred.job.tracker=localhost:900
1

9. Pigの起動
1. Hadoopを動かす
% HadoopRoot/bin/start_all.sh
2. Pigを起動
% bin/pig

10. lsコマンドを実行して動作チェック
grunt> ls
hdfs://localhost:9000/user/chiko/grep-temp-
905694089 <dir>
hdfs://localhost:9000/user/chiko/helloworld
<dir>
hdfs://localhost:9000/user/chiko/input <dir>
hdfs://localhost:9000/user/chiko/output <dir>
HDFS上のファイル一覧

11. まとめ
• ここまで
– Pigのインストールができた
– HDFS上のファイルを一覧できた
• これからやってみること
– grep やフィルターの実行
– スクリプトファイルの実行