Hadoopソースコードリーディング第1回にて使用

1. MapReduce

2. で得たデータを

3. システムに使う
には

4. やっぱり
データベース
でしょ

5. ということで

6. MapReduce

7. からの

8. HBase

9. MapReduce
からの
HBase

10. 自己紹介
• お名前
ショータロー(@shootaroo)
• またの名
坪内 章太郎(33)
• お仕事
フリーエンジニア
• お趣味
プログラミング、ランニング、ロードバイク、
レーシングカート、バイオリン、ワイン

11. HBaseとは

12. HBase
•Hadoopプロジェクトの分散KVS
•Google BigTableを参考に実装さ
れている
•ファイルシステムにHDFSを利用
•MapReduceやHDFSと設定やコ
マンドが似ている

13. HBase
の使い方

14. 主要Class
‣ org.apache.hadoop.hbase
‣ client
‣ HTable - テーブルへのアクセス
‣ Put, Delete - データ登録、削除
‣ Get, Scan - データ取得条件
‣ Result, ResultScanner - 取得結果
‣ HBaseAdmin - テーブル管理用
‣ util
‣ Bytes - バイト配列とのデータ変換

15. クライアントに必要なJar
•hbase-0.20.x.jar
•hadoop-0.20.x-core.jar
•zookeeper-3.2.2.jar
•commons-logging-1.0.4.jar
•log4j-1.2.15.jar

16. MapReduce
からの使い方

17. 主要Class
‣ org.apache.hadoop.hbase.mapreduce
‣ TableInputFormat
- ScanによるResultを返すInputFormat
‣ TableOutputFormat
- Put,Deleteでテーブルを更新するOutputFormat
‣ TableMapReduceUtil -
‣ TableMapper - INがResultのMapper
‣ TableReducer - OUTがPut,DeleteのReducer

18. やっとくこと
• クラスパスの設定
• hadoop-env.shのHADOOP_CLASSPATH
• hbase-0.20.3.jar
• zookeeper-3.2.2.jar

19. デモ

20. 課題
•データ少ないと分散してくれない
•Bytesがいちいち面倒
•データ壊れることが。。

21. おしまい

22. からの

23. Cassandra

24. Ver.0.6で
Hadoop対応

25. と思ったけど

26. InputFormatしか
用意されてない。。
なぜ？？

27. やっぱり
おしまい