自宅でHive愛を育む方法
Raspberry Pi編

2013年年12⽉月23⽇日
株式会社セラン
R&D戦略略室  須⽥田幸憲

Copyright © CELLANT Corp. All Rights Reserved.

1	
htt...
はじめに
v 本スライドは、Hadoop  Advent  Calendar  2013
の23⽇日⽬目の記事です。
l  http://qiita.com/advent-‐‑‒calendar/2013/hadoop

v Hivese...
⾃自⼰己紹介
v 須⽥田幸憲(@sudabon)
v 株式会社セラン  R&D戦略略室  室⻑⾧長
v 経歴
l  1997〜~2004  NEC  中央研究所  /  ネットワークの研究
l  2005〜~2006  BIGLOBE...
ハイブの⼤大好物はラズベリーパイ?

Copyright © CELLANT Corp. All Rights Reserved.

4
http://www.cellant.jp/
Raspberry  Piの概要
v Raspberry  Pi財団によって英国で開発されたARM
プロセッサを搭載したシングルボードコンピュータ
v コンピュータ科学の教育を促進することを⽬目的とし
て開発された
v 25⽶米ドルのモデ...
 Raspberry  Piのハードウェアスペック
Model A	

Model B	

価格

$25

$35

SoC

Broadcom  BCM2835  (CPU,  GPU,  DSP,  SDRAM)

CPU

700  M...
Raspberry  Piのボード構成

Copyright © CELLANT Corp. All Rights Reserved.

7
http://www.cellant.jp/
Raspberry  Piの配線マップ

Copyright © CELLANT Corp. All Rights Reserved.

8
http://www.cellant.jp/
Raspberry  Piのピン出⼒力力

Copyright © CELLANT Corp. All Rights Reserved.

9
http://www.cellant.jp/
クラスタの構築に使⽤用した機器類
v クラスタ⽤用
l  Raspberry  Pi(Model  B)×2
l  SDカード(16GB)×2
l  Ethernetケーブル×2
l  100Mbps  SW  Hub×1

v 設...
クラスタ環境
TaskTracker
JobTracker

Hiveserver

DataNode

HiveMetastore

SecondaryNameNode

TaskTracker

NameNode

DataNode

Co...
Hiveを動作させるための⼿手順
v 全体の流流れ
1. 
2. 
3. 
4. 
5. 
6. 
7. 

OS(Raspberian)のインストール及び設定
ハードウェアのチューニング
OS(Raspberian)のチューニング
パーティ...
恒例例のHiveBenchによる性能評価
v 評価環境
l  Hadoopのバージョンは1.2.1
l  Hiveのバージョンは0.12.0
l  HiveBenchの10万分の1のスケール
•  10000⾏行行の”uservisit...
性能評価結果
v  驚いたことに(失礼!)、正常にクエリ処理理が完了了!!
v  10万分の1のスケールとはいえ、想定外の低レイテンシ!!
MapReduce  Jobs  Launched:
Job  0:  Map:  2    Red...
まとめ
v  Raspberry  Pi上でHadoopクラスタが動作することは、既に
報告されている
  ⇒  Hiveも動作するだろうとは思っていた
v  Raspberry  Piのハードウェアが低スペックなので、あらゆる
作業に時間...
今後の予定
v スレーブ⽤用のRaspberry  Piを増設し、クラスタを
スケールアップ
v さらにHive愛を育成します

Copyright © CELLANT Corp. All Rights Reserved.

16
http...
最後に
v 明⽇日のHadoop  Advent  Calendarは、
  Hive愛がハンパないモリスさん(@tagomoris)
  です。
v 乞うご期待!

Copyright © CELLANT Corp. All Rights...
最後までお付き合いいただきまして、ありがとうございました。
⾃自宅宅でHive愛を育む際のご参考になれば幸甚です。

Copyright © CELLANT Corp. All Rights Reserved.

18
http://www.c...
Upcoming SlideShare
Loading in …5
×

自宅でHive愛を育む方法 〜Raspberry Pi編〜

4,407 views

Published on

Published in: Technology

自宅でHive愛を育む方法 〜Raspberry Pi編〜

  1. 1. 自宅でHive愛を育む方法 Raspberry Pi編 2013年年12⽉月23⽇日 株式会社セラン R&D戦略略室  須⽥田幸憲 Copyright © CELLANT Corp. All Rights Reserved. 1 http://www.cellant.jp/
  2. 2. はじめに v 本スライドは、Hadoop  Advent  Calendar  2013 の23⽇日⽬目の記事です。 l  http://qiita.com/advent-‐‑‒calendar/2013/hadoop v Hiveserver2への移⾏行行について記事を書こうと思っ ていましたが、⼤大⼈人の事情により移⾏行行⾃自体を断念念し ました(涙 Copyright © CELLANT Corp. All Rights Reserved. 2 http://www.cellant.jp/
  3. 3. ⾃自⼰己紹介 v 須⽥田幸憲(@sudabon) v 株式会社セラン  R&D戦略略室  室⻑⾧長 v 経歴 l  1997〜~2004  NEC  中央研究所  /  ネットワークの研究 l  2005〜~2006  BIGLOBE  /  BtoBサービスの開発   <snip> l  2012/8〜~          現職 v Hadoop歴:約1年年 v 好きなHadoopエコシステム:Hive Copyright © CELLANT Corp. All Rights Reserved. 3 http://www.cellant.jp/
  4. 4. ハイブの⼤大好物はラズベリーパイ? Copyright © CELLANT Corp. All Rights Reserved. 4 http://www.cellant.jp/
  5. 5. Raspberry  Piの概要 v Raspberry  Pi財団によって英国で開発されたARM プロセッサを搭載したシングルボードコンピュータ v コンピュータ科学の教育を促進することを⽬目的とし て開発された v 25⽶米ドルのモデルAと35⽶米ドルのモデルBの2つの バージョンがリリースされている Copyright © CELLANT Corp. All Rights Reserved. 5 http://www.cellant.jp/
  6. 6.  Raspberry  Piのハードウェアスペック Model A Model B 価格 $25 $35 SoC Broadcom  BCM2835  (CPU,  GPU,  DSP,  SDRAM) CPU 700  MHz  /  ARM1176JZF-‐‑‒S  コア  (ARM11  ファミリ) GPU Broadcom  VideoCore  IV,  OpenGL  ES  2.0  (24  GFLOPS) 1080p  30fps  H.264/MPEG-‐‑‒4  AVC  High  Profile  デコーダー,   MPEG-‐‑‒2,  VC-‐‑‒1 メモリ  (SDRAM) 256MB  (GPU共有) 512MB  (GPU共有) USB  2.0  ポート 1 2(統合USBハブ) ネットワーク なし 10/100  Mbps  イーサネット   (RJ45) 低レベル周辺機器 8  ×  GPIO,  UART,  I²C,  SPIと2つのチップセレクト,  +3.3  V,   +5  V,  接地 Copyright © CELLANT Corp. All Rights Reserved. 6 http://www.cellant.jp/
  7. 7. Raspberry  Piのボード構成 Copyright © CELLANT Corp. All Rights Reserved. 7 http://www.cellant.jp/
  8. 8. Raspberry  Piの配線マップ Copyright © CELLANT Corp. All Rights Reserved. 8 http://www.cellant.jp/
  9. 9. Raspberry  Piのピン出⼒力力 Copyright © CELLANT Corp. All Rights Reserved. 9 http://www.cellant.jp/
  10. 10. クラスタの構築に使⽤用した機器類 v クラスタ⽤用 l  Raspberry  Pi(Model  B)×2 l  SDカード(16GB)×2 l  Ethernetケーブル×2 l  100Mbps  SW  Hub×1 v 設定⽤用 l  HDMIケーブル l  液晶TV l  USBキーボード l  USBマウス Copyright © CELLANT Corp. All Rights Reserved. 10 http://www.cellant.jp/
  11. 11. クラスタ環境 TaskTracker JobTracker Hiveserver DataNode HiveMetastore SecondaryNameNode TaskTracker NameNode DataNode Copyright © CELLANT Corp. All Rights Reserved. 11 http://www.cellant.jp/
  12. 12. Hiveを動作させるための⼿手順 v 全体の流流れ 1.  2.  3.  4.  5.  6.  7.  OS(Raspberian)のインストール及び設定 ハードウェアのチューニング OS(Raspberian)のチューニング パーティションの拡張 Java  のインストール Hadoop  のインストール/設定 Hive  のインストール/設定 v 詳細は下記をご参照ください。 l  ⾃自宅宅でHive愛を育むための⼿手順(Raspberry  Pi編)   http://www.slideshare.net/sudabon/how-‐‑‒toworkhiveonraspberrypi Copyright © CELLANT Corp. All Rights Reserved. 12 http://www.cellant.jp/
  13. 13. 恒例例のHiveBenchによる性能評価 v 評価環境 l  Hadoopのバージョンは1.2.1 l  Hiveのバージョンは0.12.0 l  HiveBenchの10万分の1のスケール •  10000⾏行行の”uservisits”テーブル •  1200⾏行行の”rankings”テーブル l  ⾮非圧縮のSequenceFile v 評価内容 l  いつものSELECTクエリ(JOIN有り) l  ジョブレイテンシを測定(1回のみ!) v 詳細は下記をご参照ください l  http://www.slideshare.net/sudabon/how-‐‑‒toworkhiveonraspberrypi/16 Copyright © CELLANT Corp. All Rights Reserved. 13 http://www.cellant.jp/
  14. 14. 性能評価結果 v  驚いたことに(失礼!)、正常にクエリ処理理が完了了!! v  10万分の1のスケールとはいえ、想定外の低レイテンシ!! MapReduce  Jobs  Launched: Job  0:  Map:  2    Reduce:  1      Cumulative  CPU:  138.59  sec      HDFS  Read:   2027641  HDFS  Write:  11399  SUCCESS Job  1:  Map:  1    Reduce:  1      Cumulative  CPU:  25.65  sec      HDFS  Read:   11863  HDFS  Write:  10119  SUCCESS Job  2:  Map:  1    Reduce:  1      Cumulative  CPU:  25.39  sec      HDFS  Read:   10583  HDFS  Write:  30  SUCCESS Total  MapReduce  CPU  Time  Spent:  3  minutes  9  seconds  630  msec OK 64.109.226.120          0.9987925          37.0 Time  taken:  991.129  seconds,  Fetched:  1  row(s) Copyright © CELLANT Corp. All Rights Reserved. 14 http://www.cellant.jp/
  15. 15. まとめ v  Raspberry  Pi上でHadoopクラスタが動作することは、既に 報告されている   ⇒  Hiveも動作するだろうとは思っていた v  Raspberry  Piのハードウェアが低スペックなので、あらゆる 作業に時間がかかるのが難点   ⇒  Hive愛があれば、気にならない v  メモリが512MBでも、クエリが失敗しない   ⇒  Hiveが愛おしくてしょうがない Copyright © CELLANT Corp. All Rights Reserved. 15 http://www.cellant.jp/
  16. 16. 今後の予定 v スレーブ⽤用のRaspberry  Piを増設し、クラスタを スケールアップ v さらにHive愛を育成します Copyright © CELLANT Corp. All Rights Reserved. 16 http://www.cellant.jp/
  17. 17. 最後に v 明⽇日のHadoop  Advent  Calendarは、   Hive愛がハンパないモリスさん(@tagomoris)   です。 v 乞うご期待! Copyright © CELLANT Corp. All Rights Reserved. 17 http://www.cellant.jp/
  18. 18. 最後までお付き合いいただきまして、ありがとうございました。 ⾃自宅宅でHive愛を育む際のご参考になれば幸甚です。 Copyright © CELLANT Corp. All Rights Reserved. 18 http://www.cellant.jp/

×