Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
自宅でHive愛を育む方法
Raspberry Pi編

2013年年12⽉月23⽇日
株式会社セラン
R&D戦略略室  須⽥田幸憲

Copyright © CELLANT Corp. All Rights Reserved.

1	
htt...
はじめに
v 本スライドは、Hadoop  Advent  Calendar  2013
の23⽇日⽬目の記事です。
l  http://qiita.com/advent-‐‑‒calendar/2013/hadoop

v Hivese...
⾃自⼰己紹介
v 須⽥田幸憲(@sudabon)
v 株式会社セラン  R&D戦略略室  室⻑⾧長
v 経歴
l  1997〜~2004  NEC  中央研究所  /  ネットワークの研究
l  2005〜~2006  BIGLOBE...
ハイブの⼤大好物はラズベリーパイ?

Copyright © CELLANT Corp. All Rights Reserved.

4
http://www.cellant.jp/
Raspberry  Piの概要
v Raspberry  Pi財団によって英国で開発されたARM
プロセッサを搭載したシングルボードコンピュータ
v コンピュータ科学の教育を促進することを⽬目的とし
て開発された
v 25⽶米ドルのモデ...
 Raspberry  Piのハードウェアスペック
Model A	

Model B	

価格

$25

$35

SoC

Broadcom  BCM2835  (CPU,  GPU,  DSP,  SDRAM)

CPU

700  M...
Raspberry  Piのボード構成

Copyright © CELLANT Corp. All Rights Reserved.

7
http://www.cellant.jp/
Raspberry  Piの配線マップ

Copyright © CELLANT Corp. All Rights Reserved.

8
http://www.cellant.jp/
Raspberry  Piのピン出⼒力力

Copyright © CELLANT Corp. All Rights Reserved.

9
http://www.cellant.jp/
クラスタの構築に使⽤用した機器類
v クラスタ⽤用
l  Raspberry  Pi(Model  B)×2
l  SDカード(16GB)×2
l  Ethernetケーブル×2
l  100Mbps  SW  Hub×1

v 設...
クラスタ環境
TaskTracker
JobTracker

Hiveserver

DataNode

HiveMetastore

SecondaryNameNode

TaskTracker

NameNode

DataNode

Co...
Hiveを動作させるための⼿手順
v 全体の流流れ
1. 
2. 
3. 
4. 
5. 
6. 
7. 

OS(Raspberian)のインストール及び設定
ハードウェアのチューニング
OS(Raspberian)のチューニング
パーティ...
恒例例のHiveBenchによる性能評価
v 評価環境
l  Hadoopのバージョンは1.2.1
l  Hiveのバージョンは0.12.0
l  HiveBenchの10万分の1のスケール
•  10000⾏行行の”uservisit...
性能評価結果
v  驚いたことに(失礼!)、正常にクエリ処理理が完了了!!
v  10万分の1のスケールとはいえ、想定外の低レイテンシ!!
MapReduce  Jobs  Launched:
Job  0:  Map:  2    Red...
まとめ
v  Raspberry  Pi上でHadoopクラスタが動作することは、既に
報告されている
  ⇒  Hiveも動作するだろうとは思っていた
v  Raspberry  Piのハードウェアが低スペックなので、あらゆる
作業に時間...
今後の予定
v スレーブ⽤用のRaspberry  Piを増設し、クラスタを
スケールアップ
v さらにHive愛を育成します

Copyright © CELLANT Corp. All Rights Reserved.

16
http...
最後に
v 明⽇日のHadoop  Advent  Calendarは、
  Hive愛がハンパないモリスさん(@tagomoris)
  です。
v 乞うご期待!

Copyright © CELLANT Corp. All Rights...
最後までお付き合いいただきまして、ありがとうございました。
⾃自宅宅でHive愛を育む際のご参考になれば幸甚です。

Copyright © CELLANT Corp. All Rights Reserved.

18
http://www.c...
Upcoming SlideShare
Loading in …5
×

自宅でHive愛を育む方法 〜Raspberry Pi編〜

4,621 views

Published on

Published in: Technology

自宅でHive愛を育む方法 〜Raspberry Pi編〜

  1. 1. 自宅でHive愛を育む方法 Raspberry Pi編 2013年年12⽉月23⽇日 株式会社セラン R&D戦略略室  須⽥田幸憲 Copyright © CELLANT Corp. All Rights Reserved. 1 http://www.cellant.jp/
  2. 2. はじめに v 本スライドは、Hadoop  Advent  Calendar  2013 の23⽇日⽬目の記事です。 l  http://qiita.com/advent-‐‑‒calendar/2013/hadoop v Hiveserver2への移⾏行行について記事を書こうと思っ ていましたが、⼤大⼈人の事情により移⾏行行⾃自体を断念念し ました(涙 Copyright © CELLANT Corp. All Rights Reserved. 2 http://www.cellant.jp/
  3. 3. ⾃自⼰己紹介 v 須⽥田幸憲(@sudabon) v 株式会社セラン  R&D戦略略室  室⻑⾧長 v 経歴 l  1997〜~2004  NEC  中央研究所  /  ネットワークの研究 l  2005〜~2006  BIGLOBE  /  BtoBサービスの開発   <snip> l  2012/8〜~          現職 v Hadoop歴:約1年年 v 好きなHadoopエコシステム:Hive Copyright © CELLANT Corp. All Rights Reserved. 3 http://www.cellant.jp/
  4. 4. ハイブの⼤大好物はラズベリーパイ? Copyright © CELLANT Corp. All Rights Reserved. 4 http://www.cellant.jp/
  5. 5. Raspberry  Piの概要 v Raspberry  Pi財団によって英国で開発されたARM プロセッサを搭載したシングルボードコンピュータ v コンピュータ科学の教育を促進することを⽬目的とし て開発された v 25⽶米ドルのモデルAと35⽶米ドルのモデルBの2つの バージョンがリリースされている Copyright © CELLANT Corp. All Rights Reserved. 5 http://www.cellant.jp/
  6. 6.  Raspberry  Piのハードウェアスペック Model A Model B 価格 $25 $35 SoC Broadcom  BCM2835  (CPU,  GPU,  DSP,  SDRAM) CPU 700  MHz  /  ARM1176JZF-‐‑‒S  コア  (ARM11  ファミリ) GPU Broadcom  VideoCore  IV,  OpenGL  ES  2.0  (24  GFLOPS) 1080p  30fps  H.264/MPEG-‐‑‒4  AVC  High  Profile  デコーダー,   MPEG-‐‑‒2,  VC-‐‑‒1 メモリ  (SDRAM) 256MB  (GPU共有) 512MB  (GPU共有) USB  2.0  ポート 1 2(統合USBハブ) ネットワーク なし 10/100  Mbps  イーサネット   (RJ45) 低レベル周辺機器 8  ×  GPIO,  UART,  I²C,  SPIと2つのチップセレクト,  +3.3  V,   +5  V,  接地 Copyright © CELLANT Corp. All Rights Reserved. 6 http://www.cellant.jp/
  7. 7. Raspberry  Piのボード構成 Copyright © CELLANT Corp. All Rights Reserved. 7 http://www.cellant.jp/
  8. 8. Raspberry  Piの配線マップ Copyright © CELLANT Corp. All Rights Reserved. 8 http://www.cellant.jp/
  9. 9. Raspberry  Piのピン出⼒力力 Copyright © CELLANT Corp. All Rights Reserved. 9 http://www.cellant.jp/
  10. 10. クラスタの構築に使⽤用した機器類 v クラスタ⽤用 l  Raspberry  Pi(Model  B)×2 l  SDカード(16GB)×2 l  Ethernetケーブル×2 l  100Mbps  SW  Hub×1 v 設定⽤用 l  HDMIケーブル l  液晶TV l  USBキーボード l  USBマウス Copyright © CELLANT Corp. All Rights Reserved. 10 http://www.cellant.jp/
  11. 11. クラスタ環境 TaskTracker JobTracker Hiveserver DataNode HiveMetastore SecondaryNameNode TaskTracker NameNode DataNode Copyright © CELLANT Corp. All Rights Reserved. 11 http://www.cellant.jp/
  12. 12. Hiveを動作させるための⼿手順 v 全体の流流れ 1.  2.  3.  4.  5.  6.  7.  OS(Raspberian)のインストール及び設定 ハードウェアのチューニング OS(Raspberian)のチューニング パーティションの拡張 Java  のインストール Hadoop  のインストール/設定 Hive  のインストール/設定 v 詳細は下記をご参照ください。 l  ⾃自宅宅でHive愛を育むための⼿手順(Raspberry  Pi編)   http://www.slideshare.net/sudabon/how-‐‑‒toworkhiveonraspberrypi Copyright © CELLANT Corp. All Rights Reserved. 12 http://www.cellant.jp/
  13. 13. 恒例例のHiveBenchによる性能評価 v 評価環境 l  Hadoopのバージョンは1.2.1 l  Hiveのバージョンは0.12.0 l  HiveBenchの10万分の1のスケール •  10000⾏行行の”uservisits”テーブル •  1200⾏行行の”rankings”テーブル l  ⾮非圧縮のSequenceFile v 評価内容 l  いつものSELECTクエリ(JOIN有り) l  ジョブレイテンシを測定(1回のみ!) v 詳細は下記をご参照ください l  http://www.slideshare.net/sudabon/how-‐‑‒toworkhiveonraspberrypi/16 Copyright © CELLANT Corp. All Rights Reserved. 13 http://www.cellant.jp/
  14. 14. 性能評価結果 v  驚いたことに(失礼!)、正常にクエリ処理理が完了了!! v  10万分の1のスケールとはいえ、想定外の低レイテンシ!! MapReduce  Jobs  Launched: Job  0:  Map:  2    Reduce:  1      Cumulative  CPU:  138.59  sec      HDFS  Read:   2027641  HDFS  Write:  11399  SUCCESS Job  1:  Map:  1    Reduce:  1      Cumulative  CPU:  25.65  sec      HDFS  Read:   11863  HDFS  Write:  10119  SUCCESS Job  2:  Map:  1    Reduce:  1      Cumulative  CPU:  25.39  sec      HDFS  Read:   10583  HDFS  Write:  30  SUCCESS Total  MapReduce  CPU  Time  Spent:  3  minutes  9  seconds  630  msec OK 64.109.226.120          0.9987925          37.0 Time  taken:  991.129  seconds,  Fetched:  1  row(s) Copyright © CELLANT Corp. All Rights Reserved. 14 http://www.cellant.jp/
  15. 15. まとめ v  Raspberry  Pi上でHadoopクラスタが動作することは、既に 報告されている   ⇒  Hiveも動作するだろうとは思っていた v  Raspberry  Piのハードウェアが低スペックなので、あらゆる 作業に時間がかかるのが難点   ⇒  Hive愛があれば、気にならない v  メモリが512MBでも、クエリが失敗しない   ⇒  Hiveが愛おしくてしょうがない Copyright © CELLANT Corp. All Rights Reserved. 15 http://www.cellant.jp/
  16. 16. 今後の予定 v スレーブ⽤用のRaspberry  Piを増設し、クラスタを スケールアップ v さらにHive愛を育成します Copyright © CELLANT Corp. All Rights Reserved. 16 http://www.cellant.jp/
  17. 17. 最後に v 明⽇日のHadoop  Advent  Calendarは、   Hive愛がハンパないモリスさん(@tagomoris)   です。 v 乞うご期待! Copyright © CELLANT Corp. All Rights Reserved. 17 http://www.cellant.jp/
  18. 18. 最後までお付き合いいただきまして、ありがとうございました。 ⾃自宅宅でHive愛を育む際のご参考になれば幸甚です。 Copyright © CELLANT Corp. All Rights Reserved. 18 http://www.cellant.jp/

×