実動するIot&hadoopから学ぶ会 で使用した資料

1. HBaseとSparkで、
センサーデータを有効活用
～ IoT × HBase × Spark で何が出来るのか、
何の利点があるのかを弊社が展開している
センサー解析ベースシステムを例として、ご紹介いたします。～
株式会社フォワードネットワーク
システムソリューション部
高原 歩

2. 1 自己紹介
 ■ 所属／氏名
 - 株式会社フォワードネットワーク
 - 高原 歩 (Takahara Ayumu)
■ 経歴等
 - 元々はJavaの技術者
 - 2014年からビッグデータの世界に
 - Cloudera認定資格 CCDH & CCAH 保持。
2015/8/26実働するIoT&Hadoopシステムから学ぶ会 / 株式会社フォワードネットワーク 2

3. 2 会社概要
 ■ 自社サイト
 - http://www.fward.net
 ■ Webクオリティを高めるサービスを主に提供
 - Webサイトのトラフィック計測 – TrafficPatrol2
 - Webサービスの脆弱性診断サービス
 ■ 「BigData」に心奪われ 2014 年より足を踏み入れる
 - 2015年 IoTセンサー解析ベースシステムをリリース！！
2015/8/26実働するIoT&Hadoopシステムから学ぶ会 / 株式会社フォワードネットワーク 3

4. IoTセンサー解析ベースシステムとは
2015/8/26実働するIoT&Hadoopシステムから学ぶ会 / 株式会社フォワードネットワーク 4

5. 3-1 IoTセンサー解析ベースシステム
IoTセンサー解析ベースシステムとは…
 センサーからデータを取得して
 Hadoopを利用したストレージシステムに蓄積し
 貯まったデータを手早く簡単に解析して活用する
2015/8/26
実働するIoT&Hadoopシステムから学ぶ会 / 株式会社フォワードネットワーク 5

6. 3-2 IoTセンサー解析ベースシステム
サービスイメージ
2015/8/26実働するIoT&Hadoopシステムから学ぶ会 / 株式会社フォワードネットワーク 6

7. 3-3 IoTセンサー解析ベースシステム
システム構成図
2015/8/26実働するIoT&Hadoopシステムから学ぶ会 / 株式会社フォワードネットワーク 7
Android端末
Android端末
中継器
中継器
センサー
センサー
窓口
サーバ
大量のデータであっても、ボトルネックなく収集可能！
センサー
センサー
センサー
センサー
窓口
サーバ
窓口
サーバ
窓口
サーバ
Hadoopクラスタ(CDH5)

8. 3-4 IoTセンサー解析ベースシステム
解析手法の例
凹凸 急変動
しきい値
2015/8/26実働するIoT&Hadoopシステムから学ぶ会 / 株式会社フォワードネットワーク 8

9. 3-5 IoTセンサー解析ベースシステム
リアルタイム通知
2015/8/26実働するIoT&Hadoopシステムから学ぶ会 / 株式会社フォワードネットワーク 9
温度が70℃を1分間超えている。
1分ごとの平均の差が10℃を超えている。
リアルタイムにメールを送信！！
たとえば…

10. 3-6 IoTセンサー解析ベースシステム
デモサイトのURLは
http://sbsdemo.fward.net
2015/8/26実働するIoT&Hadoopシステムから学ぶ会 / 株式会社フォワードネットワーク 10

11. 本システムにおけるHadoopの利用
2015/8/26実働するIoT&Hadoopシステムから学ぶ会 / 株式会社フォワードネットワーク 11

12. 4-1 本システムにおけるHadoopの利用
ストレージ要件は…
「1つのデータは小さく、センサーからのデータ書き込み頻度が高い」
「ランダムではなくシーケンシャルな読み込みが多い」
「全体で膨大な量のデータ容量が必要になる」
2015/8/26実働するIoT&Hadoopシステムから学ぶ会 / 株式会社フォワードネットワーク 12

13. 4-2 本システムにおけるHadoopの利用
Hadoop には、他にも
「スケールアウトが容易」
2015/8/26実働するIoT&Hadoopシステムから学ぶ会 / 株式会社フォワードネットワーク 13
「自動的にシャーディングを行う」
「単一障害点の回避」
等々、多くの利点がみられる。

14. 4-3 本システムにおけるHadoopの利用
検索 / 集計 / 解析
2015/8/26実働するIoT&Hadoopシステムから学ぶ会 / 株式会社フォワードネットワーク 14
HBase
(HDFS)
☆リアルタイム性はそこまで必要ではない

15. 4-4 本システムにおけるHadoopの利用
エラー検知 / 通知
2015/8/26実働するIoT&Hadoopシステムから学ぶ会 / 株式会社フォワードネットワーク 15
HBase
(HDFS)
☆リアルタイム性が重視される！

16. 4-5 本システムにおけるHadoopの利用
2015/8/26実働するIoT&Hadoopシステムから学ぶ会 / 株式会社フォワードネットワーク 16
処理の流れ(例)
分解HBase
(HDFS)
Sort &
Shuffle 集計
flatMapToPair groupByKey MapToPair
Map処理 Reduce処理
Comparator
Partitioner

17. 4-6 本システムにおけるHadoopの利用
MapReduceでの処理
2015/8/26実働するIoT&Hadoopシステムから学ぶ会 / 株式会社フォワードネットワーク 17
Configuration conf = HBaseConfiguration.create();
Job job = Job.getInstance(conf, “ジョブ名");
job.setJarByClass(getClass());
job.setInputFormatClass(TableInputFormat.class);
Scan scan = new Scan();
Filter filter1 = new RowFilter(CompareFilter.CompareOp.EQUAL, new
RegexStringComparator("minute_" + ymd + ".*"));
scan.setFilter(filter1);
scan.setCacheBlocks(false);
scan.setCaching(500);
TableMapReduceUtil.initTableMapperJob(“入力テーブル名", scan, HBaseSplitMap.class, Text.class,
Text.class, job);
job.setOutputFormatClass(TableOutputFormat.class);
TableMapReduceUtil.initTableReducerJob(“出力テーブル名", AggregateReduce.class, job);
return job.waitForCompletion(true) ? 0 : 1;
※Map, Reduce処理内容は割愛
入
力
出
力

18. 4-7 本システムにおけるHadoopの利用
Sparkでの処理
2015/8/26実働するIoT&Hadoopシステムから学ぶ会 / 株式会社フォワードネットワーク 18
Configuration conf = HBaseConfiguration.create();
conf.addResource(new Path("/etc/hbase/conf/hbase-site.xml"));
conf.addResource(new Path(“/etc/hadoop/conf/core-site.xml”));
conf.set(TableInputFormat.INPUT_TABLE, “入力テーブル名”);
Scan scan = new Scan();
Filter filter1 = new RowFilter(CompareFilter.CompareOp.EQUAL, new
RegexStringComparator(".*_minute_" + ymd + ".*"));
scan.setFilter(filter1);
scan.setCacheBlocks(false);
scan.setCaching(500);
ClientProtos.Scan proto = ProtobufUtil.toScan(scan);
String scanString = Base64.encodeBytes(proto.toByteArray());
conf.set(TableInputFormat.SCAN, scanString);
JavaPairRDD<ImmutableBytesWritable, Result> hBaseRDD =
ctx.newAPIHadoopRDD(conf,TableInputFormat.class,org.apache.hadoop.hbase.io.ImmutableByt
esWritable.class,org.apache.hadoop.hbase.client.Result.class);
※出力, その他処理の詳細は割愛
flatMapToPair, groupByKey, mapToPairを行うとMapReduce処理と同様の処理を行える。
入
力

19. 4-8 本システムにおけるHadoopの利用
MapReduce, Sparkの性能評価
2015/8/26実働するIoT&Hadoopシステムから学ぶ会 / 株式会社フォワードネットワーク 19
■ 使用データ
1,296,000データ (2秒に1データを1か月間)
■ 実行した処理
急変動： 1時間の平均が3℃上昇 or 下降した範囲を検索する。
■ 所要時間
MapReduce： 99秒
Spark： 39秒

20. IoT分野におけるHadoopの可能性
2015/8/26実働するIoT&Hadoopシステムから学ぶ会 / 株式会社フォワードネットワーク 20

21. 5-1 IoT分野におけるHadoopの可能性
2015/8/26実働するIoT&Hadoopシステムから学ぶ会 / 株式会社フォワードネットワーク 21
今までのデータ
マクロ視点 －
IoT社会でのデータ
ミクロ視点 －
データの集計値や平均を利用
飲食店でのグループ単位
工場単位・部署単位
個々のデータを利用
飲食店での座席単位
工場の人員単位・機械単位
データの取り扱われ方

22. 5-2 IoT分野におけるHadoopの可能性
2015/8/26実働するIoT&Hadoopシステムから学ぶ会 / 株式会社フォワードネットワーク 22
IoTセンサー解析ベースシステムの利点
■ ご要望に応じたカスタマイズ
- センサーの追加
- 部分的なサービス提供も可能
- HBaseにより膨大なデータも取扱い可能
■ スクラッチ開発と比較して、
開発期間と開発コストを大幅削減

23. 5-3 IoT分野におけるHadoopの可能性
2015/8/26実働するIoT&Hadoopシステムから学ぶ会 / 株式会社フォワードネットワーク 23
IoTセンサー解析ベースシステムの使用例1
■ 飲食店等 空席管理システム
- 無線型人感センサーを使用
- 時間毎、日毎に空席状況を把握
- 他サービスとの連携により、
細かな予約管理システムも構築可能

24. 5-4 IoT分野におけるHadoopの可能性
2015/8/26実働するIoT&Hadoopシステムから学ぶ会 / 株式会社フォワードネットワーク 24
IoTセンサー解析ベースシステムの使用例2
■ 現場作業者向け
安否・健康管理サービス
- リストバンド型センサーを使用
- リアルタイムに心拍データを把握
- 危険な場所での安否確認
体調不良の早期検知が可能
- 現場責任者や管理本部の
目の届かないような広域の現場でも
作業者の状態を即時に確認可能

25. まとめ
2015/8/26実働するIoT&Hadoopシステムから学ぶ会 / 株式会社フォワードネットワーク 25

26. 6 まとめ
2015/8/26実働するIoT&Hadoopシステムから学ぶ会 / 株式会社フォワードネットワーク 26
□ 超高速度で集まり続けるセンサーデータを
□ 大量かつ安全に蓄積し
□できる限り早く検索・集計・解析したい

27. ご清聴ありがとうございました
HBaseとSparkで、センサーデータを有効活用
～IoT × HBase × Spark で何が出来るのか、何の利点があるのかを弊
社が展開しているセンサー解析ベースシステムを例として、ご紹介いた
します。～
実働するIoT&Hadoopシステムから学ぶ会
2015/8/26実働するIoT&Hadoopシステムから学ぶ会 / 株式会社フォワードネットワーク 27