6/30 IBM Cloud Community 勉強会 講演資料

1. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
BluemixとApache Sparkでできる
IoTデータの収集と分析
2016.6.30
クリエーションライン(株) 木内
6/30 IBM Cloud Community 勉強会 講演資料

2. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
自己紹介 木内 満歳（きうち みつとし）
クリエーションライン株式会社 シニアコンサルタント
Slideshare: http://www.slideshare.net/mkiuchi4
各種寄稿
a. gihyo.jp: “Mesosphere DCOSでつくるクラウドアプリケーション”
b. 日経クラウドファースト2016年6月 “Azure IoT Suiteの評価”
c. Codezine: “機械学習をクラウドで手軽に体験！ BluemixのApache Spark
で異常なセンサーデータを洗い出す”
専門分野：Apache Mesos, Apache Spark, 分散コンピューティング, ク
ラウドコンピューティング, NoSQL DB, グラフDB
O’reilley Certified Developer on Apache Spark
Docker Certified Technical Trainer
2 2

3. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved 3
クリエーションライン株式会社
2006年1月設立

4. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
主な取扱い製品
4 4
IaaS基盤
構成管理・DevOpsMSP
PaaS・データ分析基盤

5. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
IBM Bluemix
5

6. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
BART
Bay Area Rapid Transit, California
Operation Monitoring, 15 days to install
6

7. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
Le Tour de France
Realtime Monitoring, Winner Prediction
7

8. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
Poseidon Project, IBM Research
Water Preservation, IoT
8

9. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
Bluemix
Internet of Things
9

10. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
Internet of Things
10

11. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
“データフロー・オーケストレーション(ツール)”
11

12. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved 12

13. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
{
“MyID”: “1234567890987654321”,
“time”: “2016/4/16 12:34:56 +0900”,
“data” :
[
“temp”: “26”
]
}
“JSONデータ”（JSONドキュメント）
13

14. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
“(ドキュメント型)NoSQLデータベース”
14

15. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
IoT Sensorエミュレータ(ブラウザで動作)
https://developer.ibm.com/recipes/tutorials/use-the-simulated-device-to-experience-the-iot-foundation/
15

16. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
Internet of Things
16

17. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
Internet of Things
MQTT
センサーがMQTTに対応していない場合
フィールド
ゲートウェイ
(Local -> MQTT)
バス接続(GPIOなど)
17

18. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
● 統計解析
● 機械学習
● ストリームデータ処
理
● SQL
18

19. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
Bluemix
Internet of Things
https://console.ng.bluemix.net/
もしくは
http://www.bluemix.net
19

20. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
デモの構成
x8 sensors
20

21. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
Apache Sparkにおけるプラグインのしくみ
Spark
SQL
HiveQL互換
JDBC/ODBC互換
Parquet
JSON
CSV
Hive DB
RDB
プラグイン MongoDBなど
21

22. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
Spark Packages
http://spark-packages.org/
22

23. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
SparkにおけるCloudant
add-onパッケージとして提供されている
https://github.com/cloudant-labs/spark-cloudant
23

24. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
まとめ
• Bluemixを使うことで簡便にセンサーデータの蓄積、分
析を行うことができます
• センサーがなくてもエミュレータで手軽に練習するこ
とができます
24

25. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved