2016/4/16 Softlayer Bluemix Community Festa 2016講演資料

Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
BluemixとApache Sparkでできる
IoTデータの収集と分析
2016.4.16
クリエーションライン(株) 木内
4/16 Softlayer Bluemix Community Festa 2016講演資料

Powered by
http://www.irasutoya.com/
2

こんにちは。
3

自己紹介
木内満歳（きうちみつとし）
クリエーションライン株式会社シニアコンサルタント
Slideshare: http://www.slideshare.net/mkiuchi4
gihyo.jp記事
“Mesosphere DCOSでつくる
クラウドアプリケーション”
http://gihyo.jp/admin/serial/01/dcos
専門分野：Apache Mesos, Apache Spark, 分散コンピューティン
グ, クラウドコンピューティング, NoSQL DB, グラフDB
O’reilley Certified Developer on Apache Spark
4
4

会社紹介
5

Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved 6
クリエーションライン株式会社
2006年1月設立

所在地

エヌ・ティ・ティ・コミュニケーションズ株式会社
ビッグローブ株式会社
株式会社エヌ・ティ・ティ・データ
株式会社オージス総研
KDDI株式会社
シトリックス・システムズ・ジャパン株式会社
株式会社スクウェア・エニックス
ソフトバンクテレコム株式会社
ソフトバンク・テクノロジー株式会社
株式会社電通国際情報サービス
独立行政法人情報処理推進機構(IPA)
西日本電信電話株式会社(NTT西日本)
日商エレクトロニクス株式会社
日本アイ・ビー・エム株式会社
日本電気株式会社
株式会社ブロードバンドタワー
ネットワンシステムズ株式会社
三菱電機情報ネットワーク株式会社
三菱電機ビルテクノサービス株式会社
(五十音順)
主要取引先主要取引先

主たる事業
9
主たる事業
１．クラウド基盤のコンサルティング／アプリケーション開
発・サポート
２．各クラウドプラットフォームに対応した設計、構築、運
用支援サービス
３．IoT／ビッグデータ基盤構築、データ分析サービス
１．クラウド基盤のコンサルティング／アプリケーション開
発・サポート
２．各クラウドプラットフォームに対応した設計、構築、運
用支援サービス
３．IoT／ビッグデータ基盤構築、データ分析サービス

主な取扱い製品
1010
IaaS基盤
構成管理・DevOpsMSP
PaaS・データ分析基盤

来たれ若人
• クラウドの基盤に興味がある、作り
たい
• データ分析とかしたい、
データサイエンティストになりたい
• イケてる方のITやりたい
こんな人に向いています
バイト、インターン可（できれば週３日以上）
卒業後正社員登用の可能性あり
実務『虎の穴』でもりもりスキルアップします
11

たのしい職場です
いっしょにがんばりましょう
12

さて、本題。
13

IBM Bluemix
1414

割愛
16

要するにこういうことです
• IBMが作りました
• めっちゃ早くソフトウェアやサービスを
作ることができます
• ソフトウェアの中身をあまり勉強しなくても
使えるし、わりかしいい感じに動きます
• チューニングとか安定性とかは
IBMが頑張ってくれます
17

BART
Bay Area Rapid Transit, California
Operation Monitoring, 15 days to install
18

Le Tour de France
Realtime Monitoring, Winner Prediction
19

Poseidon Project, IBM Research
Water Preservation, IoT
20

Bluemix
Internet of Things
21

Internet of Things
22

“データフロー・オーケストレーション(ツール)”
23

{
“MyID”: “1234567890987654321”,
“time”: “2016/4/16 12:34:56 +0900”,
“data” :
[
“temp”: “26”
]
}
“JSONデータ”（JSONドキュメント）
25

“(ドキュメント型)NoSQLデータベース”
26

IoT Sensorエミュレータ(ブラウザで動作)
https://developer.ibm.com/recipes/tutorials/use-the-simulated-device-to-experience-the-iot-foundation/
27

Internet of Things
MQTT
28

Internet of Things
MQTT
センサーがMQTTに対応していない場合
フィールド
ゲートウェイ
(Local -> MQTT)
29

● 統計解析
● 機械学習
● ストリームデータ処理
● SQL
30

Bluemix
Internet of Things
https://console.ng.bluemix.net/
31

ライブデモ
32

デモの構成
JSONx8 sensors
33

Apache Sparkにおけるプラグインのしくみ
Spark
SQL
HiveQL互換
JDBC/ODBC互換
Parquet
JSON
CSV
Hive DB
RDB
プラグイン MongoDBなど
34

Spark Packages
http://spark-packages.org/
35

SparkにおけるCloudant
add-onパッケージとして提供されている
https://github.com/cloudant-labs/spark-cloudant
36

コードの差分
motoDF = sqlContext.read.json("cloudant.json")
motoDF.registerTempTable("motoTable")
sDatDF = sqlContext.sql("SELECT doc.d.temp, doc.d.objectTemp FROM motoTable")
conf.set("cloudant.host", "fefa3728-43cc-41c1-b287-b0392358477d-bluemix.cloudant.com")
conf.set("cloudant.username","fefa3728-43cc-41c1-b287-b0392358477d-bluemix")
conf.set("cloudant.password", "893ba581ee90dcdbbeaa922cb6cd00a5b795fb0fb383d20d98f1ee45d9")
sc = SparkContext("local", conf=conf)
sqlContext = SQLContext(sc)
motoDF = sqlContext.load("mktestdb", "com.cloudant.spark")
motoDF.registerTempTable("motoTable")
sDatDF = sqlContext.sql("SELECT d.temp, d.objectTemp FROM motoTable")
ローカルファイルを読む場合
Cloudant DBを読む場合
以降のコードは全くいっしょ
37

2016/4/16 Softlayer Bluemix Community Festa 2016講演資料

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (11)

Similar to 2016/4/16 Softlayer Bluemix Community Festa 2016講演資料

Similar to 2016/4/16 Softlayer Bluemix Community Festa 2016講演資料 (20)

More from Mitsutoshi Kiuchi

More from Mitsutoshi Kiuchi (6)

Recently uploaded

Recently uploaded (9)

2016/4/16 Softlayer Bluemix Community Festa 2016講演資料