Azureでビッグデータを取り扱う場合のTipsを中心にクラウドデザインを考えてみました。

1. Copyright © 2015-2015 ALTERBOOTH inc. All Rights Reserved.
ビッグデータの
クラウドデザイン
株式会社オルターブース

2. Copyright © 2015-2015 ALTERBOOTH inc. All Rights Reserved.
自己紹介
株式会社オルターブース
代表取締役 （金髪おにいさん）
小島 淳（Atsushi Kojima）
とりあえずなんでもやるフルスタックエン
ジニアと思っている方が多いですが本人的には
OSSなミドルウェア職人と思っていてア
プリケーション開発をバリバリしている人から見
ると物足りないしネットワーク超絶詳しい人
から見ても物足りないという中途半端な存在
を打破しようと日々精進しています。
Microsoft MVP（Microsoft Azure）だったりします。

3. Copyright © 2015-2015 ALTERBOOTH inc. All Rights Reserved.
「ビッグデータは、高ボリューム、高速度、高バ
ラエティの情報資産のいずれか（あるいは全て）
であり、新しい形の処理を必要とし、意思決定の
高度化、見識の発見、プロセスの最適化に寄与す
る」
ビッグデータ

4. Copyright © 2015-2015 ALTERBOOTH inc. All Rights Reserved.
IoTとの関係

5. Copyright © 2015-2015 ALTERBOOTH inc. All Rights Reserved.

6. Copyright © 2015-2015 ALTERBOOTH inc. All Rights Reserved.
ストリーミングデータ処理のパターン1
センサーデバイス Azure API Apps
SQL Database
DocumentDB
Storage Blob
HTTP/HTTPS

7. Copyright © 2015-2015 ALTERBOOTH inc. All Rights Reserved.
ストリーミングデータ処理のパターン2
センサーデバイス
SQL Database
DocumentDB
Storage Blob
WebSocket
Azure Web Apps

8. Copyright © 2015-2015 ALTERBOOTH inc. All Rights Reserved.
ストリーミングデータ処理のパターン3
センサーデバイス EventHubs
Stream Analytics
HDInsight
SQL Database
DocumentDB
Storage Blob

9. Copyright © 2015-2015 ALTERBOOTH inc. All Rights Reserved.
Azure Data Lake
HDInsightベース
Data Lake Store(HDFS)でデータを蓄積
U-SQL、Hive、Stormを利用して、 Data Lake
Analyticsにデータ分析を行わせる（YARN経由）
あらゆるサイズのデータを格納、分析
巨大データの格納

10. Copyright © 2015-2015 ALTERBOOTH inc. All Rights Reserved.
Apache YARNとは
「Yet Another Resource Negotiator」を略したもの
で、任意の分散処理フレームワークやアプリケー
ションの作成を容易にするフレームワークです。
YARNの実行モデルは、従来のMapReduceとは違い
ます。なので、MapReduceのモデルに従っていな
いアプリケーションでも実行することが可能です。
Azure Data Lake

11. Copyright © 2015-2015 ALTERBOOTH inc. All Rights Reserved.
Azure Data Lake

12. Copyright © 2015-2015 ALTERBOOTH inc. All Rights Reserved.
• ペタバイト スケールの大量並列処理
• コンピューティングおよびストレージの個別ス
ケーリングが数秒で完了
• リレーショナル データと非リレーショナル デー
タにまたがる Transact-SQL クエリ
（PolyBaseにて実現）
• 完全なエンタープライズ級の SQL Server 体験
• Power BI、Machine Learning、HDInsight、および
Data Factory とシームレスに利用可能
SQL Data Warehouse

13. Copyright © 2015-2015 ALTERBOOTH inc. All Rights Reserved.
AIとの関係

14. Copyright © 2015-2015 ALTERBOOTH inc. All Rights Reserved.
Azureが提供するクラウドベース機械学習プラッ
トフォーム。
AzureML上で、PythonやRを使った予測モデルを作
ることが出来、それをWebアプリケーション
（API）としてクラウド上で公開できる。
Azure Machine Learning

15. Copyright © 2015-2015 ALTERBOOTH inc. All Rights Reserved.

16. Copyright © 2015-2015 ALTERBOOTH inc. All Rights Reserved.
Project Oxfordで公開された簡易型機械学習API。
Cognitive Services

17. Copyright © 2015-2015 ALTERBOOTH inc. All Rights Reserved.
HDInsight
Deploy to Windows and Linux

18. Copyright © 2015-2015 ALTERBOOTH inc. All Rights Reserved.
Apache Spark

19. Copyright © 2015-2015 ALTERBOOTH inc. All Rights Reserved.
Apache Sparkを使ったニューラルネットワーク

20. Copyright © 2015-2015 ALTERBOOTH inc. All Rights Reserved.
完全独自ニューラルネットワークを組む

21. Copyright © 2015-2015 ALTERBOOTH inc. All Rights Reserved.
おしまい