Azureビッグデータ関連サービスとHortonworks勉強会 (2016/07/19) http://futureofdata.connpass.com/event/34585/ https://docs.com/satonaoki/7301/azurehortonworks-2016-07-19

2. Azure

3. AZURE REGIONS

4. +
Applications
Management
App Frameworks
Databases & Middleware
Infrastructure
Linux

5. +
Azure

6. >85%
of Fortune 500 use
Microsoft Cloud

7. Azure momentum
%
k Million
MillionMillion
Trillion
NEW AZURE CUSTOMER
SUBSCRIPTIONS/MONTH
MESSAGES PER WEEK
PROCESSED BY AZURE IOT
ORGANIZATIONS USING
AZURE ACTIVE DIRECTORY
DEVELOPER REGISTERED WITH
VISUAL STUDIO TEAM SERVICES
REVENUE FROM
START-UPS AND ISVS
SQL DATABASES IN AZURE

8. CORE INFRASTRUCTURE
Compute Storage Networking Security
ADVANCED WORKLOADS
Web + Mobile
Internet of Things
Microservices
Data + Analytics
Identity Management
Media Streaming
High Performance Compute
Cognitive Services
TOOLS
Visual Studio + Visual Studio Code + Visual Studio Team Services + Xamarin

10. 価値

11. 医療機器/電子カルテのデータを収集
(血圧計、パルスオキシメーター、
Microsoft Band など)
・ 予測分析から治療計画を調整

12. DEMO
Cortana Intelligence Suite
ユース ケース

14. Machine
Learning
Stream Analytics
SQL Data
Warehouse
Event Hub
各種デバイス
Data Factory
Data Lake Store
Blob Storage
Data Lake Analytics
Power BI
HDInsight
Cognitive
Services
Data Catalog
Bot Framework

15. Machine
Learning
Stream Analytics
SQL Data
Warehouse
Event Hub
各種デバイス
Data Factory
Data Lake Store
Blob Storage
Data Lake Analytics
Power BI
HDInsight
Cognitive
Services
Data Catalog
Bot Framework

18. (Speech APIs)
Pepper による顔認識
(Face APIs)
http://www.headwaters.co.jp/news/pepper/SynApps.html
http://www.asahiinryo.co.jp/company/newsrelease/2015/pick_1221_3.html

19. Machine
Learning
Stream Analytics
SQL Data
Warehouse
Event Hub
各種デバイス
Data Factory
Data Lake Store
Blob Storage
Data Lake Analytics
Power BI
HDInsight
Cognitive
Services
Data Catalog
Bot Framework

21. 具体的な業務シナリオに
基づく実装テンプレート
- 自動車テレマティクス分析
- 航空機の予防保守
- 電力の需要予測
https://gallery.cortanaintelligence.com/solutionTemplates

24. データ
ソース
業務
システム
デバイス
/センサー ニア
リアル
タイム
バッチ

25. データ
ソース
業務
システム
デバイス
/センサー
バッチ

28. 企業内データを定期的に Azure データストアに
Azure Data Factory

29. Azure Data Factory

30. Azure Data Factory で各種データソース間を接続

31. Azure Data Factory の接続可能なデータソース
Blob Storage, Table Storage
SQL Database, SQL Data Warehouse
Data Lake Store, DocumentDB
Oracle, DB2, MySQL, PostgreSQL,
Teradata, Sybase
HDFS, OData, ODBC, HTTP (Web)

32. Azure Data Factory でオンプレミスと接続

33. Azure Data Factory でオンプレミスと接続

34. Azure Data Factory の使いどころ

36. TB, PB データをバッチ処理でクレンジング (前処理)
Azure Data Lake Analytics

37. Azure Data Lake Analytics

38. Azure Data Lake Analytics

39. Azure Data Lake Analytics の使いどころ

40. Azure Data Factory
⇒Azure Data Lake Analytics の流れ

42. 即時スケールアウトが可能なデータウェアハウス
Azure SQL Data Warehouse

43. 即時スケールアウトが可能なデータウェアハウス

44. Azure Storage Blob 上のファイル
D12D11 D13 D14 D15 D16 D18D17 D19 D20
D22D21 D23 D24 D25 D26 D28D27 D29 D30
D32D31 D33 D34 D35 D36 D38D37 D39 D40
D42D41 D43 D44 D45 D46 D48D47 D49 D50
D52D51 D53 D54 D55 D56 D58D57 D59 D60
D2D1 D3 D4 D5 D6 D8D7 D9 D10

45. Azure Storage Blob 上のファイル
D2D1 D3 D4 D5 D6 D8D7 D9 D10
D12D11 D13 D14 D15 D16 D18D17 D19 D20
D22D21 D23 D24 D25 D26 D28D27 D29 D30
D32D31 D33 D34 D35 D36 D38D37 D39 D40
D42D41 D43 D44 D45 D46 D48D47 D49 D50
D52D51 D53 D54 D55 D56 D58D57 D59 D60

46. Azure Storage Blob 上のファイル
D2D1 D3 D4 D5 D6 D8D7 D9 D10
D12D11 D13 D14 D15 D16 D18D17 D19 D20
D22D21 D23 D24 D25 D26 D28D27 D29 D30
D32D31 D33 D34 D35 D36 D38D37 D39 D40
D42D41 D43 D44 D45 D46 D48D47 D49 D50
D52D51 D53 D54 D55 D56 D58D57 D59 D60

47. Azure Storage Blob 上のファイル
D2D1 D3 D4 D5 D6 D8D7 D9 D10
D12D11 D13 D14 D15 D16 D18D17 D19 D20
D22D21 D23 D24 D25 D26 D28D27 D29 D30
D32D31 D33 D34 D35 D36 D38D37 D39 D40
D42D41 D43 D44 D45 D46 D48D47 D49 D50
D52D51 D53 D54 D55 D56 D58D57 D59 D60

48. ブラウザで使えるインタラクティブ ダッシュボード
Power BI Service

49. Power BI - Custom Visuals Gallery

50. データ
ソース
業務
システム
デバイス
/センサー
バッチ

51. データ
ソース
業務
システム
デバイス
/センサー ニア
リアル
タイム

54. スケールアウト可能なイベントストリーミング
Azure Stream Analytics

55. スケールアウト可能なイベントストリーミング

57. 機械学習処理サービス
Azure Machine Learning

58. 機械学習処理サービス
No. シナリオ種類 具体例
1. 予測 ・翌日の売上予測
・仕入個数予測
2. クラス分類、クラスタリング ・顧客ステージの分類
・自動判別 (フォルダ分け、タグ付け等)
3. レコメンデーション ・併売商品の提案
・顧客属性や履歴に基づくユニキャストDM
4. 異常検知 ・故障時期の推定
・システム(サーバーリソース) 異常の事前検出
・不正検知 (クレジットカードやセキュリティ等)
5. レコメンデーション ・併売商品の提案
・顧客属性や履歴に基づくユニキャストDM
6. その他 ・文字認識、画像認識、最適化

59. 機械学習処理サービス
25 個の標準アルゴリズム

60. データ
ソース
業務
システム
デバイス
/センサー ニア
リアル
タイム
バッチ

61. Cognitive Services

62. Bot Framework
Bot Framework で構築した Bot
Bot Connector Bot DirectoryBot Builder SDKs
作成した Bot を
各種サービスに接続
- テキスト, SMS
- Office 365 メール, Skype
- Slack, Twitter など
Node.js, C# による
ダイアログ開発
COMING SOON
世界最大級の
Bot 公開ディレクトリ
• Bot ダッシュボードでの
Bot 登録、接続、公開、管理
• メッセージ ルーティング
• 30 を超える言語への
自動翻訳
• ユーザーや状態の管理
• Web チャットコントロールへの組
み込み
• デバッグ用ツール
• GitHub で OSS として公開
• シンプルなプロンプトや
コマンドダイアログから
洗練されたフォームまで
• 適切な話し手になるための
ライブラリとサンプル
• チャット エミュレーター
• Cognitive Services に含まれる
関連サービスとの連携
• Bot 登録の公開ディレクトリと認
定
• Web チャットコントロール経由で
登録された Bot を
利用可能
• Bot の提供チャネルとして
構成可能、検索も可能

63. データ
ソース
業務
システム
デバイス
/センサー ニア
リアル
タイム
バッチ