Microsoft Tech Summit 2017
Twitter: @mihochannel
SlideShare: https://www.slideshare.net/mihochannel1
データ分析について
ちょっと詳しく考えてみる
データを活用してみたくなる!
このセッションで
触れるのは“道具”と
その基本的な役割
Key Point
もう少し先に
進みたい方には…
Session ID Title
DAL002
AI 時代を生き抜くためのビッグデータ基盤
~リコーの実案件で見えたAzure Data Lakeの勘所~
DAL007 IoT 戦国時代を生き抜くためにマイクロソフトの IoT ソリューションを活用しよう
DAL008
PowerBIに新たな価値を!
Microsoft Azureに完全対応した半定型エンタープライズBIソリューション
DAL009 脱「なんとなく」!Azure SQL Database で顧客動向を手軽に見える化しよう!
DAL010
【Tech Summit 2017 x ググらせないR?スマートプレート】
IoTならぬHoT(Hyperlink of Things)
モノのハイパーリンクで実現するスタンプラリー
はじめに
データ分析のひみつ道具たち
まとめ
もっと手軽にデータ分析を
はじめに
データ分析のひみつ道具たち
まとめ
もっと手軽にデータ分析を
そのデータ
活かせてますか?
YoY
22% x2.7
Data Transaction
YoY
53% x7.8
Mobile Data Transaction
出典 : 「我が国のインターネットにおけるトラヒックの集計・試算」(2017 年 8 月 15 日版)
http://www.soumu.go.jp/main_content/000502437.pdf
194EB
月
出典 : 「我が国のインターネットにおけるトラヒックの集計・試算」(2017 年 8 月 15 日版)
http://www.soumu.go.jp/main_content/000502437.pdf
コンシューマー企業などビジネス
Data
80%
20%
70% 82%
Video
2015-2020
出典 : 「我が国のインターネットにおけるトラヒックの集計・試算」(2017 年 8 月 15 日版)
http://www.soumu.go.jp/main_content/000502437.pdf
490
億
出典 : 「我が国のインターネットにおけるトラヒックの集計・試算」(2017 年 8 月 15 日版)
http://www.soumu.go.jp/main_content/000502437.pdf
そのほとんどは活用されずに「ただ」蓄積され続けている
複数のデータを組み合わせ分析している企業数はわずか
30
%
出典 : 「我が国のインターネットにおけるトラヒックの集計・試算」(2017 年 8 月 15 日版)
http://www.soumu.go.jp/main_content/000502437.pdf
「達
人」ク
ラス
「かけ
だし」
クラス
データ利活用能力の評価ツール
このツールを使用し、現在の自社の能力を評価したり、競合他社と比較し格付けを実施したりすることができます。
https://www.microsoft.com/ja-jp/sql-server/data-maturity-model-assessment
年間 100億円
相当の「格差」
(営業利益換算)
8%
18%
10%
$$$
$
データ分析が将来の
デジタル
トランスフォーメーション
を加速させる
Key Point
はじめに
データ分析のひみつ道具たち
まとめ
もっと手軽にデータ分析を
はじめに
データ分析のひみつ道具たち
まとめ
もっと手軽にデータ分析を
どこから
はじめましょうか?
データ
を
準備する
可視化する分析する
データ分析では
前処理が肝心
Key Point
Azure Data Factory Azure Data Catalog
Azure Event Hub/
Azure IoT Hub
デバイスからの
イベントを受け取り
クラウドへ
データ格納する
エンタープライズ内
でデータソースを
登録し、
利用可能にする
データを
抽出、加工、ロード
(ETL)
抽出、ロード、加工
(ELT)
Azure Data Factory Azure Data Catalog
Azure Event Hub/
Azure IoT Hub
デバイスからの
イベントを受け取り
クラウドへ
データ格納する
エンタープライズ内
でデータソースを
登録し、
利用可能にする
データを
抽出、加工、ロード
(ETL)
抽出、ロード、加工
(ELT)
Oracle
DB2
Azure Data Factory Azure Data Catalog
Azure Event Hub/
Azure IoT Hub
デバイスからの
イベントを受け取り
クラウドへ
データ格納する
エンタープライズ内
でデータソースを
登録し、
利用可能にする
データを
抽出、加工、ロード
(ETL)
抽出、ロード、加工
(ELT)
Azure Data Factory Azure Data Catalog
Azure Event Hub/
Azure IoT Hub
デバイスからの
イベントを受け取り
クラウドへ
データ格納する
エンタープライズ内
でデータソースを
登録し、
利用可能にする
データを
抽出、加工、ロード
(ETL)
抽出、ロード、加工
(ELT)
SQL
営業部門
購買部門
マーケティング部門
MySQL
MySQL Cosmos
MySQLOracle
Azure Data Factory Azure Data Catalog
Azure Event Hub/
Azure IoT Hub
デバイスからの
イベントを受け取り
クラウドへ
データ格納する
エンタープライズ内
でデータソースを
登録し、
利用可能にする
データを
抽出、加工、ロード
(ETL)
抽出、ロード、加工
(ELT)
Azure Data Factory Azure Data Catalog
Azure Event Hub/
Azure IoT Hub
デバイスからの
イベントを受け取り
クラウドへ
データ格納する
エンタープライズ内
でデータソースを
登録し、
利用可能にする
データを
抽出、加工、ロード
(ETL)
抽出、ロード、加工
(ELT)
データ準備において
前処理は命
Key Point
可視化する分析する
データ
を
準備する
動的価格設定
製品イノベーション
マーケティング最適化
製品おすすめ機能
パーソナル化
顧客に関する洞察
チャーン分析
マーケティング
リード/
案件スコアリング
販売に関する洞察
インテリジェント
コンタクト センター
患者保護および
医療分析
財務予測
不正行為管理
リスク管理
在庫最適化
運用異常に関する洞察
品質保証
コネクテッド
デバイスと
スマート
ビルディング
予防保全
需要予測
運用効率
従業員に関する洞察
人事に関する洞察
リソース マッチング
とプランニング
サプライヤーと
支出に関する洞察
財務サービス販売業務 人事
ビックデータストア 機械学習と分析 インテリジェンス
Cognitive Services
Bot Framework
Cortana
Machine Learning
Data Lake Analytics
HD Insight
Stream Analytics
Data Lake Store
SQL Data Warehouse
Cosmos DB
ビックデータストア 機械学習と分析 インテリジェンス
Cognitive Services
Bot Framework
Cortana
Machine Learning
Data Lake Analytics
HD Insight
Stream Analytics
Data Lake Store
SQL Data Warehouse
Cosmos DB
Session ID Title
DAL002
AI 時代を生き抜くためのビッグデータ基盤
~リコーの実案件で見えたAzure Data Lakeの勘所~
DAL007 IoT 戦国時代を生き抜くためにマイクロソフトの IoT ソリューションを活用しよう
DAL008
PowerBIに新たな価値を!
Microsoft Azureに完全対応した半定型エンタープライズBIソリューション
DAL009 脱「なんとなく」!Azure SQL Database で顧客動向を手軽に見える化しよう!
DAL010
【Tech Summit 2017 x ググらせないR?スマートプレート】
IoTならぬHoT(Hyperlink of Things)
モノのハイパーリンクで実現するスタンプラリー
ビックデータストア 機械学習と分析 インテリジェンス
Cognitive Services
Bot Framework
Cortana
Machine Learning
Data Lake Analytics
HD Insight
Stream Analytics
Analysis Services
Data Lake Store
SQL Data Warehouse
Cosmos DB
ビックデータストア 機械学習と分析 インテリジェンス
Cognitive Services
Bot Framework
Cortana
Machine Learning
Data Lake Analytics
HD Insight
Stream Analytics
Analysis Services
Data Lake Store
SQL Data Warehouse
Cosmos DB
SQL
他の
データ
ソース
SSMS
SQL Server
Data Tools
Azure Analysis Services
locatioidentifier
identifiertype
fieldidentifier
numberofunitssoldtodate
remaningnumber
Numberofuntissoldtoday
receivedback
productidentifier
descriptionline1
descriptionline2
qtyafterqtysales
familyidentifier
Product Id
Product Name
Product Description
Category
Category Id
Category Name
Category Description
Sub Category
Product Id
Shelf qty
Return qty
Order qty
Sale qty
Cloud Data
On-Premises
Data
Azure Analysis Services
ソースデータ セマンティックモデルに
キャッシュ
セマンティック
モデル
データ分析をして素早い
ビジネス判断を
クエリ
locatioidentifier
identifiertype
fieldidentifier
numberofunitssoldtodate
remaningnumber
Numberofuntissoldtoday
receivedback
productidentifier
descriptionline1
descriptionline2
qtyafterqtysales
familyidentifier
Cloud Data
On-Premises
Data
Azure Analysis Services
ソースデータ セマンティックモデルに
Power BI
Azure
Analysis Services
モデリング 分析 可視化
クラウド
オンプレミス
オンプレミスデータゲートウェイ
Web
Embedded
in your apps
Mobile
SQL Server
Analysis Services
SQL Server
Reporting Services
Excel
Power BI
Desktop
Power BI Power BI
DATA
DATA
Session ID Title
MAI001 ディープラーニングの産業応用とそれを支える技術
MAI002 経験者が語る!Bot企画/運用のエッセンス ~ Bot framework + Azure の運用サイクル ~
MAI003 新生 Azure Machine Learning Services 徹底解説
MAI004 AI ディープ ラーニング入門
MAI005 SQL Server 2017 で実現される AI (ディープ ラーニング)のシステム モデルのご紹介
MAI006 ここから始めよう!Azure を活用した「IoT + AI」システム構築の基本
MAI013
共創がもたらす最前線のIoT活用シナリオ
~IoT&機械学習によるビジネス価値の創出~
MAI014 IoT×機械学習 畜産業における安定出荷に向けたAzure Machine Learning活用
ビックデータストア 機械学習と分析 インテリジェンス
Cognitive Services
Bot Framework
Cortana
Machine Learning
Data Lake Analytics
HD Insight
Stream Analytics
Data Lake Store
SQL Data Warehouse
Cosmos DB
ビックデータストア 機械学習と分析 インテリジェンス
Cognitive Services
Bot Framework
Cortana
Machine Learning
Data Lake Analytics
HD Insight
Stream Analytics
Data Lake Store
SQL Data Warehouse
Cosmos DB
Session ID Title
MAI001 ディープラーニングの産業応用とそれを支える技術
MAI002 経験者が語る!Bot企画/運用のエッセンス ~ Bot framework + Azure の運用サイクル ~
MAI003 新生 Azure Machine Learning Services 徹底解説
MAI004 AI ディープ ラーニング入門
MAI005 SQL Server 2017 で実現される AI (ディープ ラーニング)のシステム モデルのご紹介
MAI006 ここから始めよう!Azure を活用した「IoT + AI」システム構築の基本
MAI013
共創がもたらす最前線のIoT活用シナリオ
~IoT&機械学習によるビジネス価値の創出~
MAI014 IoT×機械学習 畜産業における安定出荷に向けたAzure Machine Learning活用
分析において活用可能な
ツールがたくさんあるので
積極的に利用しよう
Key Point
可視化する
データ
を
準備する
分析する
Power BI Power BI Embedded
データとコントロールを
関連付けることで多彩な
ダッシュボードの表現が可能
ダッシュボードを
自社のソリューションに
組み込むことで
可視化部品として利用可能
モデル化
配信分析/オーサリング
モデル化
PowerBI には
いろいろな種類がある
Key Point
はじめに
データ分析のひみつ道具たち
まとめ
もっと手軽にデータ分析を
はじめに
データ分析のひみつ道具たち
まとめ
もっと手軽にデータ分析を
出来合いの構成を参考に
分析してみる
Cortana Intelligence
Gallery は
参考になる出来合い
サンプル集
Key Point
出典 : Population Health Management for Healthcare
https://gallery.cortanaintelligence.com/Solution/Population-Health-Management-for-Healthcare-6
はじめに
データ分析のひみつ道具たち
まとめ
もっと手軽にデータ分析を
はじめに
データ分析のひみつ道具たち
まとめ
もっと手軽にデータ分析を
そのデータ
活かしはじめましょう!
Key Point
ありがとうございました!
この後も Tech Summit
お楽しみください!
■
 https://azure.microsoft.com/ja-jp/services/event-hubs/
■
 https://azure.microsoft.com/ja-jp/services/data-catalog/
■
 https://azure.microsoft.com/ja-jp/services/data-factory/
■
 https://azure.microsoft.com/ja-jp/services/iot-hub/
■
 https://azure.microsoft.com/en-us/overview/cortana-intelligence/
■
 https://myignite.microsoft.com/sessions/57076
■
 https://myignite.microsoft.com/sessions/55738
■
 https://myignite.microsoft.com/sessions/53367
■
 https://microsoft.github.io/PowerBI-JavaScript/demo/v2-demo/index.html#
■
 https://aka.ms/cisolutions
■
 https://gallery.cortanaintelligence.com/Solution/Anomaly-Detection-in-Real-time-Data-Streams
■
 https://gallery.cortanaintelligence.com/Solution/Population-Health-Management-for-Healthcare-6
■
 https://www.idc.com/getdoc.jsp?containerId=259835
■
 https://www.idc.com/getdoc.jsp?containerId=259840
■
 http://www.soumu.go.jp/main_content/000502437.pdf
■
 https://www.gartner.com/doc/3251217/cost-optimization-secrets-plan-manage

そのデータ、活かせていますか?

Editor's Notes

  • #2 11:30-12:20
  • #11 Exa Byte (EB), 1EB = 1,000PB = (103)6 . エクサバイトというのはとっても大きな単位で 例えば、お米1粒を1バイトとすると1カップがキロバイト、メガバイトは8袋(これって何キロかんさん?)テラバイトは2コンテナ分、ペタバイトで山手線の内側くらい、エクサバイトで、アメリカ西海岸くらい、ゼッタバイトで太平洋を埋め尽くし、ヨッタバイトで地球のサイズのおにぎりできちゃう。
  • #16 11:40
  • #18 それでは、ビジネスインサイトをやるための準備をしていきましょう。
  • #21 データサイエンティストの多くの方が、この前処理の重要性から、自らを前処理ストということが多いです。
  • #23 ETL Extract/Load/Transform ELT(変換、加工、データロード) Extract/Transform/Load ELT処理はデータファイルをデータベースにインポートしてからSQL命令を使ってクレンジング作業を行う方法です。
  • #24 ETL Extract/Load/Transform ELT(変換、加工、データロード) Extract/Transform/Load ELT処理はデータファイルをデータベースにインポートしてからSQL命令を使ってクレンジング作業を行う方法です。
  • #26 ETL Extract/Load/Transform ELT(変換、加工、データロード) Extract/Transform/Load ELT処理はデータファイルをデータベースにインポートしてからSQL命令を使ってクレンジング作業を行う方法です。
  • #27 ETL Extract/Load/Transform ELT(変換、加工、データロード) Extract/Transform/Load ELT処理はデータファイルをデータベースにインポートしてからSQL命令を使ってクレンジング作業を行う方法です。
  • #30 ETL Extract/Load/Transform ELT(変換、加工、データロード) Extract/Transform/Load ELT処理はデータファイルをデータベースにインポートしてからSQL命令を使ってクレンジング作業を行う方法です。
  • #31 ETL Extract/Load/Transform ELT(変換、加工、データロード) Extract/Transform/Load ELT処理はデータファイルをデータベースにインポートしてからSQL命令を使ってクレンジング作業を行う方法です。
  • #36 各目的ごとに、いろいろな分析シナリオがありますがそれは、統計学やビジネス的な感性によるものなのでここでは触れません。データサイエンティストやアナリストの方曰く、1社の成功事例はそのまま他社に横展開できることはまずないそうなので各企業それぞれの事情があってそれに合った形でやっていくのだと思います。
  • #37 ETL Extract/Load/Transform ELT(変換、加工、データロード) Extract/Transform/Load ELT処理はデータファイルをデータベースにインポートしてからSQL命令を使ってクレンジング作業を行う方法です。
  • #38 ETL Extract/Load/Transform ELT(変換、加工、データロード) Extract/Transform/Load ELT処理はデータファイルをデータベースにインポートしてからSQL命令を使ってクレンジング作業を行う方法です。
  • #42 SQL Server Data Tools はVisual Studio のアドインです。 今日現在の最新版はVS 2017用はプレビュー、VS2015 用は17.3というバージョンです。
  • #45 44
  • #52 12:00
  • #53 データサイエンティストの多くの方が、この前処理の重要性から、自らを前処理ストということが多いです。
  • #59 12:10
  • #63 事例、事例言う人がいるんですが、データ分析や活用の事例はマーケティングにおいては企業のブランディングの位置づけや客層の違いがあるので事例をそのまま横展開することはできません。 ましてやツールをそのまま横展開しても分析したい内容やするべき観点が企業によって異なるため、利用することは難しいです。 少し動かない子もいるので、絶賛フィードバック中です。
  • #69 事例、事例言う人がいるんですが、データ分析や活用の事例はマーケティングにおいては企業のブランディングの位置づけや客層の違いがあるので事例をそのまま横展開することはできません。 ましてやツールをそのまま横展開しても分析したい内容やするべき観点が企業によって異なるため、利用することは難しいです。 少し動かない子もいるので、絶賛フィードバック中です。