PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020Daisuke Masubuchi
世界中のオンラインゲームやスマフォアプリの分析をしてきたPlayFab。最近、従来のイベント分析に加えて様々なテレメトリーを包含したクラウド分析機能が備わりました。今回は、その裏の Azure Data Explorer a.k.a Kusto での構成や仕組みをご紹介します。Windowsのテレメトリー分析やAzureのログ解析基盤の裏側と共通した仕掛けが含まれているのでお楽しみに!ゲーム業界に限らず、ビックデータ運用を考えている大規模なSaaS事業やIoT事業にもご参考いただけたら幸いです。
at db tech showcase ONLINE 2020 https://db-tech-showcase.com/dbts/2020/online #dbts2020 #gamestackjp
*本資料は 2020年11月11日に開催された DB Tech Showcase イベントにてお話させていただいた、同タイトルのセッション資料となります
PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020Daisuke Masubuchi
世界中のオンラインゲームやスマフォアプリの分析をしてきたPlayFab。最近、従来のイベント分析に加えて様々なテレメトリーを包含したクラウド分析機能が備わりました。今回は、その裏の Azure Data Explorer a.k.a Kusto での構成や仕組みをご紹介します。Windowsのテレメトリー分析やAzureのログ解析基盤の裏側と共通した仕掛けが含まれているのでお楽しみに!ゲーム業界に限らず、ビックデータ運用を考えている大規模なSaaS事業やIoT事業にもご参考いただけたら幸いです。
at db tech showcase ONLINE 2020 https://db-tech-showcase.com/dbts/2020/online #dbts2020 #gamestackjp
*本資料は 2020年11月11日に開催された DB Tech Showcase イベントにてお話させていただいた、同タイトルのセッション資料となります
M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...日本マイクロソフト株式会社
日本マイクロソフト株式会社
カスタマーサクセス事業本部 データ&クラウドAI アーキテクト統括本部 クラウドソリューションアーキテクト
武田 雅生
近年 DX が推進される中、企業の情報分析基盤に求められるビジネス期待値は高まっています。
どのお客様においても競合に負けじと情報分析基盤の導入・推進が進み、ビジネス状況の可視化から予測へと、「分析高度化」への投資が進んでいます。
しかし、企業内データ分析活動の高度化に伴い、複雑さは日々肥大化し、データがサイロ化するだけでなく、テクノロジーやスキルのサイロ化も進んでいます。
結果的に、データ横断分析の相乗効果を生み出せないという、分析高度化ならではの課題に直面されるお客様も多くいらっしゃいます。
本セッションでは、今のデータ分析・活用を担うエンジニア向けに、Azure Synapse の最新機能・デモをご紹介します。
分析高度化をスムーズに進めるための、ヒントが得られましたら幸いです。
【Microsoft Japan Digital Daysについて】
Microsoft Japan Digital Days は、お客様が競争力を高め、市場の変化に迅速に対応し、より多くのことを達成することを目的とした、日本マイクロソフトがお届けする最大級のデジタル イベントです。4 日間にわたる本イベントでは、一人一人の生産性や想像力を高め、クラウド時代の組織をデザインするモダンワークの最新事例や、変化の波をうまく乗り切り、企業の持続的な発展に必要なビジネスレジリエンス経営を支えるテクノロジの最新機能および、企業の競争優位性に欠かせないクラウド戦略のビジョンなどデジタル時代に必要な情報をお届けいたしました。(2021年10月11日~14日開催)
16. PlayFab Analytics Architecture (high level)
PlayStream
PlayFab
Client
SDK
Game Manager
PlayFab.com
PlayFab Customer
Game Manager
Game Manager
PlayFab Action
Services
Ingestion
ADX Clusters
ADF
Proxy
PlayFab
Services
Logs &
Metrics
CosmosDB
Operational logs
and metrics
Tenancy
RTA
*ADX - Azure Data Explorer
*ADF - Azure Data Factory
Warehouse: Reports, Trends
etc.
AzureBlob
Scorecard compute
17. PlayFab Facts /
Dimensions
PlayFab Analytics (ETL scenarios)
PlayFab
Client
SDK
ADX Clusters
GDE004
(table per event)
CosmosDB
ADX Clusters
GDEPF001
(follower DB from GDE001)
ADF
PlayFab
Services
PlayFab Facts /
Dimensions
Power BI PF internal reportsPlayFab DB
ADX Functions
PlayFab Metrics
PlayFab Metrics
PlayFab Metrics
ADF
PlayFab Facts /
Dimensions
PlayFab Facts /
Dimensions
18. PlayFab Analytics – direct access
Powering analytics with Azure Data Explorer
• クエリの埋め込みエクスペリエンス
• 保存されたクエリ/レンダリングされたグラフ
• データのインポートとエクスポート
• スケーラブルなパフォーマンス (IPU メーター)
Connectors through Proxy
19. ADX continuous
export to Azure Blob
Manage Experiments
Experience
• UI と API を使用する
• CRUD API サーフェス
• 実験のスケジュール
• Expのコンプライアンス
• Expのアクセス制御
• コードレスExp
•
*A&E – Analytics and Experimentation
Variant ID でタグ付けされ
た PlayFab Profile
(treatment)
Variant ID でタグ付けされ
た PlayFab Events
メトリック生成用
Azure BLOB データ
Data Bricks による
スコアカード
20. Azure Data Explorer
(Kusto)
PlayFab Data Governance – GDPR
PlayFab.com
Game Manager
PlayFab
APIPurge or
Export
PlayFab SDK
Service Fabric Cluster
PCF Command
Feed Ingestion
Command Actor
Orchestrator
Actor
Table Delete Service
CRM
Management
API
PlayFab
Webhook
Stateful Service
(Partitioned by
Cluster]
Stateless Service
Stateful Actor
(Partitioned by PlayerId)
Stateful Actor
Determines Query Execution
GDPR compliance for all customers
• Data Portability: 顧客データのエクスポートを提供
• Forgottenの権利: すべてのPlayFabテレメトリの顧客データ消去
NGP Compliance (for Xbox Game Studios)
• Integrated into Microsoft Privacy Portal
DeleteMasterPlayer
ExportMasterPlayer
21.
22. `本日のお話
第一部: PlayFab Insights
ゲームの BaaS である PlayFab の分析機能についてお話します
PlayFab は従来の分析機能が大幅にバージョンアップしました
内部には、Azure Data Explorer が使われており、その機構をご紹介します
第二部: Azure Data Explorer
Azure Data Explore (ADX、または Kusto )についてさらにお話します
この製品の生い立ち、過去の経緯、Microsoft社内での利用シナリオについてご紹介します
39. “Digital feedback loops help you
better engage with your customers,
empower your employees, optimize
your operations, and reinvent
products and business models”
S. Nadela
40. Log files
Spatial & GPS
coordinates
Data market feeds
eGov feeds
Weather
Text/image
Web 2.0Advertising
Mobile
Collaboration
eCommerce
Web logs
Digital Marketing
Search Marketing
Recommendations
40
More decision makers
BigData
Megabytes
Gigabytes
Terabytes
Petabytes
Data Complexity: Velocity, Variety
ERP/CRM
Payables
Payroll
Inventory
Contacts
Deal Tracking
Sales Pipeline
Click streams
Wikis, Blogs
Sensors/RFID/
Devices
Social Sentiment
Audio/Video
42. Any append-
only stream
of records
Relational query
model:
Filter, aggregate, join,
calculated columns, …
Fully-
managed
Rapid iterations to
explore the data
High volume
High velocity
High variance
(structured, semi-
structured, free-text)
PaaS,
Vanilla,
Database
Purposely built
1センテンスで理解するADX
43. • メトリックと時系列データ
• テキスト検索とテキスト分析
• 多次元/リレーショナル分析
Comprehensive Strength
• シンプルで強力なデータ探索
• リッチ リレーショナル クエリ言語
• 全文検索
• ML Extentionの拡張性
• SQL/TDS エンドポイント
Analytics Query language
• 低遅延インジェズレーション
• 圧縮とインデックス作成
• 自動保持(リテンション設定)
• Hot/cold resource アロケーション
Data Ingestion and Management
• ハードウェアでスケールアウト
• ジオ全体でスケールアウト
• 細かいリソース使用率制御
• クロスジオでのクエリ
High performance over large data sets
Azure Data Explorer
A big data interactive platformAzure Data Explorer の内部の構造
Ingestion
Dev/BI Tools
44. Telemetry Analytics for internal Analytics Data Platform for products
AI OMS ASC Defender IOT
Interactive Analytics Big Data Platform
2015 - 2016
Israelの研究所で行われた社内のインキュ
ベーションプログラム
マイクロソフト社内のデータ分析プラッ
トフォームを作るビジョンで開始された
2019
サードパーティのオファーを試験運営
Operational Management Suite/Application
Insightsにまたがる統合プラットフォーム
クライアント/サーバー・セキュリティー
を介してブリッジされるシナリオに拡張
(IoT、テレメトリーシナリオ)
2017
パブリックプレビューは2018年後半
GAは、2019年
Kusto (現ADX)の生い立ち