"No Man’s Sky" から"Forza Horizon 5" まで。国内外の成功タイトルが使う Microsoft Azure

"No Man’s Sky" から"Forza Horizon 5" まで。
国内外の成功タイトルが使う Microsoft Azure
増渕⼤輔
⽇本マイクロソフト株式会社
Game Ecosystem Organization
Cloud Solutions Manager

本セッションの内容
ゲーム開発・運営におけるクラウド技術の活⽤
オンラインゲームサーバーについて事例ベースでご説明します
クラウドゲーミング技術（クラウドからのストリーミング技術） → 範囲外
クラウドを活⽤したデータ分析 → 範囲外
Azure or PlayFab ︖
本セッションでは製品説明は少なめですが、 Azure に重きを置いてご説明します
PlayFab は CEDEC 2021 のセッションをご参考ください
「サーバー知識不要︕のゲームサーバー "Azure PlayFab" で⻑期運営タイトルを作ろう」
2

Empowering great games running worldwide

GDC 2022 にて紹介された様々なストーリー
PlayFab
UGC
Live Ops
UGC
PlayFab
PMLP
Multiplayer
Services
PlayFab
MPS
Global Game
Servers
Azure
Kubernete
s
Global Game
Servers
PlayFab
Experime
nts
Live Ops -
Experiments

Scale: ⼀度に何百万⼈ものプレイヤーをサポート
Reach: 世界中のどこからでもプレイヤーをつなぐ
Security: プレイヤーの機密データを安全に保つ
Cost: 使⽤したリソースに対してのみ⽀払う
なぜクラウド化するのか︖（⼀般的に⾔われていること＋ α）
ゲームの企画や、組織の⼤きさ、⽂化＝国・地域
によって、「クラウド化」する理由はさまざま
＋

ゲームの企画、市場、組織によりかなりアプローチは異なる
コンソール︓ HTTP通信が少なく（UDPが多い）、PaaS系機能は要件が合わないことが多い
PC + コンソール︓ クロスプラットフォームのマッチメイキングがある場合, 難易度が上がる
例︓ PlayFab Matchmaking を利⽤する
ブラウザゲーム︓ ウェブ通信が多い、ウェブに強い PaaSからIaaSまで、クラウドの機能を幅広く使える
データベース︓ ゲームの性質を考慮して、NoSQL/RDB を選択
例︓ MMORPG では RDB が多い、マイクロサービス化できる場合はNoSQL が多い、
6

ウェブ系のゲームの場合
ソーシャルゲーム黎明期は、他社に⽐べて Microsoft Azure の採⽤ケースは少なかった
- 得意なパターン︓ C# + PaaS (WebApps) ＋ SQL Database
- 弱かった設計︓ PHP + MySQL (GitHub 買収後はオープンソースエンジニアが増加し課題解消)
最近の C# の台頭︕が後押しして、徐々に採⽤ケースが増えてきている
- ゲーム業界での採⽤（ Unity, Godot, HeroEngine )
- C# 開発環境の進化＋ Azure との親和性の⾼さ
- Visual Studio 2022
- Azure Application Insights
- 各種 Azure SDK
7

PlayFab と Azure の違いは、SaaS vs PaaS/IaaS
PlayFab は、ほぼすべてのシナリオをカバーする、オンラインゲームのためのバックエンドサービス
サーバーの経験がないチーム、組織は、まずは PlayFab の利⽤から始めることを、お勧めします
データ
ベース
パーティー
チャット
ログイン
認証
マッチメイ
キング
データ分析
マルチプレ
イヤー
サーバー
Player Data,
Title Data,
Economy
PlayFab
Party Chat
PlayFab
Authentication
PlayFab
Matchmaking
PlayFab Data
Explorer
PlayFab MPS
Cosmos DB
SQL Database
MySQL
Azure Web
PubSub
Signl R Services
Azure Active
Directory B2C
Azure Functions
Synapse
Analytics
Azure Data
Explorer
Virtual Machnes
Container
Instance
AKS (K8S)
PlayFab
Azure
(実装例)

No Manʼs Sky
• インフラチームの特徴
• 少⼈数
• クラウドの設計 ( Azure + PlayFab )
• C＃ on Azure PaaS
• NoSQL として Cosmos DB を採⽤
• ⾮同期のデータ書き込み（Event Hub）
• ⼤量データ（3TB）
• クラウドの設計 (PlayFab)
• Xbox スマートマッチから
クロスプレイマッチメイキングへ
10
How No Man's Sky Used Azure to Share an Infinite Universe
| Develop:Brighton 2021

ユニークな点は Event Hub と Cosmos DB の組み合わせ
11
• アプリは、App Service で C#を運⽤
• Azure Event Hubs によるデータベース負荷軽減データベースの状態に関係なくデータの更新を⾏う
• Cosmos DBによる⾃動拡張により３テラバイトのデータを運営
• Azure Table Storage は Cosmos DBの補助として利⽤（パーティション負荷軽減）
• 当初はWindows アプリ → 運営中にLinuxに移⾏（.NET Core 1 -> .NET 5）
• Xbox Smart Match から、PlayFabのクロスプラットフォームマッチに変更
App Service
サーバーアプリ（C#）
ケーション
Event Hub
Cosmos DB
Azure Table
Storage

Fall Guys: Ultimate Knockout
12
"Fall Guys exceeded all expectations at launch. It sold
more than 11 million copies on Steam alone and
ranked as the most downloaded PlayStation Plus
title ever. Azure provided all the reassurance we
needed to scale elastically and quickly."
Adam Fletcher: Chief Technology Officer
Tonic Games Group
「Fall Guysは発売時にすべての期待を上回りました。
Steamだけで1100万本以上を販売し、これまでで
最もダウンロードされたPlayStation Plusタイトル
としてランク付けされました。Azure は、弾⼒性
と迅速なスケーリングに必要なすべての安⼼感を
与えてくれました。
アダム・フレッチャー:最⾼技術責任者
トニックゲームグループ
主な Azure 機能
• Azure Kubernetes Services (AKS)
• Azure Cosmos DB
• Azure DDoS Protection
• Azure DevOps
Azure
Kubernetes
Services
(AKS)
Azure
Cosmos
DB

K8S、NoSQL、DDoS対策
の評価ポイント
13

Kubernetes クラスターのコンテナーサービス
ダウンタイムなしで迅速に拡張できるマルチモデル
NoSQL データベース
ゲームプラットフォームに対する分散型サービス拒
否(DDoS)攻撃を検出して軽減するためのソ
リューション
ソフトウェア開発とIT運⽤
14
AKS Cluster
Pod Pod Pod
Pod Pod Pod
Pod Pod Pod
Pod Pod Pod
Pod Pod Pod
Pod Pod Pod
Kubernetes クラスターのメリットの例
1. コンテナ⼿動スケール／オートスケール
2. 環境構築と廃棄が楽、早い
1. ブルー/グリーンデプロイメント
2. 使い捨てシステム
3. アプリの配布・展開が楽、早い
4. 依存関係地獄から解放される
1. 複数のランタイム/ライブラリーを同居可能
5. ⾃動ローリングアップデート／ロールバック
6. コンテナの（再）スケジュール
7. 障害ノード上のコンテナの⾃動復旧

リューション
15

リューション
16
Player to Azure DDoS
攻撃者が Azure でホストされている
リレーまたはマルチプレイヤー
専⽤サーバーを攻撃する
アプリケーション設計のベストプラクティスと組み
合わせることで、Azure DDoS ProtectionはFall Guys に
対するDDoS攻撃を自動的に検出し、軽減します。

Forza Horizon 5
With our compute, storage, and data stacks all
on Azure, our engineering teams can now
spend more time building new experiences
for our players rather than managing our
infrastructure.
Daniel Adent: General Manager of ForzaTech
Turn 10 Studios
コンピューティング、ストレージ、データスタックがすべて
Azure 上にあるため、エンジニアリングチームは、イ
ンフラストラクチャを管理するのではなく、プレイヤー
向けの新しいエクスペリエンスの構築により多くの時
間を費やすことができます。
ダニエル・エイデント:ForzaTechのゼネラルマネージャー
ターン10スタジオ
17
主な Azure 機能
• Azure Kubernetes Services
(AKS)
• Azure Cache for Redis
• Azure Storage
Azure
Kubernetes
Services
(AKS)
Azure
Cache
for Redis

Forza のサーバーサイドコンポーネント
Leader
boards
User
Generated
Contents
Auction
House
Online
User
Match
Drivatar
Garage
Analytics
Notifications
User
Data
(Skill)
・・・and more
Realtime
Event
Processing
Events
Telemetry
Component on Playfab

Azure managed control plane
API server
Controller
Manager
Scheduler
etcd
Store
Cloud
Controller
Self-managed master node(s)
User
Schedule pods over
private tunnel
Kubernetes
API endpoint
App/
workload
definition
YAML/JSON
or
Containerd
Pods
Containerd
Pods
kubelet
kube-proxy
Containerd
Pods
Containerd
Pods
kubelet
kube-proxy
Customer VMs（VMSSによるクラスタリング）
AKSは、Windows コンテナも OK︕
Forza Horizon 5 のアプリは Windows で開発していた
⾃動アップグレード、パッチ
⾼安定性、可⽤性
安全なクラスタースケーリング
セルフヒーリング
コントロールプレーンのAPIサーバーモニタリング
コントロールプレーンに対するコストはゼロ
→ ノードをゼロにすることも可能
→ SLAが必要な場合は、別料⾦
VMSSを使ったノード、ノードプールの管理

Forza Horizon 5 で採⽤されたマイクロサービスアプローチ
① AKS上に17のマイクロサービスを展開
② プレイヤーからのトラフィックはALB経由で Aggregator Podが処理
③ AKSの2つのスケール機能
→ クラスターオートスケーラー
→ ⽔平 Pod オートスケーラー
④ キャッシュとしてAzure Cache for Redis を活⽤
⑤ キャッシュのスケールが必要な場合、Azure Storageを活⽤して
Shading を実施し、パフォーマンスを確保
⑥ Config は ConfigMap に、Secrets は Secretsに保存
⑦ PlayFab との連携

Forza Horizon 5 : オンプレミスからの段階移⾏の歴史
On-prem VMs
Windows Server
IIS
.NET framework
Ranking
App
Auction
App
GrageMng
Apps
Azure VMSS(AKS)
Windows
Server
Container
.NET
framework
Ranking
App
Windows
Server
Container
.NET
framework
Auction
App
Windows
Server
Container
.NET
framework
GrageMng
App
😫必要な時に設備増強
😫スケールに限界
😐必要な時にスケール可能
😐パフォーマンスとコスト最適化が進む
😊マイクロサービス化により個別にスケール
😊パフォーマンスとコストの更なる最適化
🤔スケール時の課題
Old New
Azure
Windows Server
IIS
.NET framework
Ranking
App
Auction
App
GrageMng
Apps
Azure Virtual Machine
Azure Cloud
Service
(App PaaS)
.NET
framework
Some
Apps

Minecraft シリーズの様々なクラウド利⽤
(Realms, Earth, Dungeons, etc… )
23
• Minecraft Realms を、他社クラウドから移⾏
• Migrating Minecraft Realms from AWS to Azure
• Minecraft Earth︓
世界中のデータ共有に、Cosmos DB を採⽤
• Minecraft Earth and Azure Cosmos DB part 1:
Extending Minecraft into our real world
• Minecraft Dungeons︓
Cloud Gaming 技術を採⽤
• Case Study: Minecraft Dungeons Cloud Gaming
Experience

Minecraft Earth の特徴と技術選定を振り返りる
24
ゲームのバックエンドサービスの要件・特徴
• 低レイテンシの書き込みと、中レイテンシの読み取り
• 世界中からのアクセス
例︓ サンフランシスコとニューヨークのプレイヤーが同じ体験を共有する必要がある
⼀般的に、⻄海岸と東海岸のネットーワークの遅延は、７０－８０ミリ秒
• 同時ユーザー数が多い（接続セッションが多い）
• ゼロからの構築（既存の Minecraft を気にしなくてもOK ）
Cosmos DB を選んだ理由
• 読み取りと書き込みに対する待機時間が⻑くならない SLA が存在する
• グローバル分散と、マルチマスター機能を有する
コロナ禍の折、ゲームはサービス停⽌となりましたが・・・

Cosmos DB の読み取りと書き込みに対するSLA
25
SLAの詳細はやや複雑ですが・・・
Azure Cosmos DB での操作のサーバー側の待機時間
（レイテンシ）を監視する⽅法 | Microsoft Docs
基本的には「待機時間（レイテンシ） < 10 ms 」
スループット・⼀貫性も担保し、性能の監視も充実︕
Azure Cosmos DB の SLA | Microsoft Azure

Next Games
⼤規模なスケールとパフォーマンス
の要求にシームレスに対応するDB
の必要性から、Cosmos DB を採⽤
Azure Cosmos DB delivers:
• 低遅延のマルチプレイヤーゲームプレイ
• 発売前からの即時の容量スケーリング
• ダウンタイムのない、グローバルユーザー
エクスペリエンス
26

Granden
ゲームイノベーターは、クラウドを
使⽤して、画期的なクロスリアリ
ティゲームでレンガとモルタルを再
び⾯⽩いものに仕上げました
• 弾⼒性と即時の拡張性
• 低レイテンシ
• ⾼可⽤性
27
事例詳細：
https://customers.microsoft.com/en-us/story/granden-media-telecommunications-azure

Saber
Saberは、
世界中の何千⼈ものゲーマーに
⾼性能で低レイテンシの
ゲームプレイを提供
• 弾⼒性と即時の拡張性
• ⾼可⽤性
28

Microsoft Azure を使うことで、
私たちのチームは、アーキテクチャ、容量、構成を気にすることなく、
新しい機能やサービスの提供に重点を置いています。
私たちは Azure をバックエンドシステムのブレーンにしました。
“With Microsoft Azure, our team focuses on providing new features and services instead of worrying about
architecture, capacity, or configuration. We’ve made Azure the brains of our back-end system.”
Dmitri Brevdo
Lead Backend Developer, Saber Interactive
29

Cosmos DB
ゲーム開発者が、Cosmos DB に期待すること
• 応答性の⾼いリアルタイムのゲームプレイ
• 世界中のユーザーからのデータを管理・同期
• スループットを動的に管理できる
• ⼤規模かつ複雑なデータを処理・分析できる
注意点＝コストの問題
• SQL （RDB）のエクスペリエンス
• データ設計の違いを検証する
• すべてのデータを同じアイテムに⼊れない
• アプリは同期・⾮同期を使い分ける
• CPUの消費を考えたデータ設計
• ⾮リレーショナル
パフォーマンスとスケーラビリティー

RDB ベースのゲーム開発・運⽤事例も多い︕
C＃＋Visual Studio との相性が抜群︕
さらに、⾃動チューニング機能で運⽤負荷軽減
• ⾃動プラン修正-クエリパフォーマンスの問題
を引き起こす問題のあるクエリ実⾏プランを特
定し、修正することができます。
• ⾃動インデックス管理
インメモリOLTP （Pearl Abyss 様採⽤）
• 従来のディスクベースのテーブルを凌駕し、よ
り応答性の⾼いトランザクションにつながります
( 某アプリでは性能２０倍）
• スループットを向上させ、レイテンシーを削減さ
せる特徴は、OLTP領域だけでなくETLなど
の⼀時的なデータシナリオにも採⽤されている
31

ゲームのバックエンドサービスにどのクラウドを選択すべきか
① UDP/TCP 通信があるゲームサーバーの移⾏ ~ なるべくそのままクラウドへ ~
• 既存システムの単純移⾏
• オーケストレーターの選択
• VM → Azure VMSS
• コンテナ化 → AKS（K8S）
② ウェブベースのゲームサーバー移⾏（またはサポートサービスの移⾏） ~ PaaS 載せ替え ~
• アプリ保守作業の容易化
• インフラ作業の軽減
• データベース依存度が⾼い
• DevOps
③ サーバーの経験値がない新しい組織 ~ SaaS ソリューションで、Try & Error で開発 ~
• オンラインゲーム、LiveOpsなどの模索・開発
• プロト開発など、早い段階から、オンラインのテストが容易に実現できる
• PlayFab を起点に、Azure での機能拡張もOK
仮想マシン / AKS ストレージネットワーク
PaaS / AKS PaaS DB サーバその他周辺サービス
PlayFab

FastTrack for Azure
FastTrack for Azureの⽀援内容
• アーキテクチャレビュー
• テクニカルブロッカーの排除
• セキュリティに関するアドバイザリー
• プロダクトローンチ、リリース前後
のチェック
• お客様からの製品 Feedback
収集と製品チームへの Feedback
お知らせ

ご清聴、ありがとうございました︕ まとめです。
Twitter: @dmasubuchi
クラウドの設計は、ゲームタイトル、組織によって、多種多様
Azure, PlayFab の特徴をつかみ、評価をしましょう
しっかり戦略を決定することが⼤事
導⼊評価から、構築・運⽤フェーズまでサポートいたします
Azure のハマリどころは補⾜資料として追加します
追加のご説明が必要な場合は気軽にお声がけください
34

Appendix
オンラインゲーム開発・運営で
知っておいてほしい
Microsoft Azure の特徴
ハマリどころと解決ポイント

PlayFab でマルチプレイヤーゲームを開発する場合
PlayFab マルチプレイヤーサーバー
＝専⽤サーバー
スタンバイプールでバーストリクエスト
に対応が可能
• 事例
• Rainbow 6 : Siege
• Halo 5
PlayFab パーティー
• チャット、ボイスチャット
• 任意のデータのrelay
• 事例
• Sea of Thieves
36
#1
#2
Real-time UDP applications
HTTP Rest API applications

補⾜：アプリケーションモダナイゼーションの戦略カテゴリ
実装するロジックインフラ要件概要クラウドの選択
Game Server ゲームの通信を⾏う。MMOの
空間情報、MOのゲームルーム、
などを実現。
UDP/TCPによる通信を⾏う
１秒の停⽌も許容できない場合が
ある
Azure(本体): IaaS (VM) / AKS / ACI
Azure(オーケストレーション): Functions
PlayFab: MPS
Game Service 認証やマスターデータ、プレ
イヤーのステートデータ、ス
タティスティックス情報の更
新などを⾏うウェブサーバー
HTTP Rest API または gRPC を
⽤いたウェブAPIサーバー
Azure: WebApps / Functions / AKS / ACA
PlayFab: PlayFab LiveOps
Game DB 主にGame Service のデータの
永続化を⾏うデータベース
Game Serverや、
Matchmaking、Chatのログ解
析なども⾏う
多数の同時接続が必要な場合は
NoSQL
複雑なクエリーが想定される場合
は RDB を利⽤
Azure: SQL DB / MySQL / CosmosDB
PlayFab: PlayFab LiveOps
Matchmaking プレイヤー同⼠の対戦相⼿を
決定するためのロジック
コンソールゲームの場合は複雑な
カスタムロジックを実装すること
が多い
Azure: Functions
PlayFab: PlayFab Matchmaking
Chat プレイヤー同⼠がテキストや
⾳声チャットを⾏う
WebSocket のような全⼆重通信
を利⽤する
Azure: SignalR Service / Web PubSub
PlayFab: PlayFab Party

Connectivity
United States
United States
Canada
Mexico
Venezuela
Colombia
Peru
Bolivia
Brazil
Argentina
Atlanta
Ocean
Algeria
Mali
Niger
Nigeria
Chad
Libya Egypt
Sudan
Ethiopi
a
Dr
Congo
Angola
Zambia
Nambia
South
Africa
Greenland
Svalbard
Sweden
Norway
United
Kingdom
France
Poland
Ukraine
Turkey
Saudi
Arabia
Iran
Kazakistan
India
Russia
Russia
China
Myanmar
(Burma)
Indian
Ocean
Indonesia
Australia
Pacific
Ocean
Pacific
Ocean
Data
center
Owned Capacity
Moving to Owned
Leased Capacity
Edge Site
Azure Data Center
世界最大級のネットワーク
• 8,000以上のISPセッション
• 130以上のエッジサイト
• 44 Express Route
• 33,000マイル（lit fiber）
• SDN マネージド (SWAN、OLS)
DCs and Network sites not exhaustive
1 つのリージョン内で、HA＝高可用性を担
保するためには、 2 つのオプションがある。
遅延時間も変わるので、ゲームの応答時間
のテスト・評価をお忘れなく。
可用性セット（AS）
or
可用性ゾーン（AZ）

Load Balancer - Standard
VMSS spans Zones
Load balancing across zones
Zone resilient VIPs
Single DNS name
VMSS limited to 1000 instances
Traffic Manager
VMSS per Zone
TM profile for High Availability
Zonal VIP / VMSS
DNS name for cross-zone VMSS
Availability Zones
with Traffic Manager & Load Balancer
Availability Zone を跨ぐ
VMSS スケールアウト
Azure のロードバランサーは、
可用性ゾーンのシナリオをサ
ポートしています
（複数のゾーンに分散）
参考ドキュメント
• ロードバランサーと可用性ゾーン
• リージョン間 LB (プレビュー)
• LBと VMSSの規則の追加
Azure 仮想マシンスケールセット（VMSS）は、
Azure Compute Gallery（旧称：Shared Image
Gallery）を通じて、標準のマーケットプレイス
イメージとカスタムイメージについて、最大
1,000 VMインスタンスをサポートします
マネージドイメージを使用してスケールセット
を作成する場合、上限は600VMインスタンスで
す
スケールセットを展開するとき、可用性ゾーン
ごとに1つの配置グループを使用するか、ゾーン
ごとに複数の配置グループを使用するかを選択
することもできます。

30Gbps
30Gbps
Accelerated
Networking
Accelerated
Networking
仮想マシンの高速ネットワーク
ネットワークを有効化
仮想マシンの
性能チェック
マネージドデータベースへの接続
は内部のネットワークを利用する
① 高速ネットワークを有効化
高速ネットワークの概要
• 時間毎のパケット数 (pps) 向上
• スループットの強化
• ジッタの低減
• CPU 使用率の低下
対応OS の種類、Ver. をご確認ください！
② PaaS系サービスと接続
VNet Service Endpoint
③ TCP/IP チューニング
ドキュメントを参照し、MTU、断片
化、Large Send Offload を確認
Azure VM の TCP/IP パフォーマンス
チューニング | Microsoft Docs

Azure Monitoring, Application Insightsを有効
化
各種、
性能の監視
Virtual network gateway
① Azure Monitor
Azure の監視サービス。Azure だけ
でなく、オンプレミスや、他のクラ
ウド上の、アプリ、インフラの統計
情報の収集、可視化、分析ができる
② Application Insights
Azure Monitor と同じ基盤だが、ア
プリに特化した UI/サービス

ゲームサーバーをグルーピングして設定
NSG の設定
ネットワーク・セキュ
リティ・グループ Network Security Groups (NSG)
IP ベースのネットワーク ACL
サブネットまたは NIC に設定できる
関連サービス：
Service Tags、
Application Security Groups（ASG）
ゲーム
用DB
ゲーム
用API
専用サーバー

ゲームロジックでの利用シナリオの使い分け
サーバーレス
Azure Functions
HTTP
HTTP
Proxy
CODE
Binding
s
Binding
s
Trigger
Functionsの内部
・HTTPトリガーの例
データベースを検索する
・キュートリガーの例
ゲームのリザルトデータの保存
ゲームクライアントへの通知
マッチングのリクエスト（チケット作成）
CCUが増加した場合
でも性能の劣化の
心配がない☺
APIの応答に、結果を含ませたい
場合は開発が楽だが、実行時間
が増える（コストが膨らむ）
小さなコードの実行に最適
・従量課金
・Premiumプラン
・専用（App Service）プラン
ゲームサーバー向けサンプル
Multiplayer Serverless
Matchmaker - Azure Gaming
Multiplayer Game Server
Hosting Using ACI - Azure
Gaming
Custom Game Server Scaling -
Azure Gaming

ご清聴、ありがとうございました︕
Twitter: @dmasubuchi

"No Man’s Sky" から"Forza Horizon 5" まで。国内外の成功タイトルが使う Microsoft Azure

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to "No Man’s Sky" から"Forza Horizon 5" まで。国内外の成功タイトルが使う Microsoft Azure

Similar to "No Man’s Sky" から"Forza Horizon 5" まで。国内外の成功タイトルが使う Microsoft Azure (20)

More from Daisuke Masubuchi

More from Daisuke Masubuchi (20)

Recently uploaded

Recently uploaded (9)