デジタルゲームの調整・デバッグ・品質管理における人工知能技術の応用 モリカトロンにおける解説です。

1. デジタルゲームの調整・デバッグ・品質管理
における人工知能技術の応用
三宅 陽一郎
2018.12.7
@モリカトロン

2. My Works (2004-2017)
AI for Game Titles
Books

4. •人間から人工知能がどう見えるか？
•人工知能が人間をどう見るか？

5. 目次
• 第一章 序論
• 第二章 さまざまな学習事例
• 第三章 品質保証におけるAI①
• 第四章 品質保証におけるAI②
• 第五章 品質保証におけるAI③
• 第六章 品質保証における強化学習
• 第七章 QA-AI ゲームバランシング
• 第八章 QA-AI ゲームテスト

6. 第零章 序論

7. ゲームの中、ゲームの外
ゲーム周辺
（外＝開発、現実）
ゲーム
（中＝コンテンツ）

8. フィールド
３つのＡＩの連携の例
ナビゲーション
AI
メタAI
キャラクターAI
状況を監視し、キーとなる役割を
適切なタイミングでエージェントに
指示する。
自律的な判断。
仲間同士の協調
地形を解析する
目的に応じた点を見つけ出す
目的地までのパスを計算する
Support
エージェントが自律的に戦闘・協調しつつ、ナビゲーションAIが
戦術的ポイントを教え、メタAIは、全体の戦闘の流れを作る。

9. ゲームの中、ゲームの外
ゲーム周辺AI
（外＝開発、現実）
ゲームAI
（中＝コンテンツ）
メタAI
キャラクター
AI
ナビゲーション
AI

10. ゲーム外AI
• 開発工程を助けるAI プロシージャル機能
• バランス調整するAI 遺伝的アルゴリズム、ニューラルネット
• QAのためのAI QA-AI
• メタAI バランス調整、ゲームメーキング
• インターフェース上のAI 音声解析、言語解析、ゼスチャー認識
• データマイニングするAI ロギング＆アナライジング
• シミュレーション技術 パラメーター生成
• データビジュアリゼーション ゲームを可視化する

11. ゲームの中、ゲームの外
ゲーム周辺AI
（外＝開発、現実）
ゲームAI
（中＝コンテンツ）
メタAI
キャラクター
AI
ナビゲーション
AI
開発支援
AI
QA-AI
自動バランス
AI
インターフェース
上のAI
データ
マイニング
シミュレーショ
ン技術ゲーム
可視化
ユーザーの
生体信号
プロシー
ジャルAI

12. ゲームの中、ゲームの外
ゲーム周辺AI
（外＝開発、現実）
ゲームAI
（中＝コンテンツ）
メタAI
キャラクター
AI
ナビゲーション
AI
開発支援
AI
QA-AI
自動バランス
AI
インターフェース
上のAI
データ
マイニング
シミュレーショ
ン技術ゲーム
可視化
ユーザーの
生体信号
プロシー
ジャルAI

13. ゲームの中、ゲームの外
ゲーム周辺AI
（外＝開発、現実）
ゲームAI
（中＝コンテンツ）
メタAI
キャラクター
AI
ナビゲーション
AI
開発支援
AI
QA-AI
自動バランス
AI
インターフェース
上のAI
データ
マイニング
シミュレーショ
ン技術ゲーム
可視化
ユーザーの
生体信号
プロシー
ジャルAI

14. 歴史
キャラクターAI
1995 2000
ナビゲーションAI
2007
メタAI
2015
ゲームの外のAI

15. ゲームの中、ゲームの外
ゲーム周辺AI
（外＝開発、現実）
ゲームAI
（中＝コンテンツ）
メタAI
キャラクター
AI
ナビゲーション
AI
開発支援
AI
QA-AI
自動バランス
AI
インターフェース
上のAI
データ
マイニング
シミュレーショ
ン技術ゲーム
可視化
ユーザーの
生体信号
プロシー
ジャルAI

16. ゲーム外AI
• 開発工程を助けるAI プロシージャル機能
• バランス調整するAI 遺伝的アルゴリズム、ニューラルネット
• QAのためのAI QA-AI
• メタAI バランス調整、ゲームメーキング
• インターフェース上のAI 音声解析、言語解析、ゼスチャー認識
• データマイニングするAI ロギング＆アナライジング
• シミュレーション技術 パラメーター生成
• データビジュアリゼーション ゲームを可視化する

17. ゲームの中、ゲームの外
ゲーム周辺AI
（外＝開発、現実）
ゲームAI
（中＝コンテンツ）
メタAI
キャラクター
AI
ナビゲーション
AI
開発支援
AI
QA-AI
自動バランス
AI
インターフェース
上のAI
データ
マイニング
シミュレーショ
ン技術ゲーム
可視化
ユーザーの
生体信号
プロシー
ジャルAI

18. テスターをAIに置き換える
AI
https://www.irasutoya.com

19. ゲームAI
（中＝コンテンツ）
ゲーム周辺AI
（外＝開発、現実）
人力
（All Script）
人力

20. ゲームAI
（中＝コンテンツ）
ゲーム周辺AI
（外＝開発、現実）
AI技術
人力
人力

21. ゲームAI
（中＝コンテンツ）
ゲーム周辺AI
（外＝開発、現実）
AI技術
人力
AI技術
人力

22. 品質保証のための人工知能事例

23. 開発会社 システム 詳細 参照
Ubi
2018
Assassin’s Creed Origin の
レベルアセット自動検証
スクリプトによるオブジェクト同士の干渉テスト
キャラクターの生成ポイントと配置オブジェクトの干渉
テスト / スクリプトによるテスト
‘Assassin’s Creed Origins‘: Monitoring and Validation of World Design Data
Nicholas Routhier Ubisoft Montreal
http://www.gdcvault.com/play/1025054/-Assassin-s-Creed-Origins
Guerrilla
2018
Horizon Zero Down の自動プ
レイ
毎晩、自動的にAIキャラクターがゲームをプレイ ‘Horizon Zero Dawn’: A QA Open World Case Study Ana Barbuta
https://www.gdcvault.com/play/1025326/-Horizon-Zero-Dawn-A
EA
2018
Battlefield1における模倣学習
による自動プレイ
模倣学習によるキャラクターがゲーム内で戦い合う https://www.ea.com/seed/news/seed-imitation-learning-concurrent-
actions
https://www.ea.com/seed/news/self-learning-agents-play-bf1
SEGA
2018
「龍が如く」～「北斗が如く」に
おける自動プレイ
ログからの自動リプレイシステム 無料で始める！「龍が如く」を面白くするための高速デバッグログ分析と
自動化https://cedil.cesa.or.jp/cedil_sessions/view/1621
RARE
2017
Thief における Unreal Engine
上のキャラクタービヘイビア
の自動テスト
テストがクエリーの形でリスト化されて、毎晩テストさ
れる
AUTOMATED TESTING FOR MULTIPLAYER GAME-AI IN SEA OF THIEVES
ROBERT MASELLA
RARE — MICROSOFT GAME STUDIOS
http://gameainorth.com/2017/
DELiGHT WORKS
2017
Fate/Grand Orderにおける自
動リプレイ
サーバーを経由したログの収集とコマンド関数列の
再現
Fate/Grand Orderにおける自動リプレイを用いたQA改善への挑戦
http://cedil.cesa.or.jp/cedil_sessions/view/1716
DeNA
2017
「逆転オセロニア」における自
動ゲームプレイ
強化学習を用いて機械学習させる DeNA TechCon2018 ゲーム体験を支えるための強化学習
https://www.slideshare.net/juneokumura/dena-techcon2018
SQUARE ENIX
2017
「グリムノーツ」における自動
ゲームバランス
遺伝的アルゴリズムを用いてプレイヤーAI群を進化さ
せてゲームバランスを調査する
遺伝的アルゴリズムによる人工知能を用いたゲームバランス調整
http://cedil.cesa.or.jp/cedil_sessions/view/1655
DeNA 「FINAL FANTASY Record
Keeper」における自動プレイ
ニューロエボリューションによるプレイヤーAIの作成 AIによるゲームアプリ運用の課題解決へのアプローチ
https://cedil.cesa.or.jp/cedil_sessions/view/1511
強化学習を利用した自律型GameAIの取り組み ~高速自動プレイによる
ステージ設計支援

24. コンシューマ
モバイル
ゲームの外から
ゲームの中から
ゲーム自動プレイング
ゲームバランシング
Grimm’s
Note の
例
オセロニア
AIプレイ
ヤー
DOOM
自動
プレイ 龍が如く
リプレイ
FFRK
ゲーム自動
プレイ
Horizon
の自動プ
レイ例
Sea of
Thieves の
例
Assassin
’s Creed
の例 Battlefiel
d 1リプレ
イ
FGO
リプレイ

25. 目次
• 第一章 序論
• 第二章 さまざまな学習事例
• 第三章 品質保証におけるAI①
• 第四章 品質保証におけるAI②
• 第五章 品質保証におけるAI③
• 第六章 品質保証における強化学習
• 第七章 QA-AI ゲームバランシング
• 第八章 QA-AI ゲームテスト

26. 第一章 さまざまな学習事例

27. キャラクターにおける様々な学習・進化
(1) ニューラルネットワークの応用
(2) 機械学習の応用
(3) 強化学習の応用
(4) 遺伝的アルゴリズムの応用

28. キャラクターにおける様々な学習・進化
(1) ニューラルネットワークの応用
(2) 機械学習の応用
(3) 強化学習の応用
(4) 遺伝的アルゴリズムの応用

29. Neural Networks in Supreme Commander 2 (GDC 2012)
Michael Robbins (Gas Powered Games)
http://www.gdcvault.com/play/1015406/Off-the-Beaten-Path-Non
http://www.gdcvault.com/play/1015667/Off-the-Beaten-Path-Non
ニューラルネットワークの応用

30. Neural Networks in Supreme Commander 2 (GDC 2012)
Michael Robbins (Gas Powered Games)
http://www.gdcvault.com/play/1015406/Off-the-Beaten-Path-Non
http://www.gdcvault.com/play/1015667/Off-the-Beaten-Path-Non
ニューラルネットワークの応用

31. Neural Networks in Supreme Commander 2 (GDC 2012)
Michael Robbins (Gas Powered Games)
http://www.gdcvault.com/play/1015406/Off-the-Beaten-Path-Non
http://www.gdcvault.com/play/1015667/Off-the-Beaten-Path-Non
ニューラルネットワークの応用

32. Belief – Desire – Intention モデル
Desire
(Perceptrons)
Opinions
(Decision Trees)
Beliefs
(Attribute List)
Richard Evans, “Varieties of Learning”, 11.2, AI Programming Wisdom
Low Energy
Source =0.2
Weight =0.8
Value =
Source*Weight =
0.16
Tasty Food
Source =0.4
Weight =0.2
Value =
Source*Weight =
0.08
Unhappiness
Source =0.7
Weight =0.2
Value =
Source*Weight =
0.14
∑
0.16+0.08+0.14
Threshold
（0～1の値に
変換）
hunger
Desire（お腹すいた度）欲求を決定する
対象を決定する
それぞれの対象の
固有の情報
他にも
いろいろな
欲求を計算
Hunger
Compassion
Attack（戦いたい）
Help
ニューラルネットワークの応用
Black & White （Lionhead,2000）

33. ニューラルネットワークの応用
Black & White （Lionhead,2000）
クリーチャーを育てていくゲーム。
クリーチャーは自律的に行動するが、
訓練によって学習させることができる。
http://www.youtube.com/watch?v=2t9ULyYGN-s
http://www.lionhead.com/games/black-white/

34. キャラクターにおける様々な学習・進化
(1) ニューラルネットワークの応用
(2) 機械学習の応用
(3) 強化学習の応用
(4) 遺伝的アルゴリズムの応用

35. 世界
五感
身体
言語
知識表
現型
知識
生成
Knowledge
Making
意思決定
Decision
Making
身体
運動
生成
Motion
Making
インフォメーション・フロー（情報回廊）
記憶
キャラクターにおける学習の原理
行動の表現結果の表現 意思決定

36. 強化学習（例）
強化学習
（例）格闘ゲーム
キック
パン
チ
波動
R_0 : 報酬＝ダメージ
http://piposozai.blog76.fc2.com/
http://dear-croa.d.dooo.jp/download/illust.html

37. 強化学習
（例）格闘ゲームTaoFeng におけるキャラクター学習
Ralf Herbrich, Thore Graepel, Joaquin Quiñonero Candela Applied Games Group,Microsoft Research Cambridge
"Forza, Halo, Xbox Live The Magic of Research in Microsoft Products"
http://research.microsoft.com/en-us/projects/drivatar/ukstudentday.pptx
Microsoft Research Playing Machines: Machine Learning Applications in Computer Games
http://research.microsoft.com/en-us/projects/mlgames2008/
Video Games and Artificial Intelligence
http://research.microsoft.com/en-us/projects/ijcaiigames/

38. キャラクターにおける様々な学習・進化
(1) ニューラルネットワークの応用
(2) 機械学習の応用
(3) 強化学習の応用
(4) 遺伝的アルゴリズムの応用

39. 遺伝的アルゴリズムの応用
集団を一定の方向に進化させる方法
最初の世代 新世代（１００～世代後）
…
世代を経て進化させる
1つの世代が次の世代を交配によって産み出す

40. 遺伝的アルゴリズムの仕組み
遺伝子
遺伝子
次世代
親①
親②
母集団から優秀な親を
２体ピックアップ
遺伝子を掛け合わせる 次世代の子供を産み出す
(selection) (crossover) (production)
現世代
このサイクルをくり返すことで世代を進めて、望ましい集団を産み出す
遺伝子
遺伝子

41. （例）① GA Racer
遺伝的アルゴリズムによって、遠くまで到達できるレーサーを作成する。
最初はここまでしか
たどり着けないが…
だんだんと遠くまで、
たどりつけるようにする。
Mat Buckland, "Building Better Genetic Algorithm", 11.4., AI Game Programming Wisdom 2
（CD-ROMにソースコードと実行ファイルがあります）
最初の世代 新世代（１００～世代後）

42. 森川幸人,
「テレビゲームへの人工知能技術の利用」,
人工知能学会誌vol.14 No.2 1999-3
http://www.ai-gakkai.or.jp/jsai/whatsai/PDF/article-iapp-7.pdf
http://www.1101.com/morikawa/1999-04-10.html
に準拠します。
以下の解説は
詳細は以下の資料へ

43. （例）④アストロノーカ
最初はすぐに罠にかかるが、 だんだんと罠にかからないようになる
MuuMuu, PlayStation®用ソフト「アストロノーカ」（Enix, 1998）
http://dlgames.square-enix.com/jp/psga/2008/astronoka/
http://www.muumuu.com/product.html
新世代（５～世代後）最初の世代 野菜
食べたい
世界最高峰の遺伝的アルゴリズムを使ったゲーム
（ＡＩをどうゲームに使うか、という手本のようなゲーム）

44. 全体の流れ トラップを配置する
１日の始まり
トラップバトル開始
トラップバトル終了
トラップ成績算出
各個体の成績算出
順位を決定
下位２体を削除
適応度に応じて親を選択
子供２体を生成
新しい世代を生成
規定世代に達した？
１日の終了
世代交代数を修正
突然変異率を修正

45. ４－① 初期の個体集合を生成
個体を多数（GAにはある程度の母数が必要）用意し、
各NPCに遺伝子コードを設定し、初期値を設定する。
５６ｘ８＝４４８ビット
遺伝子身長 耐性_快光線腕力 脚力 耐性_かかし体重
1.87 6.85 16.25 25.03 25.03 16.25 6.85 1.87
0 1 2 3 4 5 6 7
[各ビットの重み]
[バブーの属性（総計５６）]

46. (C)1998 Muu Muu co.,Ltd./SYSTEM SACOM corp./ENIX
アストロノーカ(muumuu、森川幸人)

47. ゲームシステムとしての工夫
全体の適応度の平均値
１日の適応度の伸び
世代交代数
工夫その① 遺伝的アルゴリズムは集団に対するアルゴリズム
一体のトラップバトルの裏で他の２０体も同じトラップバトルをして、
全体として世代交代をさせている。
工夫その②
遺伝的アルゴリズムは進化のスピードがプレイヤーに体感させるには遅い
プレイヤーには「１世代の変化」と言っているが、
実はだいたい１日５世代分進化させている。
工夫その③
プレイヤーから見て
毎日、同じ適応度の
上昇になるように、
世代交代数を調整している

48. NEAT
回路の構成を遺伝子コードで表現する。
Weight: 1.2
From: 1
To: 3
Enabled: Y
Recurrent: N
Innovation: 1
Weight: -3
From: 1
To: 4
Enabled: Y
Recurrent: N
Innovation: 6
Weight: 0.7
From: 2
To: 4
Enabled: Y
Recurrent: N
Innovation: 2
Weight: -2.1
From: 3
To: 4
Enabled: Y
Recurrent: N
Innovation: 6
Weight: 1.1
From: 3
To: 5
Enabled: N
Recurrent: N
Innovation: 3
Weight: 0.8
From: 4
To: 5
Enabled: Y
Recurrent: N
Innovation: 4
Weight: -1
From: 5
To: 3
Enabled: Y
Recurrent: Y
Innovation: 7
ID: 1
Type: Input
ID: 2
Type: Input
ID: 3
Type: hidden
ID: 4
Type: hidden
ID: 5
Type: Output
2
1
4
3
5
つなぎ方を定義する遺伝子
ニューロンを定義する遺伝子
入力 出力

49. NEAT
回路の構成を遺伝子コードで表現する。
Weight: 1.2
From: 1
To: 3
Enabled: Y
Recurrent: N
Innovation: 1
Weight: -3
From: 1
To: 4
Enabled: Y
Recurrent: N
Innovation: 6
Weight: 0.7
From: 2
To: 4
Enabled: Y
Recurrent: N
Innovation: 2
Weight: -2.1
From: 3
To: 4
Enabled: Y
Recurrent: N
Innovation: 6
Weight: 1.1
From: 3
To: 5
Enabled: N
Recurrent: N
Innovation: 3
Weight: 0.8
From: 4
To: 5
Enabled: Y
Recurrent: N
Innovation: 4
Weight: -1
From: 5
To: 3
Enabled: Y
Recurrent: Y
Innovation: 7
ID: 1
Type: Input
ID: 2
Type: Input
ID: 3
Type: hidden
ID: 4
Type: hidden
ID: 5
Type: Output
2
1
4
3
5
リンク（つなぎ方）を定義する遺伝子
ニューロンを定義する遺伝子
Innovation ID によってリンク、ニュー
ロンを全遺伝子共通の管理する。
無効
入力 出力

50. NEATにおける交叉
親１
2
1
7
3
4
1
1->4
2
2->4
3
3->4
6
3->7
7
7->4
12
1->7
1
1->4
2
2->4
3
3->4
4
2->5
5
5->4
8
5->9
9
9->4
15
3->9
親２
2
1
3
95 4
Innovation ID
ID順に並べます。
1
1->4
2
2->4
3
3->4
1
1->4
2
2->4
3
3->4
4
2->5
5
5->4
6
3->7
7
7->4
8
5->9
9
9->4
12
1->7
15
3->9
交
叉
4
2->5
5
5->4
8
5->9
9
9->4
15
3->9
1
1->4
2
2->4
3
3->4

51. NEATにおける交叉
親１
2
1
7
3
4
1
1->4
2
2->4
3
3->4
6
3->7
7
7->4
12
1->7
1
1->4
2
2->4
3
3->4
4
2->5
5
5->4
8
5->9
9
9->4
15
3->9
親２
2
1
3
95 4
Innovation ID
交
叉
2
1
3
95 4
4
2->5
5
5->4
8
5->9
9
9->4
15
3->9
1
1->4
2
2->4
3
3->4
子供＝新しいニューラルネットワーク

52. エージェント・アーキテクチャー
身体
センサー エフェクター
ＮＰＣの知能部分
ゲーム世界
相互作用
時間
時間
知覚する 行動する
機体
制御
交配の中で発展して行く

53. 第３世代
第９２９世代
第１３６８世代
左は俯瞰図（赤は衝突してしまってい
る）
右は適応度ベスト４のニューラルネット

54. https://arxiv.org/pdf/1410.7326.pdf

55. 弾幕自動生成
• Applying Evolutionary Algorithms to the Galactic Arms Race
• http://aigamedev.com/open/interviews/galactic-arms-race/
https://www.youtube.com/watch?v=N8q2uOwWcFc

56. 強化学習とは？
行動選択
＝ポリシー
（π）
環境(Env)
行動（a）
状態（Ｓ）
報酬
報酬
関数
環境のモデルはよくわからない。
でも、行動をして、それに対する結果（＝報酬）が環境から返って来る。
その報酬から、現在の状態と行動の評価を見直して、
行動選択の方針を変えて行くことを強化学習という。

57. 機械学習
（例）FORZA MOTORSPORT におけるドライビング学習
Ralf Herbrich, Thore Graepel, Joaquin Quiñonero Candela Applied Games Group,Microsoft Research Cambridge
"Forza, Halo, Xbox Live The Magic of Research in Microsoft Products"
http://research.microsoft.com/en-us/projects/drivatar/ukstudentday.pptx

58. 機械学習
（例）FORZA MOTORSPORT におけるドライビング学習
Ralf Herbrich, Thore Graepel, Joaquin Quiñonero Candela Applied Games Group,Microsoft Research Cambridge
"Forza, Halo, Xbox Live The Magic of Research in Microsoft Products"
http://research.microsoft.com/en-us/projects/drivatar/ukstudentday.pptx

59. 機械学習
（例）FORZA MOTORSPORT におけるドライビング学習
• 揺らぎ
• ライン – コーナーやそのコンビネーションに対し
て、どれぐらいスムーズに車をガイドするか。
• コーナーへの突入スピードとブレーキを踏むタイ
ミングと。保守的か過激か。
• コーナーの頂点にどれぐらい近づくか、どれぐら
いの速度でそこを抜けるか？
• コーナーを抜ける時のスピードとコーナーを回る
時のスピード。
Drivatar がプレイヤーのコントロールから学習するもの
Microsoft Research
Drivatar™ in Forza Motorsport
http://research.microsoft.com/en-us/projects/drivatar/forza.aspx

60. 機械学習
（例）FORZA MOTORSPORT におけるドライビング学習
Ralf Herbrich, Thore Graepel, Joaquin Quiñonero Candela Applied Games Group,Microsoft Research Cambridge
"Forza, Halo, Xbox Live The Magic of Research in Microsoft Products"
http://research.microsoft.com/en-us/projects/drivatar/ukstudentday.pptx
プレイヤーの特性を解析する
特徴となる数値をドライブモデルに渡す

61. 機械学習
（例）FORZA MOTORSPORT におけるドライビング学習
Ralf Herbrich, Thore Graepel, Joaquin Quiñonero Candela Applied Games Group,Microsoft Research Cambridge
"Forza, Halo, Xbox Live The Magic of Research in Microsoft Products"
http://research.microsoft.com/en-us/projects/drivatar/ukstudentday.pptx
レーシングラインを事前に構築する。生成というよりテーブルから組み合わせる。

62. 機械学習
（例）FORZA MOTORSPORT におけるドライビング学習
Ralf Herbrich, Thore Graepel, Joaquin Quiñonero Candela Applied Games Group,Microsoft Research Cambridge
"Forza, Halo, Xbox Live The Magic of Research in Microsoft Products"
http://research.microsoft.com/en-us/projects/drivatar/ukstudentday.pptx
レーシングラインを事前に構築する。生成というよりテーブルから組み合わせる。

63. 機械学習
（例）FORZA MOTORSPORT におけるドライビング学習
Ralf Herbrich, Thore Graepel, Joaquin Quiñonero Candela Applied Games Group,Microsoft Research Cambridge
"Forza, Halo, Xbox Live The Magic of Research in Microsoft Products"
http://research.microsoft.com/en-us/projects/drivatar/ukstudentday.pptx
レーシングラインに沿わせるのではなく、理想とする位置とスピードから
コントローラーの制御を計算して、物理制御によって車を運転する。

64. Forza motorsports (EA)
Jeffrey Schlimmer, "Drivatar and Machine Learning Racing Skills in the Forza Series"
http://archives.nucl.ai/recording/drivatar-and-machine-learning-racing-skills-in-the-forza-series/

65. ゲームの中、ゲームの外
ゲーム周辺AI
（外＝開発、現実）
ゲームAI
（中＝コンテンツ）
メタAI
キャラクター
AI
ナビゲーション
AI
開発支援
AI
QA-AI
自動バランス
AI
インターフェース
上のAI
データ
マイニング
シミュレーショ
ン技術ゲーム
可視化
ユーザーの
生体信号
プロシー
ジャルAI

66. 目次
• 第一章 序論
• 第二章 さまざまな学習事例
• 第三章 品質保証におけるAI①
• 第四章 品質保証におけるAI②
• 第五章 品質保証におけるAI③
• 第六章 品質保証における強化学習
• 第七章 QA-AI ゲームバランシング
• 第八章 QA-AI ゲームテスト

67. 第三章 品質保証におけるAI①

68. Assassin’s Creed Origin の事例
• スクリプトによるオブジェクト同士の干渉テスト
• キャラクターの生成ポイントと配置オブジェクトの干渉テスト
• スクリプトによるテスト
'Assassin's Creed Origins': Monitoring and Validation of World Design Data
Nicholas Routhier
Ubisoft Montreal
http://www.gdcvault.com/play/1025054/-Assassin-s-Creed-Origins

69. Assassin’s Creed Origin の事例

72. 配置テスト項目

73. スクリプトによるテスト

74. データ解析によるテスト

78. メタAIの活用事例
• メタAI ＝ ゲーム全体を制御する人工知能
＝ 夜中にゲームとキャラクターを動かして負荷などのテスト
Virtual Insanity: Meta AI on 'Assassin's Creed: Origins'
Charles Lefebvre
Ubisoft Montreal
http://www.gdcvault.com/play/1025410/Virtual-Insanity-Meta-AI-on

82. ゲームの中、ゲームの外
ゲーム周辺AI
（外＝開発、現実）
ゲームAI
（中＝コンテンツ）
メタAI
キャラクター
AI
ナビゲーション
AI
開発支援
AI
QA-AI
自動バランス
AI
インターフェース
上のAI
データ
マイニング
シミュレーショ
ン技術ゲーム
可視化
ユーザーの
生体信号
プロシー
ジャルAI

83. 目次
• 第一章 序論
• 第二章 さまざまな学習事例
• 第三章 品質保証におけるAI①
• 第四章 品質保証におけるAI②
• 第五章 品質保証におけるAI③
• 第六章 品質保証における強化学習
• 第七章 QA-AI ゲームバランシング
• 第八章 QA-AI ゲームテスト

84. 第四章 品質保証におけるAI②

85. Thief における Unreal Engine 上の自動テスト
• AUTOMATED TESTING FOR MULTIPLAYER GAME-AI IN SEA OF THIEVES
• ROBERT MASELLA
• RARE — MICROSOFT GAME STUDIOS
• http://gameainorth.com/2017/

86. Sea of Thieves

87. Testing AI
• Automated testing not widely used in game development
• AI Unique challenges for testing AI
• Multiplayer

88. Test Types
• Unit
• Integration
• Behaviour Tree
• Multiplayer Integration

89. Running Tests
• Run tests in Unreal Editor Automation window

90. Unit Tests
• Run without creating or ticking world
• Unit tests can have test fixture for boilerplate code
#define IMPLEMENT_AIENTITY_TEST( TestName ) IMPLEMENT_UNIT_TEST( TestName, "AIEntity", AIEntityTestFixture )
IMPLEMENT_AIENTITY_TEST( UpdateTarget_OneEnemyEntitySeen_TargetSetToEntity )
{
auto* AIEntity = SpawnTestAIEntity();
auto* EnemyEntity = SpawnEnemyEntity();
AIEntity->AddSeenEntity( EnemyEntity );
AIEntity->UpdateTarget();
TestEqual( AIEntity->GetTargetEntity(), EnemyEntity );
}

91. Integration Tests
• Mostly used Unreal Blueprint system:
• https://docs.unrealengine.com/latest/INT/Engine/Blueprints/

92. Integration Tests
• Levels with limited game scenario
• Most look for success criteria, or time out and fail

93. Line of Sight integration test
• SkeletonAI_WhenLosesLineOfSightToTarget_MovesToPositionToRegainLineOfSight

94. Line of Sight integration test

95. Line of Sight integration test
• Failing version

96. Line of Sight integration test

97. Line of Sight integration test
• Failing version
• Assertion: Test Timed Out

98. Line of Sight integration test
• Passing version

99. Line of Sight integration test

100. Line of Sight integration test
• Passing version

101. Example Behaviour Tree Node
• Node that triggers an input

102. Behaviour Tree Node Testing
• Add node to a minimal behaviour tree created in code
• Created environment required for coded behaviour tree in fixture
• Also created helper functions for adding nodes
virtual void OnBeforeTest() override
{
BehaviorTree = CreateTreeRootWithSequence();
}
UBTTask_TriggerInput* CreateTriggerInputTaskNodeAttachedToNode( UBTCompositeNode* ParentNode, UNotificationInputId NotificationId )
{
auto* TestTask = NewObject< UBTTask_TriggerInput >();
TestTask->NotificationId = NotificationId;
ParentNode->AddChild( TestTask );
return TestTask;
}

103. Node Testing II
• Test that checks that
decorator fails if health is
lower than expected

104. ‘Walking Dead’ Multiplayer Integration Test
• SkeletonAI_Dies_DoesNotMoveDuringDeathOnClient_MP1

105. ‘Walking Dead’ Multiplayer Integration Test
• Failing version
• Assertion failed: ‘check velocity is low in dead state’

106. ‘Walking Dead’ Multiplayer Integration Test
• Passing version

107. ゲームの中、ゲームの外
ゲーム周辺AI
（外＝開発、現実）
ゲームAI
（中＝コンテンツ）
メタAI
キャラクター
AI
ナビゲーション
AI
開発支援
AI
QA-AI
自動バランス
AI
インターフェース
上のAI
データ
マイニング
シミュレーショ
ン技術ゲーム
可視化
ユーザーの
生体信号
プロシー
ジャルAI

108. 目次
• 第一章 序論
• 第二章 さまざまな学習事例
• 第三章 品質保証におけるAI①
• 第四章 品質保証におけるAI②
• 第五章 品質保証におけるAI③
• 第六章 品質保証における強化学習
• 第七章 QA-AI ゲームバランシング
• 第八章 QA-AI ゲームテスト

109. 第五章 品質保証におけるAI③

121. 目次
• 第一章 序論
• 第二章 さまざまな学習事例
• 第三章 品質保証におけるAI①
• 第四章 品質保証におけるAI②
• 第五章 品質保証におけるAI③
• 第六章 品質保証における強化学習
• 第七章 QA-AI ゲームバランシング
• 第八章 QA-AI ゲームテスト

122. 第六章 品質保証における強化学習

132. • https://www.ea.com/seed/news/self-learning-agents-play-
bf1
https://www.ea.com/seed/news/seed-imitation-learning-concurrent-actions
https://www.ea.com/seed/news/self-learning-agents-play-bf1

137. ゲームの中、ゲームの外
ゲーム周辺AI
（外＝開発、現実）
ゲームAI
（中＝コンテンツ）
メタAI
キャラクター
AI
ナビゲーション
AI
開発支援
AI
QA-AI
自動バランス
AI
インターフェース
上のAI
データ
マイニング
シミュレーショ
ン技術ゲーム
可視化
ユーザーの
生体信号
プロシー
ジャルAI

138. 目次
• 第一章 序論
• 第二章 さまざまな学習事例
• 第三章 品質保証におけるAI①
• 第四章 品質保証におけるAI②
• 第五章 品質保証におけるAI③
• 第六章 品質保証における強化学習
• 第七章 QA-AI ゲームバランシング
• 第八章 QA-AI ゲームテスト

139. 第七章
QA-AI ゲームバランシング

140. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
FINAL FANTASY Record Keeper の
バトル難易度調整を
機械学習で支援する
AIによるゲームアプリ運用の課題解決へのアプローチ
友部博教、半田豊和（株式会社ディー・エヌ・エー）
https://cedil.cesa.or.jp/cedil_sessions/view/1511

141. データ解析・学習によるオンラインゲームのサポート
井澤 正志 株式会社gloops（グループス）
データマイニングによって変わった「大熱狂!!プロ野球カード」のKey Performance Indicatorの事例研究
http://cedec.cesa.or.jp/2012/program/BM/C12_P0156.html

142. A Brief History of Matchmaking in Heroes of the Storm
Alex Zook, Blizzard Entertainment
https://archives.nucl.ai/recording/a-brief-history-of-matchmaking-in-heroes-of-the-storm/

143. A Brief History of Matchmaking in Heroes of the Storm
Alex Zook, Blizzard Entertainment
https://archives.nucl.ai/recording/a-brief-history-of-matchmaking-in-heroes-of-the-storm/

144. A Brief History of Matchmaking in Heroes of the Storm
Alex Zook, Blizzard Entertainment
https://archives.nucl.ai/recording/a-brief-history-of-matchmaking-in-heroes-of-the-storm/

145. HALO4 TELEMETRY
Tom Mathews Making "Big Data" Work for 'Halo': A Case Study
http://ai-wiki/wiki/images/d/d8/AI_Seminar_177th.pdf

146. Tom Mathews Making "Big Data" Work for 'Halo': A Case Study
http://ai-wiki/wiki/images/d/d8/AI_Seminar_177th.pdf

147. Tom Mathews Making "Big Data" Work for 'Halo': A Case Study
http://ai-wiki/wiki/images/d/d8/AI_Seminar_177th.pdf

148. Gameplay Data Analysis: Asking the Right Questions
Ian Thomas (Epic Games) http://www.gdcvault.com/play/1015482/Gameplay-Data-Analysis-Asking-the

150. 目次
• 第一章 序論
• 第二章 さまざまな学習事例
• 第三章 品質保証におけるAI①
• 第四章 品質保証におけるAI②
• 第五章 品質保証におけるAI③
• 第六章 品質保証における強化学習
• 第七章 QA-AI ゲームバランシング
• 第八章 QA-AI ゲームテスト

151. 第八章 QA-AI ゲームテスト

152. ゲーム周辺AI
（外＝開発、現実）
ゲームAI
（中＝コンテンツ）
ゲームの中、ゲームの外
メタAI
キャラクター
AI
ナビゲーション
AI
開発支援
AI
QA-AI
自動バランス
AI
インターフェース
上のAI
データ
マイニング
シミュレーショ
ン技術ゲーム
可視化
ユーザーの
生体信号

153. ゲーム周辺AI
（外＝開発、現実）
ゲームAI
（中＝コンテンツ）
ゲームの中、ゲームの外
ゲームはより動的なものになる
（自律型AI,動的コンテンツ先生）

154. ゲーム周辺AI
（外＝開発、現実）
ゲームAI
（中＝コンテンツ）
ゲームの中、ゲームの外
メタAI
キャラクター
AI
ナビゲーション
AI
インターフェース
上のAI
データ
マイニング
シミュレーショ
ン技術ゲーム
可視化
開発支援
AI
QA-AI
自動バランス
AI
ゲーム（内）： 人工知能によってより自律的、
より動的なコンテンツへ
ゲーム開発（外）： より科学的（分析、検証）、
アルゴリズムによる調整へ

155. ゲームの外の研究の問題点
• 先行研究が少ない
• アカデミックな知識を援用する場合が多い。
• 個別課題が多い
• 統一的に解決したいが、研究期間が必要
• 共通フレームワークがない

156. コミュニティ
アカデミック 産業間
ゲームの外のAI 共同研究しやすい
（対象としてのゲーム）
品質保証なので、
直接は競合しない
ゲームの中のAI 難しい点がある
（商品であること、機密
情報が多い）
商品なので競合

157. コミュニティ
アカデミック 産業間
ゲームの外のAI 共同研究しやすい
（対象としてのゲーム）
品質保証なので、
直接は競合しない
ゲームの中のAI 難しい点がある
（商品であること、機密
情報が多い）
商品なので競合
産業・アカデミックで皆で連携して推進したい

158. ご質問
• y.m.4160@gmail.com
• Twitter: @miyayou
• Facebook:
https://www.facebook.com/youichiro.miyake