SHIBUYA SYNAPSE #2「ゲームAIのこれから - ゲーム開発工程における人工知能「ゲームの外のAI」の促進に向けて」

ゲームAIのこれから
ゲーム開発工程における人工知能
「ゲームの外のAI」の促進に向けて
株式会社スクウェア・エニックス
三宅陽一郎
FFXV リードAIアーキテクト / リードAIリサーチャー
2017.11.23
©2017 SQUARE ENIX CO., LTD. All Rights Reserved.
SHIBUYA SYNAPSE 第二回
miyakey@square-enix.com

ゲームの中、ゲームの外
ゲーム周辺
（外＝開発、現実）
ゲーム
（中＝コンテンツ）

レベル
ナビゲーション
AI
メタAI
キャラクター
AI
エージェントを動的に配置
レベル状況を監視
キャラクターに指示
ゲームの流れを作る
自律的な判断
仲間同士の協調
時にチームＡＩとなる
メタAI, キャラクターAIの為に
レベルの認識のためのデータを準備
オブジェクト表現を管理
ナビゲーション・データの管理
パス検索 / 位置解析
Support
敵キャラクタ－
プレイヤー
頭脳として機能
情報獲得
コントロール

ゲーム外AI
• 開発工程を助けるAI プロシージャル機能
• バランス調整するAI 遺伝的アルゴリズム、ニューラルネット
• QAのためのAI QA-AI
• メタAI バランス調整、ゲームメーキング
• インターフェース上のAI 音声解析、言語解析、ゼスチャー認識
• データマイニングするAI ロギング＆アナライジング
• シミュレーション技術パラメーター生成
• データビジュアリゼーションゲームを可視化する

ゲーム周辺AI
ゲームAI
メタAI
キャラクター
AI
AI
開発支援
AI
QA-AI
自動バランス
AI
インターフェース
上のAI
データ
マイニング
シミュレー
ション技術ゲーム
可視化
ユーザーの
生体信号

ゲーム周辺AI
ゲームAI
メタAI
キャラクター
AI
AI
開発支援
AI
QA-AI
自動バランス
AI
上のAI
データ
マイニング
シミュレー
可視化
ユーザーの
生体信号
ゲームの内部を外部を科学する

ゲーム周辺AI
ゲームAI
メタAI
キャラクター
AI
AI
開発支援
AI
QA-AI
自動バランス
AI
上のAI
データ
マイニング
シミュレー
可視化
ユーザーの
生体信号
ゲームが人工知能を求め、
人工知能はゲームを温床として進化する
＝ゲームと人工知能の共進化

FINAL FANTASY XV AI Teams
• 株式会社スクウェア・エニックス
• 三宅陽一郎
（AI Graph）白神陽嗣、横山貴規、下川和也
（モンスターAI）並木幸介、小松智希、
（アニメーション）今村紀之
（ナビゲーションAI）Fabien Gravot、Hendrik Skubch、
Ingimar Holm Gudmundsson、Matthew W. Johnson
（仲間AI、メタAI）Prasertvithyakarn Prasert，上段達弘
（AI Mode）高橋光佑

本日のコンテンツ（参考文献）
• 白神陽嗣、並木幸介、三宅陽一郎、横山貴規
「FINAL FANTASY XV におけるキャラクターAIの意思決定システム」
• http://cedil.cesa.or.jp/cedil_sessions/view/1437
• 上段達弘、下川和也、高橋光佑、並木幸介
「FINAL FANTASY XV におけるレベルメタAI制御システム」
http://cedil.cesa.or.jp/cedil_sessions/view/1544
• グラヴォファビアン、下川和也、Hendrik Skubch、Ingimar Gudmundsson
「FINAL FANTASY XV におけるキャラクターナビゲーションパイプライン～パス検索とステアリングとアニメーションの連携～」
• Skubch, H.:
Not Just Planning: STRIPs for Ambient NPC Interactions in Final Fantasy XV, nucl.ai（2015）．
https://archives.nucl.ai/recording/not-justplanning-strips-for-ambient-npc-interactions-infinal-fantasy-xv/
• 今村紀之、川地克明
「FINAL FANTASY XV -EPISODE DUSCAE- のアニメーション～接地感向上のためのとりくみ～」
SQUARE ENIX PUBLICATIONS
• http://www.jp.square-enix.com/tech/publications.html

参考文献
三宅陽一郎「ディジタルゲームにおける人工知能技術の応用の現在」 (20ページ)
（人工知能学会誌、2015/1号）（AI書庫から無料でDL可能 http://id.nii.ac.jp/1004/00001730/ ）

参考文献
三宅陽一郎「大規模ゲームにおける人工知能 ─ファイナルファンタジーXV の実例をもとに─」
(17ページ) （人工知能学会誌、2017 /2号）（AI書庫から無料でDL可能 http://id.nii.ac.jp/1004/00008567/ ）

参考文献
GAME AI PRO 3 (2017/6) 世界中から集められた記事をもとに２年ごとに発行される

参考文献
Predictive Animation Control Using Simulations and Fitted Models.
Ingimar Hólm Guðmundsson, Skubch Hendrik, Fabien Gravot and Yoichiro Miyake
Ambient Interactions: Improving believability by leveraging Rule-based AI
Hendrik Skubch
Logging Visualization in FINAL FANTASY XV
Matthew W. Johnson, Fabien Gravot, Shintaro Minamino, Ingimar Gudmundsson,
Hendrik Skubch, and Miyake Youichiro
Guide to Effective Autogenerated Spatial Queries
Eric Johnson
A Character Decision-Making System for FINAL FANTASY XV by combining
Behavior Trees and State Machines
Youichiro Miyake, Youji Shirakami, Shimokawa Kazuya, Kousuke Namiki, Tomoki,
Komatsu, Tatsuhiro Joudan, Prasertvithyakarn Prasert, Takanori Yokoyama

本講演のコンテンツ
第一部ゲームの内側のAI
第一章ゲームの知能化
第二章キャラクターAI
第三章キャラクターAI（学習）
第四章ナビゲーションAI
第五章メタAI
第六章プロシージャル技術
第二部ゲームの外側のAI
第一章モーション解析
第二章データビジュアリゼーション
第三章ロギングシステム

自然知能と人工知能
人間
＝自然知能
機械
＝人工知能

機械（マシン）
ソフトウェア
知能
身体
機能
知能
http://www.1999.co.jp/blog/1210192
http://ja.wallpapersma.com/wallpaper/_-
%E3%83%AA%E3%82%B9%E3%80%81%E5%A3%81%E7%B4%99%E3%80%81%E3%83%AF%E3%82%A4%E3%83%89%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%81%AE%E3%80%81%E3
%83%9E%E3%83%83%E3%82%AF%E3%80%81%E3%83%9A%E3%83%83.html

人間の精神、機械の精神
意識
前意識
無意識
外部から
の情報
意識
前意識
無意識
外部から
の情報
言語・非言語境界面
知覚の境界面
人工知能は、人間の知能を機械に移したもの。

産業革命
情報革命
ネット革命
知能革命
機械化・自動化（オートメーション化）
電子情報化
オンライン化
知能化
第二次産業革命
電動化
現代は「知能化」の時代に
入りつつある。

ゲーム全体の知能化
ゲーム・ソフトウェア
知能化された
ゲーム・ソフトウェア
ゲームも知能化の時代を迎えようとしている。
では「ゲームの知能化」とはどういうことだろうか？
それを見ていこう。

ＡＩの分化
ゲームシステム
メタＡＩ
キャラクターＡＩナビゲーションＡＩ
３つのＡＩシステムは序々に分化して独立して行った。
では、今度はナビゲーションＡＩについてさらに詳しく見てみよう。

フィールド
３つのＡＩの連携の例
AI
メタAI
キャラクターAI
状況を監視し、キーとなる役割を
適切なタイミングでエージェントに
指示する。
自律的な判断。
仲間同士の協調
地形を解析する
目的に応じた点を見つけ出す
目的地までのパスを計算する
Support
エージェントが自律的に戦闘・協調しつつ、ナビゲーションAIが
戦術的ポイントを教え、メタAIは、全体の戦闘の流れを作る。

本講演のコンテンツ
第一部ゲームの内側のAI
第五章メタAI
第六章プロシージャル技術
©2017 SQUARE ENIX CO., LTD. All
Rights Reserved.
第二部ゲームの外側のAI
第一章モーション解析
第二章データビジュアリゼーション
第三章ロギングシステム

FC SFC SS, PS PS2,GC,Xbox Xbox360, PS3, Wii
DC （次世代）Hardware 時間軸20051999
ゲームの進化と人工知能
複雑な世界の
複雑なＡＩ
ゲームも世界も、ＡＩの身体と内面もますます複雑になる。
単純な世界の
シンプルなＡＩ
（スペースインベーダー、タイトー、1978年）
（アサシンクリード、ゲームロフト、2007年）

(例) スペースインベーダー(1978)
プレイヤーの動きに関係なく、決められた動きをする
（スペースインベーダー、タイトー、1978年）

（例）プリンス・オブ・ペルシャ
「プリンス・オブ・ペルシャ」など、
スプライトアニメーションを用意する必要がある場合、
必然的にこういった制御となる。
（プリンスオブペルシャ、1989年）

３Ｄゲームの中のＡＩ
Halo
（ＨＡＬＯ、バンジー、2001年）デバッグ画面
The Illusion of Intelligence - Bungie.net Downloads
http://downloads.bungie.net/presentations/gdc02_jaime_griesemer.ppt

環境
人工知能とは？
身体
人工知能＝人工的な存在（＝身体）を環境の中で活動させる
入力（センサー）行動（アウトプット）
知能

知能の世界
環境世界
認識の
形成
記憶
意思の
決定
身体
制御
エフェクター・
身体
運動の
構成
センサー・
身体
意思決定
モジュール
意思決定
モジュール
意思決定
モジュール
記憶体
情報処理過程運動創出過程
身体部分
情報
統合
運動
統合

サブサンプション・アーキテクチャ（ロドニー・ブルックス）
INPUT OUTPUT
時間
情報抽象度
反射的に行動
少し場合ごとに対応
抽象的に思考
理論的に考える
言語化のプロセス
= 自意識の構築化
Subsumpution Architecture
運動の実現のプロセス
= 身体運動の生成

Physical
Informa
tion
Abstrac
t
Informa
tion
More
Abstrac
t
Informa
tion
Abstraction
Time
Decision-Making
Decision-Making
Decision-Making
Multi-Layered
Blackboard
Abstraction
Abstraction
Reduction
Reduction
Reduction
World
Sensor Effecto
r
World Dynamics
Artificial Intelligence
Decision-MakingDecision-Making

視覚センサとターゲットサーチ
• 視覚センサ

意思決定モデル
ステート（状態）ベースAI
ゴール（目標）ベースAI
ルール（規則）ベースAI
ビヘイビア（振る舞い）ベースAI
意思決定というものは非常に高度で複雑なプロセスです。
でも、ゲームで用いるいくつかの簡易モデルが存在します。
シミュレーションベース AI
ユーティリティ（効用）ベース AI
Rule-based AI
State-based AI
Behavior-based AI
Goal-based AI
Utility-based AI
「○○-based AI」とは、○○をAIを構築する基本単位として採用したＡＩということ。
タスク（仕事）ベース AI
Task-based AI
意思決定
Simulation-based AI

3. ルールAIシステム
• ルールAI
©2016-2017 SQUARE ENIX CO., LTD. All Rights Reserved.
ベヒモスの
ルール
白神陽嗣、並木幸介、三宅陽一郎、横山貴規「FINAL FANTASY XV におけるキャラクターAIの意思決定システム」

意思決定モデル
ゴール（目標）ベースAI
ルール（規則）ベースAI
ビヘイビア（振る舞い）ベースAI
意思決定というものは非常に高度で複雑なプロセスです。
でも、ゲームで用いるいくつかの簡易モデルが存在します。
シミュレーションベース AI
ユーティリティ（効用）ベース AI
Rule-based AI
State-based AI
Behavior-based AI
Goal-based AI
Utility-based AI
「○○-based AI」とは、○○をAIを構築する基本単位として採用したＡＩということ。
タスク（仕事）ベース AI
Task-based AI
意思決定
Simulation-based AI
ステート（状態）ベースAI

root
バトル
撤退
休憩
攻撃
隠れる
逃走する
足止めする
立ち止まる
回復する
トラップ
眠る
回復薬を飲む
弓を放つ
剣を振る
森に潜む
穴を掘る
建物に隠れる
攻撃魔法
氷系
風系プライオリティ
プライオリティ
シークエンス
シークエンス
ランダム
ランダム
ランダム
ビヘイビア
（末端ノード）
層
層
選択ルール
選択ルール

1. 視覚センサとターゲットサーチ
• AI Graphでターゲットを登録しているところ
白神陽嗣、並木幸介、三宅陽一郎、横山貴規

警戒
追跡
追いかける
攻撃する
威嚇攻撃
味方に指示
出口をかためる
味方を呼ぶ
味方がいない
かつ
戦闘範囲外
味方と合流
味方と合流
味方がいる
見失う
見える
見失う見つける
巡回する
１０秒経つ
物音を
聴く
応答がきた
階層型ステート・マシン

ステート・マシン

ハイブリッド型ノードフォーマット
ステートマシン
ビヘイビアツリー
ステートマシン構造の異なるグラフシステムを
組み合わせられる
処理の中身がグラフ構造に
なっても良い。
待機
移動
たたかう
移動
攻撃

第一階層
第二階層
第三階層
階層化によるスケーラビリティ

ビジュアルデバッグ機能
ビジュアルノードデバッガによる
動作状況の確認
インゲームデバッグウィンドウ
による詳細ログの確認

並列思考
• ビヘイビアツリーの場合
[Parallelノード]
どちらか一方が終了
するまで、動作を継
続する。

並列思考
ビヘイビアツリーによる並列思考の様子

F.E.A.R.のプランニング
シンボルによる連鎖プランニング
ターゲットＡが
死んでいる
ターゲットＡが
死んでいる
攻撃
武器が装填
されている
武器が装填
されている
装填する
武器を
持っている
武器を
持っている
武器を拾う
条件なし
プラナー
プランニング
Jeff Orkins, Three States and a Plan: The AI of FEAR
http://alumni.media.mit.edu/~jorkin/gdc2006_orkin_jeff_fear.pdf

計画を立てるＡＩ/計画を変更するＡＩ
Jeff Orkins, Three States and a Plan: The AI of FEAR
http://alumni.media.mit.edu/~jorkin/gdc2006_orkin_jeff_fear.pdf

袋
入
れる
回復薬を届ける
（ドメイン）
ブランチ
全色集める
ブランチ
赤と青を集める
ブランチ
赤と緑を集め
る
青拾
う
赤拾
う
緑拾
う
袋
入
れる
緑拾う
緑拾
う
袋入
れる
赤拾
う
青拾
う
赤拾
う
青拾
う
順序なしタスク
全順序タスク
局所的順序タスク
全色広場にある広場には赤と緑の宝石がある赤と青の宝石がある
原初タスク
回復薬を作る
（タスク）

HTN (Hierarchical Task Network)
Precondition
Task
Precondition
Task
On the AI Strategy for KILLZONE 2′s Multiplayer Bots
http://aigamedev.com/open/coverage/killzone2/
KILLZONE 2 MULTIPLAYER BOTS
Remco Straatman, Tim Verweij & Alex Champandard; Paris Game/AI Conference 2009, Paris 11 June 2009
https://www.guerrilla-games.com/read/killzone-2-multiplayer-bots

かがみながら近づく
行動する（タスク）
治療プランスタート
治療を周囲に通達
車
防御
ターゲットを選択
治療器具を使用する
徒歩前進
治療
行動
中止継続開始
治療
器具変更なし器具変更あり
メソッド適用
メソッド適用
メソッド適用
メソッド適用©2017 SQUARE ENIX CO., LTD. All Rights Reserved.
Remco Straatman, Tim Verweij & Alex Champandard; Paris Game/AI Conference 2009

生成されるタスクネットワーク
袋入
れる
青拾
う
赤拾
う
青拾
う
スター
ト
馬
車
を
呼
ぶ
戦場
まで
行く
ゴール
馬車
に載
せる
宝箱
に札を
つける
宝箱
に入
れる

On the AI Strategy for KILLZONE 2′s Multiplayer Bots
http://aigamedev.com/open/coverage/killzone2/

The Sims における「モチーフ・エンジン」
Ken Forbus, “Simulation and Modeling: Under the hood of The Sims” (NorthWerstern University)
http://www.cs.northwestern.edu/%7Eforbus/c95-gd/lectures/The_Sims_Under_the_Hood_files/frame.htm
Data
- Needs
- Personality
- Skills
- Relationships Sloppy - Neat
Shy - Outgoing
Serious - Playful
Lazy - Active
Mean - Nice
Physical
- Hunger
- Comfort
- Hygiene
- Bladder
Mental
- Energy
- Fun
- Social
- Room
Motive Engine
Cooking
Mechanical
Logic
Body
Etc.
AIの人格モデル

最適（＝最大効用）な行動を選択する
Hunger +20
Comfort -12
Hygiene -30
Bladder -75
Energy +80
Fun +40
Social +10
Room - 60
Mood +18
Toilet
- Urinate (+40 Bladder)
- Clean (+30 Room)
- Unclog (+40 Room)
Mood +26
Bathtub
- Take Bath (+40 Hygiene)
(+30 Comfort)
- Clean (+20 Room)
Mood +20
[原則] 周囲の対象に対する、あらゆる可能な行動から、
総合的な効用（＝Mood）を最大化する行動を選択する。
Ken Forbus, “Simulation and Modeling: Under the hood of The Sims” (NorthWerstern University)
http://www.cs.northwestern.edu/%7Eforbus/c95-gd/lectures/The_Sims_Under_the_Hood_files/frame.htm

CORE Layer は、Physical Laryer 、Mission Layer のうちで、
どの認識を生成するかを決定するコマンドを投げる。
CERA-CRANIUM認識モデル
Arrabales, R. Ledezma, A. and Sanchis, A. "Towards the Generation of Visual Qualia
in Artificial Cognitive Architectures". (2010)
http://www.conscious-robots.com/raul/papers/Arrabales_BICS2010.pdf

http://www.botprize.org/2010.html

キャラクターにおける様々な学習・進化
(1) ニューラルネットワークの応用
(2) 機械学習の応用
(3) 強化学習の応用
(4) 遺伝的アルゴリズムの応用

Neural Networks in Supreme Commander 2 (GDC 2012)
Michael Robbins (Gas Powered Games)
http://www.gdcvault.com/play/1015406/Off-the-Beaten-Path-Non
http://www.gdcvault.com/play/1015667/Off-the-Beaten-Path-Non
ニューラルネットワークの応用

Black & White （Lionhead,2000）
クリーチャーを育てていくゲーム。
クリーチャーは自律的に行動するが、
訓練によって学習させることができる。
http://www.youtube.com/watch?v=2t9ULyYGN-s
http://www.lionhead.com/games/black-white/

Belief – Desire – Intention モデル
Desire
(Perceptrons)
Opinions
(Decision Trees)
Beliefs
(Attribute List)
Richard Evans, “Varieties of Learning”, 11.2, AI Game Programming Wisdom
Low Energy
Source =0.2
Weight =0.8
Value =
Source*Weight =
0.16
Tasty Food
Source =0.4
Weight =0.2
Value =
Source*Weight =
0.08
Unhappines
s
Source =0.7
Weight =0.2
Value =
Source*Weight =
0.14
∑
0.16+0.08+0.14
Threshold
（0～1の値に
変換）
hunger
Desire（お腹すいた度）欲求を決定する
対象を決定する
それぞれの対象の
固有の情報
他にも
いろいろな
欲求を計算
Hunger
Compassion
Attack（戦いたい）
Help
Black & White （Lionhead,2000）

機械学習
（例）FORZA MOTORSPORT におけるドライビング学習
Ralf Herbrich, Thore Graepel, Joaquin Quiñonero Candela Applied Games Group,Microsoft Research Cambridge
"Forza, Halo, Xbox Live The Magic of Research in Microsoft Products"
http://research.microsoft.com/en-us/projects/drivatar/ukstudentday.pptx
レーシングラインを事前に構築する。生成というよりテーブルから組み合わせる。
©2017 SQUARE ENIX CO., LTD. All Rights
Reserved.

機械学習
（例）FORZA MOTORSPORT におけるドライビング学習
Ralf Herbrich, Thore Graepel, Joaquin Quiñonero Candela Applied Games Group,Microsoft Research Cambridge
レーシングラインに沿わせるのではなく、理想とする位置とスピードから
コントローラーの制御を計算して、物理制御によって車を運転する。
©2017 SQUARE ENIX CO., LTD. All Rights
Reserved.

世界
五感
身体
言語
知識表
現型
知識
生成
Knowledg
e
Making
意思決定
Decision
Making
身体
運動
生成
Motion
Making
インフォメーション・フロー（情報回廊）
記憶
キャラクターにおける学習の原理
行動の表現結果の表現意思決定

強化学習（例）
強化学習
（例）格闘ゲーム
キッ
ク
パン
チ
波動
R_0 : 報酬＝ダメージ

強化学習
（例）格闘ゲームTaoFeng におけるキャラクター学習
Ralf Herbrich, Thore Graepel, Joaquin Quiñonero Candela Applied Games Group,Microsoft Research
Cambridge
Microsoft Research Playing Machines: Machine Learning Applications in Computer Games
http://research.microsoft.com/en-us/projects/mlgames2008/
Video Games and Artificial Intelligence
http://research.microsoft.com/en-us/projects/ijcaiigames/

遺伝的アルゴリズムの応用
集団を一定の方向に進化させる方法
最初の世代新世代（１００～世代後）
…
世代を経て進化させる
1つの世代が次の世代を交配によって産み出す

遺伝的アルゴリズムの仕組み
遺伝子
遺伝子
次世代
親①
親②
母集団から優秀な親を
２体ピックアップ
遺伝子を掛け合わせる次世代の子供を産み出す
(selection) (crossover) (production)
現世代
このサイクルをくり返すことで世代を進めて、望ましい集団を産み出す
遺伝子
遺伝子

（例）① GA Racer
遺伝的アルゴリズムによって、遠くまで到達できるレーサーを作成する。
最初はここまでしか
たどり着けないが…
だんだんと遠くまで、
たどりつけるようにする。
Mat Buckland, "Building Better Genetic Algorithm", 11.4., AI Game Programming Wisdom 2
（CD-ROMにソースコードと実行ファイルがあります）
最初の世代新世代（１００～世代後）

森川幸人,
「テレビゲームへの人工知能技術の利用」,
人工知能学会誌vol.14 No.2 1999-3
http://www.ai-gakkai.or.jp/jsai/whatsai/PDF/article-iapp-7.pdf
http://www.1101.com/morikawa/1999-04-10.html
に準拠します。
以下の解説は
詳細は以下の資料へ

（例）④アストロノーカ
最初はすぐに罠にかかるが、だんだんと罠にかからないようになる
MuuMuu, PlayStation®用ソフト「アストロノーカ」（Enix, 1998）
http://dlgames.square-enix.com/jp/psga/2008/astronoka/
http://www.muumuu.com/product.html
新世代（５～世代後）最初の世代野菜
食べたい
世界最高峰の遺伝的アルゴリズムを使ったゲーム
（ＡＩをどうゲームに使うか、という手本のようなゲーム）

全体の流れ
トラップを配置する
１日の始まり
トラップバトル開始
トラップバトル終了
トラップ成績算出
各個体の成績算出
順位を決定
下位２体を削除
適応度に応じて親を選択
子供２体を生成
新しい世代を生成
規定世代に達した？
１日の終了
世代交代数を修正
突然変異率を修正

４－① 初期の個体集合を生成
個体を多数（GAにはある程度の母数が必要）用意し、
各NPCに遺伝子コードを設定し、初期値を設定する。
５６ｘ８＝４４８ビット
遺伝子身長耐性_快光線腕力脚力耐性_かかし体重
1.87 6.85 16.25 25.03 25.03 16.25 6.85 1.87
0 1 2 3 4 5 6 7
[各ビットの重み]
[バブーの属性（総計５６）]

ゲームシステムとしての工夫
全体の適応度の平均値
１日の適応度の伸び
世代交代数
工夫その① 遺伝的アルゴリズムは集団に対するアルゴリズム
一体のトラップバトルの裏で他の２０体も同じトラップバトルをして、
全体として世代交代をさせている。
工夫その②
遺伝的アルゴリズムは進化のスピードがプレイヤーに体感させるには遅い
プレイヤーには「１世代の変化」と言っているが、
実はだいたい１日５世代分進化させている。
工夫その③
プレイヤーから見て
毎日、同じ適応度の
上昇になるように、
世代交代数を調整してい
る

ルールAIシステム
• ルールAI
ベヒモスの
ルール

ハイブリッド型ノードフォーマット
ビヘイビアツリー

ビジュアルデバッグ機能
ビジュアルノードデバッガによる
動作状況の確認
インゲームデバッグウィンドウ
による詳細ログの確認
「FINAL FANTASY XV におけるキャラクターAIの意思決定システム
」

©2017 SQUARE ENIX CO., LTD. All
Rights Reserved.

ネットワーク上のグラフ検索法
A*法
M
F
L
B
A
Ｓ
O
P
D
C
G
S
V
H
Q
X
K
N
J
R
T
W
E
I
U
Z
Y
Ｇ
54
6 3
7 23
B C
3
3
2 24 3
5
5
出発点（Ｓ）を中心に、
そのノードまでの
最も短い経路を
形成して行く。
Gにたどり着いたら終了。
ゴール地点がわかっている場合、現在のノードとゴール
との推定距離（ヒューリスティック距離）を想定して、
トータル距離を取り、それが最少のノードを探索して行く
各ノードの評価距離＝出発点からの経路＋ヒューリスティック距離
ヒューリスティック距離
(普通ユークリッド距離を取る)
3+14.2 3+13.8
G H
3
5+10.5 6+8.4

パス検索とは
現在の地点から指定したポイントへの経路を、
リアルタイムで計算して導く技術。
RTS - Pathfinding A*
https://www.youtube.com/watch?v=95aHGzzNCY8

Counter Strike: Path Following (デモ)
The Official Counter-Strike Bot
http://aigamedev.com/insider/presentation/official-counter-strike-bot/

FFXV ナビゲーション・メッシュ
グラヴォファビアン、下川和也、
Hendrik Skubch、Ingimar Gudmundsson
「FINAL FANTASY XV におけるキャラクターナビゲーションパイプライン」

戦略位置検出システム
• ゲーム内の地形を、
• ゲーム内でリアルタイムで把握して、
• 自分の能力に合わせて、
• 最も適した位置を発見する
システム

PQS (Point Query System)
弓兵（AI）が次の目的地を発見したい。
(i) ゲーム現状
(ii) AIを中心に点をグリッド状に
生成し配置。（Generation）
(iii) 足場の悪い点を除く（Filtering）
(iv) 敵の近くのポイント、弓が届かな
いポイントを除く。(Filtering)
(v) 味方の近くを除く（Filtering）
(vi) 最も高い位置にあるポイントを選
択する。
このようにして、自分の最適な戦術位
置を自分自身で発見する。

PQS移動とステアリング

PQS移動とステアリング
• PQSデータ
複数のフィルタを組み合わせてPQSデータを作る
例.
角度フィルタ = 自分の前方30°
距離フィルタ = 対象から10m以上遠くで、出来るだけ近く
⇒ 相手の周囲をぐるぐる回る移動データが完成
例. PQS距離フィルタとそのプロパティ

第五章メタAI

メタＡＩの歴史
1980 1990 2000
古典的メタAI
現代のメタＡＩ
キャラクターＡＩ技術の発展
その歴史は古く、1980年代にまでさかのぼる。
その時代と現代のメタＡＩは、異なる点も多いので、
古典的メタＡＩ、現代のメタＡＩと名づけて区別することにしよう。

（例）「ゼビウス」（ナムコ、1983）
敵出現テーブル巻き戻し
敵0
敵１
敵2
敵3
敵4
敵5
『あと面白い機能なんですけれど、ゼビウスには非常に簡単なAIが組み込まれています。
「プレイヤーがどれくらいの腕か」というのを判断して、出てくる敵が強くなるんです。
強いと思った相手には強い敵が出てきて、弱いと思った相手には弱い敵が出てきます。そういっ
たプログラムが組み込まれています。ゲームの難易度というのは「初心者には難しくて、上級者
には簡単だ」ということが、ひとつの難易度で(調整を)やっていくと起きてしまうので、その辺を何
とか改善したいな、ということでそういったことを始めてみたのですけれど、お陰で割合にあまり上
手くない人でも比較的長くプレイできる、うまい人でも最後のほうに行くまで結構ドラマチックに楽
しめる、そういった感じになっています。』
－遠藤雅伸（出演）、1987、「糸井重里の電視遊戯大展覧会」『遠藤雅伸ゼビウスセミナー』フジテレビ－
ゼビウス

現代のメタAI
より積極的にゲームに干渉する。
メタAI
敵配位敵スパウニングストーリー
レベル
動的生成
ユーザー

メタＡＩ Left 4 Dead の事例
Michael Booth, "The AI Systems of Left 4 Dead," Artificial Intelligence and
Interactive Digital Entertainment Conference at Stanford.
http://www.valvesoftware.com/publications.html
今回は Left 4 Dead の事例を見てみる。

適応型動的ペーシング
[基本的発想]
(1) ユーザーがリラックスしている時に、ユーザーの
緊張度が一定の敷居を超えるまで敵をぶつけ
続ける。
(2) ユーザーの緊張度が一定の緊張度を超えると
敵を引き上げる。
(3) リラックスすると敵を出現し始める（(１)へ）。
Michael Booth, "The AI Systems of Left 4 Dead," Artificial Intelligence and
Interactive Digital Entertainment Conference at Stanford.

メタAI(=AI Director)によるユーザーのリラックス度に応じた敵出現度
ユーザーの緊張度
実際の敵出現数
計算によって
求められた
理想的な敵出現数
Build Up …プレイヤーの緊張度が目標値を超えるまで
敵を出現させ続ける。
Sustain Peak … 緊張度のピークを3-5秒維持するために、
敵の数を維持する。
Peak Fade … 敵の数を最小限へ減少していく。
Relax … プレイヤーたちが安全な領域へ行くまで、30-45秒間、
敵の出現を最小限に維持する。
Michael Booth, "The AI Systems of Left 4 Dead," Artificial Intelligence and Interactive Digital Entertainment Conference at Stanford.
より具体的なアルゴリズム

メタAIが作用を行う領域
(AAS=Active Area Set)
http://www.valvesoftware.com/publications.html ©2017 SQUARE ENIX CO., LTD. All Rights Reserved.

安全な領域までの道のり(Flow Distance)
メタＡＩはプレイヤー群の経路を
トレースし予測する。
- どこへ来るか
- どこが背面になるか
- どこに向かうか

まとめ
メタＡＩは、ゲームの流れを動的に作るＡＩで、キャラクターＡＩ、イベントなど
には命令だけを出す。これは明確に、メタＡＩと他のモジュールが独立した
関係にあるから可能なこと。©2017 SQUARE ENIX CO., LTD. All Rights Reserved.

Meta-ＡＩ
A buddy character receives a Meta AI’s order ,
and co-operate each other

第六章プロシージャル技術（自動生成技術）

プロシージャル技術
ゲームAI技術
AI技術
プロシージャル
技術
コンテンツ自動生成技術
（PCG, Procedural Contents Generation ）

Rogue (1980)のダンジョン生成法
Rect[0] Rect[0] Rect[1]
Rect[0]
Rect[1]
Rect[2] Rect[3]
このようにアセット（ゲームのデータ）をツールなどを通して製作するのではなく、
プログラムで作ることを「プロシージャル・コンテンツ・ジェネレーション」（PCG）と言う。
http://racanhack.sourceforge.jp/rhdoc/intromaze.html

WarFrame における自動生成マップの
自動解析による自動骨格抽出
• 自動生成するだけでなく、自動生成したダンジョンを、自動
解析します。ここでは、トポロジー（形状）検出を行います。

WarFrame における自動生成マップの
自動解析によるナビゲーションデータ作成
抽出した骨格に沿って
自動的にナビゲーション・データを作成します。
Daniel Brewer, AI Postmortems: Assassin's Creed III, XCOM: Enemy Unknown, and Warframe (GDC2015)
http://www.gdcvault.com/play/1018223/AI-Postmortems-Assassin-s-Creed

スタートポイント、出口、目的地の
自動生成

ヒートマップ（影響マップ）を用いて
ゲーム中にプレイヤーの周囲を自動解析
「ヒートが増加する＝プレイヤーが近づく点」
「ヒートが減少する＝プレイヤーが遠ざかる点」

メタAI （AI Director,）による
動的ペース調整

ブラウン運動から地形生成
http://ja.wikipedia.org/wiki/%E3%83%96%E3%83%A9%E3%82%A6%E3%83%B3%E9%81%8B%E5%8B%95
http://www.kenmusgrave.com

NO MAN’S SKY (Hello Games, 2016)
http://www.no-mans-sky.com/
宇宙、星系、太陽系、惑星を自動生成する。

FarCry2 (Dunia Engine ) デモ
草原自動生成時間システム
樹木自動生成動的天候システム
動的天候システム
http://www.farcry2-hq.com/downloads,18,dunia-engine-nr1.htm

ゲーム周辺AI
ゲームAI
メタAI
キャラクター
AI
AI
開発支援
AI
QA-AI
自動バランス
AI
上のAI
データ
マイニング
シミュレー
可視化
三宅
ユーザーの
生体信号

モーション解析
第一章

攻撃モーション解析
• 攻撃モーションの解析
攻撃モーション解析システムを使って、
アニメーション、攻撃コリジョンから自動的に
攻撃が到達する距離、角度を計算する
この距離、角度をルールAIや
AI Graphから利用
今までは企画が手調整していた部分を、
システムで半自動化することで工数を短縮

攻撃モーション解析

ルールAIシステム
• ルールAI
ベヒモスの
ルール

オーバーした距離の測定
こっちへ行きたいこっちへ行きたい
オーバーした距離
（Overshoot）
三宅陽一郎「大規模ゲームにおける人工知能 ─ファイナルファンタジーXV の実例をもとに─」
(17ページ) （人工知能学会誌、2017 /2号）（AI書庫から無料でDL可能 http://id.nii.ac.jp/1004/00008567/ ）

移動モーション解析

オーバーした距離の測定
Matthew W. Johnson, Fabien Gravot, Shintaro Minamino, Ingimar Gudmundsson, Hendrik Skubch, and Miyake Youichiro

ゲーム周辺AI
ゲームAI
メタAI
キャラクター
AI
AI
開発支援
AI
QA-AI
自動バランス
AI
上のAI
データ
マイニング
シミュレー
ション技術
ゲーム
可視化
ユーザーの
生体信号

データビジュアリゼーション
第二章

ナビゲーション・メッシュQA
• 全マップのナイトリービルド
• キャラクターの大きさごとの、
ナビゲーションメッシュ
• 開発内Webに一覧チェック機能
• 差分表示機能
グラヴォファビアン、下川和也、Hendrik Skubch、Ingimar Gudmundsson

ナビゲーションメッシュ
FINAL FANTASY XV のナビゲーション・メッシュのビジュアリゼーション
メッシュ接続
可視化
通常
前日との
差分
イメージ
大きな
モンスター
用メッシュ
フィルターさ
れたメッシュ
クローズド
アップ

メッシュ接続可視化
地続きのメッシュを同じ色で表す
メッシュ接続
可視化
「FINAL FANTASY XV における
キャラクターナビゲーションパイプライン」

巨大モンスター用メッシュ
巨大
モンスター用
メッシュ
モンスターのサイズ（いくつかのアーキタイプ）ごとにメッシュが作成される
グラヴォファビアン、下川和也、Hendrik Skubch、Ingimar Gudmundsson

通常のメッシュ
通常
通常メッシュ表現。水面や天井がある場所をカラー表現する。

フィルターされたメッシュ
海上や、屋根の上、洞窟の中などまで、生成したナビメッシュ
フィルターさ
れたメッシュ

差分イメージ
前回などの生成との差分を取る
前日との
差分
イメージ

拡大イメージ
クローズド
アップ

ロギングシステム
第三章

ロギングシステム
ゲームからWEB ブラウザ上で可視化するまでのデータフロー

PQSシステム
キャラクター
PQS
システム
PQS
クエリー

PQSの使いどころ
• 敵モンスターの攻撃位置
• 味方の戦闘位置
• 味方の会話位置
• 街中における群衆生成ポイント

街の人間を生成するPQS（point querying system）のクエリーログの頻度ヒストグラム
PQSのクエリの統計
投げたクエリーの
種類

台本
システム
＆＆
台本ＤＢ
レベルＡ
バトル
仲間ＡＩ自身
レベルＢ
レベルＣ
ゲームシステム
上段達弘、下川和也、高橋光佑、並木幸介
「FINAL FANTASY XV におけるレベルメタAI制御システム」
https://cedil.cesa.or.jp/cedil_sessions/view/1544

各シナリオグループのシナリオの呼び出し回数
各シナリオグループの中で
各シナリオが呼びされた回数の
頻度ヒストグラム.
⇔ 呼び出しアルゴリズムのパラメータ
調整を行うためのモニターとして使う

ヒートマップ
街の中でNPCによって引き起こされたアニメーションのイベント数のヒート
マップ（ロードするアニメーション・データのパッケージングの考慮に使う）

ゲーム周辺AI
ゲームAI
メタAI
キャラクター
AI
AI
開発支援
AI
QA-AI
自動バランス
AI
上のAI
データ
マイニング
シミュレー
可視化
ユーザーの
生体信号

ゲーム周辺AI
ゲームAI
ゲームはより動的なものになる
（自律型AI,動的コンテンツ先生）

ゲーム周辺AI
ゲームAI
メタAI
キャラクター
AI
AI

ゲーム周辺AI
ゲームAI
メタAI
キャラクター
AI
AI
動的なコンテンツを科学的に解析する技術

ゲーム周辺AI
ゲームAI
メタAI
キャラクター
AI
AI
上のAI
データ
マイニング
シミュレー
可視化

ゲーム周辺AI
ゲームAI
メタAI
キャラクター
AI
AI
上のAI
データ
マイニング
シミュレー
可視化
動的なコンテンツを調整・検証する技術

ゲーム周辺AI
ゲームAI
メタAI
キャラクター
AI
AI
上のAI
データ
マイニング
シミュレー
可視化
開発支援
AI
QA-AI
自動バランス
AI

ゲーム周辺AI
ゲームAI
メタAI
キャラクター
AI
AI
上のAI
データ
マイニング
シミュレー
可視化
開発支援
AI
QA-AI
自動バランス
AI
動的なコンテンツを科学的に解析する技術

ゲーム周辺AI
ゲームAI
メタAI
キャラクター
AI
AI
上のAI
データ
マイニング
シミュレー
可視化
開発支援
AI
QA-AI
自動バランス
AI
ゲーム（内）：人工知能によってより自律的、
より動的なコンテンツへ
ゲーム開発（外）：より科学的（分析、検証）、
アルゴリズムによる調整へ

ゲームの外の研究の問題点
• 先行研究が少ない
• アカデミックな知識を援用する場合が多い。
• 個別課題が多い
• 統一的に解決したいが、研究期間が必要
• 共通フレームワークがない

コミュニティ
アカデミック産業間
ゲームの外のAI 共同研究しやすい
（対象としてのゲーム）
品質保証なので、
直接は競合しない
ゲームの中のAI 難しい点がある
（商品であること、機密
情報が多い）
商品なので競合

コミュニティ
アカデミック産業間
ゲームの外のAI 共同研究しやすい
（対象としてのゲーム）
品質保証なので、
直接は競合しない
ゲームの中のAI 難しい点がある
（商品であること、機密
情報が多い）
商品なので競合
産業・アカデミックで皆で連携して推進したい

ご質問
• miyakey@square-enix.com

Credit
• FINAL FANTASY XVはスクウェア・エニックス社の商標または登録商標です。
• アストロノーカはスクウェア・エニックス社の商標または登録商標です。
• Halo 2はマイクロソフトコーポレーションの商標または登録商標です。
• F.E.A.R. はWarner Bros. Entertainment 社の商標または登録商標です。
• KILLZONE、KILLZONE 2はソニーインタラクティブエンタテインメントヨーロッパリミテッドの商標または登録商標
です。
• LEFT 4 DEADはバルブコーポレイションの商標または登録商標です。
• Warframeはディジタルエクストリームズリミテッドの商標または登録商標です。
• Black & Whiteはマイクロソフト社の商標または登録商標です。
• Supreme Commander 2はスクウェア・エニックス社の商標または登録商標です。
• No Man’s Skyはソニー・インタラクティブエンタテインメントの商標または登録商標です。
• Far Cry 2は社の商標または登録商標です。
• その他掲載されている会社名、商品名は、各社の商標または登録商標です。
• All other trademarks are the property of their respective owners.

謝辞
ご清聴ありがとうございました！
Advanced
Technology
Division

SHIBUYA SYNAPSE #2「ゲームAIのこれから - ゲーム開発工程における人工知能「ゲームの外のAI」の促進に向けて」

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to SHIBUYA SYNAPSE #2「ゲームAIのこれから - ゲーム開発工程における人工知能「ゲームの外のAI」の促進に向けて」

Similar to SHIBUYA SYNAPSE #2「ゲームAIのこれから - ゲーム開発工程における人工知能「ゲームの外のAI」の促進に向けて」 (20)