[AI10] ゲームキャラクターのための人工知能と社会への応用～ FINAL FANTASY XV を事例として～

1. ゲームキャラクターのための人工知能と社会への応用 - FINAL FANTASY XV を事例として - Microsoft Conference de:code 2017 株式会社スクウェア・エニックス三宅陽一郎 FFXV リードＡＩアーキテクト 2017.5.23 @The Prince Park Tower Tokyo ©2017 SQUARE ENIX CO., LTD. All Rights Reserved.

2. • Chrome Hounds (SEGA, Fromsoftware, 2006) • Demons’ Souls (SIE, Fromsoftware, 2009) • ぽかぽかアイルー村（CAPCOM、Fromsoftware, 2010） • Orgarythm (AQUIRE, NEILO, 2012) • ARMORED CORE V (Fromsoftware, 2012) • FINAL FANTASY XIV (SQUARE ENIX, 2010-2017) • FINAL FANTASY XV (SQUARE ENIX, 2016) Works (2006-2016) AI for Game Titles Books ©2017 SQUARE ENIX CO., LTD. All Rights Reserved.

3. FINAL FANTASY XV AI Teams • 株式会社スクウェア・エニックス • 三宅陽一郎（AI Graph）白神陽嗣、横山貴規、下川和也（モンスターAI）並木幸介、小松智希、（アニメーション）今村紀之（ナビゲーションAI）Fabien Gravot、Hendrik Skubch、 Ingimar Holm Gudmundsson、Matthew W. Johnson （仲間AI、メタAI）Prasertvithyakarn Prasert，上段達弘 ©2017 SQUARE ENIX CO., LTD. All Rights Reserved.

4. 本日のコンテンツ（参考文献） • FINAL FANTASY XV におけるキャラクターAIの意思決定システム • FINAL FANTASY XV -EPISODE DUSCAE- のアニメーション～接地感向上のためのとりくみ～ SQUARE ENIX PUBLICATIONS • http://www.jp.square-enix.com/tech/publications.html ©2017 SQUARE ENIX CO., LTD. All Rights Reserved.

6. 本日のコンテンツ ©2017 SQUARE ENIX CO., LTD. All Rights Reserved. 第一章 FINAL FANTASY XV とは？第二章ゲームの知能化第三章 Luminous AI の全体設計第四章メタＡＩ第五章キャラクターＡＩ第一節意思決定第一項ビヘイビアツリー入門第二項ステートマシン入門第二節 AI Graph Editor 第六章ナビゲーションAI 第一節戦術位置検索第二節モーション解析第七章ゲーム内への応用事例第一節仲間第二節ニフル兵第三節モンスター第四節 NPC 第八章まとめ

18. フィールド３つのＡＩの連携の例ナビゲーション AI メタAI キャラクターAI 状況を監視し、キーとなる役割を適切なタイミングでエージェントに指示する。自律的な判断。仲間同士の協調地形を解析する目的に応じた点を見つけ出す目的地までのパスを計算する Support エージェントが自律的に戦闘・協調しつつ、ナビゲーションAIが戦術的ポイントを教え、メタAIは、全体の戦闘の流れを作る。 ©2017 SQUARE ENIX CO., LTD. All Rights Reserved.

24. レベルナビゲーション AI メタAI キャラクター AI エージェントを動的に配置レベル状況を監視キャラクターに指示ゲームの流れを作る自律的な判断仲間同士の協調時にチームＡＩとなるメタAI, キャラクターAIの為にレベルの認識のためのデータを準備オブジェクト表現を管理ナビゲーション・データの管理パス検索 / 位置解析 Support 敵キャラクタ－プレイヤー頭脳として機能情報獲得コントロール ©2017 SQUARE ENIX CO., LTD. All Rights Reserved.

26. ゲームの要件に沿ってゲームの流れを作る社内のあらゆるナビゲーションを集積させ組み合わせる場所社内のあらゆる意思決定技術を集積させ組み合わせる場所レベル Luminous AI Navigation メタAI Luminous AI Graph Support 敵キャラクタ－プレイヤー頭脳として機能情報獲得コントロール ©2017 SQUARE ENIX CO., LTD. All Rights Reserved.

28. Luminous AI Tool Luminous AI Runtime (In Game) Luminous AI アーキテクチャ ©2017 SQUARE ENIX CO., LTD. All Rights Reserved. Luminous AI Graph Tool Luminous Navigation Tool Luminous AI Graph Runtime Luminous Navigation Runtime

30. Luminous AI Tool Luminous AI Runtime (In Game) Luminous AI アーキテクチャ ©2017 SQUARE ENIX CO., LTD. All Rights Reserved. Luminous AI Graph Tool Luminous Navigation Tool Luminous AI Graph Runtime Luminous Navigation Runtime キャラクターの頭の中

31. Luminous AI Tool Luminous AI Runtime (In Game) Luminous AI アーキテクチャ ©2017 SQUARE ENIX CO., LTD. All Rights Reserved. Luminous AI Graph Tool Luminous Navigation Tool Luminous AI Graph Runtime Luminous Navigation Runtime キャラクターの頭の中を、 GUIツールによってプランナ－、デザイナーがグラフで作る。

32. Luminous AI Tool Luminous AI Runtime (In Game) Luminous AI アーキテクチャ ©2017 SQUARE ENIX CO., LTD. All Rights Reserved. Luminous AI Graph Tool Luminous Navigation Tool Luminous AI Graph Runtime Luminous Navigation Runtime キャラクターの頭の中を、 GUIツールによってプランナ－、デザイナーがグラフで作る。エンジニアと非エンジニアの仕事をツールで分化する。

34. Luminous AI Tool イン・ゲーム Luminous AI アーキテクチャ ©2017 SQUARE ENIX CO., LTD. All Rights Reserved. Luminous AI Graph Tool Luminous Navigation Tool Luminous AI Graph Runtime Luminous Navigation Runtime Luminous AI Graph Luminous Navigation

35. Luminous AI Tool イン・ゲーム Luminous AI アーキテクチャ ©2017 SQUARE ENIX CO., LTD. All Rights Reserved. Luminous AI Graph Luminous Navigation ステート（状態）ベース思考ゴール（目標）ベース思考ルール（規則）ベース思考ビヘイビア（振る舞い）ベース思考シミュレーションベース思考ユーティリティ（効用）ベース思考タスク（仕事）ベース思考知識表現ナビゲーション（パス検索） (Navigation) ステアリング（回避・挙動） (Steering System) 戦術位置検索システム（PQS, Point Query System）ヒートマップシステム（Heat-map System）学習・進化知識表現・世界表現隠れるポイントシステムターゲット選択３次元移動制御破壊対応記憶センサーブラックボード

36. Luminous AI Tool イン・ゲーム Luminous AI アーキテクチャ ©2017 SQUARE ENIX CO., LTD. All Rights Reserved. Luminous AI Graph Luminous Navigation ステート（状態）ベース思考ゴール（目標）ベース思考ルール（規則）ベース思考ビヘイビア（振る舞い）ベース思考シミュレーションベース思考ユーティリティ（効用）ベース思考タスク（仕事）ベース思考記憶知識表現ブラックボードナビゲーション（パス検索） (Navigation) ステアリング（回避・挙動） (Steering System) 戦術位置検索システム（PQS, Point Query System）ヒートマップシステム（Heat-map System）学習・進化知識表現・世界表現隠れるポイントシステムターゲット選択３次元移動制御破壊対応センサー

40. Luminous AI Tool イン・ゲームステートマシンとビヘイビアツリー ©2017 SQUARE ENIX CO., LTD. All Rights Reserved. Luminous AI Graph Luminous Navigation ステート（状態）ベース思考ゴール（目標）ベース思考ルール（規則）ベース思考ビヘイビア（振る舞い）ベース思考シミュレーションベース思考ユーティリティ（効用）ベース思考タスク（仕事）ベース思考知識表現ナビゲーション（パス検索） (Navigation) ステアリング（回避・挙動） (Steering System) 戦術位置検索システム（PQS, Point Query System）ヒートマップシステム（Heat-map System）学習・進化知識表現・世界表現隠れるポイントシステムターゲット選択３次元移動制御破壊対応記憶センサーブラックボード

41. 環境世界認識の形成記憶意思の決定身体制御エフェクター・身体運動の構成センサー・身体意思決定モジュール意思決定モジュール意思決定モジュール記憶体情報処理過程運動創出過程身体部分情報統合運動統合 ©2017 SQUARE ENIX CO., LTD. All Rights Reserved. ステート（状態）ベース思考ビヘイビア（振る舞い）ベース思考戦術位置検索システム（PQS）ナビゲーション（パス検索）ステアリング（回避・挙動ヒートマップシステム記憶ブラックボード

42. Luminous AI Tool イン・ゲームこれからの Luminous AI の未来 ©2017 SQUARE ENIX CO., LTD. All Rights Reserved. Luminous AI Graph Luminous Navigation ステート（状態）ベース思考ゴール（目標）ベース思考ルール（規則）ベース思考ビヘイビア（振る舞い）ベース思考シミュレーションベース思考ユーティリティ（効用）ベース思考タスク（仕事）ベース思考知識表現ナビゲーション（パス検索） (Navigation) ステアリング（回避・挙動） (Steering System) 戦術位置検索システム（PQS, Point Query System）ヒートマップシステム（Heat-map System）学習・進化知識表現・世界表現隠れるポイントシステムターゲット選択３次元移動制御破壊対応記憶センサーブラックボード

50. メタＡＩ戦闘中メタAIが仲間に与える指示としては、 • プレイヤーや仲間のピンチを助けよ • プレイヤーが敵に拘束されているから助けよ • プレイヤーが逃げているから追従せよ • 作戦が発動したのでそれに合わせた行動をせよ • など。このような指令によって、戦闘を引き締めて、戦闘全体に緩急を与える。 ©2017 SQUARE ENIX CO., LTD. All Rights Reserved.

59. キャラクター全体のアーキテクチャ身体の状態を大きく定義 - 「走っている」「ジャンプしている」「梯子を登っている」のか、などをステートで管理 - 状態ごとに行える行動を制限 - 反射的に行った行動（ダメージリアクションなど）による身体の状態変化を、知能に知らせる抽象的な意思決定を行うアニメーションデータの再生を管理します。アニメーション同士のブレンドをアーティストが調整 ©2017 SQUARE ENIX CO., LTD. All Rights Reserved.

61. 身体制御との連動 • BodyステートマシンとAI Graphの連携 ©2017 SQUARE ENIX CO., LTD. All Rights Reserved. AIから直接アニメを再生するのではなく、身体制御層(Body)のステートマシンを介してアニメとやりとりする射撃処理、ダメージ処理などは、Body FSMに組み込んでおいた制御をAIから呼び出すこうすることで、思考と身体を役割分担し、 AIの肥大化を回避

69. 知能の内部世界環境世界エフェクター・身体センサー・身体

70. 知能の内部世界環境世界エフェクター・身体センサー・身体エージェント・アーキテクチャ＝世界と知能を分けて考える。

71. 思考環境世界エフェクター・身体センサー・身体記憶

72. 思考環境世界エフェクター・身体センサー・身体記憶

76. 知能の世界環境世界認識の形成記憶意思の決定身体制御エフェクター・身体運動の構成センサー・身体意思決定モジュール意思決定モジュール意思決定モジュール記憶体情報処理過程運動創出過程身体部分情報統合運動統合エージェント・アーキテクチャ＝世界と知能を分けて考える。

78. 意思決定モデル ©2017 SQUARE ENIX CO., LTD. All Rights Reserved. ステート（状態）ベースAI ゴール（目標）ベースAI ルール（規則）ベースAI ビヘイビア（振る舞い）ベースAI 意思決定というものは非常に高度で複雑なプロセスです。でも、ゲームで用いるいくつかの簡易モデルが存在します。シミュレーションベース AI ユーティリティ（効用）ベース AI Rule-based AI State-based AI Behavior-based AI Goal-based AI Utility-based AI 「○○-based AI」とは、○○をAIを構築する基本単位として採用したＡＩということ。タスク（仕事）ベース AI Task-based AI 意思決定 Simulation-based AI

80. 意思決定モデル ©2017 SQUARE ENIX CO., LTD. All Rights Reserved. ゴール（目標）ベースAI ルール（規則）ベースAI ビヘイビア（振る舞い）ベースAI 意思決定というものは非常に高度で複雑なプロセスです。でも、ゲームで用いるいくつかの簡易モデルが存在します。シミュレーションベース AI ユーティリティ（効用）ベース AI Rule-based AI State-based AI Behavior-based AI Goal-based AI Utility-based AI 「○○-based AI」とは、○○をAIを構築する基本単位として採用したＡＩということ。タスク（仕事）ベース AI Task-based AI 意思決定 Simulation-based AI ステート（状態）ベースAI

83. root バトル撤退休憩攻撃隠れる逃走する足止めする立ち止まる回復するトラップ眠る回復薬を飲む弓を放つ剣を振る森に潜む穴を掘る建物に隠れる攻撃魔法氷系風系プライオリティプライオリティシークエンスシークエンスランダムプライオリティランダムプライオリティランダムビヘイビア（末端ノード）層層選択ルール選択ルール ©2017 SQUARE ENIX CO., LTD. All Rights Reserved.

84. root バトル撤退休憩攻撃隠れる逃走する足止めする立ち止まる回復するトラップ眠る回復薬を飲む弓を放つ剣を振る森に潜む穴を掘る建物に隠れる攻撃魔法氷系風系プライオリティプライオリティシークエンスシークエンスランダムプライオリティランダムプライオリティランダムビヘイビア（末端ノード）層層選択ルール選択ルールこの層の中で実行可能なうち、最も優先度の高いノードを実行する ©2017 SQUARE ENIX CO., LTD. All Rights Reserved.

86. root バトル撤退休憩攻撃隠れる逃走する足止めする立ち止まる回復するトラップ眠る回復薬を飲む弓を放つ剣を振る森に潜む穴を掘る建物に隠れる攻撃魔法氷系風系プライオリティプライオリティシークエンスシークエンスランダムプライオリティランダムプライオリティランダムビヘイビア（末端ノード）層層選択ルール選択ルールこの層の中で実行可能なノードを順番に実行する。 ©2017 SQUARE ENIX CO., LTD. All Rights Reserved.

92. root バトル撤退休憩攻撃隠れる逃走する足止めする立ち止まる回復するトラップ眠る回復薬を飲む弓を放つ剣を振る森に潜む穴を掘る建物に隠れる攻撃魔法氷系風系プライオリティプライオリティシークエンスシークエンスランダムプライオリティランダムプライオリティランダムビヘイビア（末端ノード）層層選択ルール選択ルールこの層の中で実行可能なノードをランダムに一つ実行する。 ©2017 SQUARE ENIX CO., LTD. All Rights Reserved.

96. 意思決定モデル ©2017 SQUARE ENIX CO., LTD. All Rights Reserved. ゴール（目標）ベースAI ルール（規則）ベースAI ビヘイビア（振る舞い）ベースAI 意思決定というものは非常に高度で複雑なプロセスです。でも、ゲームで用いるいくつかの簡易モデルが存在します。シミュレーションベース AI ユーティリティ（効用）ベース AI Rule-based AI State-based AI Behavior-based AI Goal-based AI Utility-based AI 「○○-based AI」とは、○○をAIを構築する基本単位として採用したＡＩということ。タスク（仕事）ベース AI Task-based AI 意思決定 Simulation-based AI ステート（状態）ベースAI

145. まとめ • ハイブリッド型ノードフォーマットによって、構造の異なるグラフシステムを組み合わせて使えるようにした。 • 階層化データ構造によって、データの拡張性を確保できるようにした。 • ブラックボードによって、シンプルにゲームとツールの情報をやり取りできるようにした。 • アセット化とオーバーライドによって、コピー＆ペーストせずに、AIデータを量産できるようにした。 ©2017 SQUARE ENIX CO., LTD. All Rights Reserved.

162. ©2017 SQUARE ENIX CO., LTD. All Rights Reserved. ネットワーク上のグラフ検索法ダイクストラ法 M F L B A Ｓ O P D C G S V H Q X K N J R T W E I U Z Y Ｇ 54 6 3 7 23 B C 3 G D E 3 2 24 L 3 3 5 5 J F 出発点（S）を中心に、最も短い経路を形成して行く。Gにたどり着いたら終。各ノードの評価距離＝出発点からの経路

163. ©2017 SQUARE ENIX CO., LTD. All Rights Reserved. ネットワーク上のグラフ検索法 A*法 M F L B A Ｓ O P D C G S V H Q X K N J R T W E I U Z Y Ｇ 54 6 3 7 23 B C 3 3 2 24 3 5 5 出発点（Ｓ）を中心に、そのノードまでの最も短い経路を形成して行く。 Gにたどり着いたら終了。ゴール地点がわかっている場合、現在のノードとゴールとの推定距離（ヒューリスティック距離）を想定して、トータル距離を取り、それが最少のノードを探索して行く各ノードの評価距離＝出発点からの経路＋ヒューリスティック距離ヒューリスティック距離 (普通ユークリッド距離を取る) 3+14.2 3+13.8 G H 3 5+10.5 6+8.4

172. 戦略位置検出システムの歴史 • Tactical Position Picking Killzone (2005, Guerrilla)で実装される。 • TPS (Tactical Point System) CRYENGINE (2010, CRYTEK)でツール化・システム化 • EQS(Environment Query System) UNREAL ENGINE 4 （2014, Epic games）でツール化・システム化 • PQS (Point Query System) SQUARE ENIX のFFXVの開発で2014年に開発。 ©2017 SQUARE ENIX CO., LTD. All Rights Reserved.

173. 戦略位置検出システムの原理 ©2017 SQUARE ENIX CO., LTD. All Rights Reserved. ポイント生成（Generation）対象とする領域にポイント群を自動配置する。（例）グリッド状、同心円状など。フィルタリング（Filtering）生成したポイントから、目的に合わない条件（1）を指定して、削除して行く。フィルタリング（Filtering）生成したポイントから、目的に合わない条件（２）を指定して、削除して行く。．．．フィルタリング（Filtering）生成したポイントから、目的に合わない条件（N）を指定して、削除して行く。評価（Evaluation）残ったポイント群を、評価式によってスコアをつけて、最高スコアの点を選ぶ。

176. PQS (Point Query System) 弓兵（AI）が次の目的地を発見したい。 (i) ゲーム現状 (ii) AIを中心に点をグリッド状に生成し配置。（Generation） (iii) 足場の悪い点を除く（Filtering） (iv) 敵の近くのポイント、弓が届かないポイントを除く。(Filtering) (v) 味方の近くを除く（Filtering） ©2017 SQUARE ENIX CO., LTD. All Rights Reserved.

177. PQS (Point Query System) 弓兵（AI）が次の目的地を発見したい。 (i) ゲーム現状 (ii) AIを中心に点をグリッド状に生成し配置。（Generation） (iii) 足場の悪い点を除く（Filtering） (iv) 敵の近くのポイント、弓が届かないポイントを除く。(Filtering) (v) 味方の近くを除く（Filtering） (vi) 最も高い位置にあるポイントを選択する。このようにして、自分の最適な戦術位置を自分自身で発見する。 ©2017 SQUARE ENIX CO., LTD. All Rights Reserved.

215. 4. AI Graphオーバーライド • ベースAIデータを派生AIデータで上書きする仕組み • C++のクラス継承を、データでも出来るようにしたもの • ベースロジックは共通化しつつ、一部のロジックだけモンスター個別に上書きする • 共通化することでデータの二重化を回避し、無駄なデータ量を削減 ©2017 SQUARE ENIX CO., LTD. All Rights Reserved.

230. スマートオブジェクトからスマートロケーションへ • スマートオブジェクトを一般化 Generalize SmartObjects to SmartLocations – 「椅子」をスマートにするのではなく – 透明なオブジェクトが「椅子」と「テーブル」を持ち、かつ – スマートである。 ©2017 SQUARE ENIX CO., LTD. All Rights Reserved. Scripts Emitters

246. 座る ©2017 SQUARE ENIX CO., LTD. All Rights Reserved. Rule 1: Action: sit(X) Pre: closestOf(chair,X,me) & !reserved(X,Y) Add: reserved(X,me) Add-Deferred: sitting(me) & timeToGetUp(now+rand(10,15)*minute,me)

247. 座る ©2017 SQUARE ENIX CO., LTD. All Rights Reserved. Rule 1: Action: sit(X) Pre: closestOf(chair,X,me) & !reserved(X,Y) Add: reserved(X,me) Add-Deferred: sitting(me) & timeToGetUp(now+rand(10,15)*minute,me) アクションが終わったあとに、追加される情報 • NPCの身体状態を記述する • 実行するタイムスタンプを設定する

248. 座る ©2017 SQUARE ENIX CO., LTD. All Rights Reserved. Rule 1: Action: sit(X) Pre: closestOf(chair,X,me) & !reserved(X,Y) Add: reserved(X,me) Add-Deferred: sitting(me) & timeToGetUp(now+rand(10,15)*minute,me) No term manipulation: この関数は直ちに評価されます

249. 座る ©2017 SQUARE ENIX CO., LTD. All Rights Reserved. Rule 1: Action: sit(X) Pre: closestOf(chair,X,me) & !reserved(X,Y) Add: reserved(X,me) Add-Deferred: sitting(me) & timeToGetUp(now+rand(10,15)*minute,me) Next State: sitting 内部状態: 糖衣構文によって前提条件文はコンパクトになっています。

262. セッションまとめ • 意思決定入門において、最新の意思決定技術を俯瞰した。 • 多様な要件を満たす、オリジナルの意思決定システムのコンセプトを紹介した。 • グラフベースのAIロジック作成ツールにおける仕様と実装に関する工夫点を紹介した。 • 上記のAI技術が、実際にゲーム内でどのように応用されたのかを紹介した。 ©2017 SQUARE ENIX CO., LTD. All Rights Reserved.

267. Credit • CRYENGINE is a trademark or registered trademark of Crytek GmbH. • UNREAL ENGINE is a trademark or registered trademark of Epic Games Inc. • Killzone is a trademark or registered trademark of Sony Computer Entertainment Europe. • All other trademarks are the property of their respective owners. ©2017 SQUARE ENIX CO., LTD. All Rights Reserved.

268. Credit • Chrome Hounds is a trademark or registered trademark of SEGA and Fromsoftware. • Demons’ Souls is a trademark or registered trademark of Sony Interactive Entertainment Inc. • Monster Hunter Diary: Poka Poka Airou Village is a trademark or registered trademark of CAPCOM. • Orgarythm is a trademark or registered trademark of AQUIRE and NEILO. • ARMORED CORE V is a trademark or registered trademark of NBGI and Fromsoftware. • All other trademarks are the property of their respective owners. ©2017 SQUARE ENIX CO., LTD. All Rights Reserved.

[AI10] ゲームキャラクターのための人工知能と社会への応用 ～ FINAL FANTASY XV を事例として ～

de:code 2017