ゲームAI製作のためのワークショップ（III）

三宅陽一郎
ゲームＡＩ製作のための
ワークショップ（III）
三宅陽一郎@miyayou
2016.9.21 @横浜
https://www.facebook.com/youichiro.miyake
http://www.slideshare.net/youichiromiyake
y.m.4160@gmail.com

Works (2006-2012)
AI for Game Titles
Books

「意思決定アルゴリズム」参考文献
• 「ゲームＡＩ」について、３０ページ程で解説し
ています。

経歴
京都大学（数学）大阪大学（原子核実験物理）東京大学
（エネルギー工学/人工知能）
高エネルギー加速器研究所（半年ぐらい。修士論文）
http://www.facebook.com/youichiro.miyake

コンテンツ
第一部前回までの復習
第二部メタＡＩ
第三部タスクベースＡＩ
第四部ゴールベースＡＩ
第五部シミュレーションべースＡＩ

第一部前回までの復習

知能方程式
ユーザーの体験
＝ユーザーの心理ｘキャラクターの賢さ
人工知能ゲームの状況
ユーザーを追い込む
ユーザーを心理を引き出す
＝状況を作り出す
ゲームデザイナーの仕事エンジニアの仕事

ゲームとはなにか
• インタラクティブなデジタル空間。
• もちろん自由に何を作ってもいいですが、時代を
経て次第に構造化されて来ました。
• ＡＩもその中で、いくつかの分類されて来ました。

現代ゲームにおけるＡＩの構造
• ゲームの中で人工知能が果たす役割というのが明確になって
来ました。
• 主に現代では３つのＡＩの役割があります。（これから増えて行く
かもしれません）
ゲームそのものをコントロールする人工知能。
キャラクターのブレイン（脳）として機能する人工知能。
パス検索を始め地形・状況など空間的な情報を抽出する人工知能。
メタＡＩ
キャラクターＡＩ
ナビゲーションＡＩ

人工知能の二つの軸
• 人工知能を考えるときは、その知能が何なのか、を探求するより、
どんな問題を解こうとしているか、を考えるとわかりやすい。
空間の
スケール
時間の
スケール
局所・
短時間
大局・
時間
なし
大局・
長時間
メタＡＩ

それぞれのＡＩの役割
メタＡＩ
ゲーム局面全体の変化を継続的に監視して、動的に、
ゲームバランス、ゲームプレイの緊張感、ゲームの面白さをコントロールする。
キャラクターの立場から、自分の周囲の状況を局所的に認識し、
自分の行動を自分の身体に応じて一定時間の中でデザインする。
ゲームステージ全体についての、空間的特長、現在の状況を解析する。
役割を持つＡＩのことを「エージェント」と言います。上記３つはすべて
「エージェント」なのですが、特にゲームでは「キャラクターＡＩ」のことを
「エージェント」と言います。

３つのＡＩの連携の例
フィールド
ナビゲーション
AI
メタAI
エージェントAI
状況を監視し、キーとなる役割を
適切なタイミングでエージェントに
指示する。
自律的な判断。
仲間同士の協調
地形を解析する
目的に応じた点を見つけ出す
目的地までのパスを計算する
Support
エージェントが自律的に戦闘・協調しつつ、ナビゲーションAIが
戦術的ポイントを教え、メタAIは、全体の戦闘の流れを作る。

スクリプト
Scripted AI から自律型ＡＩへの変化
ゲームデザイナーの頭の中ゲームデザイナーの頭の中
知識思考
Scripted AI 自律型 AI (Autonomous AI)

スクリプト
Scripted AI から自律型ＡＩへの変化
ゲームデザイナーの頭の中ゲームデザイナーの頭の中
知識思考
Scripted AI 自律型 AI (Autonomous AI)
操り人形（Scripted AI）から、キャラクターが自分で考えて行動する
自律型ＡＩ（Autonomous AI）になるためには、
ゲームデザイナーが頭の中で持っている知識と思考をＡＩに埋め込
んであげる必要があります。

知能
思考知識
ＡＩを作る
人間
地形データ
（Way
Points）
地形デー
タを用いた
思考
オブジェク
トデータ
意思決定
の思考
自分の
身体データ
身体運動
の
ロジック
知能＝知識ｘ思考

今回のゲーム
© KAYAC Inc. All Rights Reserved.
https://build.cloud.unity3d.com/share/W1TeqjaSu-/

キャラクター
敵キャラクターをどのような存在として思わせたいか？
敵キャラクター
プレイヤーキャラクター
https://build.cloud.unity3d.com/share/W1TeqjaSu-/

エージェント・アーキテクチャ

世界
五感
身体
言語
知識表
現型
知識
生成
Knowledge
Making
意思決定
Decision
Making
身体
運動
生成
Motion
Making
インフォメーション・フロー（情報回廊）
記憶
エージェント・アーキテクチャ
内部循環インフォメーション・フロー（情報回廊）

第一回のワークショップ結果

ディスカッション
• 天敵として出て来る。
• 種族が反映する幸せ。子供たちを全員やっつけてしまう。
幸せなところから絶望に陥れる。自分より敵の方が基本性
能が高い。強い敵に対して、立ち向かう。ユーザーから闘
争心を引き出す。
• 天敵なので、プレイヤーが嫌がることをする。これを嫌だと
いうものを優先的に選択しする。プレイヤーの行動履歴を
解析して判断して選択する。報復度、恨みパラメーターが
変化する。自キャラが孵化するタイミングを狙う。
• プレイヤーの幸福度を測る。行動ログを取っておく必要が
ある。いつ、どこで、何をしたか。どこで卵を産んだか、どこ
で食べたか。取り続けられるのかな。プレイヤーが何を大
事にしているかを計測する。
• 行動ログがあって位置情報があって、いつどこで何をした
かを、プレイヤーがどんな道をたどったか、うろうろしたか、
卵を産んだ場所を推測して、そこに行く。

• 敵を全滅させたい。
• 全滅させたい＝敵を全滅させるのを見せる。食べている。
マップを侵略されている感を入れる。スプラトゥーンのよう
に塗る。ジェノサイド。違う種族を作る。一機でも残るとド
ロー。ユーザーから危機感を引き出す。
• 危機感をあおるパターンを考える。ただひたすら増える。攻
撃して来る。危機感をあおるシチューションを作る。１００匹
まで増える。
• 地形データ、食べ物のデータ、視界のデータ、状況確認、
支配率。敵と味方の状況。AIの目標。食べるのを主とする
か、増やすのを主とするのか、ユーザーの行動ログ。
• 経路探索とパターン。食べ物食べる、敵を攻撃する、逃げ
る、隠れる、味方に食べ物を譲る。自分から食べられに行
く＝囮。動かないで戦略を集中する。

• 敵を追い込んでくる。パックマンのように緊張と緩和。
• 連携プレイ。青筋が立っている。よだれが出ている。絵で
見て。演出する。ユーザーから恐怖心を引き出す。
• 逃げ切れるか、逃げきれないか、わからないようなAIの仕
組み。スピードに焦点を入れて、アイテム取り合いになった
時に、もしかしたら、取れるかもと思わせる。アイテムの取
り合いになるように微妙な位置にアイテムを出現させる。ス
ピードを調整する。
• 地形データ・どっちがどっちに食べられるか。ゲームの基
本ルール。壁の位置、不変のもの。変化するもの。
• 知識を使って選択をする。追い込むのか、逃げるのかを判
断することができる。プレイヤーの操作を応じて、どういう
振る舞いをするかを選ばせる。やって来た行動、傾向を出
す。

第二回のワークショップ結果

意思決定モデル
ステート（状態）ベースAI
ゴール（目標）ベースAI
ルール（規則）ベースAI
ビヘイビア（振る舞い）ベースAI
実際の静物の意思決定というものは非常に高度で複雑なプロセス
です。いくつかの簡易モデルが存在します。
ユーティリティ（効用）ベース AI
Rule-based AI
State-based AI
Behavior-based AI
Goal-based AI
Utility-based AI
「○○-based AI」とは、○○をAIを構築する基本単位（アトミック）として採用したＡＩということ。
タスク（仕事）ベース AI
Task-based AI
リアクティブ
非リアクティブ
意思決定
シミュレーションベース AI
Simulation-based AI

ルールベース意思決定
Rule-based decision making
Rule-based AI
State-based AI
Behavior-based AI
Goal-based AI
Utility-based AI
Task-based AI
Simulation-based AI

(例) ルール制御
ID 0 : IF …. THEN …
ID 3 : IF …. THEN ….
ID .. :
Priority: 3
Priority: 1
Priority: 4
Priority: 5
Priority: 2
或いは、状況判断思考によってルールを振り分ける。
戦略思考、キャラクターの挙動などでよく使われる。
Priority: -
制御
思考
ルール＝ IF （行動条件文） then （動作命令文）

ワークショップ１
ルールベースでキャラクターＡＩを作ってみよう！

• このゲームは要素が相手、自分、バナナ、近
くにあった場合にどうすべきか。
• バナナ食べているか、食べていない、か組み
合わせで考えているか。
• プレイヤーと敵と二体しかいない。最も嫌なこ
と。スコアが高いと逃げきれば勝てる。
• 相手からどういう状況。

• とにかく相手の嫌なこと、ランク付け。
• 結局、バナナアイテムが無敵、食べたら敵に
向かって行く。
• 卵が消されると嫌。
• 敵の視界に入らなければ、卵を探しに行く。
• 生まれそうな時に食べに行く。
• その後に自分と相手を比べて勝てそうな相手
と戦う。

• 全滅できたら勝ち。
• 各ユーザーの総合力。
• プライオリティを作る。
• 敵を見つけたら逃げる。
• キャラクターの制御。

• どういうコンセプトで動くのか。
• 相手より数が多い状況を作る。
• 敵の位置を元に、距離と相手と自分の相対
速度で逃げるのか、追いかけるのか。
• 食べるのか、どのオブジェクトに向かう。

ワークショップで学ぶこと
意思決定の形式を固定すると、
議論を円滑に行うことができる。

ステートベース意思決定
State-based decision making
Rule-based AI
State-based AI
Behavior-based AI
Goal-based AI
Utility-based AI
Task-based AI
Simulation-based AI

警戒
追跡
追いかける
攻撃する
威嚇攻撃
味方に指示
出口をかためる
味方を呼ぶ
味方がいない
かつ
戦闘範囲外
味方と合流
味方と合流
味方がいる
見失う
見える
見失う見つける
巡回する
１０秒経つ
物音を
聴く
応答がきた
階層型ステート・マシン

ワークショップ２
ステートベースでキャラクターＡＩを作ってみよう！

• どんな状態か、
• 自分に一番近いものを
• 敵に近づく。
• 状態を洗い出す。
• バナナを食べた後に、
• 遷移を結んでいく。
• 最も効率的なものに近づく。
• 見つけに行く。自分に近いもの。
• それの状態に。
• 移ったあとに、状態が変わる。
• 元のステートに戻しに行く。

• 生まれる。探す。バナナ。卵。

• パトロールから戻る。
• 敵を見つけたら攻撃する。
• 食べる。
• 敵が強かったら逃げる。
• 隠れる。
• 囮。

• 階層型。
• 逃げるとか、生きる。
• サブステートを使う。
• うろつくに戻る。

ワークショップ２
異なる形式でも意思決定は組むことができる。

ビヘイビアベース意思決定
Behavior-based decision making
Rule-based AI
State-based AI
Behavior-based AI
Goal-based AI
Utility-based AI
Task-based AI
Simulation-based AI

root
バトル
撤退
休憩
攻撃
隠れる
逃走する
足止めする
立ち止まる
回復する
トラップ
眠る
回復薬を飲む
弓を放つ
剣を振る
森に潜む
穴を掘る
建物に隠れる
攻撃魔法
氷系
風系プライオリティ
プライオリティ
シークエンス
シークエンス
ランダム
ランダム
ランダム
ビヘイビア
（末端ノード）
層
層
選択ルール
選択ルール

ワークショップ３
ビヘイビアベースでキャラクターＡＩを作ってみよう！

• どういう意思の状態が第一層。
• あきらめる、というのをどう作るか。

• 何を狙うか。
• Gate を使う。

• どこにルールを書くか。

• 広い方に逃げるとか
• 仲間から離れる。

ワークショップ３
ビヘイビアベースではじめて連続的な行動を書ける。

第一部前回までの復習＜終了＞

第二部メタAI
LEFT 4 DEAD の事例
WARFRAME の事例
FARCRY4 の事例

ゲーム全体の知能化
ゲーム・ソフトウェア
知能化された
ゲーム・ソフトウェア
かつてゲームでは人工知能は独立した部分ではなく、
ゲームシステムの中に含まれていた。

ＡＩの分化
ゲームシステム
メタＡＩ
キャラクターＡＩナビゲーションＡＩ
３つのＡＩシステムは序々に分化して独立して行った。
では、今度はナビゲーションＡＩについてさらに詳しく見てみよう。

メタＡＩの歴史
1980 1990
メタＡＩというのは、ゲームそのものに埋め込まれたＡＩ。
1980 1990 2000
古典的メタAI
現代のメタＡＩ
キャラクターＡＩ技術の発展

メタＡＩの歴史
1980 1990 2000
古典的メタAI
現代のメタＡＩ
キャラクターＡＩ技術の発展
その歴史は古く、1980年代にまでさかのぼる。
その時代と現代のメタＡＩは、異なる点も多いので、
古典的メタＡＩ、現代のメタＡＩと名づけて区別することにしよう。

（例）「ゼビウス」（ナムコ、1983）
敵出現テーブル巻き戻し
敵0
敵１
敵2
敵3
敵4
敵5
『あと面白い機能なんですけれど、ゼビウスには非常に簡単なAIが組み込まれています。
「プレイヤーがどれくらいの腕か」というのを判断して、出てくる敵が強くなるんです。
強いと思った相手には強い敵が出てきて、弱いと思った相手には弱い敵が出てきます。そういっ
たプログラムが組み込まれています。ゲームの難易度というのは「初心者には難しくて、上級者
には簡単だ」ということが、ひとつの難易度で(調整を)やっていくと起きてしまうので、その辺を何
とか改善したいな、ということでそういったことを始めてみたのですけれど、お陰で割合にあまり上
手くない人でも比較的長くプレイできる、うまい人でも最後のほうに行くまで結構ドラマチックに楽
しめる、そういった感じになっています。』
－遠藤雅伸（出演）、1987、「糸井重里の電視遊戯大展覧会」『遠藤雅伸ゼビウスセミナー』フジテレビ－

現代のメタAI
より積極的にゲームに干渉する。
メタAI
敵配位敵スパウニングストーリー
レベル
動的生成
ユーザー

メタＡＩ Left 4 Dead の事例
Michael Booth, "The AI Systems of Left 4 Dead," Artificial Intelligence and
Interactive Digital Entertainment Conference at Stanford.
http://www.valvesoftware.com/publications.html
今回は Left 4 Dead の事例を見てみる。

適応型動的ペーシング
[基本的発想]
(1) ユーザーがリラックスしている時に、ユーザーの
緊張度が一定の敷居を超えるまで敵をぶつけ
続ける。
(2) ユーザーの緊張度が一定の緊張度を超えると
敵を引き上げる。
(3) リラックスすると敵を出現し始める（(１)へ）。
Michael Booth, "The AI Systems of Left 4 Dead," Artificial Intelligence and
Interactive Digital Entertainment Conference at Stanford.

メタAI(=AI Director)によるユーザーのリラックス度に応じた敵出現度
ユーザーの緊張度
実際の敵出現数
計算によって
求められた
理想的な敵出現数
Build Up …プレイヤーの緊張度が目標値を超えるまで
敵を出現させ続ける。
Sustain Peak … 緊張度のピークを3-5秒維持するために、
敵の数を維持する。
Peak Fade … 敵の数を最小限へ減少していく。
Relax … プレイヤーたちが安全な領域へ行くまで、30-45秒間、
敵の出現を最小限に維持する。
Michael Booth, "The AI Systems of Left 4 Dead," Artificial Intelligence and Interactive Digital Entertainment Conference at Stanford.
より具体的なアルゴリズム

メタＡＩがゲームを認識する方法
キャラクター用に作成された
ナビゲーションメッシュを
メタＡＩがゲームの
状況を認識するために使用する。

メタAIが作用を行う領域
メタＡＩが作用（敵の生成・
消滅）を行う領域を、
AAS（= Active Area Set）と
言う。

メタAIが作用を行う領域
(AAS=Active Area Set)

安全な領域までの道のり(Flow Distance)
メタＡＩはプレイヤー群の経路を
トレースし予測する。
- どこへ来るか
- どこが背面になるか
- どこに向かうか

AAS に対して行うこと。
メタＡＩはプレイヤー群の移動に伴い、
その周囲（ＡＡＳ）に敵の群れを
生成・消滅させたりする。

プレイヤーからの可視領域
可視領域（プレイヤーから見えている
部屋）では、敵のスパウニング（発生）
はできない。

敵出現領域
背後前方
前方と背後のプレイヤー群から見えてない部屋に、
モンスターを発生させる。

モンスター・アイテム出現頻度
敵の種類、アイテムの種類ごとに出現頻度が違うが、頻度に応じて発生させる。
高頻度
低頻度
Wandereｒs (高頻度)
Mobs(中頻度)
Special Infected (中頻度)
Bosses (低頻度)
Weapon Caches (低頻度)
Scavenge Items (中頻度)

ボス出現アルゴリズム
(1) Ｎ体を予想される逃走経路上に配置
(2) ３つの出現イベントパターン
（何もいない、を含む）
（例） Tank, Witch, 何もいない
(3) 同じパターンのくり返しは禁止
(例) Witch, 何もいない、Witch はＯＫ。
Witch, Witch はだめ。
何もいない
Tank Witch Witch Tank Witch Tank

具体的なアルゴリズム
(1) 各エリアに、出現数 N を決定する
(2) 出現数Nは予想される逃走経路の長さと
要求される密度によって計算される。
(3) あるエリアがAAS の中に入るとクリー
チャーがN体生成される。
(4) そのエリアがAAS の外に出ると生成が中
止され、クリーチャーは消滅される。
(5) Ｎはそのエリアがプレイヤーから見えてい
る場合、或いは、プレイヤーがリラックス
モードの場合には、強制的に０になる。

まとめ
メタＡＩは、ゲームの流れを動的に作るＡＩで、キャラクターＡＩ、イベントなどに
は命令だけを出す。これは明確に、メタＡＩと他のモジュールが独立した関
係にあるから可能なこと。

まとめ
メタAIを入れ替えるだけで、ゲームコンテンツが入れ替えることができる。
メタAIという軽い部分だけを配信することで、コンテンツを入れ替えること
が可能になる。

参考文献
(1) Michael Booth, "Replayable Cooperative Game Design: Left
4 Dead," Game Developer's Conference, March 2009.
(2) Michael Booth, "The AI Systems of Left 4 Dead," Artificial
Intelligence and Interactive Digital Entertainment Conference
at Stanford.
(3) 三宅陽一郎, “メタAI”,「デジタルゲームの技術」
P.186-190, ソフトバンククリエイティブ

プロシージャルとは？

プロシージャル技術
ゲームAI技術
AI技術
プロシージャル
技術
コンテンツ自動生成技術
（PCG, Procedural Contents Generation ）

Rogue (1980)のレベル生成法
Rect[0] Rect[0] Rect[1]
Rect[0]
Rect[1]
Rect[2] Rect[3]
http://racanhack.sourceforge.jp/rhdoc/intromaze.html

Rogue (1980)のダンジョン生成法
Rect[0] Rect[0] Rect[1]
Rect[0]
Rect[1]
Rect[2] Rect[3]
このようにアセット（ゲームのデータ）をツールなどを通して製作するのではなく、
プログラムで作ることを「プロシージャル・コンテンツ・ジェネレーション」（PCG）と言う。
http://racanhack.sourceforge.jp/rhdoc/intromaze.html

ブラウン運動
ロバート・ブラウン博士によって、１８２７年に発見された現象。
微粒が媒質（液体）の中で行う不規則な運動。
アインシュタイン博士によって、熱運動する媒質の不規則な
衝突によって引き起こされると説明された。
http://ja.wikipedia.org/wiki/%E3%83%96%E3%83%A9%E3%82%A6%E3%83%B3%E9%81%8B%E5%8B%95

ブラウン運動から地形生成
ロバート・ブラウン博士によって、１８２７年に発見された現象。
微粒が媒質（液体）の中で行う不規則な運動。
アインシュタイン博士によって、熱運動する媒質の不規則な
衝突によって引き起こされると説明された。
宮田一乗「プロシージャル技術の動向」（CEDEC 2008）

https://www.youtube.com/watch?v=m4JDNzwFZFI

http://www.kenmusgrave.com

ゲームのデータ作成
• マニュアル＝手作業（操作）で作る。
• プロシージャル（自動生成）
＝計算によって創る
プロシージャル比率＝
データ総生産量
自動生成したデータ生産量

ゲームの規模とプロシージャルの比率
1985年
ゲームの規模
プロシージャル比率
中型
作りこみ
ゲーム
小型
作りこみ
ゲーム
中型
自動生成
ゲーム
小型
自動生成
ゲーム
メモリも少ないので、
ゲーム起動時に計算で
データを作りたい

Elite (1980, BBC) 宇宙を自動生成
https://en.wikipedia.org/wiki/Elite_(video_game)

1995年
ゲームの規模
プロシージャルの比率
大型
作りこみ
ゲーム
中型
作りこみ
ゲーム
小型
作りこみ
ゲーム
中型
自動生成
ゲーム
これからはグラフィックの時代だ。
ツールも充実。どんどん、作りこみ
で作って行こう。

トルネコの大冒険（チュンソフト、1993）
• ダンジョンを自動生成する。

2015年
ゲームの規模
プロシージャルの比率
最近のAAA
ゲーム
少し前の
AAAゲーム
技術系
インディー
ゲーム
ソーシャル
ゲーム
計算パワーも、容量もふんだんにある。
一つの大きな世界（オープンワールド）を
計算とデータで作り上げよう。

NO MAN’S SKY (Hello Games, 2016)
http://www.no-mans-sky.com/
宇宙、星系、太陽系、惑星を自動生成する。

ゲームの規模
プロシージャル比率

• 固定データ＝どんどん更新不可能になる。
• プロシージャル＝計算により可変。
プロシージャルはゲームを柔らかくする。
リアルタイムに可変なコンテンツを作る。

http://www.desura.com/engines/dunia
FarCry3 におけるプロシージャル技術

FarCry2 におけるプロシージャル技術
50km四方のマップを作る
オブジェクト（草木）＆アニメーションデータを自動生成

FarCry2 (Dunia Engine) デモ
草原自動生成時間システム
樹木自動生成動的天候システム
動的天候システム
http://www.farcry2-hq.com/downloads,18,dunia-engine-nr1.htm

現代のメタAI
より積極的にゲームに干渉する。
メタAI
敵配位敵スパウニングストーリー
レベル
動的生成
ユーザー
プロシージャル
技術

Procedural Generation in WarFrame
• Warframe ではダンジョンが自動生成される。
Daniel Brewer, AI Postmortems: Assassin's Creed III, XCOM: Enemy Unknown, and Warframe (GDC2015)
http://www.gdcvault.com/play/1018223/AI-Postmortems-Assassin-s-Creed

Block Combination in WarFrame
• ブロックを組み合わる
• 完全に零からの生成
ではない。
このような生成のことを
Semi-procedural と言う。

WarFrame における自動生成マップの
自動解析による自動骨格抽出
• 自動生成するだけでなく、自動生成したダンジョンを、自動解
析します。ここでは、トポロジー（形状）検出を行います。

WarFrame における自動生成マップの
自動解析によるナビゲーションデータ作成
抽出した骨格に沿って
自動的にナビゲーション・データを作成します。

スタートポイント、出口、目的地の
自動生成

ヒートマップ（影響マップ）を用いて
ゲーム中にプレイヤーの周囲を自動解析
ヒートマップ（影響マップ）とは、対象（ここではプレイヤー）を中心に、位置に温度（影響度）を
与える方法です。距離に応じて減衰します。また時間が経つと、周囲に熱が拡散します。

Tactical Map の例 (影響マップ)
（例）敵と自分の勢力をリアルタイムに計算する。
4 6 8 8 8 8 6 4 2 0 -1 -2 -4 -4 -4 -2
4 6 8 8 8 8 4 2 1 0 -2 -4 -4 -2
4 6 8 8 8 6 3 1 0 -2 -4 -4 -4 -2
4 6 8 8 8 6 6 4 1 0 -2 -4 -4 -2
2 4 6 8 6 6 4 4 0 -1 -2 -4 -4 -4 -2
1 2 4 6 6 4 2 2 -4 -5 -3 -3 -4 -4 -2 -1
3 3 3 3 4 2 2 0 -4 -5 -5 -8 -8 -6 -4 -2
3 3 2 2 2 0 -2 -4 -8 -10 -10 -8 -4 -2
3 3 3 2 2 1 0 -4 -8 -10 -10 -8 -8 -4 -2
2 2 2 2 1 1 0 -3 -8 -10 -10 -8 -8 -4 -2
1 1 1 1 0 0 -2 -4 -8 -8 -8 -8 -8 -8 -8 -8
0 0 0 0 0 -1 -1 -2 -5 -6 -6 -6 -8 -8 -8
0 0 0 0 -1 -2 -2 -2 -4 -4 -4 -6 -8 -8 -8 -8
0 0 0 0 -1 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2
0 0 0 0 -1 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2
0 0 0 0 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1

ヒートマップ（影響マップ）を用いて
ゲーム中にプレイヤーの周囲を自動解析
「ヒートが増加する＝プレイヤーが近づく点」
「ヒートが減少する＝プレイヤーが遠ざかる点」

アクティブ・エリアセット（Active Are Set）
アクティブ・エリアセットは、プレイヤーの周囲の領域で、
リアルタイムにメタAIがゲームを調整する領域

メタAIがアクティブ・エリアセット内で
ゲームを調整する
「ヒートが増加する＝プレイヤーが近づく点」なので、モンスターを生成する。
「ヒートが減少する＝プレイヤーが遠ざかる点」なので、モンスターを停止する。

メタAI （AI Director,）による
動的ペース調整

メタＡＩ（自動適応ペーシング）
メタAI （AI Director）による
動的ペース調整

メタAIによる出会うモンスターの数の
大域調整
プレイヤーのスタート地点から出口までの道のりで、
コンスタントにモンスターと出会うようにする。

FarCry 4 の事例
Julien Varnier, Far Cry's AI: A Manifesto for Systemic Gameplay
http://archives.nucl.ai/recording/far-crys-ai-a-manifesto-for-systemic-gameplay/

FarCry 4 の事例
Future Work

FarCry 4 の事例Future Work

これからのゲームの作り方
オープンワールド
プロシージャル（自動生成）
適応型的AI
（自動AI配置、自動ミッション生成）

これからのゲームの作り方
オープンワールド
プロシージャル（自動生成）
適応型的AI
（自動AI配置、自動ミッション生成）
これからのゲームは、
広大なで多様なフィールドを持ちつつ、
稠密なゲームプレイを提供できるような
サービスとなる。
（低コストで）

ワークショップ4
メタＡＩを作ってみよう！
メタＡＩにさせたいことを書き連ねてみましょう。

メタＡＩはアイデア勝負！

第三部タスクベースＡＩ

タスクベース意思決定
Task-based decision making
Rule-based AI
State-based AI
Behavior-based AI
Goal-based AI
Utility-based AI
Task-based AI
Simulation-based AI

タスクベース
タスク自分の行動を記述する。
タスクタスク
しかし、そこには、
他のタスクとの連動が意識されている。

タスクベース
タスクタスク
つまり、タスクとは、同一対象に対する連携可能な操作を前提としている。
なので、そこには自然に世界の事象の変化の記述が含まれる。
タスク
事象事象事象

タスクベースAI
タスク（＝仕事）を単位として構築する方法
タスク（＝仕事）の表現は様々なだが、具体的な
仕事の内容を示したものでなければならない。
(単純な場合)
初期状態ゴールTask１
Carry A to Ground
Task2
Carry B to Ground
Task3
Carry C on B
A
B
C
B
C
AA
B
C A BC A
C
B
Task3
Carry A on C

「階層型タスクネットワーク」
これから一番有望なアルゴリズム

赤、青、緑の宝石を集めて回復薬を作って、
友軍に届ける、というキャラクターＡＩを考えます。
宝石を魔法の袋にある規則で入れると回復薬ができます。

回復薬を作る方法
• 赤、青、緑を一色づつ集める。
• 緑、赤、緑の順番に集める。
• 青二つと赤一つ。ただし、赤の前に青を集め
ないといけない。

メソッド
（＝タスクの分解の仕方）
回復薬を作る
（タスク）
回復薬を運ぶ
（タスク）
回復薬を届ける
（タスク）

メソッド
（＝タスクの分解の仕方）
袋入
れる
ブランチ
全色集める
ブランチ
赤と青を集める
ブランチ
赤と緑を集める
青拾う
赤拾う
緑拾う
袋入
れる
緑拾う緑拾う
袋入
れる
赤拾う青拾う
赤拾う青拾う
順序なしタスク
全順序タスク
局所的順序タスク
全色広場にある広場には赤と緑の宝石がある赤と青の宝石がある
原初タスク
回復薬を作る
（タスク）
前提条件

回復薬を運ぶ
• 場所を持ってきて、荷物を載せて、戦場へ運ぶ。
• 荷物に載せるには、宝箱に入れて載せる必要がある。
• 宝箱には札をつけておく必要がある。
http://illustcut.com/?p=2278

メソッドメソッド
馬車に
載せる
馬車を呼ぶ
戦場まで行
く
荷を載せる
宝箱に
札をつける
宝箱に
入れる
全順序タスク
馬車を持っている
原初タスク
回復薬を運ぶ
（タスク）
前提条件
荷を載せる
馬車が近くにある

袋入
れる
回復薬を届ける
（ドメイン）
ブランチ
全色集める
ブランチ
赤と青を集める
ブランチ
赤と緑を集める
青拾う
赤拾う
緑拾う
袋入
れる
緑拾う緑拾う
袋入
れる
赤拾う青拾う
赤拾う青拾う
全順序タスク
全色広場にある広場には赤と緑の宝石がある赤と青の宝石がある
原初タスク
回復薬を作る
（タスク）

タスクネットワーク
袋入
れる
青拾う
赤拾う青拾う
スタート
馬車
を
呼ぶ
戦場
まで
行く
ゴール
馬車
に載
せる
宝箱
に札を
つける
宝箱
に入
れる
赤、青、緑の宝石を集めて回復薬を作って、
友軍に届ける、というキャラクターＡＩを考えます。
宝石を魔法の袋にある規則で入れると回復薬ができます。

Scope : movie
Game AI Conference, Paris, June 2009
On the AI Strategy for KILLZONE 2′s Multiplayer Bots
http://aigamedev.com/open/coverage/killzone2/

Architecture

Scope
Killzone 2 / PS3
• Max 32 players
• Team-based game modes
• Multiple game modes on one map
• Players unlock / mix “badge abilities”
• Offline (1 human player & bots)
• Online (human players & bots)
On the AI Strategy for KILLZONE 2′s Multiplayer
Bots

Scope
Badges
• Scout: Cloak, Spot-and-Mark
• Tactician: Spawn Area, Air Support
• Assault: Boost
• Engineer: Sentry Turret, Repair
• Medic: Heal, Med packs
• Saboteur: Disguise, C4
Bots

Killzone 2 AI (マルチプレイヤーモード)
(1) Killzone 2 のAI思考
(2) Killzone 2 のマップ自動解析

Killzone 2 Screen

司令官のAI
部隊長のAI
兵
士
の
ＡＩ
兵
士
の
ＡＩ
兵
士
の
ＡＩ
部隊長のAI
兵
士
の
ＡＩ
兵
士
の
ＡＩ
兵
士
の
ＡＩ
部隊長のAI
兵
士
の
ＡＩ
兵
士
の
ＡＩ
兵
士
の
ＡＩ
防衛、前進など戦術を指示
戦術の成功・失敗を報告
（フィードバック）
移動地点を指示
ターゲット指示
指示の再発行要求

Individual AI

各メンバーのエージェント・アーキテクチャ
上からの
命令
メッセージ
情報
統合
World
State
HTN
プランナー
計画
タスク
実行機
コントローラー
インプット
知能内部
感覚刺激
認識
脅威

知能の世界
環境世界
認識の
形成
記憶
意思の
決定
身体
制御
エフェクター・
身体
運動の
構成
センサー・
身体
意思決定
モジュール
意思決定
モジュール
意思決定
モジュール
対象・
現象
情報の流れ（インフォメーション・フロー）
影響を与える影響を受ける

Squad AI
Game AI Conference, Paris, June 2009 On the AI Strategy for KILLZONE 2′s Multiplayer Bots

Search & Destroy: Defending (2)

Search & Destroy: Defending (3)

部隊長のエージェント・アーキテクチャ
司令官から
の命令
各兵士から
の報告
情報
統合
World
State
HTN
プランナー
計画
タスク
実行機
各メンバー
への命令
知能内部
メモリ領域
実行モジュール

銃で攻撃ロケットで攻撃
銃で攻撃
ロケットで
攻撃
敵がヒューマノイド
射程距離内
敵はヒューマノイドでも砲台でもない
射程距離内
武器を選択して攻撃
（タスク）
装填
攻撃
終了
装填
攻撃
終了

… 前進
なし
拠点を防衛するように命令する
（タスク）
それまでのメンバーデータを消去
新しくメンバーの状況を収集
命令発行シークエンス起動
（これまでの行動を停止せよ）
前進命令を発行
到着したら停止命令
拠点を防衛せよ

かがみながら近づく
行動する（タスク）
治療プランスタート
治療を周囲に通達
車
防御
ターゲットを選択
治療器具を使用する
徒歩前進
治療
行動
中止継続開始
治療
器具変更なし器具変更あり
メソッド適用
メソッド適用
メソッド適用
メソッド適用

HTN (Hierarchical Task Network)
Precondition
Task
Precondition
Task

HTN (Hierarchical Task Network)
各AIの思考 On the AI Strategy for KILLZONE 2′s Multiplayer Bots

TaskList
TaskList
分岐リスト
分岐リスト
分岐(Branch)
分岐(Branch)

Strategic Graph

Strategic Graph
WHY?
Support runtime strategic decision making algorithms.
Help interpret the manual annotations dynamically.
WHAT?
Set of areas created as groups of waypoints.
High-level graph based on the low-level waypoint network.
HOW?
Automatic area generation algorithm done at export time.
Bots
http://aigamedev.com/open/coverage/killzone2
/

Waypoint Network

Influence Map

Assassination: Attack Wave 1

Assassination: Attack Wave 2

Strategic Pathfinding Costs

Strategic Pathfinder

Strategic Pathfinder
Paris Game AI Conference, 2009.

タスクベースでキャラクターＡＩを作ってみよう！

第四部ゴールベースAI

ゴールベース意思決定
Goal-based decision making
Rule-based AI
State-based AI
Behavior-based AI
Goal-based AI
Utility-based AI
Task-based AI
Simulation-based AI

ゴールベース
ゴール
世界と自分の状況を記述する。

ゴールベース
ゴールゴールゴールゴール
ゴールベースの考え方は、世界の変化の中で、自分の行動を考えて行くことです。
つまり、時間変化に沿ったゴールのシークエンスを考えることで、
世界の状況を変えて行く長期戦略です。

ゴールベース
ゴールゴールゴールゴール
ゴールが達成されているかどうかが、フィードバックの条件となります。

ゴールベースAI (Goal-Based AI)
ゴール（目標）を単位として構築する方法
ゴール・ファースト＝まずゴールを決める。
しかるのちにゴールを達成するための行動をデザインする。
ゴールゴールを達成するために
必要なことを考える思考
行動

２つのゴールベース
ゴールベース
連鎖プランニング
階層型ゴール
プランニング

ゴールベースＡＩ
階層型ゴールプラン二ング

階層型ゴール指向型プランニングとは？

一つのゴールはより小さなゴールから組み立てられる
Goal
Goal Goal Goal

ゴールはより小さなゴールから組み立てられる
Goal
Goal Goal Goal
Goal
Goal
Goal Goal Goal

映画を見たい
映画館に行く
映画を見る
映画館は新宿だ
映画館まで歩く
新宿駅に行く
晴れなら新宿駅へ歩く
雨なら電車で新宿へ
駅まで歩く
電車に乗る
ゴール指向型プランニングの考え方

パスに沿って
移動する
通信塔を
見つける
パスを見つける通信塔
へ行く
通信塔
を占拠
通信塔を
占領する
撃つ
歩く
止まる
通信塔の
周囲に
１0秒間いる
戦術、振る舞い操作ハウンズ
ロボット
身体
クロムハウンズにおける
ゴール指向型プランニング

リアルタイムゴール指向型プランニング
通信塔を
占領する
Seek
Shot
Walk
Stop
戦略戦術、振る舞い操作ハウンズ
敵が
来
た！
パスに沿って
移動する
通信塔を
見つける
パスを見つける
通信塔
へ行く
通信塔
を占拠
通信塔の
周囲に
１0秒間いる
敵と戦う
撃つ
歩く
止まる
ロボット
身体

パスに沿って
移動する
通信塔を
見つける
パスを見つける通信塔
へ行く
通信塔
を占拠
通信塔を
占領する
撃つ
歩く
止まる
通信塔の
周囲に
１0秒間いる
戦術、振る舞い操作ハウンズ
ロボット
身体

• http://www.nicovideo.jp/watch/1306134962/
videoExplorer
• こちらでクロムハウンズのゴール指向の動画
が見れます。
• 解説はこちらにあります。
• 「クロムハウンズにおける人工知能開発から
見るゲームAIの展望」
• https://cedil.cesa.or.jp/cedil_sessions/view/50

ゴール指向型AIの開発工程
歩く撃つ止まる
２点間を移動前進しながら戦う
攻撃するパスをたどる
敵を叩く
味方を
守る
操作層
振る舞い層
戦術層
戦略層
通信塔
占拠
その場で静止
周囲を監視
しつつ待機
ゲーム
テスト
（８０回）
問題点を
パターンと
して抽出
（パターンランゲージによる漸近的成長）
仕様UMLProgram

ゴール指向型プログラム構造
（入れ子構造）
Class Goal
クリア条件
＋
Activate()
Process()
Terminate()
Class Goal
クリア条件
＋
Activate()
Process()
Terminate()
Class Goal
クリア条件
＋
Activate()
Process()
Terminate()
Class Goal
クリア条件
＋
Activate()
Process()
Terminate()
Activate … 初期セッティング
Process … アクティブな間の行動Terminate … 終了処理
（関数の内容を全てスクリプトで記述）
プログラマーのための実装工程
インスタンス
インスタンスO‘Reilly Japan, Inc. 実例で学ぶゲームAIプログラミング
https://www.oreilly.co.jp/books/9784873113395/

最終的なゴール総合図
歩く撃つ止まる
２点間を
移動
歩く、一度
止まる、歩く
攻撃
する
パスを
たどる
敵を叩く味方を
守る
操作層
振る舞い層
戦術層
戦略層
通信塔
占拠
静止
する
ある地点へ
行く
本拠地
防衛
敵本拠地
破壊
味方を
助ける
巡回
する
敵基地
偵察
近付く
合流
する
巡回
する
逃げる
後退
する
前進
する
敵側面
へ移動

ゴールベース意思決定
階層型プラン二ング

F.E.A.R.におけるゴール指向プランニング
 Genre：Horror FPS
 Developer： Monolith Production
 Publisher : SIERRA
 Hardware: Windows
 Year： 2004
Agent Architecture Considerations for Real-Time Planning in Games (AIIDE 2005)
http://web.media.mit.edu/~jorkin/AIIDE05_Orkin_Planning.ppt

F.E.A.R のＣＯＭの感覚（センサー）
レイキャスト（視線チェック）、パス検索など重たい処理からなる関数
SensorNodeCombat 隠れる、或いは、隠れながら攻撃できる場所を探す。
SensorSeeEnemy 敵が見えるかチェック
PassTarget 戦術ポイントまでのパスを見つけ、かつそのパスが敵から安全であることをチェックする。
CoverNode 隠れることができるノード
世界
センサー
SensorNodeCombat
SensorSeeEnemy
PassTarget
CoverNode
知識表現
事実形式
センサー＝五感からの情報、及び、五感から得られるはずの情報を模擬する機能

統一事実記述形式
統一事実記述形式
場所
方向
感覚
オブジェクト
情報取得時刻
未公開
場所 (位置、信頼度)
方向（方向、信頼度）
感覚のレベル（感覚の種類、信頼度）
オブジェクト（ハンドル、信頼度）
情報取得時刻
キャラクター事件欲求任務パスオブジェクト
全て以下の形式（フォーマット）で記述する。
ノード
全部で本当は１６個の属性がある

自分の記憶領域に認識した事実を蓄積する
Worlking Memory

プランニングのための知識
シンボル
エージェントの認識する世界をもっとシンプルに表現したい
各エージェントについて（Agent-centric）
上記のシンボルは、対象とするエージェントについての情報。
kSymbol_AtNode
どのノードにいるか
kSymbol_TargetIs
AimingAtMe
どのノードにいるか
kSymbol_
WeaponArmed
武装しているか
kSymbol_
WeaponLoaded
装填されているか
kSymbol_Target
IsSuppressed
威嚇されているか
kSymbol_
UsingObject
オブジェクトを
使っているか？
kSymbol_
TargetIsDead
死んでいるか
kSymbol_
RidingVehicle
乗り物に乗っているか
kSymbol_AtNodeType
どんなタイプのノードにいるか
２０個のシンボルで世界を集約して表現する
Jeff Orkin, “3 States and a Plan: The AI of F.E.A.R.",
http://web.media.mit.edu/~jorkin/gdc2006_orkin_jeff_fear.zip

シンボル
kTargetAtme = ture
この兵士Ｂは自分を狙っているkTargetIsDead = ture
この兵士Ａは死んだ
kWeaponIsLoaded = false
私Ｃの武器は装填済みでない
Jeff Orkin, “3 States and a Plan: The AI of F.E.A.R.",
http://web.media.mit.edu/~jorkin/gdc2006_orkin_jeff_fear.zip

F.E.A.R.のプランニング②
シンボルによる連鎖プランニング
ターゲットＡが
死んでいる
ターゲットＡが
死んでいる
攻撃
武器が装填
されている
武器が装填
されている
装填する
武器を
持っている
武器を
持っている
武器を拾う
条件なし
プラナー
プランニング

ワークショップ６
ゴールベースでキャラクターＡＩを作ってみよう！

第五部シミュレーションベースAI

シミュレーションベース意思決定
Simulation-based decision making
Rule-based AI
State-based AI
Behavior-based AI
Goal-based AI
Utility-based AI
Task-based AI
Simulation-based AI

シミュレーション・ベース
• シミュレーションは、ここではエージェントの想
像のこと。
• 問題を定式化できない場合、実際に頭の中
で動かしてみることを意味する。
• ゲームの場合は、実際にゲームのルール・原
理に従って運動させてみる。

※イメージです。
要所、要所のシミュレーション結果を実際の世界の状況と比較して、
フィードバックをかける。

ジャンプするシミュレーションを行うことで、成功するジャンプを見出して実行する。

Warfarmeにおける壁面移動
Daniel Brewer, “The Living AI in Warframe’s Procedural Space Ships” (Game AI Conference 2014) ※登録が必要なサイトです
http://archives.nucl.ai/recording/the-living-ai-in-warframes-procedural-space-ships/
プレイヤー
AI
プレイヤーが「ジャンプ・壁面走り・ジャンプ」したデータから
学習して、AIがそのデータをもとに同じ動きをする。
ジャンプ壁面走り
ジャンプ

加速・減速など自由な軌道を描けるAIが、複雑な地形を通過するときに、
複数の運動シミュレーションを走らすことで、もっともエレガントな軌道を見出す。

Armored Core V における空中移動
岡村信幸, ARMORED CORE Vのパス検索 (CEDEC 2011)
https://cedil.cesa.or.jp/cedil_sessions/view/593
START GOAL

Armored Core V における空中移動
岡村信幸, ARMORED CORE Vのパス検索 (CEDEC 2011)
https://cedil.cesa.or.jp/cedil_sessions/view/593
START GOAL
動的計画法によるパス検索

モンテカルロ木探索法（解説）
コンピュータ囲碁におけるモンテカルロ法
理論編美添一樹
http://minerva.cs.uec.ac.jp/~ito/entcog/content
s/lecture/date/5-yoshizoe.pdf

ゲームツリー
• チェスとか(b 35; d 80)
• Go (b 250; d 150) ,

ゲームツリー
• チェスとか(b 35; d 80)
• Go (b 250; d 150) ,
評価関数による
盤面評価

Mastering the game of Go with deep neural networks and tree search
David Silver,Aja Huang,Chris J. Maddison,Arthur Guez,Laurent
Sifre,George van den Driessche,Julian Schrittwieser,Ioannis
Antonoglou,Veda Panneershelvam,Marc Lanctot, Sander
Dieleman,Dominik Grewe,John Nham,Nal Kalchbrenner,
Ilya Sutskever,Timothy Lillicrap,Madeleine Leach,Koray
Kavukcuoglu,Thore Graepel& Demis Hassabis
Nature 529, 484–489 (28 January 2016) doi:10.1038/nature16961

ゲームツリー
• チェスとか(b 35; d 80)
• Go (b 250; d 150) ,
評価関数による
盤面評価
depth
(d)
breadth
(b)

ポリシーネットワーク
盤面の状態
19x19の
確率分布
この盤面は、0.8で白が
いいです。
ここに45%の確率で
打つべき
バリューネットワーク
盤面の状態
一つの
評価値
打つべき
この二つのニューラルネットワークを作りましょう。
David Silver,Aja Huang,Chris J. Maddison, Arthur Guez,Laurent Sifre,George van den Driessche,Julian Schrittwieser,Ioannis Antonoglou,Veda Panneershelvam,Marc Lanctot, Sander
Dieleman,Dominik Grewe,John Nham,Nal Kalchbrenner, Ilya Sutskever,Timothy Lillicrap,Madeleine Leach,Koray Kavukcuoglu,Thore Graepel& Demis Hassabis

盤面の状態
19x19の
確率分布
いいです。
打つべき
盤面の状態
一つの
評価値
打つべき
ポリシーネットワークはモンテカルロ木探索でロールアウト（プレイ
アウト）を行う時に使います。盤面を入れると、このあたりが良い、
という確率分布を与えてくれるので、
この確率でプレイアウトを行います。つまり乱数の代わりです。

盤面の状態
19x19の
確率分布
いいです。
打つべき
盤面の状態
一つの
評価値
打つべき
バリューネットワークが盤面の「評価関数」です。
盤面を入れると、一つの評価値を返してくれます。
ただ関数ではなくニューラルネットワークなので、
バリューネットワークと呼ばれます。

盤面の状態
19x19の
確率分布
盤面の状態
一つの
評価値
ディープニューラルネットワークなので、実際はこういう形をしています。
入力は盤面の状態です。

ロールアウト用
ポリシー
ネットワーク
教師学習する
ポリシー
ネットワーク
学習教師あり学習
プロの棋譜
プロの棋譜を再現するように学習
強化学習する
ポリシー
ネットワーク
バリュー
ネットワーク
学習
自分同士でプレイ
＆強化学習
同士のプレイ
自己対戦による学習
初期状態として教師学習した
ポリシーネットワークを使う
AlphaGo のシステム

• Pπ ロールアウトポリシー（ロールアウトで討つ手を決める。
Pπ（a|s） sという状態でaを討つ確率）
• Pσ Supervised Learning Network プロの討つ手からその
手を討つ確率を決める。Pσ（a|s）sという状態でaを討つ確
率。
• Pρ 強化学習ネットワーク。Pρ（学習済み）に初期化。
• Vθ(s’) 局面の状態 S’ を見たときに、勝敗の確率を予測
する関数。つまり、勝つか、負けるかを返します。

の評価値
ロールアウトからの
評価値
ポリシーネットワークシミュレーションの比重

ワークショップ８
シミュレーションベースでキャラクターＡＩを作ってみよう！

ゲームAI製作のためのワークショップ（III）

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to ゲームAI製作のためのワークショップ（III）

Similar to ゲームAI製作のためのワークショップ（III） (8)

More from Youichiro Miyake

More from Youichiro Miyake (20)

ゲームAI製作のためのワークショップ（III）