ゲームAIと人工生命

ゲームAIと人工生命
日本デジタルゲーム学会理事
三宅陽一郎
2017.12.26 CQ出版

人工知能の歴史
１９５６年１９８６年２０1６年
人工知能
発祥
日本人工知能学会
発足
現在

経歴
京都大学（数学）大阪大学（原子核実験物理）東京大学
（エネルギー工学/人工知能）
高エネルギー加速器研究所（半年ぐらい。修士論文）
http://www.facebook.com/youichiro.miyake

Works (2006-2016)
AI for Game Titles
Books

参考文献
三宅陽一郎「大規模ゲームにおける人工知能 ─ファイナルファンタジーXV の実例をもとに─」
(17ページ) （人工知能学会誌、2017 2号）

https://www.ai-gakkai.or.jp/my-bookmark_vol32-no4/

目次
• 第一章人工知能とは？
• 第二章なぜ今、人工知能技術が注目されてい
るか
• 第三章人工知能の各種事例
• 第四章ゲームAIと人工生命
• 第五章集合の進化
• 第六章人工知能と創造性

自然知能と人工知能
人間
＝自然知能
機械
＝人工知能

ダートマス会議（1956年）
我々は、1956年の夏の2ヶ月間、10人の人工知能研究者
がニューハンプシャー州ハノーバーのダートマス大学に集
まることを提案する。そこで、学習のあらゆる観点や知能
の他の機能を正確に説明することで機械がそれらをシミュ
レートできるようにするための基本的研究を進める。機械
が言語を使うことができるようにする方法の探究、機械上
での抽象化と概念の形成、今は人間にしか解けない問題
を機械で解くこと、機械が自分自身を改善する方法などの
探究の試みがなされるだろう。我々は、注意深く選ばれた
科学者のグループがひと夏集まれば、それらの問題のうち
いくつかで大きな進展が得られると考えている。
https://ja.wikipedia.org/wiki/%E3%83%80%E3%83%BC%E3%83%88%E3%83%
9E%E3%82%B9%E4%BC%9A%E8%AD%B0
人工知能＝人間の知能を機械に写す（移す）。

機械（マシン）
ソフトウェア
知能
身体
機能
知能
http://www.1999.co.jp/blog/1210192
http://ja.wallpapersma.com/wallpaper/_-
%E3%83%AA%E3%82%B9%E3%80%81%E5%A3%81%E7%B4%99%E3%80%81%E3%83%AF%E3%82%A4%E3%83%89%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%81%AE%E3%80%81%E3%
83%9E%E3%83%83%E3%82%AF%E3%80%81%E3%83%9A%E3%83%83.html

身体性とインテリジェンス
Gray’s anatomy
脳の中心の部位は身体とつながっている。
生理機能を司っている。
それを囲うように、辺縁体、大脳がある。
http://square.umin.ac.jp/neuroinf/brain/005.html
http://www.amazon.co.jp/Grays-Anatomy-Anatomical-Clinical-Practice/dp/0443066841

意識/無意識の知性
身体の制御に
つながる
感覚を統合する
知性全体人の意識的な部分
意識自身には機能がない
環境
身体
意識
無意識
意識的な知性
無意識的な知性
表象意識に浮かび
上がるイメージ

人間の精神
意識
前意識
無意識
知能
言語による
精神の構造化
外部からの
情報
言語化のプロセス
シニフィアン
/シニフィエ
言語回路
（＝解釈）
意識の形成
世界を分節化している

人間の精神
意識
前意識
無意識
外部からの
情報
知能と身体の境界面
（仏教で言う：阿頼耶識）
言語・非言語境界面
（シニフィアン/シニフィエ）
意識の境界面
知覚の境界面
意識は常に何かについての意識である。（志向性）
フッサール『イデーン』
我々は知覚によってこの世界に住み着いている。
メルロ＝ポンティ『知覚の現象学』
ソシュール「一般言語学講義」
大乗仏教「阿頼耶識」

人間の精神
意識
前意識
無意識
外部からの
情報
生態学的人工知能
※生態＝環境・身体との
結びつきを考える
伝統的な人工知能
身体知

人間の精神
意識
前意識
無意識
知能
言語による
精神の構造化
外部からの
情報
シニフィアン/シニフィエ
言語回路
（＝解釈）

人間の精神、機械の精神
意識
前意識
識
外部からの
情報
意識
前意識
無意識
外部からの
情報
言語・非言語境界面
知覚の境界面
人工知能は、人間の知能を機械に移したもの。

第二章なぜ、今、人工知能技術が
注目されているのか？

この３００年の技術の動向
時間
規模
産業革命
情報革命
ネット革命
知能革命
機械化・自動化（オートメーション化）
電子情報化
オンライン化
知能化
第二次産業革命
電動化
1750 1860 1960 1990 Now…
現代は「知能化」の時代に
入りつつある。
第一次AIブーム第二次AIブーム第三次AIブーム

二つの人工知能
IF (s_collison==true)
register_all(s_star);
assign_edge();
assign_vertex();
mix_all();
シンボルによる人工知能
（シンボリズム））
ニューラルネットによる人工知能
（コネクショニズム）
IBM ワトソン
Gooogle検索
など
AlphaGo
など
http://www.nature.com/nature/journal/v518/n7540/full/nature14236.html

神経素子（ニューロン）とは？
入力
入力
入力
出力
入力
この中にはイオン（電解,Na+,K+）
溶液が入っていて、入力によって電圧が
高まると出力する仕組みになっています。
100mVぐらい
ニューラルネットワーク内シグナル伝達スピード 100(m/sec) … 案外遅い
http://www.brain.riken.go.jp/jp/aware/neurons.html

ニューラルネットを理解しよう② 数学的原理
http://www.pri.kyoto-u.ac.jp/brain/brain/11/index-11.html
医学的知識
http://www.biwako.shiga-u.ac.jp/sensei/mnaka/ut/sozai/ai.html
モデル化
数学的モデル
ニューロン
人工ニューロン
入出力関係のグラフ入出力関係の関数（シグモイド関数）
ニューラルネットワーク
（ニューロンをつなげたもの）
道具はこれで全て。これで何ができるだろう？

深階層ニューラルネットワーク
ニューラルネットワーク＝信号（波形）処理だけで知能を作る。

人工知能がブームになるとき
時間
規模
1960 1990 2000
1970 1980 2010
ニューラルネットによる人工知能は、
浮き沈みが激しい。

人工知能がブームになるとき
時間
規模
1960 1990 2000
1970 1980 2010
ニューラルネットによる人工知能は、浮き沈みが激しい。
＝しかし、人工知能がブームになる時は、
必ず改良されたニューラルネットワークが現れる。

この３００年の技術の動向
社会
機械レイヤー
情報処理レイヤー
人工知能レイヤー

2 第１次AIブーム
時間
規模
情報革命
ネット革命
知能革命
電子情報化
オンライン化
知能化
1960 1990 2000
1970 1980 2010

2 第一次ＡＩブーム（1960年代）
• コンピューターは大型のものしかない。
• 人工知能という分野自体が誕生したばかり。
• ニューラルネットという新しい分野のブーム。
１９世紀後半
人間の脳は
ニューロンという
もので出来てい
るらしい
２０世紀前半
ニューロンの
電気的性質が
解明される
（ホジキン博士、
ハクスレー博士）
1950年代に
ニューラルネット
発明
1963年に
ホジキン＝ハク
スレー方程式が
ノーベル賞

2 第一次ＡＩブーム（1960年代）
もし A ならば B
もし B ならば C
よって、
もし A ならば C
（記号主義）
推論ベースニューラルネット
誕生

3 第二次ＡＩブーム（1980年代）
• パソコンが普及して行く。
• ルールを集めて知能を作ろう。
• 逆伝播法によるニューラルネットのブーム。
パソコンが
世の中で
普及して行く
知識主義
＝
たくさんの知識
を人工知能に
与えて推論
すれば知能が
できる
インターネット
もなく、知識
が足りない。
推論も専門的
な機能のみ。

IF （A） then B
IF （C） then D
IF （E） then F
IF （G） then H
IF （ I ） then J
（記号主義）
ルールベース
新しい学習法＝
逆伝搬法

0 0 0
【逆伝播法】
ここが１になるように、
結合の強さを、
さかのぼって変えて行く。

4 第三次ＡＩブーム（2010年代）
• インターネットが普及して行く。
• インターネットで蓄積されたデータを学習させて
知能を作ろう。
• 改善されたニューラルネットのブーム。
インターネット
が世の中で
普及して行く
データ
学習主義
＝
たくさんのデー
タを人工知能
に学習させる
現在、進行中

（記号主義）
データベース
新しい学習法＝
ディープラーニング
データベース
検索エンジン
キーワード検索結果
検索
人
次の章で
説明
します

インターネットによる
膨大なデータ
時間
規模
1960 1990 2000
1970 1980 2010
ルールベース
逆伝播法
データベース
ディープ
ラーニング
推論ベース
ニューラル
ネット誕生
小型・中型
コンピュータの普及
大型コンピュータ
専門家のみのブーム

第三章人工知能の各種事例

AlphaGO
膨大な棋譜のデータ
（人間では多過ぎて
読めない）
この棋譜を
そっくり打てる
ように学習する
自己対戦して
棋譜を貯める
この棋譜を
そっくり打てる
ように学習する
AlphaGO

Deep Q-Learning
Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves,
Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller (DeepMind Technologies)
Playing Atari with Deep Reinforcement Learning
http://www.cs.toronto.edu/~vmnih/docs/dqn.pdf
画面を入力
操作はあらかじめ教える
スコアによる強化学習

二つの人工知能
IF (s_collison==true)
register_all(s_star);
assign_edge();
assign_vertex();
mix_all();
（シンボリズム））
IBM ワトソン
など
AlphaGo
など

ある層の限定した領域を次の層に向けて足し合わせて
集約する＝折り畳み（コンボリューション）
その時にちょっとづつずらしながら折り畳みを行う。

学習過程解析
Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves,
Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller (DeepMind Technologies)
Playing Atari with Deep Reinforcement Learning
http://www.cs.toronto.edu/~vmnih/docs/dqn.pdf

• Pπ ロールアウトポリシー（ロールアウトで討つ手を決める。
Pπ（a|s） sという状態でaを討つ確率）
• Pσ Supervised Learning Network プロの討つ手からその
手を討つ確率を決める。Pσ（a|s）sという状態でaを討つ確
率。
• Pρ 強化学習ネットワーク。Pρ（学習済み）に初期化。
• Vθ(s’) 局面の状態 S’ を見たときに、勝敗の確率を予測
する関数。つまり、勝つか、負けるかを返します。
Mastering the game of Go with deep neural networks and tree search
https://deepmind.com/research/alphago/

Mastering the game of Go with deep neural networks and tree search
https://deepmind.com/research/alphago/

第四章ゲームAIと人工生命

FC SFC SS, PS PS2,GC,Xbox Xbox360, PS3, Wii
DC （次世代）Hardware 時間軸20051999
ゲームの進化と人工知能
複雑な世界の
複雑なＡＩ
ゲームも世界も、ＡＩの身体と内面もますます複雑になる。
単純な世界の
シンプルなＡＩ
（スペースインベーダー、タイトー、1978年）（アサシンクリード、ゲームロフト、2007年）

(例) スペースインベーダー(1978)
プレイヤーの動きに関係なく、決められた動きをする
（スペースインベーダー、タイトー、1978年）

（例）プリンス・オブ・ペルシャ
「プリンス・オブ・ペルシャ」など、
スプライトアニメーションを用意する必要がある場合、
必然的にこういった制御となる。
（プリンスオブペルシャ、1989年）

http://28275116.at.webry.info/201005/article_7.html

原始の海で構造化＝外と内の形成
外
内
Energy

世界
外と内の交流＝非平衡系
極めてメカニカルな次元。
内部構造を持つ。
INPUT
OUTPUT
代謝機能（内部処理）

世界
情報的・物質的循環
物質
物理的OUTPUT
代謝機能情報INPUT
INFORMATION
OUTPUT
INFORMATION
情報処理＝情報代謝
（つまり思考）
生理的代謝機能
物理的INPUT

エージェント・アーキテクチャ
WORLD
INTELLIGENCE
センサーエフェクター
認識
Knowledge
Making
意志決定
Decision
Making
運動
Motion
Making
記憶体 Memory
情報体としての知能のカタチ

WORLD
INTELLIGENCE
認識
Knowledge
Making
意志決定
Decision
Making
運動
Motion
Making
記憶体 Memory
情報の循環＝インフォメーション・フロー

WORLD
INTELLIGENCE
認識
Knowledge
Making
意志決定
Decision
Making
運動
Motion
Making
記憶体 Memory
「情報の循環＝インフォメーション・フロー」は物質の循環の情報版。
これによって知性は自己を情報的に自己組織化できる。やはり知性も散逸構造である。

レベル
ナビゲーション
AI
メタAI
キャラクター
AI
エージェントを動的に配置
レベル状況を監視
エージェントに指示
ゲームの流れを作る
自律的な判断
仲間同士の協調
時にチームＡＩとなる
メタAI, キャラクターAIの為に
レベルの認識のためのデータを準備
オブジェクト表現を管理
ナビゲーション・データの管理
パス検索 / 位置解析
Support
敵キャラクタ－
プレイヤー
頭脳として機能
情報獲得
コントロール
現代ゲームAIの仕組み
http://dear-croa.d.dooo.jp/download/illust.html
http://www.anne-box.com/

３Ｄゲームの中のＡＩ
Halo
（ＨＡＬＯ、バンジー、2001年）デバッグ画面
The Illusion of Intelligence - Bungie.net Downloads
http://downloads.bungie.net/presentations/gdc02_jaime_griesemer.ppt

Intelligence
World
センサー
Information Flow
エフェクター
Agent Architecture

知能の世界
環境世界
認識の
形成
記憶
センサー・
身体
記憶体
情報処理過程
情報
統合

知能の世界
環境世界
認識の
形成
記憶
意思の
決定
センサー・
身体
意思決定
モジュール
意思決定
モジュール
意思決定
モジュール
記憶体
情報処理過程
情報
統合

知能の世界
環境世界
認識の
形成
記憶
意思の
決定
身体
制御
エフェクター・
身体
運動の
構成
センサー・
身体
意思決定
モジュール
意思決定
モジュール
意思決定
モジュール
記憶体
情報処理過程運動創出過程
身体部分
情報
統合
運動
統合

知能の世界
環境世界
認識の
形成
記憶
意思の
決定
身体
制御
身体
運動の
構成
センサー・
身体
意思決定
モジュール
意思決定
モジュール
意思決定
モジュール
対象・
現象
情報の流れ（インフォメーション・フロー）
影響を与える影響を受ける

サブサンプション・アーキテクチャ（ロドニー・ブルックス）
INPUT OUTPUT
時間
情報抽象度
反射的に行動
少し場合ごとに対応
抽象的に思考
理論的に考える
= 自意識の構築化
Subsumpution Architecture
運動の実現のプロセス
= 身体運動の生成

ルンバ（iRobot社）
http://chihoko777.exblog.jp/12567471/

環境世界
認識の
形成
記憶
意思の
決定
身体
制御
エフェクター・身体
運動の
構成
センサー・身体
意思決定
モジュール
意思決定
モジュール
意思決定
モジュール
記憶体
身体部分
情報
統合
運動
統合
「構成的自己＝知能」
の形成（創造）
存在（身体・記憶）
自分のコア
受け渡し
自我を安定させる
自分を時間と世界
に投げ出す

強化学習（例）
強化学習
（例）格闘ゲーム
キック
パン
チ
波動
R_0 : 報酬＝ダメージ
http://piposozai.blog76.fc2.com/
http://dear-croa.d.dooo.jp/download/illust.html

強化学習
（例）格闘ゲームTaoFeng におけるキャラクター学習
Ralf Herbrich, Thore Graepel, Joaquin Quiñonero Candela Applied Games Group,Microsoft Research Cambridge
"Forza, Halo, Xbox Live The Magic of Research in Microsoft Products"
http://research.microsoft.com/en-us/projects/drivatar/ukstudentday.pptx
Microsoft Research Playing Machines: Machine Learning Applications in Computer Games
http://research.microsoft.com/en-us/projects/mlgames2008/
Video Games and Artificial Intelligence
http://research.microsoft.com/en-us/projects/ijcaiigames/

メタＡＩの歴史
1980 1990
メタＡＩというのは、ゲームそのものに埋め込まれたＡＩ。
1980 1990 2000
古典的メタAI
現代のメタＡＩ
キャラクターＡＩ技術の発展

メタＡＩの歴史
1980 1990 2000
古典的メタAI
現代のメタＡＩ
キャラクターＡＩ技術の発展
その歴史は古く、1980年代にまでさかのぼる。
その時代と現代のメタＡＩは、異なる点も多いので、
古典的メタＡＩ、現代のメタＡＩと名づけて区別することにしよう。

（例）「ゼビウス」（ナムコ、1983）
敵出現テーブル巻き戻し
敵0
敵１
敵2
敵3
敵4
敵5
『あと面白い機能なんですけれど、ゼビウスには非常に簡単なAIが組み込まれています。
「プレイヤーがどれくらいの腕か」というのを判断して、出てくる敵が強くなるんです。
強いと思った相手には強い敵が出てきて、弱いと思った相手には弱い敵が出てきます。そういっ
たプログラムが組み込まれています。ゲームの難易度というのは「初心者には難しくて、上級者
には簡単だ」ということが、ひとつの難易度で(調整を)やっていくと起きてしまうので、その辺を何
とか改善したいな、ということでそういったことを始めてみたのですけれど、お陰で割合にあまり上
手くない人でも比較的長くプレイできる、うまい人でも最後のほうに行くまで結構ドラマチックに楽
しめる、そういった感じになっています。』
－遠藤雅伸（出演）、1987、「糸井重里の電視遊戯大展覧会」『遠藤雅伸ゼビウスセミナー』フジテレビ－

現代のメタAI
より積極的にゲームに干渉する。
メタAI
敵配位敵スパウニングストーリー
レベル
動的生成
ユーザー

メタＡＩ Left 4 Dead の事例
Michael Booth, "The AI Systems of Left 4 Dead," Artificial Intelligence and
Interactive Digital Entertainment Conference at Stanford.
http://www.valvesoftware.com/publications.html
今回は Left 4 Dead の事例を見てみる。

適応型動的ペーシング
[基本的発想]
(1) ユーザーがリラックスしている時に、ユーザーの
緊張度が一定の敷居を超えるまで敵をぶつけ
続ける。
(2) ユーザーの緊張度が一定の緊張度を超えると
敵を引き上げる。
(3) リラックスすると敵を出現し始める（(１)へ）。
Michael Booth, "The AI Systems of Left 4 Dead," Artificial Intelligence and
Interactive Digital Entertainment Conference at Stanford.

メタAI(=AI Director)によるユーザーのリラックス度に応じた敵出現度
ユーザーの緊張度
実際の敵出現数
計算によって
求められた
理想的な敵出現数
Build Up …プレイヤーの緊張度が目標値を超えるまで
敵を出現させ続ける。
Sustain Peak … 緊張度のピークを3-5秒維持するために、
敵の数を維持する。
Peak Fade … 敵の数を最小限へ減少していく。
Relax … プレイヤーたちが安全な領域へ行くまで、30-45秒間、
敵の出現を最小限に維持する。
Michael Booth, "The AI Systems of Left 4 Dead," Artificial Intelligence and Interactive Digital Entertainment Conference at Stanford.
より具体的なアルゴリズム

メタＡＩがゲームを認識する方法
キャラクター用に作成された
ナビゲーションメッシュを
メタＡＩがゲームの
状況を認識するために使用する。

メタAIが作用を行う領域
メタＡＩが作用（敵の生成・
消滅）を行う領域を、
AAS（= Active Area Set）と
言う。

メタAIが作用を行う領域
(AAS=Active Area Set)

安全な領域までの道のり(Flow Distance)
メタＡＩはプレイヤー群の経路を
トレースし予測する。
- どこへ来るか
- どこが背面になるか
- どこに向かうか

プレイヤーからの可視領域
可視領域（プレイヤーから見えている
部屋）では、敵のスパウニング（発生）
はできない。

敵出現領域
背後前方
前方と背後のプレイヤー群から見えてない部屋に、
モンスターを発生させる。

プロシージャル技術
ゲームAI技術
AI技術
プロシージャル
技術
コンテンツ自動生成技術
（PCG, Procedural Contents Generation ）

Rogue (1980)のレベル生成法
Rect[0] Rect[0] Rect[1]
Rect[0]
Rect[1]
Rect[2] Rect[3]
http://racanhack.sourceforge.jp/rhdoc/intromaze.html

Rogue (1980)のダンジョン生成法
Rect[0] Rect[0] Rect[1]
Rect[0]
Rect[1]
Rect[2] Rect[3]
このようにアセット（ゲームのデータ）をツールなどを通して製作するのではなく、
プログラムで作ることを「プロシージャル・コンテンツ・ジェネレーション」（PCG）と言う。
http://racanhack.sourceforge.jp/rhdoc/intromaze.html

現代のメタAI
より積極的にゲームに干渉する。
メタAI
敵配位敵スパウニングストーリー
レベル
動的生成
ユーザー
プロシージャル
技術

Procedural Generation in WarFrame
• Warframe ではダンジョンが自動生成される。
Daniel Brewer, AI Postmortems: Assassin's Creed III, XCOM: Enemy Unknown, and Warframe (GDC2015)
http://www.gdcvault.com/play/1018223/AI-Postmortems-Assassin-s-Creed

Black Combination in WarFrame
• ブロックを組み合わる
• 完全に零からの生成
ではない。
このような生成のことを
Semi-procedural と言う。

WarFrame における自動生成マップの
自動解析による自動骨格抽出
• 自動生成するだけでなく、自動生成したダンジョンを、自動解
析します。ここでは、トポロジー（形状）検出を行います。

WarFrame における自動生成マップの
自動解析によるナビゲーションデータ作成
抽出した骨格に沿って
自動的にナビゲーション・データを作成します。

スタートポイント、出口、目的地の
自動生成

ヒートマップ（影響マップ）を用いて
ゲーム中にプレイヤーの周囲を自動解析
ヒートマップ（影響マップ）とは、対象（ここではプレイヤー）を中心に、位置に温度（影響度）を
与える方法です。距離に応じて減衰します。また時間が経つと、周囲に熱が拡散します。

ヒートマップ（影響マップ）を用いて
ゲーム中にプレイヤーの周囲を自動解析
「ヒートが増加する＝プレイヤーが近づく点」
「ヒートが減少する＝プレイヤーが遠ざかる点」

アクティブ・エリアセット（Active Are Set）
アクティブ・エリアセットは、プレイヤーの周囲の領域で、
リアルタイムにメタAIがゲームを調整する領域

メタAIがアクティブ・エリアセット内で
ゲームを調整する
「ヒートが増加する＝プレイヤーが近づく点」なので、モンスターを生成する。
「ヒートが減少する＝プレイヤーが遠ざかる点」なので、モンスターを停止する。

メタAI （AI Director,）による
動的ペース調整

メタＡＩ（自動適応ペーシング）
メタAI （AI Director,）による
動的ペース調整

メタAIによる出会うモンスターの数の
大域調整
プレイヤーのスタート地点から出口までの道のりで、
コンスタントにモンスターと出会うようにする。

ネットワーク上のグラフ検索法
ダイクストラ法
M
F
L
B
A
Ｓ
O
P
D
C
G
S
V
H
Q
X
K
N
J
R
T
W
E
I
U
Z
Y
Ｇ
54
6 3
7 23
B C
3
G
D E
3
2 24
L
3
3
5
5
J
F
出発点（S）を中心に、最も短い経路
を形成して行く。Gにたどり着いたら終。
各ノードの評価距離＝出発点からの経路

ネットワーク上のグラフ検索法
A*法
M
F
L
B
A
Ｓ
O
P
D
C
G
S
V
H
Q
X
K
N
J
R
T
W
E
I
U
Z
Y
Ｇ
54
6 3
7 23
B C
3
3
2 24 3
5
5
出発点（Ｓ）を中心に、
そのノードまでの
最も短い経路を
形成して行く。
Gにたどり着いたら終了。
ゴール地点がわかっている場合、現在のノードとゴール
との推定距離（ヒューリスティック距離）を想定して、
トータル距離を取り、それが最少のノードを探索して行く
各ノードの評価距離＝出発点からの経路＋ヒューリスティック距離
ヒューリスティック距離
(普通ユークリッド距離を取る)
3+14.2 3+13.8
G H
3
5+10.5 6+8.4

パス検索とは
現在の地点から指定したポイントへの経路を、
リアルタイムで計算して導く技術。
RTS - Pathfinding A*
https://www.youtube.com/watch?v=95aHGzzNCY8

Counter Strike: Path Following (デモ)
The Official Counter-Strike Bot
http://aigamedev.com/insider/presentation/official-counter-strike-bot/

3次元パス検索
ARMORED CORE V のパス検索
岡村信幸
http://cedil.cesa.or.jp/cedil_sessions/view/593

キャラクターＡＩ：意思決定
知能とは何か？

環境
人工知能とは？
身体
人工知能＝人工的な存在（＝身体）を環境の中で活動させる
入力（センサー）行動（アウトプット）
知能

知能の内部世界
環境世界
身体
センサー・
身体

思考
環境世界
身体
センサー・
身体
記憶

環境世界
認識の
形成
記憶
センサー・
身体
記憶体
情報処理過程
情報
統合
記憶

環境世界
認識の
形成
記憶
意思の
決定
センサー・
身体
意思決定
モジュール
意思決定
モジュール
意思決定
モジュール
記憶体
情報処理過程
情報
統合
記憶

環境世界
認識の
形成
記憶
意思の
決定
身体
制御
身体
運動の
構成
センサー・
身体
意思決定
モジュール
意思決定
モジュール
意思決定
モジュール
記憶体
身体部分
情報
統合
運動
統合
記憶

知能の世界
環境世界
認識の
形成
記憶
意思の
決定
身体
制御
身体
運動の
構成
センサー・
身体
意思決定
モジュール
意思決定
モジュール
意思決定
モジュール
対象・
現象
情報の流れ（インフォメーション・フロー）
影響を与える影響を受ける
記憶

世界
五感
身体
言語
知識表
現型
知識
生成
Knowledge
Making
意思決定
Decision
Making
身体
運動
生成
Motion
Making
インフォメーション・フロー（情報回廊）
記憶
キャラクターにおける学習の原理
行動の表現結果の表現意思決定
行動とその結果から、意思決定を変化させる＝学習

行動の表現
結果の表現意思決定行動の表現
氷魔法
炎魔法
闇魔法
1
1
1
氷魔法ダメージ： 0

行動の表現
氷魔法
炎魔法
闇魔法
1
1
1
氷魔法
闇魔法
ダメージ： 0
ダメージ： 8

行動の表現
氷魔法
炎魔法
闇魔法
1
1
1
氷魔法
炎魔法
闇魔法
ダメージ： 0
ダメージ： 8
ダメージ： 72

行動の表現
氷魔法
炎魔法
闇魔法
1
1
1
氷魔法
炎魔法
闇魔法
ダメージ： 0
ダメージ： 8
ダメージ： 72 学習フェーズ

行動の表現
氷魔法
炎魔法
闇魔法
1
1.9
1.1
氷魔法
炎魔法
闇魔法
ダメージ： 0
ダメージ： 8
ダメージ： 72
（例）氷魔法 1+0/ (72+8) = 10/10
炎魔法 1+ 72/(72+8) = 19/10
闇魔法 1+ 8/ (72+8) = 11/10

行動の表現
氷魔法
炎魔法
闇魔法
1
1.9
1.1
氷魔法
炎魔法
闇魔法
ダメージ： 0
ダメージ： 0
ダメージ： 0

行動の表現
氷魔法
炎魔法
闇魔法
1
1.9
1.1
氷魔法
炎魔法
闇魔法
ダメージ： 80
ダメージ： 0
ダメージ： 0

行動の表現
氷魔法
炎魔法
闇魔法
1
1.9
1.1
氷魔法
炎魔法
闇魔法
ダメージ： 80
ダメージ： 0
ダメージ： 28

行動の表現
氷魔法
炎魔法
闇魔法
1
1.9
1.1
氷魔法
炎魔法
闇魔法
ダメージ： 80
ダメージ： 0
ダメージ： 49

行動の表現
氷魔法
炎魔法
闇魔法
1
1.9
1.1
氷魔法
炎魔法
闇魔法
ダメージ： 80
ダメージ： 42
ダメージ： 49

行動の表現
氷魔法
炎魔法
闇魔法
1
1.9
1.1
氷魔法
炎魔法
闇魔法
ダメージ： 80
ダメージ： 60
ダメージ： 49

行動の表現
氷魔法
炎魔法
闇魔法
1
1.9
1.1
氷魔法
炎魔法
闇魔法
ダメージ： 80
ダメージ： 60
ダメージ： 60
学習フェーズ

行動の表現
氷魔法
炎魔法
闇魔法
1.4
2.2
1.4
氷魔法
炎魔法
闇魔法
ダメージ： 80
ダメージ： 60
ダメージ： 60
（例）氷魔法 1+ 80/ (80+60+60) = 1.4
炎魔法 1.9 + 60/ (80+60+60) /3 = 2.2
闇魔法 1.1 + 60/ (80+60+60) /2 = 1.4

実際は、たくさんの学習アルゴリズムがある。

キャラクターにおける様々な学習
(1) ニューラルネットワークの応用
(2) 機械学習の応用
(3) 強化学習の応用

Neural Networks in Supreme Commander 2 (GDC 2012)
Michael Robbins (Gas Powered Games)
http://www.gdcvault.com/play/1015406/Off-the-Beaten-Path-Non
ニューラルネットワークの応用

出力
入力
(DPS=Damage per second)
Neural Networks in Supreme Commander 2 (GDC 2012)
Michael Robbins (Gas Powered Games)

Black & White （Lionhead,2000）
クリーチャーを育てていくゲーム。
クリーチャーは自律的に行動するが、
訓練によって学習させることができる。
http://www.youtube.com/watch?v=2t9ULyYGN-s
http://www.lionhead.com/games/black-white/

Belief – Desire – Intention モデル
Desire
(Perceptrons)
Opinions
(Decision Trees)
Beliefs
(Attribute List)
Intention
Overall Plan
(Goal, Main Object)
Attack enemy town
Specific Plan
(Goal, Object List)
Throw stone at house
Primitive Action List
Walk towards stone,
Pick it up,
Walk towards house,
Aim at house,
Richard Evans, “Varieties of Learning”, 11.2, AI Programming Wisdom

Desire
(Perceptrons)
Opinions
(Decision Trees)
Beliefs
(Attribute List)
Low Energy
Source =0.2
Weight =0.8
Value =
Source*Weight =
0.16
Tasty Food
Source =0.4
Weight =0.2
Value =
Source*Weight =
0.08
Unhappiness
Source =0.7
Weight =0.2
Value =
Source*Weight =
0.14
∑
0.16+0.08+0.14
Threshold
（0～1の値に
変換）
hunger
Desire（お腹すいた度）欲求を決定する
対象を決定する
それぞれの対象の
固有の情報
他にも
いろいろな
欲求を計算
Hunger
Compassion
Attack（戦いたい）
Help

Desire
(Perceptrons)
Opinions
(Decision Trees)
Beliefs
(Attribute List)
戦いたい？
+0.9 -0.2
味方敵
+0.4 +0.1 -0.3
小さい大きい中

Desire
(Perceptrons)
Opinions
(Decision Trees)
Beliefs
(Attribute List)
Intention
Overall Plan
(Goal, Main Object)
Attack enemy town
Specific Plan
(Goal, Object List)
Walk towards stone,
Pick it up,
Walk towards house,
Aim at house,
何に対して何を行うか決定
特定の行動を決定
詳細な行動

Desire
(Perceptrons)
Opinions
(Decision Trees)
Beliefs
(Attribute List)
Intention
Overall Plan
(Goal, Main Object)
Attack enemy town
Specific Plan
(Goal, Object List)
Walk towards stone,
Pick it up,
Walk towards house,
Aim at house,
何に対して何を行うか決定
特定の行動を決定
詳細な行動
「何に対して何をするか」悩んでいる。

機械学習
（例）FORZA MOTORSPORT におけるドライビング学習

機械学習
• 揺らぎ
• ライン – コーナーやそのコンビネーションに対し
て、どれぐらいスムーズに車をガイドするか。
• コーナーへの突入スピードとブレーキを踏むタイ
ミングと。保守的か過激か。
• コーナーの頂点にどれぐらい近づくか、どれぐら
いの速度でそこを抜けるか？
• コーナーを抜ける時のスピードとコーナーを回る
時のスピード。
Drivatar がプレイヤーのコントロールから学習するもの
Microsoft Research
Drivatar™ in Forza Motorsport
http://research.microsoft.com/en-us/projects/drivatar/forza.aspx

機械学習
プレイヤーの特性を解析する
特徴となる数値をドライブモデルに渡す

機械学習
レーシングラインを事前に構築する。生成というよりテーブルから組み合わせる。

機械学習
レーシングラインに沿わせるのではなく、理想とする位置とスピードから
コントローラーの制御を計算して、物理制御によって車を運転する。

Forza motorsports (EA)
Jeffrey Schlimmer, "Drivatar and Machine Learning Racing Skills in the Forza Series"
http://archives.nucl.ai/recording/drivatar-and-machine-learning-racing-skills-in-the-forza-series/

強化学習とは？
行動選択
＝ポリシー
（π）
環境(Env)
行動（a）
状態（Ｓ）
報酬
報酬
関数
環境のモデルはよくわからない。
でも、行動をして、それに対する結果（＝報酬）が環境から返って来る。
その報酬から、現在の状態と行動の評価を見直して、
行動選択の方針を変えて行くことを強化学習という。

強化学習

強化学習
実際は、ＡＩの状態（距離など）に対してアクションが学習される。
多くの技（攻撃20種類、防御１０種類ほど）が強化学習される。

第２章遺伝的アルゴリズム
１．遺伝的アルゴリズムのイメージ
２．遺伝的アルゴリズムの原理
３．遺伝的アルゴリズムのゲームへの応用
４．遺伝的アルゴリズムの展望

１．遺伝的アルゴリズムのイメージ

遺伝的アルゴリズム
集団を一定の方向に進化させる方法
最初の世代新世代（１００～世代後）
…
世代を経て進化させる
一つの世代が次の世代を交配によって産み出す

遺伝的アルゴリズムの仕組み
遺伝子
遺伝子
次世代
親①
親②
母集団から優秀な親を
２体ピックアップ
遺伝子を掛け合わせる次世代の子供を産み出す
(selection) (crossover) (production)
現世代
このサイクルをくり返すことで世代を進めて望ましい集団を産み出す
遺伝子
遺伝子

（例）① GA Racer
遺伝的アルゴリズムによって、遠くまで到達できるレーサーを作成する。
最初はここまでしか
たどり着けないけど…
だんだんと遠くまで、
たどりつけるようにする。
Mat Buckland, "Building Better Genetic Algorithm", 11.4., AI Game Programming Wisdom 2
（CD-ROMにソースコードと実行ファイルがあります）

（例）②アステロイド
最初、船（△）は隕石（○）に
ぶつかってばかり．．．
最初の世代
Brian Schwab, “Genetic algorithm”, Chapter.20., AI Game Engine Programming,
Charles River Media (2004) （CD-ROMにソースコードと実行ファイルがあります）
新世代（４世代後）
次第に隕石を避けることが
できるようになる。

（例）③ムーンランディング（月着
陸）
３世代２０世代３５世代
落下法則（物理法則）のもとで降下ポイントから台座に垂直に着陸する操作を見出す
最初は全く見当違い。だんだんと近付いて来る。
Mat Buckland, Andre Lamothe, “Moon Landings Made Easy ”, chapter.6.,
AI techniques for game programming, Premier Press (2002)
着陸地点
降下開始ポイント降下開始ポイント降下開始ポイント

（例）④アストロノーカ
最初はすぐに罠にかかるけどだんだんと罠にかからないようになる
MuuMuu, プレイステーション用ソフト「アストロノーカ」（Enix, 1998）
http://www.muumuu.com/games/astro/
新世代（５～世代後）最初の世代野菜
食べたい

２．遺伝的アルゴリズムの原理

遺伝的アルゴリズムが使える時
パラメーターのセットによって、ＮＰＣを定義する。
遺伝子＝パラメーターセット
人工知能行動
パラメーターセットが身体的特性・知能を特徴付ける

遺伝的アルゴリズムによる個体集団進化のシークエンス
①初期の個体集合を生成
②シミュレーション
④交叉による次世代生成
⑤遺伝子操作（突然変異）
個体集合
②評価
③適応度による選択
（ゲームでない場合は
このプロセスはなく、
いきなり遺伝子の適応度が
評価されることが多い）

以下、それぞれのステップの
技術を詳細に解説します。
以下の解説は、上記の解説に即します。
いろいろ教科書や解説があるけれど、ゲーム開発に関しては
上記の解説が最も優れているし、
ソースコードもあるので利用しやすいと思います。

なるべく、パラメーターの初期値は、まばらになるようにしよう！
（普通は乱数などを使って分布が均一になるようにする）
数値、或いは、記号を要素とする。
数値表現としては、
各要素を実数で表す「実数表現」と
２進数（１，０）で表す「バイナリー表現」がある。
個体を多数（GAにはある程度の母数が必要）用意し、
各NPCに遺伝子コードを設定し、初期値を設定する。
【遺伝的アルゴリズムの思想】さまざまな遺伝子による
集団の多様性を維持しながら、一つの方向に進化させる。

（解説）「バイナリー表現」と「実数表現」
3.1 56.7 5.4 2.0 23.912.3
実数表現
バイナリー表現
0110101 10100101 010100010 101010 10101010101010
記号表現
C A D F EB
ベクトル表現
…
遺伝子コードには、いろいろな表現がある

（解説）遺伝子型（遺伝子の上の表現の仕
方）
y zx
実数表現バイナリー表現
実際のパラメータと違う表現でもよい
（例）-6.4 < x,y,z < 6.3
(x + 6.4 ) × 10 = x´
y´ z´x´
2.0 3.4-1.8 0101110 0101010 1100010
パラメーター（実数）を
そのまま使う
２進数に表現しなおす
表現の仕方によって突然変異のさせ方が違って来ます（後述）。

②シミュレーションとNPCの評価
NPCが生きるゲーム世界の中で、実際に一定時間動作させるなど
して、製作者がＮＰＣに望む目標に対する評価値（達成値）をつける。
順位評価値
1位８６.３
2位７８.４
3位７５.３
..…
…
１００位３８．２
ゲーム製作者の意図を反映する評価関数を作る
（例）強いＮＰＣを作りたければ、評価値＝0.7*撃破数＋0.3* 残りＨＰ
取り合えず生き延びることできるＮＰＣなら、評価値＝生存時間
ゲーム世界
敵
敵
敵
君はこの世界でどれだけ僕が求めるにふさわしいのだ？
遺伝子を評価するのではなく、その遺伝子を持つ個体が、
世界でどれだけ優秀であるかを測る。

評価値から適応度を計算する
順位評価値
1位８６.３
2位７８.４
3位７５.３
..…
…
１００位３８．２
順位適応度
1位９.３２
2位８.８３
3位７.８１
..…
…
１００位０.０２
評価値から、その個体の環境に対する適応度を計算する。
評価値が大きいほど、適応度は大きくなるようにしておく。
評価値とは、その環境で達成した行為の点数のこと。
適応度とは、環境にどれぐらい対応しているかを表す。
両者の対応関係は、比例関係にあるならどう作ってもよい。
（例）同じでいいや。適応度＝評価値
上位の点数は、差に意味がないから適応度＝ log (評価値/100 ) など。

③ 選択
順位適応度
1位 0.93
2位 0.81
3位 0.79
4位 0.63
5位 0.51
6位 0.44
7位 0.32
8位 0.28
9位 0.10
10位 0.02
適応度比例方式（ルーレット選択）
… 適応度の大きさに比例した確率で生き延びて親になれる。
（無作為にダーツを投げて親を決めるイメージ。
大きな適応度の領域ほどあたりやすい。プログラムでは勿論、乱数を使う）
生き延びて子孫(offspring)を残せる個体を決定する

（解説）スケーリング
順位適応度
1位 0.93
2位 0.81
3位 0.79
4位 0.63
5位 0.51
6位 0.44
7位 0.32
8位 0.28
9位 0.10
10位 0.02
（問題）適応度比例方式では、あまりに小さい適応度のNPCにチャンスがない。
適応度の分布を少し緩和してからルーレットしよう！
順位適応度
1位 10
2位 9
3位 8
4位 7
5位 6
6位 5
7位 4
8位 3
9位 2
10位 1
順位スケーリング
いろいろなスケーリング法（１）

順位適応度
1位 0.93
2位 0.81
3位 0.79
4位 0.63
5位 0.51
6位 0.44
7位 0.32
8位 0.28
9位 0.10
10位 0.02
順位適応度
1位 1.45
2位 0.43
3位 -0.02
4位 -0.12
5位 -0.34
6位 -0.45
7位 -0.48
8位 -0.54
9位 -0.57
10位 -0.68
シグマスケーリング
いろいろなスケーリング法（２）
新しい適応度＝
＋１
新しい適応度＝（適応度ー適応度の平均値）/ 2σ
（σ：標準偏差、定数）

順位適応度
1位 0.93
2位 0.81
3位 0.79
4位 0.63
5位 0.51
6位 0.44
7位 0.32
8位 0.28
9位 0.10
10位 0.02
順位適応度
1位 1.65
2位 0.53
3位 -0.02
4位 -0.12
5位 -0.24
6位 -0.25
7位 -0.38
8位 -0.40
9位 -0.47
10位 -0.49
ボルツマンスケーリング
いろいろなスケーリング法（３）
新しい適応度＝exp (適応度/T) / ∑exp（適応度/T）
T = 3 x NPC の数
＋１

遺伝子
１点交叉
切断点
選んだ２つの親の遺伝子を交叉(crossover)させる。

遺伝子
遺伝子
２点交叉
切断点切断点切断点切断点切断点切断点
４点交叉
基本的に、１点交叉が基本です。
切断点が多いということは「性質が保存されにくく」次世代に分岐の多い進化を促すことです。
より多様なNPCを産み出して、ベストフィットするNPCを探すことを意味します。
１点交叉から始めて結果を見て、適度な交叉を見出すことをお薦めします。

⑤ 遺伝子操作（突然変異）
ある確率（突然変異率）で、遺伝子コード上の遺伝子
（内容）をランダムに対立遺伝子に書き換える。
0110101 10100101 010100010 101010 10101010101010
0110101 10110101 010100010 101010 10101010101010
反転
3.1 56.7 5.4 2.0 23.912.3
実数表現
3.1 56.7＋0.3 5.4 2.0 23.912.3
+Δ
遺伝子に多様性を与える

D
⑤ 遺伝子操作（突然変異）
記号順列表現（順序に意味がある場合。ルート検索など）
B C D E FA
BC D E FA
交換
置き換え
挿入
遺伝子に多様性を与える
B C D E FA
B C E FA
B C D E FA
A C D E B F

このプロセスを何度もくり返すことでNPCの集合は進化します
個体集合
②評価
（ゲームでない場合は
このプロセスはなく、
いきなり遺伝子の適応度が
評価されることが多い）

以下、詳細の説明終了です。
より深い理解のためには、
上記の文書やソースコードを研究してみましょう！

３．遺伝的アルゴリズムのゲームへ応用

デモ解説
デモの組み立て方を見ながら、
ゲームへの応用へのアイデアを考えよう！

（例）① GA Racer
遺伝的アルゴリズムによって、遠くまで到達できるレーサーを作成する。
最初はここまでしか
たどり着けないが…
だんだんと遠くまで、
たどりつけるようにする。

全体の流れ
…
減速（実数値 0~1）
ステアリング（実数値 0~1）
個体集合
②評価
どれだけ遠くまで行けたか？

（例）③ムーンランディング（月着
陸）
３世代２０世代３５世代
降下ポイントから台座に垂直に着陸する操作を見出す
最初は全く見当違い。だんだんと近付いて来る。
Mat Buckland, Andre Lamothe, “Moon Landings Made Easy ”, chapter.6.,
AI techniques for game programming, Premier Press (2002)

（例）④アストロノーカ
最初はすぐに罠にかかるけどだんだんと罠にかからないようになる
新世代（５～世代後）最初の世代

どういうゲーム？
珍しい野菜を育てる
しかしバブーが野菜を食べに来る
トラップを仕掛けて野菜を守れ！
高値で取引、そして野菜コンテストで優勝！

森川幸人,
「テレビゲームへの人工知能技術の利用」,
人工知能学会誌vol.14 No.2 1999-3
http://www.1101.com/morikawa/1999-04-10.html
に準拠します。
以下の解説は

全体の流れ
http://www.muumuu.com/CEDEC2003_ants/CEDEC2003_ants.htm
森川幸人, 赤尾容子, 「アリの知恵はゲームを救えるか？」,CEDEC2003

全体の流れトラップを配置する
１日の始まり
トラップバトル開始
トラップバトル終了
トラップ成績算出
各個体の成績算出
順位を決定
下位２体を削除
適応度に応じて親を選択
子供２体を生成
新しい世代を生成
規定世代に達した？
一日の終了
世代交代数を修正
突然変異率を修正

４－① 初期の個体集合を生成
個体を多数（GAにはある程度の母数が必要）用意し、
各NPCに遺伝子コードを設定し、初期値を設定する。
５６ｘ８＝４４８ビット
遺伝子身長耐性_快光線腕力脚力耐性_かかし体重
1.87 6.85 16.25 25.03 25.03 16.25 6.85 1.87
0 1 2 3 4 5 6 7
[各ビットの重み]
[バブーの属性（総計５６）]

４－②シミュレーションとNPCの評価
トラップを奥へと通り抜けることができるほど、
評価点が高くなる。
適応度＝成績＋ＴＢ時間*0.3＋エンジョイ*0.5＋トラップ点＋安全点＋ＨＰ*0.5
要した時間トラップに対する耐性

４－③ 選択
適応度比例方式（ルーレット選択）
… 適応度の大きさに比例した確率で生き延びて親になれる。
生き延びて子孫(offspring)を残せる個体を決定する

４－④交叉による次世代生成
遺伝子
切断点
選んだ２つの親の遺伝子を交叉(crossover)させる。
（詳しい交叉の情報はわかりません）

４－⑤ 遺伝子操作（突然変異）
0110101 10100101 010100010 101010 10101010101010
0110101 10110101 010100010 101010 10101010101010
反転
突然変異率３％に設定
（１）親の遺伝子が似ているほど（ハミング距離が小さい）突然変異しやすい。
（２）突然変異が起こる場所は、トラップの置き方によってある程度限定される。

（解説）ハミング距離とは？
１０１０１００００１
１０１０００１０１０
４箇所違う＝距離４
二つの記号列の間の異なる要素の数
距離が小さい＝遺伝子が似ている
距離が大きい＝遺伝子が異なる

ゲームデザインにおける工夫
全体の適応度の平均値
一日の適応度の伸び
世代交代数
工夫その① 遺伝的アルゴリズムは集団に対するアルゴリズム
一体のトラップバトルの裏で他の２０体も同じトラップバトルをして、
全体として世代交代をさせている。
工夫その②
遺伝的アルゴリズムは進化のスピードがプレイヤーに体感させるには遅い
プレイヤーには「１世代の変化」と言っているが、
実はだいたい１日５世代分進化させている。
工夫その③
プレイヤーから見て
毎日、同じ適応度の
上昇になるように、
世代交代数を調整している

① ニューラルネットで動く3D-PONGのNPC
② ニューラルネットで移動する「機雷除去戦車」
③ 2D-シューティングゲームへの応用「バイナリーエイリアン」
④ 衝突回避と探索を行う戦車
⑤ ニューラルネットワークの構造が進化させる「NEAT」の技術
⑥ リアルタイム「NEAT」を使ったシミュレーションゲーム「 NERO 」
ニューラルネットワーク
１．ニューラルネットへのガイダンス
２．階層型ニューラルネット
３．ニューラルネットによるエージェント
http://www.daviddarling.info/encyclopedia/N/neuralnet.html
http://www.sanko-junyaku.co.jp/product/bio/catalog/nhc_animal/rat-neuronal-3striatum.html

ニューラルネットで動くPONGのNPC
Jeff Meyers（University of Michigan-Dearborn）, April 1998
…
現在のボールのX座標
現在のボールのY座標
１フレーム前のパドルの位置
（Y座標）
今のフレームで
指定するパドルの位置
（Y座
標）
0.93
0.31
0.43
0.82
0.13
0.03
望まれる出力
（学習信号）
＝
現在のボールの
Y座標
望まれる出力と実際の出力の差から、ウエイトを調整して行く。
(誤差伝播法＝ backward propagation of errors)
学習によって縮まって行く

エージェント・アーキテクチャー
身体
ＮＰＣの知能部分
ゲーム世界
相互作用
時間
時間
知覚する行動する
機体
制御
ここの結合の強さ（ウエイト、重み）が変わって行く。
我々の脳が成長するみたいに。

ニューラルネットで動くPONGのNPC
http://www-personal.engin.umd.umich.edu/~watta/MM/pong/pong5.html
Jeff Meyers（University of Michigan-Dearborn）, April 1998
ニューラルネットを持つNPCと対戦する。
ニューラルネットと対戦！
（注意）
ボールのスピードを
遅くしておかないと
対戦できない。
このNPCは、PONGに対する知識を持っているだろうか？
IF … then とか、記号で表される形で明示的に持っていない。
PONGに対応した回路という形で持っている。
ニューラルネットを
持つNPC
https://www.youtube.com/watch?v=LD6OgKEj5JE

ガイダンス終了
ニューラルネットを簡単に紹介しました。

②ニューラルネットで動く「機雷除去戦車」
Mat Buckland, Chapter 7, AI techniques for game programming, Premier Press, 2002
(実行ファイルとソースコードがCD-ROMにあります)
左のキャタピラの回転数右のキャタピラの回転数
２つの回転数の関係で動く

ニューラルネットで動く「機雷除去戦車」
…10 neuron
Look-AT
Closest-Mine
2つのベクトルは
規格化しておく
Look-AT
x
y
x
y
Closest-Mine
左の回転数
右の回転数
自分の向きと、最近接の機雷から、機体制御に必要な
左右のキャタピラの回転数を決定する。

身体
ゲーム世界
相互作用
時間
時間
機体
制御

遺伝的アルゴリズムとの併用
重み重み
…
重みの実数を（４ｘ１０＋１０ｘ２個）要素として遺伝子コードを定義する。

全体の仕組み
一定時間シミュレーション
機雷除去の戦績を評価関数として
遺伝的アルゴリズムによって、
遺伝子を掛け合わせる。
次の世代を生成
ゲーム内で活動させて成績を見ることで、だんだんと
優秀な個体だけを残して、新しい個体を生成して行く。

③2D-シューティングゲームへの応用「バイナリーエイリアン」
エイリアン一体一体が、
ニューラルネットの思考を持つ。初期のアーケードゲーム

2D-シューティングゲームへの応用「バイナリーエイリア
ン」Mat Buckland, Chapter 10, AI techniques for game programming, Premier Press, 2002
…
15 neuron
弾丸１の
ベクトル
x
y
x
y
右へ移動
左へ移動
弾丸２の
ベクトル
x
y
弾丸３の
ベクトル
上へ移動
0.9 を超える値の中で、
最大のものが選択される。
もし、全て0.9を超えなければ、
「ドリフト」の動きをする。
このゲームでは、スクリーンに
３弾までしか表示されない。
x
y
プレイヤーの
銃の向き

2D-シューティングゲームへの応用「バイナリーエイリア
ン」Mat Buckland, Chapter 10, AI techniques for game programming, Premier Press, 2002
…
15 neuron
弾丸１の
ベクトル
x
y
x
y
右へ移動
左へ移動
弾丸２の
ベクトル
x
y
弾丸３の
ベクトル
上へ移動
x
y
プレイヤーの
銃の向き
重み
重み
…
重みの実数を要素として遺伝子コードを定義する。

全体の仕組み
リアルタイムシミュレーション
遺伝的アルゴリズムによって
やっつけられたエイリアンを補充し、
既存のエイリアンに突然変異を施す。
リアルタイム進化
撃墜されたエイリアンの補充は、生き残っているエイリアンの優秀さベスト２０％の
母集団からトーナメント方式（ｎ個(ここでは１０体)をランダムに選んで、その中から
最も優秀な個体をコピーして新しい個体を生成する）で行う。
エイリアンは２００体プールしておく。
この数は、ゲーム中、再生産に
よって常に維持される。

④衝突回避と探索を行う戦車
衝突回避のために仮想的な触覚を持つ。
触覚が衝突した場合に、衝突位置を検出する。
0.4
0.7 0.0
0.0
0.0
ニューラルネットで衝突を回避

衝突回避を行う戦車
6 neuron
触覚1
重み
重み
…
触覚2
触覚3
触覚4
触覚5
左の回転数
右の回転数

全体の仕組み
衝突の少なさ指標を評価関数として

衝突回避と探索を行う戦車
NPCを、なるべく未踏野の領域に行く
ように移動させたい。
探索各マスに、NPCがいた通算の
時間を規格化（未踏野－１、
通算時間は０～１で規格化）
して記憶する。
触覚は、自分のいるマスの
通算時間を読み取る。

衝突回避と探索を行う戦車
6 neuron
触覚1:衝突
左の回転数
右の回転数
触覚1:滞在時間
触覚2:衝突
触覚5:衝突
衝突情報
…
重み
…
重みの実数を要素として遺伝子コードを定義する。
重み

全体の仕組み
探索能力を評価関数として

⑤ニューラルネットワークの構造が進化させる
「NEAT」の技術
これまでニューラルネットは、最初に構造を定義した後は変化しなかった。
動的にニューラルネットの構造を変化させる技術
Neuron Evoluation of Augmenting Topologies (NEAT)

NEAT
回路の構成を遺伝子コードで表現する。
Weight: 1.2
From: 1
To: 3
Enabled: Y
Recurrent: N
Innovation: 1
Weight: -3
From: 1
To: 4
Enabled: Y
Recurrent: N
Innovation: 6
Weight: 0.7
From: 2
To: 4
Enabled: Y
Recurrent: N
Innovation: 2
Weight: -2.1
From: 3
To: 4
Enabled: Y
Recurrent: N
Innovation: 6
Weight: 1.1
From: 3
To: 5
Enabled: N
Recurrent: N
Innovation: 3
Weight: 0.8
From: 4
To: 5
Enabled: Y
Recurrent: N
Innovation: 4
Weight: -1
From: 5
To: 3
Enabled: Y
Recurrent: Y
Innovation: 7
ID: 1
Type: Input
ID: 2
Type: Input
ID: 3
Type: hidden
ID: 4
Type: hidden
ID: 5
Type: Output
2
1
4
3
5
つなぎ方を定義する遺伝子
ニューロンを定義する遺伝子
入力出力

NEAT
回路の構成を遺伝子コードで表現する。
Weight: 1.2
From: 1
To: 3
Enabled: Y
Recurrent: N
Innovation: 1
Weight: -3
From: 1
To: 4
Enabled: Y
Recurrent: N
Innovation: 6
Weight: 0.7
From: 2
To: 4
Enabled: Y
Recurrent: N
Innovation: 2
Weight: -2.1
From: 3
To: 4
Enabled: Y
Recurrent: N
Innovation: 6
Weight: 1.1
From: 3
To: 5
Enabled: N
Recurrent: N
Innovation: 3
Weight: 0.8
From: 4
To: 5
Enabled: Y
Recurrent: N
Innovation: 4
Weight: -1
From: 5
To: 3
Enabled: Y
Recurrent: Y
Innovation: 7
ID: 1
Type: Input
ID: 2
Type: Input
ID: 3
Type: hidden
ID: 4
Type: hidden
ID: 5
Type: Output
2
1
4
3
5
リンク（つなぎ方）を定義する遺伝子
ニューロンを定義する遺伝子
Innovation ID によってリンク、ニュー
ロンを全遺伝子共通の管理する。
無効
入力出力

NEATにおける交叉
親１
2
1
7
3
4
1
1->4
2
2->4
3
3->4
6
3->7
7
7->4
12
1->7
1
1->4
2
2->4
3
3->4
4
2->5
5
5->4
8
5->9
9
9->4
15
3->9
親２
2
1
3
95 4
Innovation ID
ID順に並べます。
1
1->4
2
2->4
3
3->4
1
1->4
2
2->4
3
3->4
4
2->5
5
5->4
6
3->7
7
7->4
8
5->9
9
9->4
12
1->7
15
3->9
交
叉
4
2->5
5
5->4
8
5->9
9
9->4
15
3->9
1
1->4
2
2->4
3
3->4

NEATにおける交叉
親１
2
1
7
3
4
1
1->4
2
2->4
3
3->4
6
3->7
7
7->4
12
1->7
1
1->4
2
2->4
3
3->4
4
2->5
5
5->4
8
5->9
9
9->4
15
3->9
親２
2
1
3
95 4
Innovation ID
交
叉
2
1
3
95 4
4
2->5
5
5->4
8
5->9
9
9->4
15
3->9
1
1->4
2
2->4
3
3->4
子供＝新しいニューラルネットワーク

第３世代
第９２９世代
第１３６８世代
左は俯瞰図（赤は衝突してしまってい
る）
右は適応度ベスト４のニューラルネット

身体
ゲーム世界
相互作用
時間
時間
機体
制御
交配の中で発展して行く

⑥リアルタイム「NEAT」を使ったシミュレーションゲーム
「 NERO 」
Neural Networks Research Group, Department of Computer Sciences, University of Texas at
Austin, Neuro-Evolving Robotic Operatives, http://www.nerogame.org/,
(ゲームがあります)
①rtNEAT（リアルタイムNEAT）システムの上で、ユーザーが兵士を訓練する。
②訓練させた兵士同士を対戦させる。
https://www.youtube.com/watch?v=YA_eHaMEa58

「 NERO 」
敵察知レーダー
左/右
前/後ろ
オブジェクトへ
の距離
ターゲットオン
兵士のニューラルネット
敵LOFセンサー
（射線）
バイアス
射撃
初期状態

「 NERO ver2.0」
敵察知レーダー
左/右
前/後ろ
オブジェクトへ
の距離
ターゲットオン
兵士のニューラルネット
敵LOFセンサー
（射線）
バイアス
射撃
NEAT
によって
発展して行く

全体の仕組み
リアルタイムシミュレーション
兵士が一人死ぬ
適応度の高い２親を選んで
遺伝子を交叉させて、新しい
兵士を作る

A Brief History of Matchmaking in Heroes of the Storm
Alex Zook, Blizzard Entertainment
https://archives.nucl.ai/recording/a-brief-history-of-matchmaking-in-heroes-of-the-storm/

第六章人工知能と創造性

アーロンのアルゴリズム
• 知識ベースの人工知能
＝対象に対する知識をインプットして描かせる

＝閉曲線で描くことを学ぶ。
1981

(左) 学んだ知識から描く
（右）架空のものを学んだものから描く
19851983

前後関係を取れるようにする。
1986

ブラウン運動
ロバート・ブラウン博士によって、１８２７年に発見された現象。
微粒が媒質（液体）の中で行う不規則な運動。
アインシュタイン博士によって、熱運動する媒質の不規則な
衝突によって引き起こされると説明された。
http://ja.wikipedia.org/wiki/%E3%83%96%E3%83%A9%E3%82%A6%E3%83%B3%E9%81%8B%E5%8B%95

ブラウン運動から地形生成
ロバート・ブラウン博士によって、１８２７年に発見された現象。
微粒が媒質（液体）の中で行う不規則な運動。
アインシュタイン博士によって、熱運動する媒質の不規則な
衝突によって引き起こされると説明された。
宮田一乗「プロシージャル技術の動向」（CEDEC 2008）

https://www.youtube.com/watch?v=m4JDNzwFZFI

http://www.kenmusgrave.com

NO MAN’S SKY (Hello Games, 2016)
http://www.no-mans-sky.com/
宇宙、星系、太陽系、惑星を自動生成する。

FarCry2 におけるプロシージャル技術
50km四方のマップを作る
オブジェクト（草木）＆アニメーションデータを自動生成

FarCry2 (Dunia Engine ) デモ
草原自動生成時間システム
樹木自動生成動的天候システム
動的天候システム
http://www.farcry2-hq.com/downloads,18,dunia-engine-nr1.htm

The Talos Principle
The Talos Principle on PS4: Designing AI to Test a Game About AI
http://blog.us.playstation.com/2015/09/25/the-talos-principle-on-ps4-designing-ai-to-test-a-game-about-ai/
点列とその間のスクリプトを
定義する。

PPNN
Phase-Functioned Neural Networks for Character Control
DANIEL HOLDEN, University of Edinburgh
TAKU KOMURA, University of Edinburgh
JUN SAITO, Method Studios
SIGGRAPH 2016
ニューラルネットを用いたキャラクター動作生成
Daniel Holden, 幸村琢、齊藤淳（CEDEC 2016）
https://www.youtube.com/watch?v=Ul0Gilv5wvY

モンテカルロ木探索（MTCS）
コンピュータ囲碁におけるモンテカルロ法~理論編~
美添一樹http://minerva.cs.uec.ac.jp/~ito/entcog/contents/lecture/date/5-yoshizoe.pdf

Optimizing MCTS Performance for Tactical Coordination in Total War: Attila
Piotr Andruszkiewcz (NUCL.AI)
https://archives.nucl.ai/recording/optimizing-mcts-performance-for-tactical-coordination-in-total-war-atilla/
Total War: Attila における

Fable Legendsにおける
Tactical Planning and Real-time MCTS in Fable Legends
by Gwaredd Mountain, Lionhead (NUCL.AI)
https://archives.nucl.ai/recording/tactical-planning-and-real-time-mcts-in-fable-legends/

Killer Instinct
Case-based Reasoning for Player Behavior Cloning in Killer Instinct
Bruce Hayles, Iron Galaxy Studio , Event: nucl.ai Conference 2015(NUCL.AI)
https://archives.nucl.ai/recording/case-based-reasoning-for-player-behavior-cloning-in-killer-instinct//

ゲームAIと人工生命

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to ゲームAIと人工生命

Similar to ゲームAIと人工生命 (20)

More from Youichiro Miyake

More from Youichiro Miyake (20)

Recently uploaded

Recently uploaded (20)

ゲームAIと人工生命