![2
背景
囲碁・将棋などのゲームAIで強さに関する研究は一つの節目
「人間を楽しませる」「人間らしい」ゲームAIへ関心が集まりつつある
銃撃ゲームにおける人間らしいゲームBotの競技会開催[1]
疲れや見間違いといった人間らしさを再現するための研究[2]
従来研究の多くは，ゲームの勝敗に関係ある行動のみに着目
［1］”The 2K Bot Prize," http://botprize.org (Accessed 2016-08-01)
［2］藤井叙人ら 生物学的制約の導入による「人間らしい」ふるまいを伴うゲーム AI の自律獲得 , GPW2013 , pp.70-80, （ 2013-11-01 ）
ゲーム内の行動を使用 ゲーム外の行動を使用
主目的達成を
意図する
将棋の駒を指す
敵への攻撃
仲間を回復させる など
ブラフや表情で相手を揺さぶる
通話などによるチームプレー
など](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recommended
More Related Content
Featured
Featured (20)
Final diffence
- 2. 2 背景 囲碁・将棋などのゲームAIで強さに関する研究は一つの節目 「人間を楽しませる」「人間らしい」ゲームAIへ関心が集まりつつある 銃撃ゲームにおける人間らしいゲームBotの競技会開催[1] 疲れや見間違いといった人間らしさを再現するための研究[2] 従来研究の多くは，ゲームの勝敗に関係ある行動のみに着目 ［1］”The 2K Bot Prize," http://botprize.org (Accessed 2016-08-01) ［2］藤井叙人ら 生物学的制約の導入による「人間らしい」ふるまいを伴うゲーム AI の自律獲得 , GPW2013 , pp.70-80, （ 2013-11-01 ） ゲーム内の行動を使用 ゲーム外の行動を使用 主目的達成を 意図する 将棋の駒を指す 敵への攻撃 仲間を回復させる など ブラフや表情で相手を揺さぶる 通話などによるチームプレー など
- 3. 3 プレイヤのゲーム中に行う行動「本研究注目部分」 ゲーム内の行動を使用 ゲーム外の行動を使用 主目的達成を 意図する 敵への攻撃 仲間を回復させる など 通話などによるチームプレー ブラフや表情で相手を揺さぶる など 主目的達成を 直接意図しない （不要な）攻撃を用いた挑発 移動を用いた催促 など 攻撃されたときに思わず呟く 「当たれ！！」「痛っ！」の発話 など
- 4. 4 プレイヤのゲーム中に行う行動「本研究注目部分」 本研究はここの行動群に着目 （「ゲーム内非主目的行動」と呼ぶ） ゲーム内の行動を使用 ゲーム外の行動を使用 主目的達成を 意図する 敵への攻撃 仲間を回復させる など 通話などによるチームプレー ブラフや表情で相手を揺さぶる など 主目的達成を 直接意図しない （不要な）攻撃を用いた挑発 移動を用いた催促 など 攻撃されたときに思わず呟く 「当たれ！！」「痛っ！」の発話 など
- 6. ゲーム内で用意されている行動（移動や攻撃など）を その本来の用途以外のゲームの非主目的に利用すること 6 ゲーム内非主目的行動の列挙・分類 目的：ゲーム内非主目的行動を利用し，より人間らしさを感じるゲームAIの実現 ◦ インタビュー，インターネット（動画，blog，SNSなど）から人力で100種類以上の行動事例収集 ◦ 収集した事例を31タイトル46種類まで厳選し，目的別7種類に分類，考察を行う 強い 皆無 警告 催促 挑発 挨拶謝罪 共感 魅せプレ イ 自己満足 主目的との関係性 主目的と関係性の強い順に整理 定義
- 11. 11 考察1/3： ゲーム内非主目的行動の発生条件 囲碁，将棋などのボードゲーム 敵が強すぎて余裕が無い 負けている状況など 協力RPGなどのゲーム 時間制限が無い． 圧倒的に有利な状況など チャットなど言語コミュニケーション 主目的達成行動のみ ゲーム内非主目的行動が 現れやすい ゆとりが少ない 十分過ぎるゆとり 中間的 格闘ゲームなど 程よいゆとりを持つゲーム ゲーム非主目的行動が現れるタイミングなど考察 AI実装ではタイミングを意識しなければ不自然さが生まれる可能性 [条件C] ゲームルール,持ち時間，精神的など「ゆとり」が適度にあること AIで再現するために，程よいゆとりを持つ問題設定が必要である
- 12. 12 考察2/3： 行動の獲得法について ゲーム内非主目的行動は多岐にわたり，目的や各行動に応じて再現方法が異なる [手法A]手作業で設定 ◦ 設計者がルールベースでゲームタイトルやゲーム内の状況に合わせて記述 [手法B]教師あり学習 ◦ 多くの人間のプレイログがあれば行動の獲得が可能 [手法C]強化学習による自動獲得 ◦ 正の報酬を与えない行動は学習されることが無い ◦ [C‐1]AI vs 人間 ◦ 人間の行動をまねることでゲームの目的が効率よく達成される行動が学習 ◦ その過程で，人間が行っていた挑発や共感などの行動が学習される可能性はある ◦ [C-2]AI vs AI ◦ C-1の場合と異なり，挑発などは学習されない ◦ 「敵を見つけた早くこっちに来て」など報酬に貢献しうる行動は獲得されうる 「ゲームの利益に貢献」する行動（催促など）は獲得されうる 実際に，簡単な問題で試してみる
- 14. 14 各プレイヤの行動の獲得 保有する状態 ・E 視野内の自分と獲物の相対座標 ・A 視野内の自分と味方の相対座標 プレイヤの行動獲得にはQ学習を用いる[3] 行動方針はε-greedy法を用いる（学習時 ε=0.1 ，評価時 ε=0） ・E 視野内の自分と獲物の相対座標 ・A 視野内の自分と味方の相対座標 ［3］山村雅幸ら‟エージェントの学習（特集「エージェントの基礎と応用」）”, 人工知能学会誌,10(5),pp683-689,1995-09-01 敵に対する視野が十分にある場合，敵を捕まえることができるが 敵に対する視野が限られる場合，うまく捕まえることができない この二つの状態を持つだけでは， 非捕獲率 評価：各エピソードで学習されている行動を0-policyで実行 評価回数は5000回，そのうち何エピソード捕まえられるか集計
- 15. 15 実験１：付加情報が与える影響（非捕獲率） ・「敵を見つけれていないターン数」という情報をプレイヤに追加 ・これにより一直線にループしないで戦略的に獲物を探索することができる ・実際，失敗率は 76％から 32％程度に低下した 非捕獲率のグラフ 保有する状態 ・E 視野内の自分と獲物の相対座標 ・A 視野内の自分と味方の相対座標 ・T 何ターン獲物を見えていないか ←NEW ・T 何ターン獲物を見えていないか
- 17. 17 実験２：複数行動の組み合わせによる意思伝達 プレイヤに意思を伝えれるだけのゆとりを与え，行動の伝達をより容易に E3A7T21 に過去の味方の行動を追加，捕獲成功確率が劇的に向上 味方と上手く手分けして索敵，敵を見つけたら特徴的な行動で味方に連絡している 保有する状態 ・E 視野内の自分と獲物の相対座標 ・A 視野内の自分と味方の相対座標 ・T 何ターン獲物を見えていないか ・H 過去に味方が行った行動 ←NEW ・H 過去に味方が行った行動
- 19. 19 まとめ 着目対象 ◦ 『ゲーム内非主目的行動』という，ゲーム内行動を本来の目的外の“非主目的”達成 に転用する行為 分類 ◦ ７つの達成目的に基づき区分． ◦ 催促，挑発，謝罪，注意・警告，魅せプレイ，共感，自己満足 考察 ◦ 行動の発生条件， AIによる獲得方法，実装により期待される効果 ここまでが一つの成果 模倣 ◦ 分類・考察の結果から問題設定 ◦ その設定問題下においてエージェントの行動を獲得 今後 ◦ 適切な縮約やパラメータ調整などでよりよい行動の獲得 ◦ （楽しさ）を報酬とした強化学習 ◦ 機械学習などで人間の行動データから挑発などを行うAI
- 20. 20 以下，補足資料
- 26. 26 1/3 行動の発生条件 どのような時にゲーム非主目的行動が現れるのか AI実装ではタイミングを意識しなければ不自然さが生まれる可能性 [条件A] 情報がある程度開示されていること ◦ 麻雀等の不完全情報ゲームでは正しく意図を汲んでもらえない [条件B] プレイヤ同士のゲーム内文化が共有されていること ◦ ルールや文化などが共有できなければ，挑発や催促などの意図が正しく伝わらない [条件C] ゲームルール,持ち時間/精神的ゆとりが適度にあること 余裕あり 余裕 なし チャットなど正規の手段で コミュニケーション 主目的達成行動のみ 丁度 良い 本研究注目行動が現れやすい
- 27. 27 2/3 行動の獲得法について ゲーム内非主目的行動をAIで獲得するには次のアプローチが考えられる [手法A]手作業で設定 ◦ 設計者がルールベースのIf-Then文などで記述 [手法B]教師あり学習 ◦ 多くの人間のプレイログがあれば行動の獲得が可能 [手法C]強化学習による自動獲得 ◦ [C-1]AI vs AI ◦ 自然・不自然問わず何らかの行動が生まれる可能性あり ◦ 挑発のような行動は生まれない ◦ [C‐2]AI vs 人間 ◦ 人間が意図して行う挑発などが生まれる
- 28. 警告・催促 ・・・○出す側受け取る側双方にメリット ただし，意味が正しく伝わるかは文化による 挑発 ・・・△人間プレイヤを不愉快にする可能性 憎たらしいキャラクターとなり倒し甲斐が生まれる． 共感 ・・・△主目的達成に役立ちにくいが，人間プレイヤに好まれる ミラーリングはFPSでも有効であることが知られている 挨拶，謝罪 ・・・○AIプレイヤにさせるべき 警告などと同様に文化を汲み取る工夫は必要 魅せプレイ ・・・△高難度コンボは非人間的に見えるリスク． ○派手なトドメを決めようとすることなどは価値がある 自己満足 ・・・✕行動をうまく選別しなければわざとらしく見える可能性 28 3/3 導入の価値と課題 より人間らしいAIプレイヤと遊ぶ事でゲーム体験が充実する 分類した行動に基づいて以下のような利益が期待される
- 29. 29 中間審査までのまとめ 着目対象 ◦ 『ゲーム内非主目的行動』という，ゲーム内行動を本来の目的外の“非主目的”達成 に転用する行為 分類 ◦ ７つの達成目的に基づき区分． ◦ 催促，挑発，謝罪，注意・警告，魅せプレイ，共感，自己満足 考察 ◦ 行動の発生条件， AIによる獲得方法，実装により期待される効果 中間審査から行ったこと ◦ 分類・考察の結果から問題設定 ◦ その設定問題下において行動の獲得 ◦ 評価・考察
- 32. 32 実験１：付加情報が与える影響 （平均捕獲手数） 「捕獲できた場合の」平均的に掛かった手数 のグラフ T21の場合限られた視野の中で捕まえ ようとするため手数は多く掛かる E3A1T21 の場合 ・獲物が視野に入るまで盤面全体を 探そうとする挙動が獲得できる E3A7T21 ・味方の情報があるため 手分けして探すなどができてもおかし くないはず しかし，未獲得 発見した時にそれを伝達する手段が必要 味方の位置情報に加え，過去の行動を記憶させる
- 34. 34 Q学習とパラメータについて 𝑄 𝑠𝑡, 𝑎 𝑡 ← 𝑄 𝑠𝑡, 𝑎 𝑡 + 𝛼 𝑟𝑡+1 + 𝛾 max 𝑎 𝑄 𝑠𝑡+1, 𝑎 − 𝑄(𝑠𝑡, 𝑎 𝑡) 𝜸 ： 割引率 将来的に得られる報酬を現在価値に換算している． 0ならば直後の報酬のみを反映，1ならば 将来貰える報酬をすべて現在の報酬となる 本実験では，0.8 とする 𝜶：学習率 小さすぎると正しい値に辿り着けず，大きすぎれば収束しない 今回は，0.1 × 1000000 1000000 + 𝑒𝑝𝑖𝑠𝑜𝑑𝑒 の式に則り，学習が進むにつれ徐々に減衰していく 1億ゲーム目では，約0.001まで減衰する 𝒓 : 報酬 捕まえることが出来た場合100 ，それ以外は0が与えられる 𝒎𝒂𝒙 𝒂 𝑸(𝒔 𝒕+𝟏) :移動先で取ることの出来る行動で一番Q値が大きくなるものを選択
Editor's Notes
- 主目的達成を目指すとは, 将棋や囲碁といったボードゲーム
- チャットなどを打つより，銃を撃つ方が早い 通常プレイでは，壁に銃弾を撃ちこむことに意味が無いため警告として捉えられる
- 挑発的行動は，煽りなどと呼ばれ親しまれている？，これは，わざと相手の感情を逆撫でする行動である ※本研究では，既に実装されてる「挑発コマンド」 等によら無いものを対象としている．繰り返しになるが，ゲーム内の移動や攻撃といった行動により行うが興味の対象になる
- それらを意識しなければ不自然さが生まれてしまうと考えられる． コミュニティーのローカルルールなど文化の違いで意図が伝わらない 多くの人間が行うが本当にゲーム体験が豊かなものになるのか
- 創発された行動が人間にとって不自然である可能性について 例えば，FPSゲームにおいて，人間がアイテムを早く拾ってくれというような催促を行うとき，銃弾を撃つ行動がある．しかしAIプレイヤでは，銃弾が当たると死ぬ＝負の報酬 となる可能性があるため学習されにくい． つまり，まぁ人間のジェスチャーをイメージしていただければわかりやすのですが， 国や文化によって同じジェスチャーであっても逆の意味になっていることがあって，そういう可能性をはらんでいます．
- 囲碁で１－１のような隅に石を置く行動は，拮抗した試合では見ることはない特殊な行動ですが稀にある行動です．
- 見てる側としては，君たちなんでそんなしょうもないことをしているんだい？ となる行動ですが，やっている本人たちはほっこりとした気持ちで盛り上がってると思います． これが，チャットや通話などがない状況で起きれば， 「この人はノリがいい人だな」と感じ，チームメイトからより良い協力が得られるようになる可能性がある
- 動画はあと一発攻撃を喰らえば負けという状況で，攻撃が当たる0.1～0.16秒以内にコマンド入力を成功させた時に発動するブロッキングを連続で決めている様子 ブロッキングを行えば，敵の攻撃をノーダメージで防ぎ，必殺技ゲージの増加，技硬直を無視して即時に反撃することができる
- それらを意識しなければ不自然さが生まれてしまうと考えられる． コミュニティーのローカルルールなど文化の違いで意図が伝わらない 多くの人間が行うが本当にゲーム体験が豊かなものになるのか
- 創発された行動が人間にとって不自然である可能性について 例えば，FPSゲームにおいて，人間がアイテムを早く拾ってくれというような催促を行うとき，銃弾を撃つ行動がある．しかしAIプレイヤでは，銃弾が当たると死ぬ＝負の報酬 となる可能性があるため学習されにくい． つまり，まぁ人間のジェスチャーをイメージしていただければわかりやすのですが， 国や文化によって同じジェスチャーであっても逆の意味になっていることがあって，そういう可能性をはらんでいます．
- 意図が正しく伝わらない状況や可能性があるため正しく理解する仕組みが必要 基本的に共感動作は，敵を倒すわけでもなくスコアに殆ど関係しないため，主目的達成などに直接役立つことはない．しかしプレイヤに好感を持ってもらうことができれば，CPU相手でも協力してもらいやすくなると考えている [対象A] 敵プレイヤAIに実装したときに期待される効果 適度な挑発などにより，倒し甲斐が生まれる ※やり過ぎると不愉快なものになる危険性 [対象B]味方プレイヤAIに実装したときに期待される効果 挨拶・謝罪による連帯感や愛着の増大 意思疎通の円滑化の可能性