Download as PDF, PPTX
![ルールベースエージェント
ゲームデザイナーがシンプルな行動ルールを考え、
それをそのままコードにする。ダンメモにおいてはそ
れなりに強い
if PC_ID_XXX in status.keys():
if status[PC_ID_XXX]['effect']['buff']['attack']['_strength'][1] > 0:
commands[PC_ID_XXX] = 'SKILL3'
ルールの例
ルールベース
エージェント](https://image.slidesharecdn.com/cedec201909061750-190911011640/85/slide-77-320.jpg)
![サーバーソケットインターフェース
input_data = json.load(sys.stdin)
with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s:
finish = False
s.bind((BIND_IP, BIND_PORT))
s.listen(1)
while not finish:
conn, addr = s.accept()
with conn:
while True:
data = conn.recv(MESSAGE_SIZE)
if data.decode('utf-8') == 'state':
conn.send(json.dumps(input_data).encode('utf-8'))
elif 'action' in json.loads(data.decode('utf-8')):
action = json.loads(data.decode('utf-8'))['action']
finish = True
...
json.dump(output_data, sys.stdout, indent = 4, ensure_ascii = False)](https://image.slidesharecdn.com/cedec201909061750-190911011640/85/slide-89-320.jpg)
Uploaded bygree_tech
機械学習ベースの自動プレイエージェントを用いたバランス設計効率化の追求
CEDEC 2019 にて発表された資料です https://cedec.cesa.or.jp/2019/session/detail/s5c989964626e1
More Related Content
![ChatGPTのデータソースにPostgreSQLを使う[詳細版]（オープンデベロッパーズカンファレンス2023 発表資料）](https://cdn.slidesharecdn.com/ss_thumbnails/postgresqlchatgptodc2023nttdata-230830045114-329af13b-thumbnail.jpg?width=640&height=640&fit=bounds)
![運用中のゲームにAIを導入するには〜プロジェクト推進・ユースケース・運用〜 [DeNA TechCon 2019]](https://cdn.slidesharecdn.com/ss_thumbnails/techcon2019okumuraokada-190214063249-thumbnail.jpg?width=640&height=640&fit=bounds)
機械学習ベースの自動プレイエージェントを用いたバランス設計効率化の追求
- 1. 機械学習ベースの自動プレイエージェントを用いた バランス設計効率化の追求 2019/09/06 福沢 嘉琳 森田 想平 © 大森藤ノ・SBクリエイティブ/ダンまち2製作委員会
- 2.
- 3. 自己紹介 Sohei Morita 森田 想平 2009年入社。 データエンジニアとして働いたのち、現在は事業横断部門でデータ 基盤/ AIリサーチ / ビジネスアナリシスを担当するグループのマ ネージャーを務める。 本プロジェクトではプロジェクトマネジメントと一部の開発を担当。
- 4. 本発表の概要 ゲームコンテンツのバランス調整を効率化するために、 自動プレイエージェントの導入を検証しているプロジェク トに関して ● 解決したい課題 ● 開発検証しているシステムの構成 ●開発プロジェクトはどう進んできたか をお話します
- 5.
- 6.
- 7.
- 8.
- 9.
- 10. 2017年6月19日リリース（おかげさまで2周年！） 「ダンまち」初のスマートフォン向けゲームアプリ 原作者 大森藤ノ先生 完全監修のストーリー 総ワード数85,000超の全編フルボイス ダンまち〜メモリア・フレーゼ〜（以降ダンメモ）とは？ © 大森藤ノ・SBクリエイティブ/ダンまち2製作委員会
- 11.
- 12.
- 13.
- 14.
- 15.
- 16.
- 17.
- 18. ダンメモのバトル 通常バトル（低難易度コンテンツ） ボスバトル（高難易度コンテンツ） © 大森藤ノ・SBクリエイティブ/ダンまち2製作委員会 バランス設計を行う上で それぞれの適切なバランス設計の指標を決めたい
- 19.
- 20.
- 21.
- 22.
- 23. ボスバトルでのスコア計算 合計ダメージ 生存ターンボーナス 難易度ボーナス aaaa 最終スコア =合計ダメージ × (1+生存ターンボーナス) × (1+難易度ボーナス) 覚えなくていいです © 大森藤ノ・SBクリエイティブ/ダンまち2製作委員会
- 24.
- 25.
- 26.
- 27.
- 28.
- 29.
- 30.
- 31.
- 32. 活躍させたいキャラクターを 複数決定 ステージ設計 ①想定パーティの決定 そのキャラクターを用いて ハイスコアが出せるパーティを作る ※パーティは一例です ©大森藤ノ・SBクリエイティブ/ダンまち2製作委員会
- 33. 活躍させたいキャラクターを 複数決定 ステージ設計 ①想定パーティの決定 そのキャラクターを用いて ハイスコアが出せるパーティを作る ※パーティは一例です ©大森藤ノ・SBクリエイティブ/ダンまち2製作委員会 課題 ダンメモのキャラをすべて把握していないと ベストなパーティを組むことが難しい
- 34.
- 35.
- 36.
- 37.
- 38.
- 39.
- 40.
- 41. スコアを算出してみる テストプレイ ①目標値の設定 ついでにもう一つ指標ができました ※赤ラインは理想のハイスコア帯 aaaa 最終スコア =合計ダメージ × (1+生存ターンボーナス) × (1+難易度ボーナス) 1ターンあたりのダメージ量を実績ベースで出し、 目標生存ターン数を入れればざっくり最終スコアを算出できる
- 42. 定量的な目標値が決まったので、テストプレイを行っていきます テストプレイ ②実際にプレイする 想定パーティで ボスと戦って どれくらいのスコアが出せるか © 大森藤ノ・SBクリエイティブ/ダンまち2製作委員会
- 43. 定量的な目標値が決まったので、テストプレイを行っていきます テストプレイ ②実際にプレイする 課題 ダンメモのバトルに慣れたゲームデザイナーでないとハイ スコアを出せるコマンド選択ができない 想定パーティで ボスと戦って どれくらいのスコアが出せるか © 大森藤ノ・SBクリエイティブ/ダンまち2製作委員会
- 44. テストプレイ ②実際にプレイする 想定パーティで ボスと戦って ハイスコアが出せた 定量的な目標値が決まったので、テストプレイを行っていきます 最適行動をしたときの 生存ターン数がわかる © 大森藤ノ・SBクリエイティブ/ダンまち2製作委員会
- 45.
- 46.
- 47.
- 48.
- 49.
- 50.
- 51.
- 52.
- 53.
- 54.
- 55.
- 56.
- 57.
- 58. 自動プレイ環境 実運用のための環境と、検証のための環境、２つを用意してい る 検証環境 ● 基本的にエンジニアが使う環境 ● 各エージェントのデバッグ・検証や機械学習エージェントの 学習に使う 実運用環境 ●基本的にゲームデザイナーが使う環境 ● ルールベースエージェントの利用が可能 ● （機械学習エージェントの推論モードの利用を想定）
- 59.
- 60.
- 61.
- 62.
- 63.
- 64. 開発システムのコンポーネント ● ゲーム本体 ● シミュレーター ●シミュレーターが呼び出すスクリプト ○ 共通仕様 ○ ルールベースエージェント ○ サーバーソケットインタフェース ● OpenAI Gymラッパー ● Gym対応エージェントスクリプト ○ ルールベースエージェント ○ 機械学習モデルの学習用エージェント ○ 機械学習モデルの推論検証用エージェント
- 65. 開発システムのコンポーネント ● ゲーム本体 ● シミュレーター ●シミュレーターが呼び出すスクリプト ○ 共通仕様 ○ ルールベースエージェント ○ サーバーソケットインタフェース ● OpenAI Gymラッパー ● Gym対応エージェントスクリプト ○ ルールベースエージェント ○ 機械学習モデルの学習用エージェント ○ 機械学習モデルの推論検証用エージェント
- 66.
- 67.
- 68.
- 69. 開発システムのコンポーネント ● ゲーム本体 ● シミュレーター ●シミュレーターが呼び出すスクリプト ○ 共通仕様 ○ ルールベースエージェント ○ サーバーソケットインタフェース ● OpenAI Gymラッパー ● Gym対応エージェントスクリプト ○ ルールベースエージェント ○ 機械学習モデルの学習用エージェント ○ 機械学習モデルの推論検証用エージェント
- 70. シミュレーターが呼び出すスクリプト エージェントがプレイする設定の場合、シミュレーターは path/to/external_script < input.json> output.json を毎ターン実行する external_scriptは設定に応じて切り替えることができる ● ルールベースエージェント ● サーバーソケットインターフェース といった種類がある
- 71. シミュレーターが呼び出すスクリプト input.json ● シミュレーターからスクリプトに渡る情報 ● 味方の現HP、最大HP、現ターン数、必殺技ゲージの値、敵 味方のバフ/デバフ状況 output.json ●スクリプトからシミュレーターに渡る情報 ● 各PCの行動
- 72. 開発システムのコンポーネント ● ゲーム本体 ● シミュレーター ●シミュレーターが呼び出すスクリプト ○ 共通仕様 ■ バフ/デバフ特徴量 ○ ルールベースエージェント ○ サーバーソケットインタフェース ● OpenAI Gymラッパー ● Gym対応エージェントスクリプト ○ ルールベースエージェント ○ 機械学習モデルの学習用エージェント ○ 機械学習モデルの推論検証用エージェント
- 73.
- 74.
- 75. 開発システムのコンポーネント ● ゲーム本体 ● シミュレーター ●シミュレーターが呼び出すスクリプト ○ 共通仕様 ○ ルールベースエージェント ○ サーバーソケットインタフェース ● OpenAI Gymラッパー ● Gym対応エージェントスクリプト ○ ルールベースエージェント ○ 機械学習モデルの学習用エージェント ○ 機械学習モデルの推論検証用エージェント
- 76.
- 77. ルールベースエージェント ゲームデザイナーがシンプルな行動ルールを考え、 それをそのままコードにする。ダンメモにおいてはそ れなりに強い if PC_ID_XXX instatus.keys(): if status[PC_ID_XXX]['effect']['buff']['attack']['_strength'][1] > 0: commands[PC_ID_XXX] = 'SKILL3' ルールの例 ルールベース エージェント
- 78.
- 79.
- 80.
- 81. ルールベースエージェントの課題 • 熟練ゲームデザイナーでないとルール作成が難しい • ステージ数が少ない場合は手動で戦った方が早い •汎用的なルール作成は複雑で難しい • 同じパーティとボスでも、難易度により行動が変化する • あらゆる情報を複合的に判断している • 現ターン数、バフ残ターン数、生存キャラなど • 過去の経験から未来を予測をする • 人間は数回プレイをし、ボスの行動を記憶している
- 82.
- 83.
- 84.
- 85.
- 86.
- 87. 開発システムのコンポーネント ● ゲーム本体 ● シミュレーター ●シミュレーターが呼び出すスクリプト ○ 共通仕様 ○ ルールベースエージェント ○ サーバーソケットインタフェース ● OpenAI Gymラッパー ● Gym対応エージェントスクリプト ○ ルールベースエージェント ○ 機械学習モデルの学習用エージェント ○ 機械学習モデルの推論検証用エージェント
- 88.
- 89. サーバーソケットインターフェース input_data = json.load(sys.stdin) with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s: finish = False s.bind((BIND_IP, BIND_PORT)) s.listen(1) while not finish: conn, addr = s.accept() with conn: while True: data = conn.recv(MESSAGE_SIZE) if data.decode('utf-8') == 'state': conn.send(json.dumps(input_data).encode('utf-8')) elif 'action' in json.loads(data.decode('utf-8')): action = json.loads(data.decode('utf-8'))['action'] finish = True ... json.dump(output_data, sys.stdout, indent = 4, ensure_ascii = False)
- 90. 開発システムのコンポーネント ● ゲーム本体 ● シミュレーター ●シミュレーターが呼び出すスクリプト ○ 共通仕様 ○ ルールベースエージェント ○ サーバーソケットインタフェース ● OpenAI Gymラッパー ● Gym対応エージェントスクリプト ○ ルールベースエージェント ○ 機械学習モデルの学習用エージェント ○ 機械学習モデルの推論検証用エージェント
- 91.
- 92.
- 93. OpenAI Gymラッパー def reset(self):#シミュレーターを起動するために呼び出す … while True: with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s: s.connect((SIM_IP, SIM_PORT + PARALLEL_PARAM)) s.send('state'.encode('utf-8')) observation = json.loads(s.recv(MESSAGE_SIZE).decode('utf-8')) … def step(self, action): #1ターン進めるために呼び出す … with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s: s.connect((SIM_IP, SIM_PORT + PARALLEL_PARAM)) s.send(json.dumps({'action': action}).encode('utf-8') …
- 94. 開発システムのコンポーネント ● ゲーム本体 ● シミュレーター ●シミュレーターが呼び出すスクリプト ○ 共通仕様 ○ ルールベースエージェント ○ サーバーソケットインタフェース ● OpenAI Gymラッパー ● Gym対応エージェントスクリプト ○ ルールベースエージェント ○ 機械学習モデルの学習用エージェント ○ 機械学習モデルの推論検証用エージェント
- 95.
- 96.
- 97.
- 98.
- 99.
- 100.
- 101.
- 102.
- 103.
- 104.
- 105.
- 106.
- 107.
- 108.
- 109. GD・ENは何をしたのか/すべきなのか ゲームデザイナー ● 自分がどうやってゲームをプレイしているか、を言語化した ○ ルールの作成、特徴量の選定 ●ルールベースエージェントの課題を言語化した エンジニア ● ゲームデザイナーの話を理解してコード化した ● 実装しているモデルの仕組みを丁寧に説明した ○ ユーザーログを利用した教師あり学習と強化学習の違い
- 110.
- 111.
- 112.
- 113.
- 114.
- 115.
- 116.
- 117.
- 118.
- 119. 開発システムの非機能要件 強さ ● 熟練ゲームデザイナーと同程度のスコア 学習速度 ● テストプレイに許される日数の制約 汎用性 ●様々なパーティ設定・ボス設定に対応 複雑さ ● できるだけシンプルにしたい
- 120.
- 121.
- 122.
- 123. 対応策：２つのプロジェクトに分離 プロジェクト プロジェクトの位置付け システム開発 ●メインの開発プロジェクト 研究サーベイ ● サイドプロジェクト ● 高度なアルゴリズムに関する知見を貯める
- 124.
- 125.
- 126. Rules of MLとの出会い Rulesof Machine Learningという、Googleが公開して いる機械学習プロジェクトのベストプラクティス集を 知った その時、漠然と考えていたことを裏付けてくれるような 内容だったので、以降はこのRules of MLに沿って開 発を進めた ● ドメイン知識をムッチャ使う進め方 https://developers.google.com/machine-learning/guides/rules-of-ml/
- 127. Rules of MLの主張（意訳） 性能の継続的改善のため、まずパイプラインやモニタ リングシステムを整備しよう 性能改善には、アルゴリズムより特徴量が重要な場 合がほとんどだ 簡単に性能解析できるベースラインのモデルを作ろう システムはできるだけシンプルさを保つようにしよう
- 128. Rules of MLの推奨開発プロセス（意訳） ヒューリスティクスをベースにしたシステムの導入/ パイプライン整備 ヒューリスティクス追加による性能改善 複雑化し、メンテコストが大きくなったら機械学習での置き換えを検討 機械学習の為のパイプラインの整備 シンプルな目的関数、特徴量、アルゴリズムで構成するベースモデルの導入 特徴量エンジニアリング（特徴量の追加）による性能改善 より高度なアルゴリズムの導入による性能改善
- 129.
- 130.
- 131.
- 132.
- 133.
- 134.
- 135.
- 136.
- 137. グリー開発本部 Meetup #2 発表資料は弊社SlideShareにあります 自社開催は、マイルストーン設定的には嬉しい ●時期も内容も自由に決められる ● これは2019/01開催
- 138.
- 139.
- 140.
- 141.
- 142.
- 143.
- 144.
- 145. エージェントの開発/検証 ● ゲーム本体 ● シミュレーター ●シミュレーターが呼び出すスクリプト ○ 共通仕様 ○ ルールベースエージェント ○ サーバーソケットインタフェース ● OpenAI Gymラッパー ● Gym対応エージェントスクリプト ○ ルールベースエージェント ○ 機械学習モデルの学習用エージェント ○ 機械学習モデルの推論検証用エージェント
- 146.
- 147.
- 148.