先駆的科学計算フォーラム2024の講演資料です。

1. Copyright (c) KLab Inc. All Rights Reserved.
機械学習を用いた
新たなゲーム体験の創出の応用
2024年5月17日 先駆的科学計算フォーラム2024
KLab株式会社 濱田直希

2. © KLab Inc.
● ゲームにおけるAIとARの動向
○ 最近のゲームにおけるAIとARのトレンド
○ KLab×九州大学 AR×ML研究プロジェクト
● モバイルARゲームにおけるデジタルツインの構築
○ センサーとインターネットによる実世界情報の獲得
○ デジタルツインのリアルタイム構築と記号化
● モバイルARゲームにおけるエージェントの構築
○ ニューロシンボリック生成ループ
○ エージェントの多様性のモデリング
本日のアジェンダ
ニューロシンボリックAIで汎用エージェントを作る
2

3. © KLab Inc.
ゲームにおけるAIとARの動向
3

4. © KLab Inc.
会社紹介
4
社名
KLab株式会社（クラブかぶしきかいしゃ）
KLab Inc.
設立 2000年8月1日
資本金 54億5795万円（2024年3月末現在）
株式公開市場 東京証券取引所･プライム市場（3656）
代表者
代表取締役社長CEO 森田 英克
代表取締役副会長 五十嵐洋介
所在地
本社（東京都港区、六本木ヒルズ森タワー）
大阪事業所、福岡事業所、仙台事業所
主要関連会社
株式会社グローバルギア
株式会社BLOCKSMITH&Co.
海外拠点 可来软件开发（上海）有限公司 （KLab China Inc.）
グループ従業員数 正社員 441名（2024年3月末現在）

5. © KLab Inc.
有力IPゲームの実績
5
豊富な開発経験により、IPの魅力を引き出しながら、モバイルプレイヤーへの最適化を行います。
IP原作との親和性を考え、ファンに求められているものを追求したゲームデザインを行いヒット作品を創出します。
2017年6月リリース 全世界5000万ダウンロード突破
2015年7月リリース 全世界9000万ダウンロード突破
1.IPタイトルの高ヒット実績
2.既存タイトルの長期安定運営を実現

6. © KLab Inc.
世界ゲーム市場は約29兆円（自動車の約1/13） その約半分はモバイルゲーム
6
図：Statista https://www.statista.com/chart/30560/estimated-global-video-game-revenues-by-segment/
$1=156にて29.2兆円
14.4兆円
8.7兆円
5.8兆円
0.3兆円

7. © KLab Inc.
ゲーム市場はアジアが最大 伸び率も高い
7
左図：Statista https://www.statista.com/chart/25593/biggest-video-game-markets/
右図：Statista https://www.statista.com/chart/30559/number-of-video-game-players-by-region/

8. © KLab Inc.
ゲームにおけるAIのトレンド：LLMで未知の環境に適応するエージェント
8
図：MineDojo Team https://voyager.minedojo.org/
GPT-4で行動を計画
再利用可能な「スキル」を生成・使用

9. © KLab Inc.
ゲームにおけるARのトレンド：AIと融合し，現実世界を認識
9
図：Niantic https://nianticlabs.com/news/peridot-generative-ai

10. © KLab Inc.
モバイルゲームは最先端の数理科学の実証実験の場
モバイルゲームには実践の場として理想的な条件が揃う
● 豊富なデータ
○ 100万人を超えるアクティブユーザー ➡ 数テラバイト/日のログ
○ スマホのセンサー（タッチ，音声，カメラ，GPS，ジャイロ，…）
● 未解決の技術課題
○ 多種多様な応用（ゲームAI，ゲーム開発・運用・広告，…）
○ ゲーム特有の制約（スマホで60FPS処理，省電力，不安定な通信）
● 超高速な研究開発サイクル
○ 2週間ごとに新規コンテンツをリリース＆即座にフィードバック
○ ミッションクリティカルではないため気軽に新しいことを試せる 10

11. © KLab Inc.
KLab×九州大学 AR×ML研究プロジェクト
11
九州大学 KLab
機械学習G
櫻井研究室 ゲームAI
コミュニティ
機械学習FWの開発 ARデモの開発・検証
フィードバック
導入
2022年度 https://www.klab.com/jp/press/release/2022/0525/klab_8.html
2023年度 https://www.klab.com/jp/press/release/2023/0426/klab_5.html
本研究は九州大学情報基盤研究開発センター研究用計算機システムの重点支援制度を利用した．

12. © KLab Inc.
ARアプリを使って汎用エージェント技術を検証
12
なぜARエージェント？
AIのテストベッドとして適している：
● 検証用ゲームステージが制作不要
● 様々な入出力と組み合わせやすい
● パッと見で効果が分かりやすい
画面操作
カメラ
位置
情報
音声
認識
行動
判断

13. © KLab Inc.
モバイルARゲームにおける
デジタルツインの構築
13

14. © KLab Inc.
システムの全体イメージ：AR＝デジタルツイン＋エージェント
14

15. © KLab Inc.
まずは，エージェントが活動する舞台となるデジタルツインの作り方を説明します
15

16. © KLab Inc.
モバイルARの基本パッケージ：Unity AR Foundation
16
図：Unity Technologies https://docs.unity3d.com/ja/Packages/com.unity.xr.arfoundation@5.1/manual/index.html

17. © KLab Inc.
映像内の特徴点群を検出
地形検出：特徴点群の検出 → 平面検出 or メッシング
17
平面検出は低負荷だが水平面と垂直面のみ
メッシングは高精度だが高負荷
特徴点
右下図：Niantic https://lightship.dev/ja/docs/ardk/context_awareness/meshing/meshing_overview.html

18. © KLab Inc.
ライティング：環境光・点光源の推定
18
光源推定なし 光源推定あり

19. © KLab Inc.
※AR Foundationのトラッキングは
テンプレートマッチングであり，
一般物体検出には不向きなため
専用のモデルを使う
物体検出：YOLOX-Nanoで検出した物体のスクリーン座標をAR Cameraでワールド座標に変換
19
図：Megvii https://github.com/Megvii-BaseDetection/YOLOX

20. © KLab Inc.
音源検出：検出した物体に基づいてAudioSepで音源分離
20
図：Xubo Liu https://audio-agi.github.io/Separate-Anything-You-Describe/
AudioSepは自然言語でクエ
リされた音を分離する
物体ラベルでクエリすればそ
の音だけを分離できる

21. © KLab Inc.
気象：（国内）気象庁 電文データ＋数値データ /（海外）OpenWeather
21
図：気象庁 https://www.data.jma.go.jp/developer/index.html
現在地の天気
会話や揺れもの用
例：
「雨が降ってきた」
髪・服が風になびく
現在地以外の天気
主に会話用
例：
「明日のお台場は晴
れだってさ」

22. © KLab Inc.
ランドマーク：Google Cloud Vision API (Landmark Detection)
22
図・コード：Google https://cloud.google.com/vision/docs/detecting-landmarks
画面内の建物やオブジェなどを認
識して，場所ID，説明文，緯度経度
などを取得できる．
取得した場所IDを他のAPIで使用
すれば，その場所への経路やクチ
コミなども取得できる．
場所ID
説明文
緯度経度
User:この写真の場所まで案内して AI:聖ワシリイ大聖堂だね。
[場所検索して ] モスクワにある世界遺産だよ。
[経路検索して ] 道順は…

23. © KLab Inc.
地理座標：GPS＋VPS
23
AR Foundation
GPS/VPS
緯度・経度・方位によ
る大域座標系
セッション空間
セッション起動地点を原点とする物
理デバイスの局所座標系
ワールド空間
セッション起動地点を原点とする仮
想世界の局所座標系
ルート検索で取得したパス（緯度経度の配
列）をワールド空間に配置することでキャラに
よる道案内が可能に
Geospatial APIなど

24. © KLab Inc.
すべての情報をEQS (Environment Query System) に登録し，検索可能に
24
EQSはゲーム世界のロケーション
やオブジェクトの検索システム．
「建物Aが見える場所」や「キャラB
の一番近くにいる人」などをクエリ
言語で取得できる．
エージェントの視界内のモノだけを
フィルタしたり，移動先や動作の対
象を決めたりするために使われる．

25. © KLab Inc.
モバイルARゲームにおける
エージェントの構築
25

26. © KLab Inc.
ここからは，デジタルツイン上で活動するエージェントの作り方を説明します
26

27. © KLab Inc.
ニューロシンボリック生成エージェントの構成図
27
ユーザ入力 認識ルーチン
テキスト
ジェスチャ
音声
カメラ画像
文章認識モデル
物体検知モデル
動作認識モデル
音声認識モデル
現実世界情報 仮想世界情報
⊕
⊕
地理・空間
時刻・気象
ニュース ゲーム進行状況
ビットフィールド
27
計画ルーチン
記号推論
NPC行動
行動ルーチン
セリフ生成モデル
音声合成モデル
表情生成モデル
モーション生成モデル
1
：
0
0
：
1
1
：
0
NPC位置・身体
NPC記憶・感情

28. © KLab Inc.
1
：
0
0
：
1
1
：
0
認識と反射行動は簡単に作れる…が、それだけでは賢くならない
28
ユーザ入力 認識ルーチン
テキスト
ジェスチャ
音声
カメラ画像
文章認識モデル
物体検知モデル
行動DB
0: 歩く
1: 見る
2: 話す
3: 寝る
：
動作認識モデル
音声認識モデル
判断ルーチン
効用モデル
現実世界情報
0
0
1
0
：
0
仮想世界情報
⊕
⊕
地理・空間 NPC位置・身体
NPC記憶・感情
ゲーム進行状況
NPC行動
行動ベクトル
タップ位置まで歩く
検知した物に近づく
自由会話＋音声合成
時刻・気象
ニュース
ビットフィールド

29. © KLab Inc.
最大の課題はどうやって計画ルーチンを組み込むか
29
ユーザ入力 認識ルーチン
テキスト
ジェスチャ
音声
カメラ画像
文章認識モデル
物体検知モデル
動作認識モデル
音声認識モデル
現実世界情報
1
：
0
仮想世界情報
0
：
1
1
：
0
⊕
⊕
地理・空間 NPC位置・身体
NPC記憶・感情
ゲーム進行状況
計画ルーチン
記号推論
NPC行動
行動ルーチン
セリフ生成モデル
音声合成モデル
表情生成モデル
モーション生成モデル
時刻・気象
ニュース
ビットフィールド

30. © KLab Inc.
計画ルーチン：現在の状態から目標の状態に到達する行動シーケンスをA*探索する
30
課題：実世界では何が起こるかわからない⇒行動を事前に
用意しきれない．
対策：双方向anytime A*+ワイルドカードで探索する．
ワイルドカードとは，任意のstateを繋ぐ万能行動(state間の
bit編集距離に比例する高いコストをもつ＝既知の行動で解
決できないときの最終手段)．行動の内容はLLMで動的に生
成する．行動に成功すれば今後再利用できるように行動リ
ストに登録し，失敗すれば破棄して再計画する．⇒未知環境
への適応力を向上

31. © KLab Inc.
A*探索の優先度を決めるために，それぞれの行動に対する効用を設計する
31
要は開発者に丸投げ …
どうやって作る？

32. © KLab Inc.
手作業で効用関数を作るのは…
32
とてもつらい
効用関数を機械学習で自動設計したい

33. © KLab Inc.
教師データがあれば写像(a*, u*)を学習できるかも？
機械学習とかでいい感じに自動設計できないの？
33
状態空間Sから行動空間A×効用空間Uへの写像※
を作る
※ a*やu*が通常の意味での写像とな
るのは最適化問題が良設定な場合に
限り，一般には集合値写像になる．
詳しくは[Khan+ 2015]を参照．

34. © KLab Inc.
効用関数をスパースモデリングで構築し、その訓練データをLLMで生成
34

35. © KLab Inc.
LLMで説明文から効用関数の訓練データを生成
35
GPT

36. © KLab Inc.
● α を固定して λ を変化させる
→ α に対する正則化パスが得られる
● 上記を α を変えて繰り返し (λ, α) を調整
→ 計算コスト大
Elastic Netと正則化パス
36
線形回帰モデル:
Elastic net:
最小二乗誤差
(データへの適合度)
L1正則化
(スパース性) L2正則化
(ロバスト性)

37. © KLab Inc.
多目的最適化とは
37
許容方向
実行可能領域
パレート集合
パレートフロント

38. © KLab Inc.
正則化マップ：正則化パスの2パラメータ拡張
38
(α, λ) ∈ [0, ∞)² → (w1, w2, w3) ∈ Δ2

39. © KLab Inc.
強凸最適化では加重和スカラー化問題の重みとパレート集合が連続全射になる
39
Thus, the problem of minimizing f is weakly simplicial.

40. © KLab Inc.
ベジエ単体を使うと正則化マップを近似できる
40
Simplex ΔM-1
b(w)
Hyper-surface in RK
w2
w1
w3
K次元空間における次数Dの
M-1次元ベジエ単体とは以下
で定義される多項式写像で
ある：

41. © KLab Inc.
正則化マップ：Ground Truth 対 ベジエ単体近似
41

42. © KLab Inc.
効用関数の違いによってNPCの個性を表現
42
攻撃型 敵が多い場所に入っていって、積極的に攻撃に参加する攻撃型キャラク
ター。ボールを積極的に拾いながら、敵に近距離攻撃を与える。敵に攻撃
ができる時は、ボールを積極的に投げていく。危険な時は攻撃を回避しす
る。
バランス型 攻撃もしつつ、危険な時は攻撃を回避し、味方のサポートも行うバランス
型のキャラクター。できるだけチームの勝利に貢献するために、いろんな
動きを柔軟に行う。攻撃ができそうな時は攻撃する。
サポート型 危険な味方の攻撃をサポートするキャラクター。敵が多い場所にはあまり
近付かず、できるだけ離れたところからボールを拾って、敵を攻撃する。危
険な時は攻撃を回避する。敵が居て、攻撃ができる時は攻撃する。

43. © KLab Inc.
NPCの数だけ効用関数を作るのは…
43
とてもつらい
多様な効用関数を機械学習で自動生成したい

44. © KLab Inc.
生物の形質多様性はパレート集合としてモデリングできることが知られている
44
遺伝的形質は「元型」を頂点とする単体状に分布する
[Shoval+ 2012] Evolutionary Trade-Offs, Pareto Optimality, and the Geometry of Phenotype Space, Science, Vol. 336, Issue 6085, pp. 1157-1160
archetype＝1つの目的に特化した解 パレート集合

45. © KLab Inc.
ゲーム開発においても…
45
クリエイターは元型たちを補間している！？
左図：【CEDEC2021】3D美少女キャラのダンス「かわいい振り付けの
10のポイント」とは？
右図：【CEDEC2022】AIでモーションスタイル変換〜バンダイナムコ研究所の取り組み〜
モーションアクターは典型的なタイプの振り付けを組
み合わせて新しい振り付けを生み出す
深層学習モデルにおいても「男性＋元気＝元気な男性」といった組み合わせが可能

46. © KLab Inc.
単体からの層化抽出で学習を加速（⇒1～2次ベジエ単体の貼り合わせがよい）
46
[Tanaka+ 2020] Asymptotic Risk of Bézier Fitting
AAO
ISK

47. © KLab Inc.
ベジエ単体を使ったMemetic Algorithm（ランダムサンプルと勾配法の交互探索）
47
[Sannai+ 2022] Bézier Flow: a Surface-wise Gradient Descent Method for Multi-objective Optimization

48. © KLab Inc.
強凸でない機械学習モデルもある……強凸でない問題が単体的かどうか判定するには？
48
条件1 条件2

49. © KLab Inc.
より簡単な条件に言い換え：条件1 ⇔ 条件1a & 条件1b
49
[Hamada 2017] Simple problems: The simplicial gluing structure of Pareto sets and Pareto fronts. In GECCO 2017, pp. 315-316.

50. © KLab Inc.
一定の仮定のもとではホモロジーから単体との同相が導ける
50

51. © KLab Inc.
パーシステンス図の信頼区間を使えばサンプルからホモロジーを推定できる
51
[Fasy+ 2014] Confidence sets for persistence diagrams. Ann. Statist. Vol. 42, No. 6, pp. 2301-2339.

52. © KLab Inc.
証明のスケッチ（詳しくはJSIAM2020予稿を参照）
52

53. © KLab Inc.
まとめ：遊びは学び
ゲームを通して産学の双方向サプライチェーンを作る
53
数学
データ
科学
HPC ゲーム
国際競争力の高い分野をかけ合わせ，世界をリードする産業を創出
産業界で直面する問題をフィードバックし，学術研究を促進
特異点論
多目的最適化
with 九大IMI
スパコン/クラウド
ResDevOps
with 九大RIIT
ゲームAI
講義・プロコン開催
with 進化計算学会
機械学習
位相的データ解析
with 理研AIP

54. Copyright (c) KLab Inc. All Rights Reserved.
54