Recommended
Recommended
More Related Content
Similar to 2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用
Similar to 2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用 (20)
More from KLab Inc. / Tech
More from KLab Inc. / Tech (20)
Recently uploaded
Recently uploaded (15)
2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用
- 1. Copyright (c) KLab Inc. All Rights Reserved. 機械学習を用いた 新たなゲーム体験の創出の応用 2024年5月17日 先駆的科学計算フォーラム2024 KLab株式会社 濱田直希
- 2. © KLab Inc. ● ゲームにおけるAIとARの動向 ○ 最近のゲームにおけるAIとARのトレンド ○ KLab×九州大学 AR×ML研究プロジェクト ● モバイルARゲームにおけるデジタルツインの構築 ○ センサーとインターネットによる実世界情報の獲得 ○ デジタルツインのリアルタイム構築と記号化 ● モバイルARゲームにおけるエージェントの構築 ○ ニューロシンボリック生成ループ ○ エージェントの多様性のモデリング 本日のアジェンダ ニューロシンボリックAIで汎用エージェントを作る 2
- 4. © KLab Inc. 会社紹介 4 社名 KLab株式会社（クラブかぶしきかいしゃ） KLab Inc. 設立 2000年8月1日 資本金 54億5795万円（2024年3月末現在） 株式公開市場 東京証券取引所･プライム市場（3656） 代表者 代表取締役社長CEO 森田 英克 代表取締役副会長 五十嵐洋介 所在地 本社（東京都港区、六本木ヒルズ森タワー） 大阪事業所、福岡事業所、仙台事業所 主要関連会社 株式会社グローバルギア 株式会社BLOCKSMITH&Co. 海外拠点 可来软件开发（上海）有限公司 （KLab China Inc.） グループ従業員数 正社員 441名（2024年3月末現在）
- 5. © KLab Inc. 有力IPゲームの実績 5 豊富な開発経験により、IPの魅力を引き出しながら、モバイルプレイヤーへの最適化を行います。 IP原作との親和性を考え、ファンに求められているものを追求したゲームデザインを行いヒット作品を創出します。 2017年6月リリース 全世界5000万ダウンロード突破 2015年7月リリース 全世界9000万ダウンロード突破 1.IPタイトルの高ヒット実績 2.既存タイトルの長期安定運営を実現
- 6. © KLab Inc. 世界ゲーム市場は約29兆円（自動車の約1/13） その約半分はモバイルゲーム 6 図：Statista https://www.statista.com/chart/30560/estimated-global-video-game-revenues-by-segment/ $1=156にて29.2兆円 14.4兆円 8.7兆円 5.8兆円 0.3兆円
- 7. © KLab Inc. ゲーム市場はアジアが最大 伸び率も高い 7 左図：Statista https://www.statista.com/chart/25593/biggest-video-game-markets/ 右図：Statista https://www.statista.com/chart/30559/number-of-video-game-players-by-region/
- 8. © KLab Inc. ゲームにおけるAIのトレンド：LLMで未知の環境に適応するエージェント 8 図：MineDojo Team https://voyager.minedojo.org/ GPT-4で行動を計画 再利用可能な「スキル」を生成・使用
- 9. © KLab Inc. ゲームにおけるARのトレンド：AIと融合し，現実世界を認識 9 図：Niantic https://nianticlabs.com/news/peridot-generative-ai
- 10. © KLab Inc. モバイルゲームは最先端の数理科学の実証実験の場 モバイルゲームには実践の場として理想的な条件が揃う ● 豊富なデータ ○ 100万人を超えるアクティブユーザー ➡ 数テラバイト/日のログ ○ スマホのセンサー（タッチ，音声，カメラ，GPS，ジャイロ，…） ● 未解決の技術課題 ○ 多種多様な応用（ゲームAI，ゲーム開発・運用・広告，…） ○ ゲーム特有の制約（スマホで60FPS処理，省電力，不安定な通信） ● 超高速な研究開発サイクル ○ 2週間ごとに新規コンテンツをリリース＆即座にフィードバック ○ ミッションクリティカルではないため気軽に新しいことを試せる 10
- 11. © KLab Inc. KLab×九州大学 AR×ML研究プロジェクト 11 九州大学 KLab 機械学習G 櫻井研究室 ゲームAI コミュニティ 機械学習FWの開発 ARデモの開発・検証 フィードバック 導入 2022年度 https://www.klab.com/jp/press/release/2022/0525/klab_8.html 2023年度 https://www.klab.com/jp/press/release/2023/0426/klab_5.html 本研究は九州大学情報基盤研究開発センター研究用計算機システムの重点支援制度を利用した．
- 12. © KLab Inc. ARアプリを使って汎用エージェント技術を検証 12 なぜARエージェント？ AIのテストベッドとして適している： ● 検証用ゲームステージが制作不要 ● 様々な入出力と組み合わせやすい ● パッと見で効果が分かりやすい 画面操作 カメラ 位置 情報 音声 認識 行動 判断
- 16. © KLab Inc. モバイルARの基本パッケージ：Unity AR Foundation 16 図：Unity Technologies https://docs.unity3d.com/ja/Packages/com.unity.xr.arfoundation@5.1/manual/index.html
- 17. © KLab Inc. 映像内の特徴点群を検出 地形検出：特徴点群の検出 → 平面検出 or メッシング 17 平面検出は低負荷だが水平面と垂直面のみ メッシングは高精度だが高負荷 特徴点 右下図：Niantic https://lightship.dev/ja/docs/ardk/context_awareness/meshing/meshing_overview.html
- 18. © KLab Inc. ライティング：環境光・点光源の推定 18 光源推定なし 光源推定あり
- 19. © KLab Inc. ※AR Foundationのトラッキングは テンプレートマッチングであり， 一般物体検出には不向きなため 専用のモデルを使う 物体検出：YOLOX-Nanoで検出した物体のスクリーン座標をAR Cameraでワールド座標に変換 19 図：Megvii https://github.com/Megvii-BaseDetection/YOLOX
- 20. © KLab Inc. 音源検出：検出した物体に基づいてAudioSepで音源分離 20 図：Xubo Liu https://audio-agi.github.io/Separate-Anything-You-Describe/ AudioSepは自然言語でクエ リされた音を分離する 物体ラベルでクエリすればそ の音だけを分離できる
- 21. © KLab Inc. 気象：（国内）気象庁 電文データ＋数値データ /（海外）OpenWeather 21 図：気象庁 https://www.data.jma.go.jp/developer/index.html 現在地の天気 会話や揺れもの用 例： 「雨が降ってきた」 髪・服が風になびく 現在地以外の天気 主に会話用 例： 「明日のお台場は晴 れだってさ」
- 22. © KLab Inc. ランドマーク：Google Cloud Vision API (Landmark Detection) 22 図・コード：Google https://cloud.google.com/vision/docs/detecting-landmarks 画面内の建物やオブジェなどを認 識して，場所ID，説明文，緯度経度 などを取得できる． 取得した場所IDを他のAPIで使用 すれば，その場所への経路やクチ コミなども取得できる． 場所ID 説明文 緯度経度 User:この写真の場所まで案内して AI:聖ワシリイ大聖堂だね。 [場所検索して ] モスクワにある世界遺産だよ。 [経路検索して ] 道順は…
- 23. © KLab Inc. 地理座標：GPS＋VPS 23 AR Foundation GPS/VPS 緯度・経度・方位によ る大域座標系 セッション空間 セッション起動地点を原点とする物 理デバイスの局所座標系 ワールド空間 セッション起動地点を原点とする仮 想世界の局所座標系 ルート検索で取得したパス（緯度経度の配 列）をワールド空間に配置することでキャラに よる道案内が可能に Geospatial APIなど
- 24. © KLab Inc. すべての情報をEQS (Environment Query System) に登録し，検索可能に 24 EQSはゲーム世界のロケーション やオブジェクトの検索システム． 「建物Aが見える場所」や「キャラB の一番近くにいる人」などをクエリ 言語で取得できる． エージェントの視界内のモノだけを フィルタしたり，移動先や動作の対 象を決めたりするために使われる．
- 27. © KLab Inc. ニューロシンボリック生成エージェントの構成図 27 ユーザ入力 認識ルーチン テキスト ジェスチャ 音声 カメラ画像 文章認識モデル 物体検知モデル 動作認識モデル 音声認識モデル 現実世界情報 仮想世界情報 ⊕ ⊕ 地理・空間 時刻・気象 ニュース ゲーム進行状況 ビットフィールド 27 計画ルーチン 記号推論 NPC行動 行動ルーチン セリフ生成モデル 音声合成モデル 表情生成モデル モーション生成モデル 1 ： 0 0 ： 1 1 ： 0 NPC位置・身体 NPC記憶・感情
- 28. © KLab Inc. 1 ： 0 0 ： 1 1 ： 0 認識と反射行動は簡単に作れる…が、それだけでは賢くならない 28 ユーザ入力 認識ルーチン テキスト ジェスチャ 音声 カメラ画像 文章認識モデル 物体検知モデル 行動DB 0: 歩く 1: 見る 2: 話す 3: 寝る ： 動作認識モデル 音声認識モデル 判断ルーチン 効用モデル 現実世界情報 0 0 1 0 ： 0 仮想世界情報 ⊕ ⊕ 地理・空間 NPC位置・身体 NPC記憶・感情 ゲーム進行状況 NPC行動 行動ベクトル タップ位置まで歩く 検知した物に近づく 自由会話＋音声合成 時刻・気象 ニュース ビットフィールド
- 29. © KLab Inc. 最大の課題はどうやって計画ルーチンを組み込むか 29 ユーザ入力 認識ルーチン テキスト ジェスチャ 音声 カメラ画像 文章認識モデル 物体検知モデル 動作認識モデル 音声認識モデル 現実世界情報 1 ： 0 仮想世界情報 0 ： 1 1 ： 0 ⊕ ⊕ 地理・空間 NPC位置・身体 NPC記憶・感情 ゲーム進行状況 計画ルーチン 記号推論 NPC行動 行動ルーチン セリフ生成モデル 音声合成モデル 表情生成モデル モーション生成モデル 時刻・気象 ニュース ビットフィールド
- 30. © KLab Inc. 計画ルーチン：現在の状態から目標の状態に到達する行動シーケンスをA*探索する 30 課題：実世界では何が起こるかわからない⇒行動を事前に 用意しきれない． 対策：双方向anytime A*+ワイルドカードで探索する． ワイルドカードとは，任意のstateを繋ぐ万能行動(state間の bit編集距離に比例する高いコストをもつ＝既知の行動で解 決できないときの最終手段)．行動の内容はLLMで動的に生 成する．行動に成功すれば今後再利用できるように行動リ ストに登録し，失敗すれば破棄して再計画する．⇒未知環境 への適応力を向上
- 31. © KLab Inc. A*探索の優先度を決めるために，それぞれの行動に対する効用を設計する 31 要は開発者に丸投げ … どうやって作る？
- 33. © KLab Inc. 教師データがあれば写像(a*, u*)を学習できるかも？ 機械学習とかでいい感じに自動設計できないの？ 33 状態空間Sから行動空間A×効用空間Uへの写像※ を作る ※ a*やu*が通常の意味での写像とな るのは最適化問題が良設定な場合に 限り，一般には集合値写像になる． 詳しくは[Khan+ 2015]を参照．
- 36. © KLab Inc. ● α を固定して λ を変化させる → α に対する正則化パスが得られる ● 上記を α を変えて繰り返し (λ, α) を調整 → 計算コスト大 Elastic Netと正則化パス 36 線形回帰モデル: Elastic net: 最小二乗誤差 (データへの適合度) L1正則化 (スパース性) L2正則化 (ロバスト性)
- 38. © KLab Inc. 正則化マップ：正則化パスの2パラメータ拡張 38 (α, λ) ∈ [0, ∞)² → (w1, w2, w3) ∈ Δ2
- 39. © KLab Inc. 強凸最適化では加重和スカラー化問題の重みとパレート集合が連続全射になる 39 Thus, the problem of minimizing f is weakly simplicial.
- 40. © KLab Inc. ベジエ単体を使うと正則化マップを近似できる 40 Simplex ΔM-1 b(w) Hyper-surface in RK w2 w1 w3 K次元空間における次数Dの M-1次元ベジエ単体とは以下 で定義される多項式写像で ある：
- 41. © KLab Inc. 正則化マップ：Ground Truth 対 ベジエ単体近似 41
- 42. © KLab Inc. 効用関数の違いによってNPCの個性を表現 42 攻撃型 敵が多い場所に入っていって、積極的に攻撃に参加する攻撃型キャラク ター。ボールを積極的に拾いながら、敵に近距離攻撃を与える。敵に攻撃 ができる時は、ボールを積極的に投げていく。危険な時は攻撃を回避しす る。 バランス型 攻撃もしつつ、危険な時は攻撃を回避し、味方のサポートも行うバランス 型のキャラクター。できるだけチームの勝利に貢献するために、いろんな 動きを柔軟に行う。攻撃ができそうな時は攻撃する。 サポート型 危険な味方の攻撃をサポートするキャラクター。敵が多い場所にはあまり 近付かず、できるだけ離れたところからボールを拾って、敵を攻撃する。危 険な時は攻撃を回避する。敵が居て、攻撃ができる時は攻撃する。
- 44. © KLab Inc. 生物の形質多様性はパレート集合としてモデリングできることが知られている 44 遺伝的形質は「元型」を頂点とする単体状に分布する [Shoval+ 2012] Evolutionary Trade-Offs, Pareto Optimality, and the Geometry of Phenotype Space, Science, Vol. 336, Issue 6085, pp. 1157-1160 archetype＝1つの目的に特化した解 パレート集合
- 46. © KLab Inc. 単体からの層化抽出で学習を加速（⇒1～2次ベジエ単体の貼り合わせがよい） 46 [Tanaka+ 2020] Asymptotic Risk of Bézier Fitting AAO ISK
- 47. © KLab Inc. ベジエ単体を使ったMemetic Algorithm（ランダムサンプルと勾配法の交互探索） 47 [Sannai+ 2022] Bézier Flow: a Surface-wise Gradient Descent Method for Multi-objective Optimization
- 49. © KLab Inc. より簡単な条件に言い換え：条件1 ⇔ 条件1a & 条件1b 49 [Hamada 2017] Simple problems: The simplicial gluing structure of Pareto sets and Pareto fronts. In GECCO 2017, pp. 315-316.
- 51. © KLab Inc. パーシステンス図の信頼区間を使えばサンプルからホモロジーを推定できる 51 [Fasy+ 2014] Confidence sets for persistence diagrams. Ann. Statist. Vol. 42, No. 6, pp. 2301-2339.
- 53. © KLab Inc. まとめ：遊びは学び ゲームを通して産学の双方向サプライチェーンを作る 53 数学 データ 科学 HPC ゲーム 国際競争力の高い分野をかけ合わせ，世界をリードする産業を創出 産業界で直面する問題をフィードバックし，学術研究を促進 特異点論 多目的最適化 with 九大IMI スパコン/クラウド ResDevOps with 九大RIIT ゲームAI 講義・プロコン開催 with 進化計算学会 機械学習 位相的データ解析 with 理研AIP
- 54. Copyright (c) KLab Inc. All Rights Reserved. 54