ITフォーラム2021 先端IT活用推進コンソーシアム(4/7)

Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
空気を読む家 Final シナリオ
『人を見守る安心安全な空気を読む家』
Unity + AIPlannerで快適な朝を
シミュレーション
2021年2月3日
先端IT活用推進コンソーシアム
ビジネスAR研究部会リーダー
TIS株式会社井出将弘

ビジネスAR部会について
2
• 活動目的：
最先端のAR技術の把握と習得、及び今後の社会やビジネスの変
化を踏まえたARの活用（ビジネスAR）について、研究することを活
動目的とする。さらに活動成果を発信していく。
• 活動内容：
１）ビジネスARを創出、普及・展開するための考察・議論・グルー
プ活動
２） AR技術への理解を深めるためのプロトタイプ開発・試行実験
３）上記活動を成果物としてまとめ、外部発信の活性化

Unity + AIPlannerで快適な朝を

今回のお題
• 家主が出発の時間までに玄関に到達する
• 最低限の身支度は必ず実施する
• 出発の時間までできるだけ家で快適な行動をで
きるようにする
4

朝の行動の知識構造
5

今回の目標
今年度のBizAR部会の目標は空間OSのコンテキ
ストの活用とエージェントの協調
• お題を（ある程度）クリアするためのエージェント
を実装する
• 空間OSとは接続したイメージで実装する。
• 実装するエージェントは階層を意識する
• 完璧を求めず、現実解でチャレンジ
6

空間OS
7
一般知識・データ
オントロジー、ルール、
気象情報、サービス、…
エージェントメタデータ
クラス定義、機能定義…
空間OS：動的RDFストア（非公開）
LOD (公開）
ローカルナレッジ
家族構成、間取り、契約…
人間API
会話、外部連絡、忖度…
管理エージェント
安全、空調、電力…
認識・解釈エージェント
人・ペット・環境…
センサー・アクチュエータ
温度計、マイク、カメラ、エアコ
ン、掃除ロボット…
プロトコルコンバータ
エージェント
＝Web Servcie
他の空間OS
知
識
共
有
黒
板
モ
デ
ル
High
Low

エージェントの役割階層（案）
• ハイレベルエージェント
– 全体調整
– コンテキストに基づいた判断
– 判断に基づいたミドルレベルエージェントへの指示
→今回はOntimeエージェントがこの役割
• ミドルレベルエージェント
– 下位層のデータの解釈、コンテキストの更新
– ハイレベルからの指示とコンテキストからローレベルに作業依頼
• ローレベルエージェント
– センシングしたデータの通知（ただのデータ、解釈はない）
– ミドルレベルから依頼された作業の遂行
8

今回の主役 On Time Agent
• On Time Agentの責務
– 家主が会社に間に合うように家をでること
– 家主が家を出るまでに快適な朝をすごせるようにする
こと
• On Time Agentの責務でないこと
– 家主の起床時間の管理
– 家の外でのトラブルの対処
9

エージェントの配置イメージ
10
朝の行動の知識を家の空間に当てはめてみる

実装すること
• 朝の行動の知識を活用して最適なルーティンを
• 寝坊や早起きに対応
• 朝の行動中の変化にも対応できるようにする
• シミュレーションした結果をわかりやすく可視化
• シミュレーションした結果を家主にフィードバック
11

今回の実験環境
Unityのアセットでいい感じの部屋を購入(30ドル)
12

今回の実装
3DゲームエンジンUnityとAI Plannerというフレーム
ワークを使って実装してみる。
AI Plannerとは？
• ゲームAIを作成するためのUnity製フレームワーク
• 非反射型のゴール指向プランニングでエージェント
の行動を指示することができる
• プランニングはフォワードプランニング
• DOTベース(Unityの処理高速化の仕組み)
• まだver0.3のプレビュー版
13

今回の実装
UnityのAI Plannerというフレームワークを使ってみる
AI Plannerとは？
• ゲームAIを作成するためのフレームワーク
• 非反射型のゴール指向プランニングでエージェント
の行動を指示することができる
• プランニングはフォワードプランニング
• DOTベース(Unityの処理高速化の仕組み)
• まだver0.3のプレビュー版
14
なるほどAI Plannerは非反射型のゴール思考プランニング
でフォワードプランニングするゲームAIね。

AI Plannerのプランニング
• AI Plannerのプランニングには以下が必要
– 空間に関する知識
• 出発まで残り時間
• 身支度の状況
• 家の構造等
– 実行できるアクションと報酬
• ひげをそる（身支度できてエライ！+10点）
• 朝食を食べる等（いい朝食だと報酬が高いとか）
– 目標・ゴールとその報酬
• 時間内になんとか玄関に到達（髭あり）10点
• しっかり朝食をとって玄関に到達 100点
15

• AI Plannerに知識、アクション、目標を与えると
16
知識
アクション
目標

AI Plannerがあとはプランを総当たりで考えて、ゴー
ルへ！
17
着替える
朝食を食べる
アクション ××
アクション〇〇
省略
ゴール

実際のプランはこんな感じ
18
現在の状態からゴールに向かうのでフォワードプランニング
かなりの力技

AI Plannerのプランニングは実行中も更新されつづ
けるので、シミュレーション中の状況の変更にも対応
イメージとしてはカーナビの再経路探索
19

今回の問題のモデル化
• AI Plannerの公式サンプルにある
EscapeRoomを参考に
• EscapeRoom：３つの駒が協力して部屋を脱
出するシミュレーション
20
鍵
鍵で開く扉
赤と青の
スイッチで
開くゲート
エージェント
ゴール
エージェントが
移動できる点
=Waypoint

EscapeRoom
EscapeRoomを動かすとこんな感じ
21

今回の実験環境にあてはめる
部屋の俯瞰図
22

部屋の俯瞰図とWaypoint
23
トイレ
玄関
浴室
洗面台
キッチン
ダイニング
リビング
寝室
ドレッサー
廊下

部屋の俯瞰図とタスク
24
排泄
ゴール
シャワー
入浴
洗面
髭剃り
朝食準備
コーヒー準備
朝食
コーヒー
着替え
廊下
スタート

ここから細かい実装の話

AI PlannerとDecision Controller
• AI Plannerはフレームワーク自体を指しているが、
実際にUnityのシーン（仮想空間）上でエージェ
ントを動かすしくみはDecision Controllerと呼ば
れるコンポーネント
Decision Controller
= ハイレベルエージェント
= On Time Agent
26

Decision Controllerの構成
Decision Controllerを動かすために以下
の情報を実装
① Trait Definition
② Action Definition
③ Action Callback Method
④ Termination Definition
⑤ Problem Definition
27

①Trait Definition
エージェントがアクセスするコンテキスト情報・知識を
定義する。
• OnTime：出発まで残り時間
• 生理：トイレの状態
• 身だしなみ：入浴状態、着衣の状態、洗顔状態、
髭剃り状態
• 食事：食事の状態
• 口腔ケア：歯磨きの状態
• 家全体：部屋の定義
28

①Trait Definition
定義例：
家主Trait
29

①Trait Definition
定義したTraitをUnityのシーン上のオブジェクトにコン
ポーネントとして付加し、 AI Plannerが認識できるよ
うにする。
30

②Action Definition
• 実行できるアクションを定義
31
アクションに必要な情報
アクション実行の前提条件
アクションを実行した効果
アクションの報酬

②Action Definition
今回のアクション
• 移動（Waypointの上下左右移動）
• タスク
– 着替え
– 朝食
• ゼリー
• 軽食
• しっかりした朝食
– 排泄
– 歯磨き・マウスウォッシュ
– 入浴
• シャワー
• お風呂
– 髭剃り
– 洗顔
32

③Action Callback Method
• 実行されたアクションに紐づくC#スクリプトを実行
33
Unityの仮想空間
AI Planner
Action
Action Callback Method
C# Script

③ Action Callback Method
今回作成したスクリプトは２つだけ
• 仮想家主オブジェクトをWaypointで動かす
• アクションを起こしたときにアクション名を表示する
34

④Termination Definition
エージェントが達成すべきゴール条件を定義する
• BadGoal条件（－300点）
– 家主が出発の時間までに玄関に到達できない。
• Good条件（200点）
– 家主が出発の時間までに玄関に到達する。
– 着替え、朝食を一通り済ませた
– 残り時間が10分以内
• Best条件（400点）
– Good条件 + コーヒーを飲んだ、しっかりした朝食
35

⑤ Problem Definition
• 今回のお題を解決するためのアクションとゴール条件をまとめたもの。
このProblem DefinitionをDecision Controllerに設定する。
36
使用するアクション
ゴール条件

動かしてみよう！
デモタイム！

AI Plannerの良さと課題
• 良さ
– 問題と知識の定義をし、それをTraitとActionと報酬に落とし込
むだけで割とよしなに動いてくれる。（シミュレーション部分の実
装は1日もかかってない）
• 課題
– 定義ファイルを作成するのが大変（空間OSの知識から作成し
たい）
• Actionとかは上位の概念から継承とかできるとよさそう
• GUIでの操作はパターンが増えてくると面倒なのでスクリプトで直接操作し
たい
– 報酬を定義するのは大変
• 実行順の厳密なコントロールは不向き
• スクリプトを作成すれば動的に報酬も制御可能
• 複雑になればなるほど、おそらく人間がやるべき作業ではない
• 将来的には実際のユーザのふるまいから報酬を調整するようになる？
38

まとめ
• OnTimeエージェントによる行動シミュレーションを
UnityのゲームAIフレームワーク AI Plannerを活用
して簡単に構築できた
• AI Plannerはまだベータ版であるが、シミュレーショ
ンや自動テストでの活用に可能性を感じる
39

FutureWork
• OnTimeエージェントの行動シミュレーションに変動
を与える要素の追加（バスの時間がかわるとか）
• 操作できるアバターを追加し、シミュレーションと実
際のユーザの行動状況の差分の検出
• 状況に応じた通知表現の追加
• 空間OSとの接続し、空間OSを経由した知識の
獲得、実際のセンサー情報との連携を実現する
これからも空間OSを中心としてワクワクする拡張現
実の未来を議論、実装していきます！
40

http://aitc.jp
https://www.facebook.com/aitc.jp
最新情報は
こちらをご参照ください
ハルミン
AITC非公式イメージキャラクター

ITフォーラム2021 先端IT活用推進コンソーシアム(4/7)

More Related Content

What's hot

Similar to ITフォーラム2021 先端IT活用推進コンソーシアム(4/7)

More from aitc_jp

ITフォーラム2021 先端IT活用推進コンソーシアム(4/7)