Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
空間OSによるエージェント連携
2021年2月3日
先端IT活用推進コンソーシアム
ビジネスAR研究部会
コンテキスト・コンピューティング研究部会
日本総合システム株式会社 中川雅三
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
もくじ
• 空間OSの概要
• エージェントの実装
• エージェントの進化
2
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
空間OSの概要
3
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
空間OSとは
• その場所にある様々なエージェント(ロボット)を
連携させる「メタOS」。寿命数十年以上目標。
4
空間OS
最初は「家」で実装開始
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
空間OSの実装
• 空間OSは「黒板モデル」の黒板
– 空間内のあらゆる情報(コンテキスト)をエージェントが黒板へ書き込む
– エージェントは黒板に書かかれた情報に基づいて動作し、結果を黒板へ書き込む
– エージェントは同じコンテキストを共有して協調動作する
5
空間OS=黒板
空間内のあらゆる情報を保持
RDFストア
+変化通知
+履歴記録
(+権限制御)
エージェント
エージェント
…
エージェント
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
実装実験
• Apache JENAを改造したRDFストア
– 変化値を保持する「物理ノード」
• WebSocketで変化を通知
• 値変化の履歴を記録
• キュー型ノードによる包摂アーキテクチャのサポート
– 属性設定によるアクセス権限制御
• 存在を見せない/値は読めないが検索には使える
資料:
– 「LOD の物理世界拡張と空間 OS」
http://aitc.jp/pubs/bizar/SIG-SWO-039-02.pdf
– 「空間 OS によるエージェントのデータ共有と相互運用」
https://aitc.jp/pubs/bizar/SIG-SWO-048-01.pdf
6
RDFストアとは:
・グラフDB
・検索言語SPARQL
・名前空間の分離
LOD※で使われている
※ LOD : Linked Open Data
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
一般知識・データ
オントロジー、ルール、
気象情報、サービス、…
エージェントメタデータ
クラス定義、機能定義…
「家」での空間OS
空間OS:動的RDFストア (非公開)
LOD (公開)
ローカルナレッジ
家族構成、間取り、契約…
空気を読む・人間API
会話、外部連絡、忖度…
管理エージェント
安全、空調、電力…
認識・解釈エージェント
人・ペット・環境…
センサー・アクチュエータ
温度計、マイク、カメラ、エアコ
ン、掃除ロボット…
プロトコルコンバータ
エージェント
=Web Servcie
他の空間OS
知
識
共
有
黒
板
モ
デ
ル
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
確認できたポイント
• プログラムが思い通りに動作する
• 開発しやすい
複数チームが分散作業でデモを実装
– エージェント化による明確な機能分割
– 容易なシミュレーション(仮想と現実のシームレスな接続)
• そこそこのパフォーマンス@JSONテキスト
– 数10バイト:毎秒数万通知(@EC2 microインスタンス)
– 毎秒20フレーム姿勢骨格データ中継:20チャネル程度
8
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
課題
• エージェント設計の難しさ
– 扱う対象が多様で複雑
• エージェントへの分割と、共有する語彙の設計
• 人間とのコミュニケーション
• データ構造の扱いの難しさ
– 例:SPARQLでの高さ可変Treeの検索
• 「1階の、居間の、押し入れの、タンスの、1番目の引出にある爪切り」
– 「1番目の引出にある」は簡単に検索できる
– その引出に辿りつく包含関係の表示は簡単ではない
• 高速ストリームの扱い
– 動画・音声(振動)などはRDFストアで扱うには効率が悪い。
9
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
実現可能性
• ユニバーサルなプラットフォーム
– 標準化済みの技術の集成
– 比較的簡単な実装
– 名前空間の分離
– 「その場所」の限定によるセキュリティの実現
• +空間OSの連携によるスケーラビリティ
↓
インフラ化すれば実現
– あらゆるコンピュータの総連携
– 数十年以上の稼働
– 生活の場でのビジネス・公共サービス
10
技術的には
可能
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
エージェントの実装
11
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
空間OSの利用 全手動版
• 最も原始的な使用例
– 空間OSにコンソールをつけて(低レベルな)エージェントを人間が操作する
• 空間OSはリモートコントローラのかたまり
12
空間OS
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
空間OSの利用 ロボ独裁版
• 全自動の空気を読む家
– 空間OSを通してロボットがエージェントを操作する
13
空間OS
AmazonEchoや
Google Homeは
これに似ている
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
「ロボ独裁版」は不都合
• ロボットメーカーに依存することになる
– クラウド上にロボット本体を実装してしまいがち
– メーカーや製品の寿命より人生の方が長い
– メーカーの「利益にならない・反する」機能の不在
– 「多様性」の欠如
• ロボットが単一障害点となる
– 故障していないところは動かす必要がある
– ロボットメーカーはいろいろ免責したがるだろう
• ロボット実現まで待たねばならない
– 何十年?
14
クラウドの不都合
は次ページで
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
クラウド主体は不都合
• プライバシー
– 局所化必須:「人の所在」「浴室内の映像」…
• リアルタイム応答
– インターネットを経由するだけで数100ms
• 人の「直観」は200ms
• 耐故障
– ローカルサービスの継続
• インターネット・クラウドなしでも動作の継続が必須
15
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
空間OSの利用 マルチエージェント版
– エージェント群が総体として「ロボット」となる
– エージェントは「その場」で動作する(一部はクラウド上での実行もアリ)
16
空間OS
エージェント
エージェント
エージェント
エージェント
エージェント
エージェント
エージェント
エージェント
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
エコシステム
• ある分野の専門家(事業者)がエージェン
トを作ってビジネスする
– 「その場所」が新たなマーケット
– 新規の「専門分野」
• 複数のエージェントを束ねた新しいサービス
– 能力ある者が「責任」を伴ってビジネスする
– 業者が廃業しても代わりを選べる
17
共特化
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
エコシステム
• 事業者によるエージェント運用
18
空間OS
エージェント
エージェント
エージェント
エージェント
エージェント
エージェント
エージェント
エージェント
供給・補充
健康・医療
給食
家族の
スマホ
行政
みまもり
介護
空調
清掃
電力
警備
快適
空気を読む
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
階層構造
• 分割して実装する
– 単純なものを組合わせて複雑なものを作り出す
– 一つのものを複数の用途に使う
• 包摂アーキテクチャで進化させる
– 古い(単純な)機能に新しい(複雑な)機能を上乗せする
– 高度な機能が故障しても最低限の機能は動作させる
• 空間OSから独立できるエージェント(ロボット)
19
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
階層構造
20
事実
解釈・決定
解釈・決定
解釈・決定
…
抽象
レベル
低
(具象)
高
エージェント
エージェント
エージェント
エージェント
センサー
アクチュエーター
ロボット
認識・解釈
エージェント
ミッション遂行
エージェント
空気を読む系
エージェント
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
人間の参加
システムにできないことを人間に託す
• 重大な決断の承認を得る
– 例:「救急車を呼んでいいですか?」
• 人にしかできないことを頼む
– 例:「ダイニングの電球を交換してください」
• 人を動かすことに価値がある
– 例
住人:「暑いな」
空気を読む家:「外は涼しいので窓を開けては?」
住人:「開けてよ」
空気を読む家:「最近運動不足ですからご自分で…」
21
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
人間API
• 人間API:人とかかわるエージェント群
– 人間とのコミュニケーション
• 一般エージェントの依頼に基づいて人間へ通知
• 人間の指令をエージェントへ伝える
– 空間OS内に人間モデルを作る
• 位置、姿勢…
• 気分、健康状態…
– 人間にシステム全体が一貫しているようにみせる
• 行為や状況を説明する
• システム擬人化する
22
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
一般知識・データ
オントロジー、ルール、
気象情報、サービス、…
エージェントメタデータ
クラス定義、機能定義…
「家」での空間OS
空間OS:動的RDFストア (非公開)
LOD (公開)
ローカルナレッジ
家族構成、間取り、契約…
空気を読む・人間API
会話、外部連絡、忖度…
管理エージェント
安全、空調、電力…
認識・解釈エージェント
人・ペット・環境…
センサー・アクチュエータ
温度計、マイク、カメラ、エアコ
ン、掃除ロボット…
プロトコルコンバータ
他の空間OS
知
識
共
有
黒
板
モ
デ
ル
ある部分集合を人間
APIとして共通化
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
エージェントの進化
24
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
実世界起点の開発
• 単純な機能から高度な機能へ
– 空間OS:実現可能な実装を提供し、改良してゆく
25
課題: 「知っていること(プログラムされたこと)」しかできない
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
仮想世界起点の開発
• 単純なモデルから現実的モデルへ
– ゲーム空間で育てて実世界へ
• 複雑なコンテキストの利用
26
課題: 推論コストの爆発・安全の確保
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
人間起点の開発
• 心象から現世へ
– 「知・情・意」のとりこみ
27
課題: デジタル表現と処理の方法
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
3視点の融合
• 実世界起点の開発
– 単純な機能から高度な機能へ
• 使いながら進化させる。
• 仮想世界起点の開発
– 単純なモデルから現実的モデルへ
• ゲーム空間で育てて実世界へ。
• 人間起点の開発
– 心象から現世へ
• 「知・情・意」のデジタル表現
28
空間OSで
つなぐ
Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
http://aitc.jp
https://www.facebook.com/aitc.jp
ハルミン
AITC非公式イメージキャラクター
29

ITフォーラム2021 先端IT活用推進コンソーシアム(6/7)

  • 1.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空間OSによるエージェント連携 2021年2月3日 先端IT活用推進コンソーシアム ビジネスAR研究部会 コンテキスト・コンピューティング研究部会 日本総合システム株式会社 中川雅三
  • 2.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. もくじ • 空間OSの概要 • エージェントの実装 • エージェントの進化 2
  • 3.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空間OSの概要 3
  • 4.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空間OSとは • その場所にある様々なエージェント(ロボット)を 連携させる「メタOS」。寿命数十年以上目標。 4 空間OS 最初は「家」で実装開始
  • 5.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空間OSの実装 • 空間OSは「黒板モデル」の黒板 – 空間内のあらゆる情報(コンテキスト)をエージェントが黒板へ書き込む – エージェントは黒板に書かかれた情報に基づいて動作し、結果を黒板へ書き込む – エージェントは同じコンテキストを共有して協調動作する 5 空間OS=黒板 空間内のあらゆる情報を保持 RDFストア +変化通知 +履歴記録 (+権限制御) エージェント エージェント … エージェント
  • 6.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 実装実験 • Apache JENAを改造したRDFストア – 変化値を保持する「物理ノード」 • WebSocketで変化を通知 • 値変化の履歴を記録 • キュー型ノードによる包摂アーキテクチャのサポート – 属性設定によるアクセス権限制御 • 存在を見せない/値は読めないが検索には使える 資料: – 「LOD の物理世界拡張と空間 OS」 http://aitc.jp/pubs/bizar/SIG-SWO-039-02.pdf – 「空間 OS によるエージェントのデータ共有と相互運用」 https://aitc.jp/pubs/bizar/SIG-SWO-048-01.pdf 6 RDFストアとは: ・グラフDB ・検索言語SPARQL ・名前空間の分離 LOD※で使われている ※ LOD : Linked Open Data
  • 7.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 一般知識・データ オントロジー、ルール、 気象情報、サービス、… エージェントメタデータ クラス定義、機能定義… 「家」での空間OS 空間OS:動的RDFストア (非公開) LOD (公開) ローカルナレッジ 家族構成、間取り、契約… 空気を読む・人間API 会話、外部連絡、忖度… 管理エージェント 安全、空調、電力… 認識・解釈エージェント 人・ペット・環境… センサー・アクチュエータ 温度計、マイク、カメラ、エアコ ン、掃除ロボット… プロトコルコンバータ エージェント =Web Servcie 他の空間OS 知 識 共 有 黒 板 モ デ ル
  • 8.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 確認できたポイント • プログラムが思い通りに動作する • 開発しやすい 複数チームが分散作業でデモを実装 – エージェント化による明確な機能分割 – 容易なシミュレーション(仮想と現実のシームレスな接続) • そこそこのパフォーマンス@JSONテキスト – 数10バイト:毎秒数万通知(@EC2 microインスタンス) – 毎秒20フレーム姿勢骨格データ中継:20チャネル程度 8
  • 9.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 課題 • エージェント設計の難しさ – 扱う対象が多様で複雑 • エージェントへの分割と、共有する語彙の設計 • 人間とのコミュニケーション • データ構造の扱いの難しさ – 例:SPARQLでの高さ可変Treeの検索 • 「1階の、居間の、押し入れの、タンスの、1番目の引出にある爪切り」 – 「1番目の引出にある」は簡単に検索できる – その引出に辿りつく包含関係の表示は簡単ではない • 高速ストリームの扱い – 動画・音声(振動)などはRDFストアで扱うには効率が悪い。 9
  • 10.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 実現可能性 • ユニバーサルなプラットフォーム – 標準化済みの技術の集成 – 比較的簡単な実装 – 名前空間の分離 – 「その場所」の限定によるセキュリティの実現 • +空間OSの連携によるスケーラビリティ ↓ インフラ化すれば実現 – あらゆるコンピュータの総連携 – 数十年以上の稼働 – 生活の場でのビジネス・公共サービス 10 技術的には 可能
  • 11.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. エージェントの実装 11
  • 12.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空間OSの利用 全手動版 • 最も原始的な使用例 – 空間OSにコンソールをつけて(低レベルな)エージェントを人間が操作する • 空間OSはリモートコントローラのかたまり 12 空間OS
  • 13.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空間OSの利用 ロボ独裁版 • 全自動の空気を読む家 – 空間OSを通してロボットがエージェントを操作する 13 空間OS AmazonEchoや Google Homeは これに似ている
  • 14.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 「ロボ独裁版」は不都合 • ロボットメーカーに依存することになる – クラウド上にロボット本体を実装してしまいがち – メーカーや製品の寿命より人生の方が長い – メーカーの「利益にならない・反する」機能の不在 – 「多様性」の欠如 • ロボットが単一障害点となる – 故障していないところは動かす必要がある – ロボットメーカーはいろいろ免責したがるだろう • ロボット実現まで待たねばならない – 何十年? 14 クラウドの不都合 は次ページで
  • 15.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. クラウド主体は不都合 • プライバシー – 局所化必須:「人の所在」「浴室内の映像」… • リアルタイム応答 – インターネットを経由するだけで数100ms • 人の「直観」は200ms • 耐故障 – ローカルサービスの継続 • インターネット・クラウドなしでも動作の継続が必須 15
  • 16.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空間OSの利用 マルチエージェント版 – エージェント群が総体として「ロボット」となる – エージェントは「その場」で動作する(一部はクラウド上での実行もアリ) 16 空間OS エージェント エージェント エージェント エージェント エージェント エージェント エージェント エージェント
  • 17.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. エコシステム • ある分野の専門家(事業者)がエージェン トを作ってビジネスする – 「その場所」が新たなマーケット – 新規の「専門分野」 • 複数のエージェントを束ねた新しいサービス – 能力ある者が「責任」を伴ってビジネスする – 業者が廃業しても代わりを選べる 17 共特化
  • 18.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. エコシステム • 事業者によるエージェント運用 18 空間OS エージェント エージェント エージェント エージェント エージェント エージェント エージェント エージェント 供給・補充 健康・医療 給食 家族の スマホ 行政 みまもり 介護 空調 清掃 電力 警備 快適 空気を読む
  • 19.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 階層構造 • 分割して実装する – 単純なものを組合わせて複雑なものを作り出す – 一つのものを複数の用途に使う • 包摂アーキテクチャで進化させる – 古い(単純な)機能に新しい(複雑な)機能を上乗せする – 高度な機能が故障しても最低限の機能は動作させる • 空間OSから独立できるエージェント(ロボット) 19
  • 20.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 階層構造 20 事実 解釈・決定 解釈・決定 解釈・決定 … 抽象 レベル 低 (具象) 高 エージェント エージェント エージェント エージェント センサー アクチュエーター ロボット 認識・解釈 エージェント ミッション遂行 エージェント 空気を読む系 エージェント
  • 21.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 人間の参加 システムにできないことを人間に託す • 重大な決断の承認を得る – 例:「救急車を呼んでいいですか?」 • 人にしかできないことを頼む – 例:「ダイニングの電球を交換してください」 • 人を動かすことに価値がある – 例 住人:「暑いな」 空気を読む家:「外は涼しいので窓を開けては?」 住人:「開けてよ」 空気を読む家:「最近運動不足ですからご自分で…」 21
  • 22.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 人間API • 人間API:人とかかわるエージェント群 – 人間とのコミュニケーション • 一般エージェントの依頼に基づいて人間へ通知 • 人間の指令をエージェントへ伝える – 空間OS内に人間モデルを作る • 位置、姿勢… • 気分、健康状態… – 人間にシステム全体が一貫しているようにみせる • 行為や状況を説明する • システム擬人化する 22
  • 23.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 一般知識・データ オントロジー、ルール、 気象情報、サービス、… エージェントメタデータ クラス定義、機能定義… 「家」での空間OS 空間OS:動的RDFストア (非公開) LOD (公開) ローカルナレッジ 家族構成、間取り、契約… 空気を読む・人間API 会話、外部連絡、忖度… 管理エージェント 安全、空調、電力… 認識・解釈エージェント 人・ペット・環境… センサー・アクチュエータ 温度計、マイク、カメラ、エアコ ン、掃除ロボット… プロトコルコンバータ 他の空間OS 知 識 共 有 黒 板 モ デ ル ある部分集合を人間 APIとして共通化
  • 24.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. エージェントの進化 24
  • 25.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 実世界起点の開発 • 単純な機能から高度な機能へ – 空間OS:実現可能な実装を提供し、改良してゆく 25 課題: 「知っていること(プログラムされたこと)」しかできない
  • 26.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 仮想世界起点の開発 • 単純なモデルから現実的モデルへ – ゲーム空間で育てて実世界へ • 複雑なコンテキストの利用 26 課題: 推論コストの爆発・安全の確保
  • 27.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 人間起点の開発 • 心象から現世へ – 「知・情・意」のとりこみ 27 課題: デジタル表現と処理の方法
  • 28.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 3視点の融合 • 実世界起点の開発 – 単純な機能から高度な機能へ • 使いながら進化させる。 • 仮想世界起点の開発 – 単純なモデルから現実的モデルへ • ゲーム空間で育てて実世界へ。 • 人間起点の開発 – 心象から現世へ • 「知・情・意」のデジタル表現 28 空間OSで つなぐ
  • 29.
    Copyright © 2021Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. http://aitc.jp https://www.facebook.com/aitc.jp ハルミン AITC非公式イメージキャラクター 29