3-1)『空気を読む家』とメタバース駆動開発構想空間OS モノと社会をつなげる

Copyright © 2023 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved.
『空気を読む家』とメタバース駆動開発構想
空間OS モノと社会をつなげる
• 2023年2月3日e
• 先端IT活用推進コミュニティ
• XR研究グループ
• コンテキスト・コンピューティング研究グループ
• 日本総合システム株式会社中川雅三

Copyright © 2023 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 2
空間OSとは
• その場所にある様々なエージェント(ロボット)や
人を連携させる「メタOS」。寿命数十年以上目標。
空間OS
最初は「家」で実装開始

発端：総連携
• 最初の問題意識
• 身の回りにあるデバイス群・サービス群が繋がっていない
• つなげればいろいろな使い方ができるだろう
• メーカーにはできない
• ビジネスモデルが違う（と思ってる）
• 囲い込みたい
• 要求が多様すぎる
• 責任をとりたくない
• “標準”がない

空気を読む家
• “空気を読む家”というお題がたちあがった
• 単に自動化したいわけではないだろう
• 住みたい家は人によって嗜好・指向が違う
• 住人やかかわる人の”能力”を”拡張”できればうれしい
• 自分では気付かないことに気付く
• 常時チェックする
• 滅多に起こらないことにも適切に対処する
• 面倒なときにはやってくれる

窓を開けませんか
• “空気を読む家”で思いついたユースケース
• 室温が上昇したときの冷却
• 空気を読む家が「窓を開けませんか」と提案する
• 外は”気持ちがいい”気象
• 住人はそれに気付いていない
• 特にこの解が良いケース
• “気持ちがいい窓開け”に共感する人
• 高温に気付きにくくなっている独居高齢者
近頃は運動不足
• “レガシーな業者”には、この提案はできない
• 家電メーカー：エアコンつけておいてください
• 住宅メーカー：窓やブラインドの開閉を自動化します
• サービス業者（介護・見守り）：何かあったら責任とれません

「窓を開けませんか」の実装
• 何が必要か
• センサー
• 温度、カメラ…
• 高度なセンサー
• “そこに人がいてそれが誰で何をしているか”を解釈…
• 一般知識
• 室温が高くなると危険、外気温が低ければ窓開けで室温を低下できる…
• その場所・周辺に関する知識
• この部屋には窓があるエアコンもある、住人はこんな人…
• 外は快晴、風力…
• 使命・責任
• なんのために提案するのか、結果事故ったら？、評価されたら？…
•これらの活動をつなげる基盤：空間OS

空間OSに求められるもの
• デバイス群と人と社会が協働する基盤
• オーナーのために働く、そこにいる人のために働く…
• 人がやるべきこと・やったほうがいいことは人に任せる
• “社会”と連携する（例：ここに無いサービス・助けを求める）
• 互換だが多様であり変化を許容する
• すべてのデバイス・情報・人・社会が繋がれる
• 世代の異なるデバイスが情報共有・接続できる
• 永続する
• 人の一生、世代にわたってサービスを継続し続ける
• 秘密の開示・秘匿を制御できる
• 「プライバシー＝秘密」ではない。時と場合による。
• 死にかけていればトイレにだって踏み込む

空間OSがあればできそうなこと
• 多様な生き方・高齢・子ども…
• 必要なところは極限まで自動化・お気軽化する
• コンフィグレーション（設置、故障、世代交代、引っ越し…=継続的）
• 弱いものの見守り（乳幼児、高齢者、ペット、植物…）
• 人がやるべきところは人ができるようにする
• 責任、利害調整…
• 多様なリモート操作
• 新たな雇用
• その場で（大中小の）事業者がビジネスをできるようにする。
• 留守宅のペットの様子をみながらリモートで給餌する商売
• 本人確認できなくなったときに助ける商売
• OSがおかしなエラーログを出した現場に確認しにくる商売
…

空間OSと社会
• 空間OSをインフラにすれば…
• 個人宅やオフィスで第3者がビジネスを実現
• 公共
• 事業者
• ボランティア
→ 「共助」のインフラ
デジタル庁統括官村上敬亮氏の講演資料より
デジ庁の問題意識：
共助のインフラが必要

アーキテクチャの基本方針
• データ中心
• データだけが永続可能
• ハードウエアもOSも言語も規格も、寿命が人生より短かめ
→ デバイスを入れ替えながら、データを永続的にひきつぐ
• メタデータも
• メタデータ：データの解釈の仕方を説明するデータ
• 扱うデータには「範囲」がある
• 「ここ＝空間内」にある事象の観測事実と解釈
• ここにあるデバイス群や人に必要なものを扱う
• 上記データの履歴データ：変化の観測も重要
↓
“ここの空間に関するデータ”をコンテキストと呼ぶ

コンテキストの共有
• デバイスや人がデータを共有して協調動作すればいい
• 動作の主体をエージェントと呼んでみる
↓
• 空間OSは「黒板モデル」の黒板であるとすればいい
• 温度計エージェント：黒板に温度を書き込む（履歴も蓄積されている）
メタデータ：型番・温度の単位・サンプリングレート…
関連データ：設置場所・信頼性…
• 健康管理エージェント：
• 読み込み：温度や湿度、気候、この家の構造…
• 書き込み：判断ログ、執事エージェントへの依頼「窓をあけませんか」
• 執事エージェント：
• 読み込み：依頼、この家の構造…
• 書き込み：対話エージェントへ発話依頼「窓をあけませんか」…
… 本当はもっと複雑な処理になるだろう
「黒板モデル」については検索してみて

• ”コンテキスト”は現場のもの
• クラウドやメーカーのものではない
• 現場ですべてを制御できるようにする
• コンテキストを機密の制御境界として使う
• 外からは見えない
• コンテキストに構造を持たせる
「プライバシー」はゼロかイチかではないから
• 自分だけの
• 家族の
• 医療・介護での
• 仕事の
• 友人との
「プライバシー」への対応
個別のエージェントごとに
・見える部分
・書ける部分
・間接的に使える部分

ローカルとクラウド ―実装形態
• ローカル（Edge）の必要性
• プライバシーの保護：浴室の映像をクラウドに上げるか？
• リアルタイム性：msオーダーのレイテンシが必要なケースに対応。
• 堅牢性：クラウドやネットワークがダウンしても動き続ける。
• 多様性：あらゆる組み合わせや嗜好に合わせる。
• クラウドの必要性
• スケールできる。
• 広く情報を集める。
• 他と繋がる。
• 堅牢性：ローカルが破壊されてもデータを残す。
⇒ 両方とも必要で、同レベルの高機能が求められる。

空間OSの実装
• データ表現：RDF
• RDF：安定した仕様＋名前空間の分離＋メタデータの記述＋検索
• 名前空間の分離 → 誰でも自分だけの「規格」を勝手につくれる。
• 実装形態
• Webサーバとして実装
• HTTPはいまのところ安定している
• 下位プロトコルが変化しても「問い合わせ＋応答」モデルは使い続けられる
• WebSocketで変化を通知できる
• 毎秒数100kB程度のストリームを扱えるだろう
• ローカル連携にもクラウド連携にもつかいやすい
• やらないこと（最初の実験では）
• データ構造の階層 → まずはRDFで直接書いてみる
• 音声や動画のような太いストリーム → 空間OSが扱うは接続情報のみ
• セキュリティ → 扱おうとおもえばできることは確認してみる

空間OSの実装
• 空間OSは「黒板モデル」の黒板
• 空間内のあらゆる情報（コンテキスト）をエージェントが黒板へ書き込む
• エージェントは黒板に書かかれた情報に基づいて動作し、結果を黒板へ書き込む
• エージェントは同じコンテキストを共有して協調動作する
空間OS=黒板
空間内のあらゆる情報を保持
RDFストア
＋変化通知
＋履歴記録
（＋権限制御）
エージェント
エージェント
…
エージェント
HTTP+WebSocket
HTTP
HTTP+WebSocket

「家」における空間OS
一般知識・データ
オントロジー、ルール、
気象情報、サービス、…
エージェントメタデータ
クラス定義、機能定義…
空間OS：動的RDFストア（非
公開）
LOD
(公開）
ローカルナレッジ
家族構成、間取り、契約…
空気を読む・人間API
会話、外部連絡、忖度…
管理エージェント
安全、空調、電力…
認識・解釈エージェント
人・ペット・環境…
センサー・アクチュエータ
温度計、マイク、カメラ、エ
アコン、掃除ロボット…
プロトコルコンバータ
エージェント
＝Web Servcie
他の空間OS
知
識
共
有
黒
板
モ
デ
ル
包摂アーキテクチャ的階層
を含む

“空気を読む家”実装実験
空間OSの試作
• Apache JENAを改造したRDFストア
• 変化値を保持する「物理ノード」
• WebSocketで変化を通知
• 値変化の履歴を記録
• キュー型ノードによる包摂アーキテクチャのサポート
• 属性設定によるアクセス権限制御実験
• 存在を見せない／値は読めないが検索には使える
資料：
• 「LOD の物理世界拡張と空間 OS」
http://aitc.jp/pubs/bizar/SIG-SWO-039-02.pdf
• 「空間 OS によるエージェントのデータ共有と相互運用」
https://aitc.jp/pubs/bizar/SIG-SWO-048-01.pdf
RDFストアとは：
・RDFデータを保持する
・グラフDB
・検索言語SPARQL
LOD※で使われている
※ LOD : Linked Open Data
クラウドにもedgeにも
設置できる

実装実験で確認できたポイント
• プログラムが思い通りに動作する
• アプリを開発しやすい
複数チームが分散作業でデモを実装
• エージェント化による明確な機能分割
• 容易なシミュレーション → 仮想と現実のシームレスな接続
• そこそこのパフォーマンス@JSONテキスト
• 数10バイト：毎秒数万通知（@EC2 T2-microインスタンス）
• 毎秒20フレーム姿勢骨格データ中継：20チャネル程度

メタバースと空間OSの関係
仮説
• 1個のメタバースを空間OSでモデル化することができる。
• 複数のメタバースを空間OSでつなげることができる。
• 現実空間とメタバースをつなげることができる

空間OSの構成
空間OS:
デジタルツインストレージ
（履歴・メタデータ・インデクス）
センサ
センサ
センサ
各種カメラ
温度計
ドア・窓
…
センサ
センサ
計算エージェント
人物認識
空調・警備
健康管理
…
センサ
センサ
アクチュエータ
音声・ディスプレイ
エアコン
ロック
…

メタバースの構成
モデル空間:
オブジェクトストレージ
（APIつき）
センサ
センサ
センシング
キー・スイッチ
モーショントラッキング
音声
…
センサ
センサ
計算エージェント
レンダリング
物理シミュレーション
NPC（対話エージェント）
価値交換
センサ
センサ
フィードバック
ディスプレイ
音声・振動
…
一体化しているシステ
ムを分解してみると

マルチバース
モデル空間:
（APIつき）
モデル空間:
（APIつき）
モデル空間:
（APIつき）
センサ
センサ
センシング
センサ
センサ
計算エー
ジェント
センサ
センサ
フィード
バック
空間OS:
デジタルツインストレージ
（メタデータと賢いインデクス付き）
センサ
センサ
センサ
センサ
センサ
計算エー
ジェント
センサ
センサ
アクチュ
エータ
モデル空間:
（APIつき）
マルチバースのハブ
としての空間OS
・現実空間接続
・データの標準
マッピング

空間OS
• プログラミングモデル
• 空間OS：
コンテキストの変化・時間経過 → 新しいコンテキスト
• 多くの言語やRPCでは：
イベント＋パラメータ → 応答
• コンテキスト＝エージェント群の共有情報
• フレームの外縁
• 機密の境界
• “空間”の種類
• 場所：身辺、部屋、家、ビル、街、国、車、メタバース…
• グループ：家族、サークル、会社…
• アクティビティ：生活、遊び、仕事…
“コンテキスト”上の
コンピューティング

今後
• 流行りのChatGPTにきいてみた…
課題解決提案に使えそう
↓
安全・ウェルビーイング？
タスクの始まりと終わり？
責任？

3-1)『空気を読む家』とメタバース駆動開発構想 空間OS モノと社会をつなげる

More Related Content

Similar to 3-1)『空気を読む家』とメタバース駆動開発構想 空間OS モノと社会をつなげる

More from aitc_jp