SlideShare a Scribd company logo
1
Spatial Computingの未来に思いを馳せて
2
Mercari, Inc. R4D XR Research
Engineer
大学院ではコンピュータビジョンを専
攻し,2019年4月に正式ジョイン.
電脳コイルが好き
松下 日昇 @ ARヒノボル
3
Spatial Computing とは
Agenda
スピーカーが目指す理想の世界
コンピュータとのインタラクション
まとめ
02
03
04
01
4
Spatial Computing とは?
● 実世界の構造を理解できる
● 実世界の意味を理解できる
● リアルとヴァーチャルの
物体を同一に扱える
● etc.
出典: https://www.magicleap.com/news/op-ed/spatial-computing-an-overview-for-our-techie-friends
5
Spatial Computingの発展
● Tango(2014)
● HoloLens (2016)
● ARKit (2017)
● ARCore (2017)
● MagicLeap (2018)
● 6D.ai (2018)
● Placenote (2018)
6d.aiデモ
6
HyperRealityは未来の姿?
7
面白いけど,違うよね?
Critical Design
is more about exposing problems,
examining the way that we live today
extrapolating on our current trajectories and
trying to understand the consequences that
they can have on the future on everyday life.
8
スピーカーが目指す理想の世界
9
Timoni West from Unity Technologies
必要最低限の
「あったらいいな」
と思えるくらいの
気の利いた表示
10
John Hanke, Niantic CEO
過度な情報はいらない.
必要な情報を察して,
現実世界と正しく関連した
表示があればいい.
*意訳が大分入ってます
11
目指すのは...
必要十分で
察しの良い
便利な世界
12
コンピュータとのインタラクション
13
Mental Models and Systems for Spatial Computing
インプットの
設計方法
モダリティ
の種類
Modality
Loop
Graph
Visual
Auditory
Physical
By Timoni West
14
● 熟練の動作を要する場合
● 視界に入れずに入力したい
場合
● 形による直感的な意図の伝達
● テキストによるストーリーの
伝達
各種モダリティの適正
● 手や目が不自由な場合
● 短い指示
● 全方位の確認
15
画像をはめた説明のときに使用してください。
Modality Loop
Modality Loop
16
Modality cycle の話
Modality Loop~ゲームコントローラの入力例~
17
Controlling the Future: The Power of Input
Devices in the VR/AR Generation
AffordableNatural
Portable
By Gary Yamamoto
Invisible
18
Spatial Computingにおいては...
世界の全てが入力可能である
19
入力の設計にも
もっと注目すべき
だからこそ
20
GDC19での入力デバイス~StretchSense~
21
まとめ
22
Spatial Computingが実現する未来は
自由度が極大
開発者次第で
良くも悪くもなる
23
24
25
時間余ったらAR系展示の話

More Related Content

Similar to Spatial Computingの未来に思いを馳せて

ARラジコン開発中2
ARラジコン開発中2ARラジコン開発中2
ARラジコン開発中2
Hiro Han
 
新しい分散実行の仕組み PROCESS WARPについて
新しい分散実行の仕組み PROCESS WARPについて新しい分散実行の仕組み PROCESS WARPについて
新しい分散実行の仕組み PROCESS WARPについて
祐司 伊藤
 
WebでのARには ハードル(闇)がいっぱいある話
WebでのARには ハードル(闇)がいっぱいある話WebでのARには ハードル(闇)がいっぱいある話
WebでのARには ハードル(闇)がいっぱいある話
翔 石井
 
ARラジコン開発中
ARラジコン開発中ARラジコン開発中
ARラジコン開発中
Hiro Han
 
ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...
ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...
ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...
Takahiro Miyaura
 
Immersal event 04/2021
Immersal event 04/2021Immersal event 04/2021
Immersal event 04/2021
Tomoyo Hirayama
 
Innovative City Forum 2020 講演資料
 Innovative City Forum 2020 講演資料 Innovative City Forum 2020 講演資料
Innovative City Forum 2020 講演資料
Youichiro Miyake
 
現場のコード意識を変えるために導入したリーダブルコードとガウディの思想 - DevLove甲子園2014技 -
現場のコード意識を変えるために導入したリーダブルコードとガウディの思想 - DevLove甲子園2014技 -現場のコード意識を変えるために導入したリーダブルコードとガウディの思想 - DevLove甲子園2014技 -
現場のコード意識を変えるために導入したリーダブルコードとガウディの思想 - DevLove甲子園2014技 -
Daisuke Watanabe
 
洋服サイズ計測アプリの開発 ~日常に溶け込むMagicLeapを目指して~
洋服サイズ計測アプリの開発 ~日常に溶け込むMagicLeapを目指して~洋服サイズ計測アプリの開発 ~日常に溶け込むMagicLeapを目指して~
洋服サイズ計測アプリの開発 ~日常に溶け込むMagicLeapを目指して~
NishoMatsusita
 
Way-Findingをやってやった ~ Azure Spatial Anchorsでね~
Way-Findingをやってやった ~ Azure Spatial Anchorsでね~Way-Findingをやってやった ~ Azure Spatial Anchorsでね~
Way-Findingをやってやった ~ Azure Spatial Anchorsでね~
Takahiro Miyaura
 
MRアプリを Power Apps で爆速開発 ~Low Code で 仮想世界へGo!~
MRアプリを Power Apps で爆速開発 ~Low Code で 仮想世界へGo!~MRアプリを Power Apps で爆速開発 ~Low Code で 仮想世界へGo!~
MRアプリを Power Apps で爆速開発 ~Low Code で 仮想世界へGo!~
Teruchika Yamada
 
AR・VR機器の紹介
AR・VR機器の紹介AR・VR機器の紹介
AR・VR機器の紹介
hirenjak M.
 

Similar to Spatial Computingの未来に思いを馳せて (12)

ARラジコン開発中2
ARラジコン開発中2ARラジコン開発中2
ARラジコン開発中2
 
新しい分散実行の仕組み PROCESS WARPについて
新しい分散実行の仕組み PROCESS WARPについて新しい分散実行の仕組み PROCESS WARPについて
新しい分散実行の仕組み PROCESS WARPについて
 
WebでのARには ハードル(闇)がいっぱいある話
WebでのARには ハードル(闇)がいっぱいある話WebでのARには ハードル(闇)がいっぱいある話
WebでのARには ハードル(闇)がいっぱいある話
 
ARラジコン開発中
ARラジコン開発中ARラジコン開発中
ARラジコン開発中
 
ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...
ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...
ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure ...
 
Immersal event 04/2021
Immersal event 04/2021Immersal event 04/2021
Immersal event 04/2021
 
Innovative City Forum 2020 講演資料
 Innovative City Forum 2020 講演資料 Innovative City Forum 2020 講演資料
Innovative City Forum 2020 講演資料
 
現場のコード意識を変えるために導入したリーダブルコードとガウディの思想 - DevLove甲子園2014技 -
現場のコード意識を変えるために導入したリーダブルコードとガウディの思想 - DevLove甲子園2014技 -現場のコード意識を変えるために導入したリーダブルコードとガウディの思想 - DevLove甲子園2014技 -
現場のコード意識を変えるために導入したリーダブルコードとガウディの思想 - DevLove甲子園2014技 -
 
洋服サイズ計測アプリの開発 ~日常に溶け込むMagicLeapを目指して~
洋服サイズ計測アプリの開発 ~日常に溶け込むMagicLeapを目指して~洋服サイズ計測アプリの開発 ~日常に溶け込むMagicLeapを目指して~
洋服サイズ計測アプリの開発 ~日常に溶け込むMagicLeapを目指して~
 
Way-Findingをやってやった ~ Azure Spatial Anchorsでね~
Way-Findingをやってやった ~ Azure Spatial Anchorsでね~Way-Findingをやってやった ~ Azure Spatial Anchorsでね~
Way-Findingをやってやった ~ Azure Spatial Anchorsでね~
 
MRアプリを Power Apps で爆速開発 ~Low Code で 仮想世界へGo!~
MRアプリを Power Apps で爆速開発 ~Low Code で 仮想世界へGo!~MRアプリを Power Apps で爆速開発 ~Low Code で 仮想世界へGo!~
MRアプリを Power Apps で爆速開発 ~Low Code で 仮想世界へGo!~
 
AR・VR機器の紹介
AR・VR機器の紹介AR・VR機器の紹介
AR・VR機器の紹介
 

More from NishoMatsusita

Magic Leap で WebRTC 触ってみた
Magic Leap で WebRTC 触ってみたMagic Leap で WebRTC 触ってみた
Magic Leap で WebRTC 触ってみた
NishoMatsusita
 
Immersal を活用した AR クラウドなシステム開発とハンズオン!
Immersal を活用した AR クラウドなシステム開発とハンズオン!Immersal を活用した AR クラウドなシステム開発とハンズオン!
Immersal を活用した AR クラウドなシステム開発とハンズオン!
NishoMatsusita
 
Immersal で広がる Magic Leap の拡張範囲
Immersal で広がる Magic Leap の拡張範囲Immersal で広がる Magic Leap の拡張範囲
Immersal で広がる Magic Leap の拡張範囲
NishoMatsusita
 
洋服サイズ計測アプリ開発・展示談とAR x e-Commerceの未来
洋服サイズ計測アプリ開発・展示談とAR x e-Commerceの未来洋服サイズ計測アプリ開発・展示談とAR x e-Commerceの未来
洋服サイズ計測アプリ開発・展示談とAR x e-Commerceの未来
NishoMatsusita
 
AR勉強会第4回part2
AR勉強会第4回part2AR勉強会第4回part2
AR勉強会第4回part2
NishoMatsusita
 
AR勉強会第4回part1
AR勉強会第4回part1AR勉強会第4回part1
AR勉強会第4回part1
NishoMatsusita
 

More from NishoMatsusita (6)

Magic Leap で WebRTC 触ってみた
Magic Leap で WebRTC 触ってみたMagic Leap で WebRTC 触ってみた
Magic Leap で WebRTC 触ってみた
 
Immersal を活用した AR クラウドなシステム開発とハンズオン!
Immersal を活用した AR クラウドなシステム開発とハンズオン!Immersal を活用した AR クラウドなシステム開発とハンズオン!
Immersal を活用した AR クラウドなシステム開発とハンズオン!
 
Immersal で広がる Magic Leap の拡張範囲
Immersal で広がる Magic Leap の拡張範囲Immersal で広がる Magic Leap の拡張範囲
Immersal で広がる Magic Leap の拡張範囲
 
洋服サイズ計測アプリ開発・展示談とAR x e-Commerceの未来
洋服サイズ計測アプリ開発・展示談とAR x e-Commerceの未来洋服サイズ計測アプリ開発・展示談とAR x e-Commerceの未来
洋服サイズ計測アプリ開発・展示談とAR x e-Commerceの未来
 
AR勉強会第4回part2
AR勉強会第4回part2AR勉強会第4回part2
AR勉強会第4回part2
 
AR勉強会第4回part1
AR勉強会第4回part1AR勉強会第4回part1
AR勉強会第4回part1
 

Spatial Computingの未来に思いを馳せて

Editor's Notes

  1. 発表するのは,つい2日前に正式にR4DXRに新卒としてジョインした松下日昇ことARヒノボルです.大学院ではCVを専攻していて,ここではMRやARについて取り組んでいきます.きっかけは電脳コイルなので,電脳コイル好きの方がいらっしゃればお声をかけていただければと思います.
  2. あまり今回は技術的な話などはしないのですけども,まずはSpatial Comuputingってなんなの?というお話をします. このテーマを選んだのは,結構セッションでSpatial Computingにふれるものが多かったからです. Spatial Computingの定義をすることは,意味が広いためにセッションでは避けられていたのですが,ここでは一応の理解をしてもらうためにMagicLeapの例を出します.灰色の部分が現実の世界で,人間以外の着色された部分がヴァーチャル部分になっていますが,これを見ると水が棚から自然に流れていたり,盆栽が棚の上に違和感なく配置されているなどが見て取れると思います.これを実現するためには実世界の形,構造を理解する必要があります.そして,もし床に絨毯があると認識,つまり意味を理解できれば,ヴァーチャルの水が染み込む表現が可能になります.こうしてはじめてリアルとヴァーチャルを同一に扱えることになります.ここまでできてるのはまだ見たことはないのですが,将来的にはこういうところを目指しているはずです.
  3. 現状,Spatial Computingはこんな感じになっています できることの内容や,HMDやスマートフォンなど,いろいろと条件は違うけれど,いずれも現実環境の構造を認識して,それとデジタルなオブジェクトのインタラクションを行うことができるようになっている. 動画は,6D.aiのデモ映像で,iphone7以上であれば十分に稼働します. このように,外でも,床や壁や曲面などを認識し,ヴァーチャルのボールが跳ね返ったりします. もちろんさきほど語った理想のSpatial Computingというのはまだ遠いのですが,仮にそれが実現したとして,皆さんはどういった未来を想像するでしょうか
  4. この界隈だと有名だと思いますが,Keiichi Matsuda氏によるHyper RealityというSpatial Computingが普及した頃のコンセプトムービーになります. (最初の部分少しと,街を歩いてる部分を少し流す) 実はGDCで3つのセッションにおいて流されていまして,さすがの知名度だなと思ったりもしました. では皆さん,こういう世界が来たらいいなーと思いますか
  5. これを取り上げたスピーカーのうちで,この未来が来てほしいという人はいなかったです. 自分は結構これでも面白いなぁとは思うんですが,やはり普段からこんなに騒々しい状態だったら軽くノイローゼとかになりそうですよね. まぁKeiichi Matsudaさん自体も,Critical Designという,未来に起こりうる問題を描写することで現在に警鐘を鳴らすような手法で動画作成をしているので,これが本当に来てほしいとは思っていないのではないでしょうか. ではスピーかー達はどのような未来の形を想像したのでしょうか.
  6. 日常に,必要最低限の「あったらいいな」と思えるくらいの気の利いた表示. 下の画像の右下を見るとメディアプレイヤーみたいなのがさり気なくある.これくらいが良い. コーヒーマシンだったらコーヒーマシンにあと何分で終わるかを大きくわかりやすく書いてあるとか. このコンセプト画像は実際に彼女の部屋で撮影した風景に書き足した感じだそうです.めっちゃいいとこ住んでるな,ってセッション中は関係ないことも考えてました.
  7. もうひとり紹介したいのはPokemon Go や Ingress を作った,Niantic CEO の John Hanke も,HyperRealityのような過度の情報は求めておらず, むしろ,必要な情報のみを察して,現実世界と正しく結びつけてくれているのが一番良い.と言っていました. 現在でも電車情報とか建物の情報は検索すれば見つかりますが, Johnさんが言いたかったのは,それを自動的に出してくれるところに意味があるということなのかなと思います.
  8. まとめると,目指したいのは必要十分で察しの良い便利な世界ということなります. こうかくと改めてこういう世界にしていきたいな,という気持ちになりますね!ね?
  9. このような世界では当然従来のパソコンやスマートフォンを操作するのとは違った形の,デバイスとのインタラクションが求められてくると思います.ここでは,インタラクションがどうあるべきなのか,どうやって設計するとよいのかについて,2つのセッションから得られたヒントについてお話します.
  10. このセッションでは,スペーシャルコンピューティングにおける,コンピュータとの関わり方,ということに着目した話が中心でした.関わり方には主に3種類あって,どうやって組み合わせて適切なインプットを設計するかの話をしていました.
  11. 視覚的なモダリティには,姿勢やグラフィック,テキストUIなどが含まれます.そのため直感的な理解や,逆にストーリーの伝達などに適します. 音声については,手や目が利用できない場合や,短い確認の指示や,特定の場所ではない周囲の確認あdフォに利用できます. 物理的なモダリティは,ジェスチャや,ハードウェアが含まれ,習熟した動作などをしたい場合や,視界に入れずに操作ができる点が特徴です. ただ,それぞれこうやって分けて説明しましたが,実際のインタラクションはこれらが複合的に用いられていることが多いです. どうやって,ことなるモダリティを効果的につなげるのか,その方法を説明していきます.
  12. 一連のインタラクションは,図のような3段階に分けて,考えることが可能です. まずはアフォーダンスです.アフォーダンスの意味ですが, 例えばドアノブをみれば,それに手を伸ばして回したり,押したりしますよね.スイッチを見たら,おそうとしますよね.そういう風に,アフォーダンスがしっかりしていれば,どのように操作すればいいのかが分かります.どう操作すればいいかわかれば,実際にインプットをして,程よいフィードバックが返ってくることで正しく操作ができるとわかり,一連の操作が終了します. 次に,もう少し具体的な例で考えてみます.
  13. コントローラをインプットデバイスとして使う場合を考えてみます. ゲームであれば,入力ができそうな場所を探したり,コントローラのボタンを見直したりする,アフォーダンスプロセスが入ります.このときはやはり見て理解することが多いので視覚のモダリティが大半を占めて,ときどき音声を頼りにすることもあります.ボタンの入力自体は物理キーなので完全に物理になります.フィードバックは,視覚音声物理全てに当てはまります.敵を倒したときのエフェクト,剣戟音,振動などです. これがたとえばジェスチャ入力になるとまた変わってきます.これをしっかりと認識して入力操作体験を作ることで,誤操作を減らすことなどの体験向上が可能になります.
  14. 次に,VR/ARジェネレーションにおけるインプットデバイスに求められる要件について考察したセッションを紹介します. まず1つめのナチュラルですが,これは入力と実際に実現したい動作が似ている,という意味です.ゴルフのゲームをするときに,ボタンで操作するのではなく腕を振りかぶるような感じです. Affordableは金銭的に安いこと,Portableは据え置きではないというのと,Invisibleは見えないというよりは,意識しないというのが正しいです. これが満たされれば,理想的で広く使われるものになるだろうとのことでした. 当然ここから漏れている要件もあると思いますが,基本的には僕は賛成で,現状は制約は多いですがハンドジェスチャが一番近いのかな,と思ってます. Invisibleは割と究極な感じがしますが
  15. ここで,一度 Spatial Computingについて思い返してもらうと,世界を認識するというのがあったと思います.ということは, 自分の体が,ただのデスクが,ボールが,ひいては地球までその全てに入力とそれに対する反応(少なくともデジタル上では)を設置することができるようになります.
  16. だからこそ,より詳細な検討が必要になるし,シチュエーションに合った,自然な入力というものを作り出すことは,XRの開発者にとって,従来よりも大事になってきますし,今回お話した2つのポイントがそれの役に立てればと思います.
  17. ちなみに,GDC19において展示されていたデバイスの中で,個人的に一番興味を持ったのはこのデータグローブでした.というのも,自分は結構電脳コイルの中で出てくる(別に他の作品でも頻出するけど)このような空中入力をしたいと思っているからです. 手の開き具合とかも取れるので,本当にタッチタイピングを再現できそうです.ただ$4900もするので,買っていただけるといいなぁ,と思ったりしてます.特性など詳しく知りたい方は,ここに記載されているので話しかけていただければと思います.
  18. このような世界では当然従来のパソコンやスマートフォンを操作するのとは違った形の,デバイスとのインタラクションが求められてくると思います.ここでは,インタラクションがどうあるべきなのか,どうやって設計するとよいのかについて,2つのセッションから得られたヒントについてお話します.
  19. Spatial Computing によって実現される未来は,世界全体が舞台となるため,自由度が極大です.したがって,体験や入力を良いものにするか悪いものにするかは開発者として本当に細心の注意を払う必要があります. ただ,このように未知を開拓する感じは,個人的にすごくワクワクして楽しいなぁと思っています. もし,興味はそそられるけど,ためらいを感じてしまう方に,ぼくがGDC期間中に勇気づけられたエモい言葉を紹介したいと思います.
  20. 詳しくは読みませんけど,David Bowieは「自分の能力でコントロールできる範囲よりも多くできる場所でこそ,心から楽しいことができるはずだ」といっています.なのでこの自由度をの楽しんで,一緒にSpatial Computing,そしてXRを盛り上げていけたらなと思います. 発表は以上になります.