DotnetConf Osaka

1. HoloLens first impression & development
蜜葉 優

2. • H.N. :蜜葉 優 [@mitsuba_tan]
• silkyfeel ,LLC. CEO
• UX Designer / Interaction Developer
• Keynoteの表紙はいつも自分で撮影
• 最近のお仕事はWPFとUWPとデザインちょこちょこ
• Microsoft MVP for Windows Development
• http://c-mitsuba.hatenablog.com
profile

4. 注意：2016/9/12現在のお話です
明日には変わってるかも？

5. 日本で発売は未定

6. • HoloLensとは
• Mixed Realityとは
• ハードウェア特性
• HoloLensでできることとできないこと
• HoloLensの開発
• Designing HoloLens Apps
• まとめ
Agenda

7. • VRとARとMRについて説明できる
• HoloLensでできること、できないこと
• HoloLensがいかに辛いか！
今日のおもちかえり

8. • VRとARとMRについて説明できる
• HoloLensでできること、できないこと
• HoloLensがいかに辛いか！
今日のおもちかえり
HoloLensはいいぞ
って言えるようになる

9. HoloLensとは

10. とりあえず DEMO
からいってみよー(・ω < )

11. まっ、こんなもんです

12. Q & A

13. HoloLensとは

14. • Microsoftが開発者向けに販売しているPC
(!= HMD :Oculus,HTC Vive..)
• ケーブルレスでHoloLens単体で動作する
• ホログラムを網膜走査して、Mixed Realityを実現するデバ
イス
• HoloLens用のWindows 10がインストール
• 正規ルートで3000ドル
• いまならひとり5台まで購入できるよ！
HoloLensとは

15. Mixed Reality

16. • よく日本語が仮想現実とか間違われてるやつ
• ただしくは人工現実感
• 機能として本質と同等の環境を、ユーザーの五感
を刺激して創りだす技術。
• 人工的に作った環境で、本物っぽい体験ができる
技術。
• マトリックスが題材に使っている
Virtual Realityとは

17. Virtual Realityとは
The Ultimate Japanese Otaku Experience
見回せるVR空間+立体音響
=見回した状態によって反応するモデル

18. • 拡張現実感
• 現実環境に情報を付加・削除・強調・減衰させ、
人が五感を通して得られる現実世界の情報拡張
する技術。
• 「いま」に合わせて情報を提供する技術。
• マイノリティリポートとかアイアンマンとか
Augmented Realityとは

19. Augmented Realityとは
GPSやコンパス、カメラで取得したマーカーや画像などで取得したデータから
いま欲しい情報を重ねて提示する技術

20. • 複合現実感
• 現実環境に情報を付加・削除・
強調・減衰させ、ユーザーの五
感を刺激して体験を創りだす表
現
あるいは仕組み。
• まさに電脳コイル！
• google glass、、うっあたまが、、（
Mixed Realityとは

21. VR AR MR
世界 仮想世界 現実世界 現実世界
情報の方向
情報と五感を通して
やり取りする双方向
(体験)
情報を受取る
だけの一方通行
(情報提示)
情報と五感を通して
やり取りする双方向
(体験)
VR -(技術的進化)-> AR -(表現的進化)-> MR

22. • MRはARの代替可能手段ではない
• カメラを通してしか、表現できない世界もある
• 例えば減算型AR
• 情報密集地域における情報識別性の向上を目指し
た提示手法の検討
• Google Project Tango
ARは終わった？

23. ハードウェア特性

24. ハードウェア
http://www.buildinsider.net/small/hololens/01
• 16:9 1280*720 60fps
• 0.5-5mまでホログラムを配置可能(遠ければ動けばいい
• 慣性計測ユニット（IMU）1個（加速度、ジャイロ、方位を測定
• depthセンサー 1個 水平、垂直120度
• 環境認識カメラ 4個
• RGBカメラ 2MP×1個
• 複合現実感キャプチャ 1個
• マイク 4個（左右2個ずつ）
• 周辺光センサー

25. HoloLensでできること、
あるいはできないこと。

26. • 視野角80度ぐらいの中にHologramが見れる
• 操作方法：Gaze, Gesture, Voice Command
• ジェスチャー3種 Air Tap ,Tap and Hold, Bloom
• 領域を気にせず歩き回れる
• 空間形状をセンシングして蓄積してメッシュ化
• 蓄積した空間形状をデバイスポータルでobjで保存可
• HoloLensがサーバになって映像を共有できる
• BTで基本的なデバイスにはつながる
HoloLensでできること

27. • ピンチとか両手でどうこうとかはできない
• 触れないし、叩けない
• 人のボーンは取れない
• 複数のHoloLensで同じものを見る機能はHoloLensには
ない (HoloToolkitにサーバが
あって、自分でアプリレベルで実装する)
• USBホスト非対応
HoloLensでできないこと

28. MagicLeapとMeta
https://www.metavision.com/
https://www.magicleap.com/#/home

29. Merged Reality
Augmented Virtuality
Project Alloy
Windows Holographic

31. 開発

32. • Windows 10 x64 Pro/Enterprise
• 64bit 4Core / 8GB RAM
• Hyper-V
• Visual Studio 2015 Update 2
• Windows 10 SDK
• HoloLens Emulator
• Unity HoloLens Technical Preview
開発環境

33. • 2D
• Windowの枠で表示されるアプリ
• 特に何も気にせずにふつーーにうごく。
• Capabilityだけ注意
• 1280x720 150%で動作
UWP

34. • ていうかこれも結局UWPになるので、
厳密にはWindows HolographicsをOnにしたアプリ
• カメラの座標と距離設定
• 空間を使うMRな設定
• 背景色の設定
• ここまでやって、とりあえずHolo用の基礎環境
• 実行時に起動した自分の位置 = (0,0,0)座標
Unity

35. Live HoloDeveloping

36. Designing HoloLens Apps

37. • BodyLock
• 自分にホログラムがついてくる
• スタートメニュー(補足)
• WorldLock
• 実際の環境にホログラムを置いておく
• UWPアプリ(補足)
• 排他的表現
• 一つのアプリだけがホログラムを表示できる
• Unityの全天アプリ(補足)
Design

38. • HoloLensの弱点 = やっぱり視野角
• 大きすぎるホログラムはどうしても視野領域から見切れ
る
• 大きすぎるホログラムはどうしても違和感がある
• ぱっと見て全体を見渡せるサイズのホログラムがいい
• あるいは注目点がわかりやすい3Dモデルをデザイン
• 人なら顔を見るとか。
Design

39. Hologram
表示領域
Hologram
表示領域

41. • HoloLensの特徴 = 気配のデザイン
• ホログラムには気配がない
• 気配がないホログラムで驚かす -> 振り向いたらいた！
• 気配を作る
• 空間音響でホログラムに存在感をだす
• 人のホログラムだったら、雑談してる声だったり動
作にSEをつけたり。
Design

42. • 人は五感を駆使して生きている
• 視覚、聴覚、触覚、味覚、嗅覚
• HoloLensが影響できる感覚 = 視覚と聴覚
• 視覚と聴覚が一致するようなホログラムはより自然に
• 例えば口の動きと声
• 関係性がなければ不自然に
• 動きに対して声が遅れて聞こえればストレス
• 声が、遅れて、きこえて、くるよ
Design

43. • でも、あえて視覚と聴覚をずらしたコンテンツで
不思議なコンテンツを制作できる。
• 見えるけど存在感のないホログラム
• 見えないけど気配の感じる空間
-> 自分の位置に応じて違うものが聞こえる
-> 見えない声を捕まえる
Design

45. まとめ

46. • ARでもVRでもなくMR(複合現実感)
• HoloLensでUWPが動く！けどウィンドウに
縛られる（HolographicsはMS製なのでお察し
• Unityでちょこっと3Dモデル出すだけなら簡単
• Hologramの存在感はすごい（ただし気配はない
まとめ

47. • 真面目にコンテンツを作りこむなら、
3Dプログラミング、3Dモデリング、テクスチャ、
アニメーション、3Dな数学、ゲームAIが必要
• １人でやろうとするとめっちゃツライ
• ていうか無理
• キーボード入力が発狂するレベル
まとめ

48. • デバイスとしてはかなり素晴らしい
• ハードウェアとしてしっかり作られてる
• 視野角やディスプレイ部分はもう一声
(と言いつつ個人的には満足で気にならない
• デバイスのいいとこを伸ばして、悪いところを補うアプリ
デザインをすると没入感++
• 画面みせてどう見えるのか理解して、
かぶって画面との違いを体験するのが一番いい
まとめ

49. 未来はある
あとはなにをつくるか

50. HoloLensはいいぞ

51. • 電脳コイル
• SF映画で学ぶインタフェースデザイン アイデアと
想像力を鍛え上げるための141のレッスン
• HoloLens Academy
• Build 2016
• http://www.naturalsoftware.jp/
参考文献

53. Q & A