HoloLens 2 Hackathonで発表しました。

2. HoloLens
「エモい」
言わせたい

3. s
Make a EMOTIONAL with HololensEMOTIONAL Hololens
Emotional Space

4. 「エモ」と言えば

6. Visualizing Music
with HoloLens

8. movie

9. 実装
• マイクから取得した音楽を高速フーリエ変換して、いい感じに数値化する。
• 低音から高音を細分化して配列化、それぞれの音量を抽出
• 20Hz:30vol , 40Hz:10vol , 60Hz:70vol ….
• いい感じに数値化したListを、いい感じに表現する。
• HoloLensのスペックと派手のバランス（HoloLens 2のARMは速い
• 同じようなプログラムをProcessingでも作成して、「追いプロジェクション」

10. まとめ
• HoloLensに実装されてある360度マイクから音声を取得した。
• 取得した音声を数値化して、可視化した。
• リアルタイムに可視化したことで、現実世界と人工世界との同期を実装した。
• 同期的に実装することで、躍動感のある表現を可能にした。

11. まとめ
• SpectorViewは魔法ではない。
• iPad版は所詮2D画像なので、ステージから離れると形が変わりすぎて
認識できない → 想像以上に使い物にならなかった…
• ワイヤーフレームのかっこよさは正義。

12. Future Vision
if with AI.

13. 360度環境音を可視化

14. Seeing AI.
• グラスデバイスをカメラを使用。
• 環境の映像から音声を作成。
• 作成した音声をユーザーに提示。
• ex) 目の前に犬がいるよ。

15. Hearing AI.
• 環境音を３６０度マイクから取得
• 環境音から、AIがなんとかして
状況判断
• 音声から視覚を拡張して、聴覚障害者
へ
• ex) 右後ろから車が来てるよ。
死角の路地から自転車がきてるよ。
https://twitter.com/natsu_san/status/1225329374968172550

16. Coming soon.
ストア申請中

17. opensource
http://c-mitsuba.visualstudio.com/_git/OSSEmotionalSpace