HoloLens
「エモい」
言わせたい
s
Make a EMOTIONAL with HololensEMOTIONAL Hololens
Emotional Space
「エモ」と言えば
Visualizing Music
with HoloLens
movie
実装
• マイクから取得した音楽を高速フーリエ変換して、いい感じに数値化する。
• 低音から高音を細分化して配列化、それぞれの音量を抽出
• 20Hz:30vol , 40Hz:10vol , 60Hz:70vol ….
• いい感じに数値化したListを、いい感じに表現する。
• HoloLensのスペックと派手のバランス(HoloLens 2のARMは速い
• 同じようなプログラムをProcessingでも作成して、「追いプロジェクション」
まとめ
• HoloLensに実装されてある360度マイクから音声を取得した。
• 取得した音声を数値化して、可視化した。
• リアルタイムに可視化したことで、現実世界と人工世界との同期を実装した。
• 同期的に実装することで、躍動感のある表現を可能にした。
まとめ
• SpectorViewは魔法ではない。
• iPad版は所詮2D画像なので、ステージから離れると形が変わりすぎて

認識できない → 想像以上に使い物にならなかった…
• ワイヤーフレームのかっこよさは正義。
Future Vision
if with AI.
360度環境音を可視化
Seeing AI.
• グラスデバイスをカメラを使用。
• 環境の映像から音声を作成。
• 作成した音声をユーザーに提示。
• ex) 目の前に犬がいるよ。
Hearing AI.
• 環境音を360度マイクから取得
• 環境音から、AIがなんとかして

状況判断
• 音声から視覚を拡張して、聴覚障害者
へ
• ex) 右後ろから車が来てるよ。

死角の路地から自転車がきてるよ。
https://twitter.com/natsu_san/status/1225329374968172550
Coming soon.
ストア申請中
opensource
http://c-mitsuba.visualstudio.com/_git/OSSEmotionalSpace

Emotional space

Emotional space