モーションセンサーを活用した NUI
•
1 like•1,310 views
Microsoft Kinect、Leap Motion Controller などの赤外線センサー、およびそれらを活用して空中での操作を実現するためのパターンについての資料です。 この資料の大半は 2014 年に作成されています。
Recommended
More Related Content
Featured
Featured (20)
モーションセンサーを活用した NUI
- 1. モーションセンサーを活用した NUI 坂本 啓法 (Keiho Sakapon)
- 2. NUI とは
- 3. ユーザー インターフェイスの種類 • CUI (Character User Interface) – 主にキーボード • GUI (Graphical User Interface) – 主にマウス • NUI (Natural User Interface) – 人間にとって自然な動作
- 4. NUI とは • タッチ • ペン (手書き文字認識) • 音声 • 空中ジェスチャ • VR, AR, MR – ヘッドマウント ディスプレイを利用 Natural User Interface (自然なユーザー インターフェイス)
- 5. 補足 (VR, AR, MR) • VR (Virtual Reality：仮想現実) – Oculus Rift – HTC Vive • AR (Augmented Reality：拡張現実) – Google Glass • MR (Mixed Reality：複合現実) – Microsoft HoloLens – 仮想オブジェクトを手で操作する、など
- 6. デバイス
- 7. 赤外線モーション センサー ここで挙げるのは、比較的使われることの多い製品 安価なセンサーであり、万能ではない 製品により特長・制限がある Microsoft Kinect v2 Leap Motion Controller Intel RealSense
- 8. Kinect v2 (Xbox One Kinect Sensor) • 機能 – 深度計測 • 物体までの距離 – 骨格認識 • 全身の関節 25 点 – 音声認識 • マイク配列を搭載し、 音源の方向も取得できる – 顔・表情認識 • 範囲 : 0.5m ～ 4.5m ※ Kinect v1 は販売終了
- 9. Leap Motion Controller • 手・指および棒状の物体の認識 – 座標 – 方向 • 範囲 : 2.5cm ～ 60cm • 机の上に設置する USB で接続
- 10. Leap Motion VR Oculus Rift HTC Vive ヘッドマウントディスプレイとの組み合わせ
- 11. • 手・指の認識 • 顔・表情認識 – Windows Hello に対応 • 範囲 : 20cm ～ 120cm (製品により異なる) • PC の上側に設置する Intel RealSense 外付けタイプ (USB で接続) 内蔵タイプ
- 12. 活用パターン
- 13. モーション センサーの活用パターン • (1) アクション – ポインター • マウスに相当する操作 – ジェスチャ • ピンチ、グリップなど • (2) データ – 静止状態 • 人間・物体の 3D モデル – 動体 • 人物全体・各部位の移動の軌跡
- 14. (1) アクションとしての活用 ジェスチャ マウスではできなかった操作 • ピンチ (つまむ) • グリップ (つかむ) ポインター マウス相当の操作 • クリック、タッチ • ドラッグ 3D Touch and Pinch Gestures https://vimeo.com/82504780
- 16. (2) データとしての活用 人の位置により 画面が変化 インタラクティブ サイネージ 文字入力・文字認識 • 軌跡を文字に変換 • 軌跡の記録・再現 Japanese Calligraphy and Handwriting Recognition in the Air https://vimeo.com/97698620
- 18. 機械学習の適用 • 機械学習による認識精度の向上 – ユーザーの意図を汲み取る – パーソナライズ 人工知能・機械学習は、今後あらゆる分野で活用が見込まれる Intelli-RPS for Leap Motion https://github.com/sakapon/Tools-2016