Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

現実世界コンピューティング RealSense とロボットと HoloLens (2019/04/24 Intel RealSense Japan Meetup)

593 views

Published on

2019/04/24 に開催された、Intel RealSense JapaIntel RealSense Japan Meetup での発表スライドです。

Published in: Technology
  • Be the first to comment

現実世界コンピューティング RealSense とロボットと HoloLens (2019/04/24 Intel RealSense Japan Meetup)

  1. 1. 現実世界コンピューティング RealSense とロボットと HoloLens 株式会社ホロラボ 古田裕介 たるこす(@tarukosu) HoloLab Inc. #TMCN #RealSense #パーソルPT
  2. 2. 自己紹介 古田裕介 株式会社ホロラボ Researcher Microsoft MVP for Windows Development (2018/07~2019/06) Twitter たるこす (@tarukosu) ブログ たるこすの日記 (http://tarukosu.hatenablog.com) HoloLab Inc.
  3. 3. 目次 • 現実世界コンピューティング • 利用デバイス紹介 • RealSenseとロボットとHoloLensを使ったデモアプリケーション HoloLab Inc.
  4. 4. 目次 • 現実世界コンピューティング • 利用デバイス紹介 • RealSenseとロボットとHoloLensを使ったデモアプリケーション HoloLab Inc.
  5. 5. 現実世界コンピューティング センシング コンピューティング アウトプット リアリティ HoloLab Inc.
  6. 6. 現実世界コンピューティング センシング コンピューティング アウトプット リアリティ HoloLab Inc. ・現実
  7. 7. 現実世界コンピューティング センシング コンピューティング アウトプット リアリティ HoloLab Inc. ・カメラ、ジャイロセンサ、 マイク、GPS... ・現実をデジタルデータへ
  8. 8. 現実世界コンピューティング センシング コンピューティング アウトプット リアリティ HoloLab Inc. ・コンピュータで認識・処理 ・結果をアウトプット
  9. 9. 現実世界コンピューティング センシング コンピューティング アウトプット リアリティ HoloLab Inc. ・現実世界へ作用 ロボット → 物理的に現実を変える HoloLens→ 視覚的・聴覚的に変える
  10. 10. 現実世界コンピューティング センシング コンピューティング アウトプット リアリティ HoloLab Inc. ・現実 ・AR (Augmented Reality)
  11. 11. 現実世界コンピューティング HoloLab Inc. 現実世界を対象とした コンピューティング(独自定義) • 現実世界をセンシング • コンピュータで認識・処理 • 現実世界にアウトプット • 現実世界へ作用 • ロボット 物理的に現実を変える • HoloLens 視覚的・聴覚的に現実を変える
  12. 12. 現実世界API こんなコードが書けたら面白い HoloLab Inc. // 赤ちゃんの写真を撮る var image = await TakePictureOfBaby(); // 寝ているかどうかチェック var isSleeping = await CheckIfSleeping(); // 寝ているかどうかで処理を変える if(isSleeping){ ... }else{ ... } 写真の撮り方は指定しない ・部屋に設置されたカメラで写真を撮る ・ロボットが写真を撮る ・人が写真を撮る
  13. 13. 目次 • 現実世界コンピューティング • 利用デバイス紹介 • RealSenseとロボットとHoloLensを使ったデモアプリケーション HoloLab Inc.
  14. 14. Intel NUC (Next Unit of Computing) • Intel が販売している小型PC • 今回は Ubuntu 16.04 をインストール HoloLab Inc. Intel BLKNUC7I7DNHE
  15. 15. RealSense D435i • RGB カメラ • 赤外線ステレオカメラによる 深度推定 HoloLab Inc. カラーデータとデプスデータを組み合わせて 生成した3次元メッシュ RealSense D435i
  16. 16. RealSense T265 HoloLab Inc. • トラッキングカメラ • 2個の魚眼カメラとIMUでSLAM • 自己位置を取得できる 魚眼カメラの映像 RealSense T265
  17. 17. HoloLens • スタンドアロンで動作する透過型 ヘッドマウンテッドディスプレイ • Windows 10 を搭載 • 自己位置の認識がかなり正確 HoloLab Inc. HoloLens
  18. 18. Roomba • お掃除ロボット • カバーを外すとコネクタがあり、 シリアル通信で制御可能 (コネクタがない機種もある) HoloLab Inc. Roomba 577
  19. 19. WHILL Model CR • パーソナルモビリティ • シリアル通信で制御可能 • メーカー希望小売価格 750,000円 HoloLab Inc. WHILL Model CR
  20. 20. Roomba + RealSense HoloLab Inc. モバイルバッテリー Intel NUC RealSense D435i RealSense T265
  21. 21. WHILL + RealSense HoloLab Inc. RealSense T265 RealSense D435i Intel NUC モバイルバッテリー
  22. 22. 目次 • 現実世界コンピューティング • 利用デバイス紹介 • RealSenseとロボットとHoloLensを使ったデモアプリケーション HoloLab Inc.
  23. 23. デモ HoloLab Inc.
  24. 24. Roomba デモ HoloLab Inc. YouTube で動画を表示 https://www.youtube.com/watch?v=qEwFmXefHe0
  25. 25. WHILL デモ HoloLab Inc. YouTube で動画を表示 https://www.youtube.com/watch?v=qEwFmXefHe0
  26. 26. 人とロボットのコミュニケーション AR によって 3次元空間で人とロボットがコミュニケーションできる HoloLab Inc. 人からロボットへの指示 ロボットから人への情報提示
  27. 27. センサデータ可視化 HoloLab Inc. 点群データを HoloLens を使って表示
  28. 28. システム構成 HoloLab Inc. RealSense T265 Intel NUC RealSense D435i WHILL 位置 移動速度 カラー画像 デプス画像 HoloLens ・センサデータ取得 ・障害物検知 ・自律移動 センサデータ 経路 ・センサデータ表示 ・移動経路表示 ・目的地指示 目的地
  29. 29. システム構成 (詳細) HoloLab Inc. RealSense T265 Intel NUC RealSense D435i WHILL 位置 移動速度 カラー画像 デプス画像 HoloLens センサデータ 経路 ・センサデータ表示 ・移動経路表示 ・目的地指示 目的地 WHILL のコントロール 自律移動 ROS (Robot Operation System) を利用 (https://github.com/tarukosu/realsense_mobile_robot) 位置データ取得 画像データ取得 障害物検知 一定以上の高さのものを 障害物とみなす 点群データ 自己位置 移動速度 障害物
  30. 30. ROS (Robot Operating System) • OSS のロボット用フレームワーク • パッケージ(特定の機能のプログラムをまとめたもの)が数多く公開 されており、それらを自由に組み合わせてシステムを構成できる HoloLab Inc. ジョイスティックの入力値を 出すノード(プログラム) ロボットの移動量を決める ノード(プログラム) WHILL を動かすノード (プログラム) Roomba を動かすノード (プログラム) ROS ノードの動作イメージ
  31. 31. センサ・ロボット用の ROS パッケージ • センサ → センサデータを ROS のメッセージとして出す • ロボット → ROS のメッセージを受け取って動作する • 今回利用したROS パッケージ • RealSense : https://github.com/intel-ros/realsense • WHILL : https://github.com/WHILL/ros_whill • Roomba : https://github.com/AutonomyLab/create_autonomy HoloLab Inc.
  32. 32. HoloLens アプリケーション • Unity 2018.3 • UWP, IL2CPP ビルド • ROS#(https://github.com/siemens/ros-sharp) • C# (Unity) で ROS を利用するためのライブラリ • 直接 ROS の通信をするわけではなく、rosbridge を利用する • オリジナルのものは .NET Framework 4.5 向け • .NET Standard 2.0 でビルドすれば利用可能(コード変更なし!) HoloLab Inc. rosbridge は ROS のメッセージを WebSocket でブリッジするノード
  33. 33. システム構成 (詳細) HoloLab Inc. RealSense T265 Intel NUC RealSense D435i WHILL 位置 移動速度 カラー画像 デプス画像 HoloLens ROS#ライブラリ WHILL のコントロール 自律移動 位置データ取得 画像データ取得 障害物検知 一定以上の高さのものを 障害物とみなす 点群データ 自己位置 移動速度 障害物 rosbridge ROS のメッセージを JSON形式に変換 WebSocket でやりとり 目的地を指定 センサデータを表示
  34. 34. ROS ↔ Unity の座標系変換 ROS の TF を Unity ゲームオブジェクトの親子関係に変換 HoloLab Inc. ROS Unity
  35. 35. ROS ↔ Unity の座標系変換 ROS と Unity では座標軸の取り方が違う HoloLab Inc. ROS 右手系 Z-Up 色 : RGBの順で XYZ 右手系/左手系: XYZの順で親指、人差し指、中指 Unity 左手系 Y-Up
  36. 36. ROS ↔ Unity の座標系変換 本来は X が前だが、間違えて右が X だと思って変換した 初期表示のときに根元から 90° ずれてしまうだけで、 マーカで位置合わせすれば問題ない HoloLab Inc. Unity 左手系 Y-Up ROS 右手系 Z-Up 位置: (x, y, z) → (x, y, z) 回転: (x, y, z, w) → (x, z, y, -w)
  37. 37. HoloLens と WHILL の位置合わせ • WHILL と RealSense T265 の位置関係は手で測って設定 • 今回のデモ内容であれば、 数 cm ずれていても問題ない • WHILL と HoloLens の位置関係はマーカー画像を使って設定 • Vuforia を利用 HoloLab Inc. RealSense T265 HoloLens RealSense の原点

×