Successfully reported this slideshow.

ARラジコン開発中2

0

Share

1 of 15
1 of 15

ARラジコン開発中2

0

Share

Download to read offline

Description

Developed AR R/C Car

Transcript

  1. 1. ARラジコン開発中 -その2- 2021/03/19 【オンライン】xTech ゆるっとLT: ROS Kyushu UG and AR_Fukuoka hiro-han
  2. 2. 自己紹介 札幌でAI x IoTシステムの開発マネージャーやってます 自動運転とか@東京 (9年) → AI x IoTシステム@札幌 (1年半) ➢ c++, pythonなど AI、IoT、xRなどを組み合わせて遊びたい人 ➢ RaspberryPi, Arduino, RealSense, OculusQuest2, ROSとかで遊んでます ➢ AI(Tensorflow, Pytorch)は最近あまりやってない 今日は2020/12にAR Fukuoka主催のLTで発表した開発の続きです @hiro-han Qiita: https://qiita.com/hiro-han
  3. 3. モチベーション オフィスでARマ○カーをやりたい! ● ラジコンにカメラ載せて、VRゴーグルに画像 表示してオフィスを走らせる ● アイテム表示したり、オフィスの風景に自動で テクスチャを表示したり ○ オフィスの壁がク○パ城になったら面白い
  4. 4. 作ったもの ● OculusQuest2でカメラ画像表示、ラジコン制御 ● OculusQuest2のヘッドセット向きに合わせてカメラ回転 ● ラジコンの移動合わせてVR空間移動 ○ オブジェクトとカメラ画像を重ねてARっぽく ● ROSを使ってアプリ開発 Arduino Uno Raspberry Pi 4 Model B / 8G Raspberry用広角カメラ タミヤラジコン モバイルバッテリー サーボモータ RealSense T265
  5. 5. OculusQuest2との連携 Unityアプリで簡単にROSと連携できるROS#を使用 最新のv1.6をOculusQuest2で動かしたら、少し修正を加えないと動かなった ● PublisherのStart()内で、RosConnectの初期化に失敗 ● アプリ起動時のタイミング問題? すごくARアプリっぽくなった(気分)! 解像度は高くなったし、別にコントローラを使わなくてよくなった ただし、コントローラが小さいので、ラジコンのコントロールがピーキーに...
  6. 6. ARをどうやる? OculusQuestはカメラ画像をテクスチャ表示しているだけ ● スマホのARアプリみたいに画像処理? ○ 平面や立体を検出しないといけない ○ 処理も大変そう まずは簡単な方法を試すことに ラジコンの移動にあわせてVR空間を移動、VR空間のオブジェクトを表示し て、カメラ画像を背景にしてみる
  7. 7. VR空間の移動 ラジコンの位置を推定して、OculusQuest2に送る必要がある SLAMをraspiで動かすのは処理負荷がやばそう RealSense T265をラジコンに載せて位置取得 OVRCameraRigを動かす!
  8. 8. 結果
  9. 9. 結果 ● VR空間を走ることができた! ● でも微妙だった ○ オブジェクトの影が画像上にできてしまう ○ 画像の位置をもう少し遠くにしないと、急にオブジェクトが現れる ■ オクルージョン無視 ○ 床面とオブジェクトの下面がずれると違和感 ● 広角カメラにしたので、画像転送の遅延が顕著になった
  10. 10. これから ● オブジェクトの位置、画像位置の調整 ● 転送速度の改善 ○ nodelet ○ WebRTC ○ ROS TCP Connector ● そもそもARのやり方を変える? ○ 画像処理(ARCore) ○ 3Dセンサを使う(RealSense D435i) ● Unityと組み合わせてシミュレーションとか ● AIと組み合わせて強化学習とか
  11. 11. ありがとうございました!
  12. 12. おまけ
  13. 13. カメラの変更 Raspi カメラ Raspi 用広角カメラ Raspiカメラは視野角が狭いため、広角カメラに変更 →臨場感がアップ! 62.3x48.8度 160度
  14. 14. ROS#の変更点 try catch 追加 これを追加しないと、messageの初期化に失敗する rosConnectorと、publicationIdの初期化を追加 UnityPulisher.cs
  15. 15. 構成

Description

Developed AR R/C Car

Transcript

  1. 1. ARラジコン開発中 -その2- 2021/03/19 【オンライン】xTech ゆるっとLT: ROS Kyushu UG and AR_Fukuoka hiro-han
  2. 2. 自己紹介 札幌でAI x IoTシステムの開発マネージャーやってます 自動運転とか@東京 (9年) → AI x IoTシステム@札幌 (1年半) ➢ c++, pythonなど AI、IoT、xRなどを組み合わせて遊びたい人 ➢ RaspberryPi, Arduino, RealSense, OculusQuest2, ROSとかで遊んでます ➢ AI(Tensorflow, Pytorch)は最近あまりやってない 今日は2020/12にAR Fukuoka主催のLTで発表した開発の続きです @hiro-han Qiita: https://qiita.com/hiro-han
  3. 3. モチベーション オフィスでARマ○カーをやりたい! ● ラジコンにカメラ載せて、VRゴーグルに画像 表示してオフィスを走らせる ● アイテム表示したり、オフィスの風景に自動で テクスチャを表示したり ○ オフィスの壁がク○パ城になったら面白い
  4. 4. 作ったもの ● OculusQuest2でカメラ画像表示、ラジコン制御 ● OculusQuest2のヘッドセット向きに合わせてカメラ回転 ● ラジコンの移動合わせてVR空間移動 ○ オブジェクトとカメラ画像を重ねてARっぽく ● ROSを使ってアプリ開発 Arduino Uno Raspberry Pi 4 Model B / 8G Raspberry用広角カメラ タミヤラジコン モバイルバッテリー サーボモータ RealSense T265
  5. 5. OculusQuest2との連携 Unityアプリで簡単にROSと連携できるROS#を使用 最新のv1.6をOculusQuest2で動かしたら、少し修正を加えないと動かなった ● PublisherのStart()内で、RosConnectの初期化に失敗 ● アプリ起動時のタイミング問題? すごくARアプリっぽくなった(気分)! 解像度は高くなったし、別にコントローラを使わなくてよくなった ただし、コントローラが小さいので、ラジコンのコントロールがピーキーに...
  6. 6. ARをどうやる? OculusQuestはカメラ画像をテクスチャ表示しているだけ ● スマホのARアプリみたいに画像処理? ○ 平面や立体を検出しないといけない ○ 処理も大変そう まずは簡単な方法を試すことに ラジコンの移動にあわせてVR空間を移動、VR空間のオブジェクトを表示し て、カメラ画像を背景にしてみる
  7. 7. VR空間の移動 ラジコンの位置を推定して、OculusQuest2に送る必要がある SLAMをraspiで動かすのは処理負荷がやばそう RealSense T265をラジコンに載せて位置取得 OVRCameraRigを動かす!
  8. 8. 結果
  9. 9. 結果 ● VR空間を走ることができた! ● でも微妙だった ○ オブジェクトの影が画像上にできてしまう ○ 画像の位置をもう少し遠くにしないと、急にオブジェクトが現れる ■ オクルージョン無視 ○ 床面とオブジェクトの下面がずれると違和感 ● 広角カメラにしたので、画像転送の遅延が顕著になった
  10. 10. これから ● オブジェクトの位置、画像位置の調整 ● 転送速度の改善 ○ nodelet ○ WebRTC ○ ROS TCP Connector ● そもそもARのやり方を変える? ○ 画像処理(ARCore) ○ 3Dセンサを使う(RealSense D435i) ● Unityと組み合わせてシミュレーションとか ● AIと組み合わせて強化学習とか
  11. 11. ありがとうございました!
  12. 12. おまけ
  13. 13. カメラの変更 Raspi カメラ Raspi 用広角カメラ Raspiカメラは視野角が狭いため、広角カメラに変更 →臨場感がアップ! 62.3x48.8度 160度
  14. 14. ROS#の変更点 try catch 追加 これを追加しないと、messageの初期化に失敗する rosConnectorと、publicationIdの初期化を追加 UnityPulisher.cs
  15. 15. 構成

More Related Content

Related Books

Free with a 30 day trial from Scribd

See all

Related Audiobooks

Free with a 30 day trial from Scribd

See all

×