SlideShare a Scribd company logo
1 of 14
Download to read offline
ROSのロボットモデルで
バーチャルロボット受肉する
@chikuta | エンジニア | 2021.10.19
Unity道場 ロボティクス 秋のLT祭り 2021
自己紹介
2
- 学生時代
- 高専ロボコン
- ロボカップSSL (KIKS)
- ロボカップ社会人チーム( OP-AmP)
- 団体の活動は現在休止中
- 現職(とあるメーカー)
- ロボット系研究開発職
- Unityを触る機会が多くなった結果、実機を離れがち
@chikuta Twitter / github
突然ですが、ロボット好きですか?
3
ロボットが好きすぎてロボットになりたい、
なんて思ったことありますよね?
4
5
https://unity.com/ja/solutions/automotive-transportation-manufacturing/robotics
課題の解き方
6
- ROSロボットモデルのインポート
- Unity-Technologies/URDF-Importer で対応
- Inverse Kinematics (IK)
- Unity の Asset で対応 → FinalIK の VRIK とか良いのでは?
- 人の手位置認識
- Google の Meidapipe Pose と積みセンサの RealSense で対応
- ライブデモしながらスライド説明したい
- Unity の Scene 内のテクスチャ切り替えで対応
構成 Before / After
7
Before :
FinalIK を使ってUnityの枠組み内で解決
After:
FinalIK が使えないことに気づき、
いい感じの Asset Store で探して解決
なぜFinalIKが使えなかったのか?
8
- FinalIK はロボットモデル向きの実装ではない
- ゲーム用の軽量なIKを想定しているため、冗長自由度が多いロボットには向かない
- ボーンを使う構成となっているため、ロボット既存モデル( URDF)に適用が難しい
Unityでのボーンの使用例 ROS URDF 構成の例
他のIK手法
9
Pros Cons
FinalIK ◎ WEBに文献多い
◎ 軽量高速
◎ Asset Storeで買える
✖ 多自由度系に向かない
✖ モデルにボーンが入っていること前提
BioIK ◎ URDF対応
◎ EEの回転目標対応
◎ Asset Storeで買える
✖ Unity-URDF−Importer 未対応
 (siemens/urdf-importer に対応)
Jacobian IK ◎ 性能が良い
◎ ロボット工学スタンダード
✖ 趣味で実装はちょっと …
 Levenberg-Marquardt法による可解性を問わない逆運動学
BioIK設定
10
BioIKExtender (補
助
Script)追
加
BioIK追加
指令値を設定
Meidapipe 構成
11
Human pose + Color
Depth Image
手先位置情報
Human pose + Depth
まとめ
12
- バーチャルロボット受肉する方法を紹介
- Unity内のモデルとURDFモデルは違いが大きいため、今までのアプローチが通じない
- RealSense の視野角が狭いため、複数台を用いた構成を検討したほうが良い
- 人っぽく動かすことを考えると、ヤコビ IKに制約条件入れるのが効率的かも?
Q&A
13
Thank you.

More Related Content

What's hot

ROS JAPAN Users Group Meetup 04
ROS JAPAN Users Group Meetup 04ROS JAPAN Users Group Meetup 04
ROS JAPAN Users Group Meetup 04
Daiki Maekawa
 
ROS JAPAN Users Group Meetup 03
ROS JAPAN Users Group Meetup 03ROS JAPAN Users Group Meetup 03
ROS JAPAN Users Group Meetup 03
Daiki Maekawa
 

What's hot (20)

myCobotがある生活
myCobotがある生活myCobotがある生活
myCobotがある生活
 
ROSを用いた歩行ロボットの脚の開発
ROSを用いた歩行ロボットの脚の開発ROSを用いた歩行ロボットの脚の開発
ROSを用いた歩行ロボットの脚の開発
 
仮想のPremaidAIを、既存のロボット用ボードで動かしてみた話
仮想のPremaidAIを、既存のロボット用ボードで動かしてみた話仮想のPremaidAIを、既存のロボット用ボードで動かしてみた話
仮想のPremaidAIを、既存のロボット用ボードで動かしてみた話
 
やってみようAWS IoT (ROS Japan UG #44 LT大会)
やってみようAWS IoT (ROS Japan UG #44 LT大会)やってみようAWS IoT (ROS Japan UG #44 LT大会)
やってみようAWS IoT (ROS Japan UG #44 LT大会)
 
MoveItの新機能、 pilz industrial motion を試してみた
MoveItの新機能、 pilz industrial motion を試してみたMoveItの新機能、 pilz industrial motion を試してみた
MoveItの新機能、 pilz industrial motion を試してみた
 
WRS トンネルチャレンジ 現地からリポートしてみる
WRS トンネルチャレンジ 現地からリポートしてみるWRS トンネルチャレンジ 現地からリポートしてみる
WRS トンネルチャレンジ 現地からリポートしてみる
 
瀬戸内ROS勉強会の紹介~地方でROSを勉強するコツ~
瀬戸内ROS勉強会の紹介~地方でROSを勉強するコツ~瀬戸内ROS勉強会の紹介~地方でROSを勉強するコツ~
瀬戸内ROS勉強会の紹介~地方でROSを勉強するコツ~
 
ビーズセッターロボットのためのDYNAMIXEL Workbenchの評価
ビーズセッターロボットのためのDYNAMIXEL Workbenchの評価ビーズセッターロボットのためのDYNAMIXEL Workbenchの評価
ビーズセッターロボットのためのDYNAMIXEL Workbenchの評価
 
Nuitrackを用いて自作ヒューマノイドを動かしてみた話
Nuitrackを用いて自作ヒューマノイドを動かしてみた話Nuitrackを用いて自作ヒューマノイドを動かしてみた話
Nuitrackを用いて自作ヒューマノイドを動かしてみた話
 
ROSConJP2019とWMD2019の出張報告!
ROSConJP2019とWMD2019の出張報告!ROSConJP2019とWMD2019の出張報告!
ROSConJP2019とWMD2019の出張報告!
 
ROSを用いた天吊型スカラロボットの共同製作
ROSを用いた天吊型スカラロボットの共同製作ROSを用いた天吊型スカラロボットの共同製作
ROSを用いた天吊型スカラロボットの共同製作
 
roslaunch test + industrial_ci
roslaunch test + industrial_ciroslaunch test + industrial_ci
roslaunch test + industrial_ci
 
ROS搭載ラズパイでLチカしてみる
ROS搭載ラズパイでLチカしてみるROS搭載ラズパイでLチカしてみる
ROS搭載ラズパイでLチカしてみる
 
Techman ros package
Techman ros package Techman ros package
Techman ros package
 
ROS JAPAN Users Group Meetup 04
ROS JAPAN Users Group Meetup 04ROS JAPAN Users Group Meetup 04
ROS JAPAN Users Group Meetup 04
 
第4回瀬戸内ROS勉強会LT資料
第4回瀬戸内ROS勉強会LT資料第4回瀬戸内ROS勉強会LT資料
第4回瀬戸内ROS勉強会LT資料
 
20211006 ROSJP LT大会 中国のROS企業やコミュニティ
20211006 ROSJP LT大会 中国のROS企業やコミュニティ20211006 ROSJP LT大会 中国のROS企業やコミュニティ
20211006 ROSJP LT大会 中国のROS企業やコミュニティ
 
choreonoid_ros_control を実装した話
choreonoid_ros_control を実装した話choreonoid_ros_control を実装した話
choreonoid_ros_control を実装した話
 
ROS JAPAN Users Group Meetup 03
ROS JAPAN Users Group Meetup 03ROS JAPAN Users Group Meetup 03
ROS JAPAN Users Group Meetup 03
 
Hacking Robotics
Hacking RoboticsHacking Robotics
Hacking Robotics
 

Similar to ROSのロボットモデルでバーチャルロボット受肉する

Robomec2014 rtm講習会第1部(その1)
Robomec2014 rtm講習会第1部(その1)Robomec2014 rtm講習会第1部(その1)
Robomec2014 rtm講習会第1部(その1)
openrtm
 
オープンキャンパススライド2017
オープンキャンパススライド2017オープンキャンパススライド2017
オープンキャンパススライド2017
robo_lab
 

Similar to ROSのロボットモデルでバーチャルロボット受肉する (20)

UnityとROSの連携について
UnityとROSの連携についてUnityとROSの連携について
UnityとROSの連携について
 
Flutterと Kotlin Multiplatform Mobileを ディープに理解して比較する
Flutterと Kotlin Multiplatform Mobileを ディープに理解して比較するFlutterと Kotlin Multiplatform Mobileを ディープに理解して比較する
Flutterと Kotlin Multiplatform Mobileを ディープに理解して比較する
 
IoT x オープンイノベーション MERC丸の内院生ラウンジ
IoT x オープンイノベーション MERC丸の内院生ラウンジIoT x オープンイノベーション MERC丸の内院生ラウンジ
IoT x オープンイノベーション MERC丸の内院生ラウンジ
 
ROSによる今後のロボティクスのあり方
ROSによる今後のロボティクスのあり方ROSによる今後のロボティクスのあり方
ROSによる今後のロボティクスのあり方
 
20180421_CV勉強会_LT
20180421_CV勉強会_LT20180421_CV勉強会_LT
20180421_CV勉強会_LT
 
ロボット用マイコンボードを 設計してみた
ロボット用マイコンボードを設計してみたロボット用マイコンボードを設計してみた
ロボット用マイコンボードを 設計してみた
 
ロボット・ソフトウェア開発環境ROSとは何か? (in Japanese)
ロボット・ソフトウェア開発環境ROSとは何か? (in Japanese)ロボット・ソフトウェア開発環境ROSとは何か? (in Japanese)
ロボット・ソフトウェア開発環境ROSとは何か? (in Japanese)
 
160608 01
160608 01160608 01
160608 01
 
Io t,ai時代のソフトウェア
Io t,ai時代のソフトウェアIo t,ai時代のソフトウェア
Io t,ai時代のソフトウェア
 
第7回WBAシンポジウム:松嶋達也〜自己紹介と論点の提示〜スケーラブルなロボット学習システムに向けて
第7回WBAシンポジウム:松嶋達也〜自己紹介と論点の提示〜スケーラブルなロボット学習システムに向けて第7回WBAシンポジウム:松嶋達也〜自己紹介と論点の提示〜スケーラブルなロボット学習システムに向けて
第7回WBAシンポジウム:松嶋達也〜自己紹介と論点の提示〜スケーラブルなロボット学習システムに向けて
 
Bot Builder V4 SDK + QnA Maker / LUIS
Bot Builder V4 SDK  + QnA Maker / LUISBot Builder V4 SDK  + QnA Maker / LUIS
Bot Builder V4 SDK + QnA Maker / LUIS
 
VRChatとシリアル通信、現実と仮想を結ぶ ~UdonとPythonによる仮想COMポートのつくり方~
VRChatとシリアル通信、現実と仮想を結ぶ ~UdonとPythonによる仮想COMポートのつくり方~VRChatとシリアル通信、現実と仮想を結ぶ ~UdonとPythonによる仮想COMポートのつくり方~
VRChatとシリアル通信、現実と仮想を結ぶ ~UdonとPythonによる仮想COMポートのつくり方~
 
ラズパイIoT鉄道模型 - 車載カメラとNode-Redによる運転
ラズパイIoT鉄道模型 - 車載カメラとNode-Redによる運転 ラズパイIoT鉄道模型 - 車載カメラとNode-Redによる運転
ラズパイIoT鉄道模型 - 車載カメラとNode-Redによる運転
 
Golang, make and robotics #gocon
Golang, make and robotics #goconGolang, make and robotics #gocon
Golang, make and robotics #gocon
 
Bot frameworkでbot入門
Bot frameworkでbot入門Bot frameworkでbot入門
Bot frameworkでbot入門
 
Robomec2014 rtm講習会第1部(その1)
Robomec2014 rtm講習会第1部(その1)Robomec2014 rtm講習会第1部(その1)
Robomec2014 rtm講習会第1部(その1)
 
MLP-Mixer: An all-MLP Architecture for Vision
MLP-Mixer: An all-MLP Architecture for VisionMLP-Mixer: An all-MLP Architecture for Vision
MLP-Mixer: An all-MLP Architecture for Vision
 
2020年10月29日 プロフェッショナルAI×Roboticsエンジニアへのロードマップ
2020年10月29日 プロフェッショナルAI×Roboticsエンジニアへのロードマップ2020年10月29日 プロフェッショナルAI×Roboticsエンジニアへのロードマップ
2020年10月29日 プロフェッショナルAI×Roboticsエンジニアへのロードマップ
 
160531 IoT LT #15 @ 日本IBM
160531 IoT LT #15 @ 日本IBM160531 IoT LT #15 @ 日本IBM
160531 IoT LT #15 @ 日本IBM
 
オープンキャンパススライド2017
オープンキャンパススライド2017オープンキャンパススライド2017
オープンキャンパススライド2017
 

More from UnityTechnologiesJapan002

More from UnityTechnologiesJapan002 (20)

5分でわかる Sensor SDK
5分でわかる Sensor SDK5分でわかる Sensor SDK
5分でわかる Sensor SDK
 
10分でわかる Unityコンピュータービジョン
10分でわかる Unityコンピュータービジョン10分でわかる Unityコンピュータービジョン
10分でわかる Unityコンピュータービジョン
 
5分でわかる Unity Forma
5分でわかる Unity Forma5分でわかる Unity Forma
5分でわかる Unity Forma
 
産業用ロボット開発におけるUnityの活用
産業用ロボット開発におけるUnityの活用産業用ロボット開発におけるUnityの活用
産業用ロボット開発におけるUnityの活用
 
中国深センから盛り上がる、ソフトウェアフレンドリーなロボティクス
中国深センから盛り上がる、ソフトウェアフレンドリーなロボティクス中国深センから盛り上がる、ソフトウェアフレンドリーなロボティクス
中国深センから盛り上がる、ソフトウェアフレンドリーなロボティクス
 
Unityでお手軽ロボット開発「toio SDK for Unity」最新事例
Unityでお手軽ロボット開発「toio SDK for Unity」最新事例Unityでお手軽ロボット開発「toio SDK for Unity」最新事例
Unityでお手軽ロボット開発「toio SDK for Unity」最新事例
 
集まれ!Dreamingエンジニア! 〜箱庭で紡ぎ出されるIoT/クラウドロボティクス開発の新しいカタチ〜
集まれ!Dreamingエンジニア! 〜箱庭で紡ぎ出されるIoT/クラウドロボティクス開発の新しいカタチ〜集まれ!Dreamingエンジニア! 〜箱庭で紡ぎ出されるIoT/クラウドロボティクス開発の新しいカタチ〜
集まれ!Dreamingエンジニア! 〜箱庭で紡ぎ出されるIoT/クラウドロボティクス開発の新しいカタチ〜
 
5分でわかる Unity点群
5分でわかる Unity点群5分でわかる Unity点群
5分でわかる Unity点群
 
5分でわかる Unity Reflect
5分でわかる Unity Reflect5分でわかる Unity Reflect
5分でわかる Unity Reflect
 
BIMからはじまる異世界転生 ~Unity Reflect が叶える新しい建築の世界~
BIMからはじまる異世界転生 ~Unity Reflect が叶える新しい建築の世界~BIMからはじまる異世界転生 ~Unity Reflect が叶える新しい建築の世界~
BIMからはじまる異世界転生 ~Unity Reflect が叶える新しい建築の世界~
 
【Unity道場 自動車編】Unityで実現する産業向けxRソリューション
【Unity道場 自動車編】Unityで実現する産業向けxRソリューション【Unity道場 自動車編】Unityで実現する産業向けxRソリューション
【Unity道場 自動車編】Unityで実現する産業向けxRソリューション
 
【Unity道場 自動車編】トヨタのxR活用で進める現場DXへの挑戦 ~UnityとHoloLens 2を用いて~
【Unity道場 自動車編】トヨタのxR活用で進める現場DXへの挑戦 ~UnityとHoloLens 2を用いて~【Unity道場 自動車編】トヨタのxR活用で進める現場DXへの挑戦 ~UnityとHoloLens 2を用いて~
【Unity道場 自動車編】トヨタのxR活用で進める現場DXへの挑戦 ~UnityとHoloLens 2を用いて~
 
【Unity道場 自動車編】空間再現ディスプレイの概要と活用事例
【Unity道場 自動車編】空間再現ディスプレイの概要と活用事例【Unity道場 自動車編】空間再現ディスプレイの概要と活用事例
【Unity道場 自動車編】空間再現ディスプレイの概要と活用事例
 
【Unity道場 自動車編】 リアルタイム3D技術が支えるデジタルツイン
【Unity道場 自動車編】 リアルタイム3D技術が支えるデジタルツイン【Unity道場 自動車編】 リアルタイム3D技術が支えるデジタルツイン
【Unity道場 自動車編】 リアルタイム3D技術が支えるデジタルツイン
 
【Unity道場 自動車編】モビリティへの活用に向けて
【Unity道場 自動車編】モビリティへの活用に向けて【Unity道場 自動車編】モビリティへの活用に向けて
【Unity道場 自動車編】モビリティへの活用に向けて
 
【Unity道場 自動車編】HMIにおけるUnity活用事例
【Unity道場 自動車編】HMIにおけるUnity活用事例【Unity道場 自動車編】HMIにおけるUnity活用事例
【Unity道場 自動車編】HMIにおけるUnity活用事例
 
【Unity道場 教育編】さまざまに広がるUnityの世界 2021
【Unity道場 教育編】さまざまに広がるUnityの世界 2021【Unity道場 教育編】さまざまに広がるUnityの世界 2021
【Unity道場 教育編】さまざまに広がるUnityの世界 2021
 
【Unity道場 教育編】Unity が中等・高等教育の潜在的な可能性を解き放つ
【Unity道場 教育編】Unity が中等・高等教育の潜在的な可能性を解き放つ【Unity道場 教育編】Unity が中等・高等教育の潜在的な可能性を解き放つ
【Unity道場 教育編】Unity が中等・高等教育の潜在的な可能性を解き放つ
 
【Unity道場Houdini編】Houdini Engine とプロシージャル法
【Unity道場Houdini編】Houdini Engine とプロシージャル法【Unity道場Houdini編】Houdini Engine とプロシージャル法
【Unity道場Houdini編】Houdini Engine とプロシージャル法
 
【Unity道場Houdini編】UnityとHoudiniで作るRealtimeVFX実践解説 後編
【Unity道場Houdini編】UnityとHoudiniで作るRealtimeVFX実践解説 後編【Unity道場Houdini編】UnityとHoudiniで作るRealtimeVFX実践解説 後編
【Unity道場Houdini編】UnityとHoudiniで作るRealtimeVFX実践解説 後編
 

Recently uploaded

Recently uploaded (11)

業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
 
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
 
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
 
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
 
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
 
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアルLoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
 
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半        2024/04/26の勉強会で発表されたものです。新人研修 後半        2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
 
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
 
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
 
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイスLoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
 
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
 

ROSのロボットモデルでバーチャルロボット受肉する