Recommended
More Related Content
What's hot
What's hot (20)
Similar to ヒューマノイドのアプリ開発とモーション生成AIの導入 ROS JP UG #51
Similar to ヒューマノイドのアプリ開発とモーション生成AIの導入 ROS JP UG #51 (20)
ヒューマノイドのアプリ開発とモーション生成AIの導入 ROS JP UG #51
- 1. ヒューマノイドのアプリ開発と モーション生成AIの導入 デジタルツインを実現する Meridian のしくみ ROS UG #51 LT 2023.7.19 #Meridian計画 メンバー holypong
- 2. ・自己紹介 ・Meri di a nとは？ ・小型ヒューマノイ ド のア プ リ開 発 ・モーション生成AIの 導 入 ・まとめ 本日のアジェンダ
- 3. 自己紹介：堀ノ内 貴志（holypong） 仕事：国内メーカー に勤務 ・組込機器・ロボ ット・ドローンの商品開発 ・ 研究 開 発・ 企 画を 経 験 ・ロボティクス・ AI・XR・Io T のシステム ソ フ ト 開 発 が得 意 ・直近はクラウドベースのソフト開発環境構 築 など を 担当 趣味：ロボティクス×ものづくり ・1 9 9 6 PC 9 8 / Wi n9 5 3 DC G シミュレータ を 無 料 公開 （ ロボ ッ ト学 会 誌に 収 録） ・ 2 0 0 3 ～ 「RO B O -O N E」ほか小型ヒューマ ノ イド 格 闘競 技 大会 で 上位 入 賞 ・ 2 0 0 9 ～ ロボティクスの面白さを後進に伝 え たい - 業界活性化の支援（二足歩行ロボ ット 協 会 会 員 ） - 学んだ技術のデモ動画を公開中（ Yo utube/ ニコ ニ コ動 画 ）
- 4. Meridian応用で滑らかなロボットダンス TVアニメ「パリピ孔明」OPテーマ「チキチキバンバン」【踊ってみた】公式ダンスモーションデータ https://paripikoumei.booth.pm/items/3872754 リアルロボットとバー チャルロボットが1 00 Hz同 期＝ デ ジタ ル ツイ ン 化
- 5. Meridianとは？ 参 考 「 M e r i d i a n 計 画 目 次 ： h t t p s : / / n o t e . c o m / n i n a g a w a 1 2 3 / n / n b 7 6 8 5 6 3 5 9 1 b e
- 6. 【 狙 い 】 人 体 の よ う な の び や か な 運 動 を ホ ビ ー ロ ボ ッ ト で 再 現 で き る 。 計 算 制 御 の 学 び ・ 実 装 が 楽 し く で き る 。 各 種 シ ミ ュ レ ー タ ー 、 ビ ジ ュ ア ラ イ ザ ー を 使 う こ と が で き る 。 各 社 の コ マ ン ド サ ー ボ を 混 ぜ て 使 え る 。 セ ン サ も リ モ コ ン も 自 由 に 組 み 合 わ せ て 使 え る 。 モ ー シ ョ ン 作 成 中 に 配 線 が 絡 ま な い 千 切 れ な い 。 電 源 バ チ ン で 即 起 動 す る 。 デ ー タ も ぜ ん ぶ 取 れ る 。 メ タ バ ー ス と 連 携 で き る 。 R O S の 資 産 も 使 え る 。 U n i t y ・ A I ・ C l o u d の 最 新 技 術 を カ ン タ ン に 導 入 で き る 。 シ ス テ ム が 非 ブ ラ ッ ク ボ ッ ク ス で 、 可 読 性 が 高 い 。 チ ュ ー ト リ ア ル が 充 実 し て い る 。 情 報 交 換 し な が ら み ん な で 楽 し く 開 発 で き る 。 「理想のヒューマノイド開発環境」に挑戦 二 名 川 氏 が 開 発 。 G i t H u b （ h t t p s : / / g i t h u b . c o m / N i n a g a w a 1 2 3 ） で 2 0 2 1 年 に O S S 公 開
- 8. KONDO FUTABA Dynamixel PWM etc. PlayStation wii etc. SD etc. Mac Win Linux LiDAR RealSense etc. Unity Choreonoid CoppeliaSim MATLAB/Simulink Arduino IDE等 サーボモーター リモコン IMU AI CAM etc. センサー ストレージ 母艦PC センサー プログラム・シミュレータ sound LED Display etc. 簡易出力 制御ボードA社 制御マイコン Raspberry pi Linux + ROS etc. 上位CPU 制御ボードB社 制御ボードC社 ローカル リモート gazebo ROS モーション作成 Heart To Heart Robovie Maker etc. 小型ヒューマノイドのシステム構成 コンピューティングリソース： 小 ＜＜ 大 インターネット 翻 訳 翻 訳 翻 訳 翻 訳 翻 訳 翻 訳 ストレージ 無 線 通 信 で 高 速 に デ ー タ を シ ン ク ロ 「 デ ジ タ ル ツ イ ン 化 」 翻 訳 母艦PC 制御 マイコン ＜＜＜ 無限大
- 9. Meridian Board Type.K ver1.2 Meridian デバイス E S P 3 2 - D e v k i t C 無 線 通 信 処 理 が 得 意 - デュアルコア 240MHz CPU - Wi-Fi 2.4GHz IEEE 802.11b/g/n - Bluetooth V4.2 BR/EDR BLE - SD IO etc. Te e n s y 4 . 0 豊 富 な I / O で 電 子 機 器 の RT 制 御 が 得 意 - A R M C o r e t e x - M 7 600MHz CPU - U A RT x 4 - SD IO etc. Wi-Fi/Bluetooth（リモート接続） ヒ ュ ー マ ノ イ ド に 搭 載 す る 基 板 。 ２ つ の 市 販 ボ ー ド で 処 理 負 荷 を 分 散 。 V S C o d e ＋ P l a t f o r m I O ＋ A r d u i n o ラ イ ブ ラ リ を 使 用 。 SPI(有線接続)
- 10. デ バ イ ス A デ バ イ ス B 受信データを書換えて送信 1パケット分の 一つのデータ形式が デバイス間を ぐるぐると循環 Meridimパケット Meridim パケット ♥ Meridian 通信プロトコル 1 0 0 H z 通 信 を 可 能 に す る 短 文 （ M e r i d i m パ ケ ッ ト ） を 循 環 ・ リ レ ー す る 仕 組 み 1 0 0 H z を キ ー プ す る 発 振 器 の 働 き デ バ イ ス C 以 降 も つ な が る 受信データを書換えて送信
- 11. フレーム カウンタ IMU データ IMU データ [1] [2] [6] マスター コマンド [0] IMU データ [3] IMU データ [4] IMU データ [5] IMU データ [7] IMU データ [8] IMU データ [9] IMU データ [10] IMU データ カスタム データ [11] [12] [16] カスタム データ [13] カスタム データ [14] [15] [17] [18] モーション 設定 [19] サーボ データ サーボ データ [21] [25] サーボ コマンド ID 1 [22] サーボ データ [23] サーボ コマンド ID 2 [24] サーボ コマンド ID 3 [26] サーボ データ [27] カスタム データ ID 4 [28] サーボ コマンド ID 0 [20] サーボ コマンド [29] サーボ データ サーボ データ [31] [35] サーボ コマンド ID 6 [32] サーボ データ [33] サーボ コマンド ID 7 [34] サーボ コマンド ID 8 [36] サーボ データ [37] カスタム データ ID 9 [38] サーボ コマンド ID 5 [30] サーボ コマンド [39] サーボ データ サーボ データ [41] [45] サーボ コマンド ID 11 [42] サーボ データ [43] サーボ コマンド ID 12 [44] サーボ コマンド ID 13 [46] サーボ データ [47] サーボ コマンド ID 14 [48] サーボ コマンド ID 10 [40] サーボ データ [49] サーボ データ サーボ データ [51] [55] サーボ コマンド ID 1 [52] サーボ データ [53] サーボ コマンド ID 2 [54] サーボ コマンド ID 3 [56] サーボ データ [57] カスタム データ ID 4 [58] サーボ コマンド ID 0 [50] サーボ コマンド [59] サーボ データ サーボ データ [61] [65] サーボ コマンド ID 6 [62] サーボ データ [63] サーボ コマンド ID 7 [64] サーボ コマンド ID 8 [66] サーボ データ [67] カスタム データ ID 9 [68] サーボ コマンド ID 5 [60] サーボ コマンド [69] サーボ データ サーボ データ [71] [75] サーボ コマンド ID 11 [72] サーボ データ [73] サーボ コマンド ID 12 [74] サーボ コマンド ID 13 [76] サーボ データ [77] カスタム データ ID 14 [78] サーボ コマンド ID 10 [70] サーボ コマンド [79] カスタム データ カスタム データ [81] [85] カスタム データ [82] カスタム データ [83] カスタム データ [84] カスタム データ [86] カスタム データ [87] エラー コード [88] カスタム データ [80] CHECK SUM [89] (COBS) [90] ・EtherのUDPの１パケットに収める ・16ビット x 90個 = 180バイトのデータを定型とし、 30軸分の指令やIMUデータやリモコンデータを格納 ・パケットサイズは可変（最大1472Byte） （←左半身系データ） （右半身系データ→） リモコン データ リモコン データ リモコン データ リモコン ボタン データ Meridim90パケットの構成(180Byte）
- 12. 小型ヒューマノイドのアプリ開発
- 13. Ⅰ.リモートで試してローカルにすばやく移植する ① リ モ ー ト U n i t y / R O S で 安 定 歩 行 制 御 の ア ル ゴ リ ズ ム を 記 述 す る （ C + + / C # o r P y t h o n ） ② リ モ ー ト と ロ ー カ ル 間 を 、 歩 行 デ ー タ 送 信 ・ セ ン サ デ ー タ 受 信 し て 1 0 0 H z で RT 制 御 す る ③ リ モ ー ト で の 検 証 が 終 わ っ た ら 、 ロ ー カ ル A r d u i n o へ の 移 植 す る （ C + + ） UVC（上体垂直制御*1）アルゴリズムを使って、大きい外力に対する反射行動 *1: Dr.Guero氏(@doctorguero)の倒れないニ足歩行ロボットを実現する技術 （https://www.youtube.com/watch?v=B6YltEG2mNs） M e r i d i a n B o a r d U n i t y ロ ー カ ル リ モ ー ト R O S リ モ ー ト
- 14. Ⅱ. 多様なモーションデータを取込む 【A】人モーションファイルを再生する *1: Virtual Motion Capture。アバターの人モーションの送受信機能（https://protocol.vmc.info/） *2: ThreeD Pose Tracker。映像から骨格推定するVRソフト（https://digital-standard.com/tdpt/） *3: Kirurobo氏のVMC Protocolを受信しロボットを動かす技術（https://github.com/kirurobo） V M C 【 B 】 ① U n i t y 標 準 の 人 モ ー シ ョ ン フ ァ イ ル を 取 り 込 む ① ’ V M C Pr o t o c o l * 1 対 応 V R ソ フ ト が 出 力 す る 人 モ ー シ ョ ン を 取 り 込 む ② 取 込 ん だ 人 モ ー シ ョ ン を ヒ ュ ー マ ノ イ ド モ ー シ ョ ン へ RT 変 換 * 3 ・ 送 信 す る M e r i d i a n B o a r d U n i t y ロ ー カ ル リ モ ー ト Motion File 【A】 V R ソ フ ト 骨 格 推 定 【B】VRソフトが動画からRT骨格推定*2し再生する ・・・【A】 ・・・【B】
- 15. Ⅲ.モーショントレースでロボットを操縦する モーションキャプチャデータをUnityとROSに渡す *1: mocopi 。SONY製の6点トラッキング（https://www.sony.jp/mocopi/） *2: Haritorax。Shitall製の8点～11点トラッキング（https://ja.shiftall.net/products/haritorax） ① V M C Pr o t o c o l 対 応 V R 機 器 （ m o c o p i * 1 / H a r i t o r a x * 2 ） で 人 の 動 き を ト レ ー ス す る ② 通 信 経 路 に R O S を 挟 ん で 、 ヒ ュ ー マ ノ イ ド モ ー シ ョ ン を j o i n t _ s t a t e に 変 換 す る 。 → M e r i d i a n で U n i t y と R O S を 繋 ぎ 、 そ れ ぞ れ の 有 用 な 資 産 を 活 用 す る 準 備 が で き た ！ M e r i d i a n B o a r d U n i t y ロ ー カ ル リ モ ー ト V R 機 器 モ ー シ ョ ン キ ャ プ チ ャ R O S Rviz画面。URDFモデルで物理演算を検証中 V M C
- 16. モーション生成AIの導入
- 17. モーションは「撮る」から「創る」へ ・ ・ 近 年 L L M ベ ー ス の A I が 大 き く 進 化 。 テ キ ス ト 文 章 か ら 欲 し い 情 報 を 得 ら れ る よ う に ・ C h a t G P T （ 文 章 生 成 ） 、 C o p i l o t （ コ ー ド 生 成 ） 、 D A L L - E （ 画 像 生 成 ） が 話 題 に ・ Te x t - To - 〇 〇 の A I 研 究 が 活 性 化 。 2 0 2 2 年 に 人 の モ ー シ ョ ン 生 成 A I の 論 文 が 登 場 → モ ー シ ョ ン 生 成 A I を ヒ ュ ー マ ノ イ ド に 適 用 し て み た モーション生成AIが、テキスト文章からモーションを自動生成する テキストとモーションを紐づけたLLM *1: Human Motion Diffusion Modelの論文（https://guytevet.github.io/mdm-page/） *2: HumanML3D。データセット（https://github.com/EricGuo5513/HumanML3D） MDM Architecture
- 18. R O S Ⅰ. 言葉からモーションを生成する ① G o o g l e C o l a b o r a t o r y （ C o l a b ） で ク ラ ウ ド 上 に P y t h o n の A I 開 発 環 境 を 用 意 す る * 1 ② M D M で 「 前 に 歩 い て 道 具 箱 を 拾 う 」 の テ キ ス ト 文 章 か ら モ ー シ ョ ン を 自 動 生 成 す る ③ 生 成 し た モ ー シ ョ ン デ ー タ を S M P L 形 式 か ら J S O N 形 式 に 変 換 す る * 2 Colab の jupyter notebookでText-To-Motionを実行する様子 M e r i d i a n B o a r d U n i t y ロ ー カ ル リ モ ー ト V R ソ フ ト モ ー シ ョ ン 再 生 V M C C o l a b モ ー シ ョ ン 生 成 A I JSON *1:12 kaz氏の記事（https://www.12-technology.com/2022/10/） *2:布留川英一氏(@npaka123）のno+e記事（https://note.com/npaka/n/nb988c59c259f） The person walked forward and is picking up his toolbox.
- 19. R O S Ⅱ. 言葉でロボットを動かす ① モ ー シ ョ ン 再 生 V R ソ フ ト * 1 が J S O N フ ァ イ ル を 取 込 み 、 ア バ タ ー で 再 生 す る ② V M C Pr o t o c o l で 人 モ ー シ ョ ン を 送 信 ③ 取 込 ん だ 人 モ ー シ ョ ン を ヒ ュ ー マ ノ イ ド モ ー シ ョ ン へ RT 変 換 ・ 送 信 す る → 言 葉 で リ ア ル ロ ボ ッ ト が 動 い た ！ Text-To-RobotMotion M e r i d i a n B o a r d U n i t y ロ ー カ ル リ モ ー ト V R ソ フ ト モ ー シ ョ ン 再 生 V M C C o l a b モ ー シ ョ ン 生 成 A I JSON *1:布留川英一氏(@npaka123）のno+e記事（https://note.com/npaka/n/nc76278c4a646） ※ 数 秒 の モ ー シ ョ ン 生 成 に 、 数 分 を 要 す る の が 最 大 の 課 題 ※ U n i t y ・ R O S 連 携 で 音 声 入 力 ・ 安 定 歩 行 制 御 ・ セ ン シ ン グ 等 の 組 合 せ で “ よ り 自 然 に “ を 目 指 す
- 20. まとめ ・ M e r i d i a n を 使 っ て 最 新 X R ・ A I ・ I o T 技 術 を 小 型 ヒ ュ ー マ ノ イ ド に 繋 い だ ・ あ ら ゆ る ロ ボ ッ ト が M e r i d i a n の 適 用 対 象 （ ヒ ュ ー マ ノ イ ド に 限 定 し な い ） ・ エ ン ジ ニ ア が ロ ボ テ ィ ク ス に 日 常 的 に 触 れ て 研 究 開 発 を 共 に 楽 し ん で ほ し い ・ エ ン ジ ニ ア の 成 長 が 我 々 の ミ ラ イ の 生 活 を 助 け る ・ 面 白 く す る と 信 じ て …
- 21. #Meridian計画 https://twitter.com/automo_emo /robot 「Meridian部室」 「holypong automo のチャンネル」 活動空間 https://discord.gg/3QTSfPfKKA https://www.youtube.com/channel/UCCSSWx_AYgwzex5LbAfnyug Discord 招待リンク（50名）
- 22. END