Developing a humanoid application and implementing motion generation AI. Movie(Coming Soon) https://rosjp.connpass.com/event/287546/

1. ヒューマノイドのアプリ開発と
モーション生成AIの導入
デジタルツインを実現する Meridian のしくみ
ROS UG #51 LT
2023.7.19
#Meridian計画 メンバー
holypong

2. ・自己紹介
・Meri di a nとは？
・小型ヒューマノイ ド のア プ リ開 発
・モーション生成AIの 導 入
・まとめ
本日のアジェンダ

3. 自己紹介：堀ノ内 貴志（holypong）
仕事：国内メーカー に勤務
・組込機器・ロボ ット・ドローンの商品開発 ・ 研究 開 発・ 企 画を 経 験
・ロボティクス・ AI・XR・Io T のシステム ソ フ ト 開 発 が得 意
・直近はクラウドベースのソフト開発環境構 築 など を 担当
趣味：ロボティクス×ものづくり
・1 9 9 6 PC 9 8 / Wi n9 5 3 DC G シミュレータ を 無 料 公開 （ ロボ ッ ト学 会 誌に 収 録）
・ 2 0 0 3 ～ 「RO B O -O N E」ほか小型ヒューマ ノ イド 格 闘競 技 大会 で 上位 入 賞
・ 2 0 0 9 ～ ロボティクスの面白さを後進に伝 え たい
- 業界活性化の支援（二足歩行ロボ ット 協 会 会 員 ）
- 学んだ技術のデモ動画を公開中（ Yo utube/ ニコ ニ コ動 画 ）

4. Meridian応用で滑らかなロボットダンス
TVアニメ「パリピ孔明」OPテーマ「チキチキバンバン」【踊ってみた】公式ダンスモーションデータ https://paripikoumei.booth.pm/items/3872754
リアルロボットとバー チャルロボットが1 00 Hz同 期＝ デ ジタ ル ツイ ン 化

5. Meridianとは？
参 考 「 M e r i d i a n 計 画 目 次 ： h t t p s : / / n o t e . c o m / n i n a g a w a 1 2 3 / n / n b 7 6 8 5 6 3 5 9 1 b e

6. 【 狙 い 】
 人 体 の よ う な の び や か な 運 動 を ホ ビ ー ロ ボ ッ ト で 再 現 で き る 。
 計 算 制 御 の 学 び ・ 実 装 が 楽 し く で き る 。
 各 種 シ ミ ュ レ ー タ ー 、 ビ ジ ュ ア ラ イ ザ ー を 使 う こ と が で き る 。
 各 社 の コ マ ン ド サ ー ボ を 混 ぜ て 使 え る 。
 セ ン サ も リ モ コ ン も 自 由 に 組 み 合 わ せ て 使 え る 。
 モ ー シ ョ ン 作 成 中 に 配 線 が 絡 ま な い 千 切 れ な い 。
 電 源 バ チ ン で 即 起 動 す る 。
 デ ー タ も ぜ ん ぶ 取 れ る 。
 メ タ バ ー ス と 連 携 で き る 。
 R O S の 資 産 も 使 え る 。
 U n i t y ・ A I ・ C l o u d の 最 新 技 術 を カ ン タ ン に 導 入 で き る 。
 シ ス テ ム が 非 ブ ラ ッ ク ボ ッ ク ス で 、 可 読 性 が 高 い 。
 チ ュ ー ト リ ア ル が 充 実 し て い る 。
 情 報 交 換 し な が ら み ん な で 楽 し く 開 発 で き る 。
「理想のヒューマノイド開発環境」に挑戦
二 名 川 氏 が 開 発 。 G i t H u b （ h t t p s : / / g i t h u b . c o m / N i n a g a w a 1 2 3 ） で 2 0 2 1 年 に O S S 公 開

7. いろんなリモコン
いろんなサーボ
いろんなシミュレータ
いろんな開発環境
いろんなセンサ
いろんな制御ボード
いろんな教科書
いろんなデータ
いろんな素材
メタバース
いろんなアセット
ROS
有用な資産を繋ぎ合わせる
インターネットにはハードとソフトの資産が溢れている…
いろんな最新技術
これら資産を繋ぐ 針（デバイス）と糸（通信プロトコル）を Meridian が提供

8. KONDO
FUTABA
Dynamixel
PWM
etc.
PlayStation
wii
etc.
SD
etc.
Mac
Win
Linux
LiDAR
RealSense
etc.
Unity
Choreonoid
CoppeliaSim
MATLAB/Simulink
Arduino IDE等
サーボモーター
リモコン
IMU
AI CAM
etc.
センサー
ストレージ
母艦PC
センサー
プログラム・シミュレータ
sound
LED
Display
etc.
簡易出力
制御ボードA社
制御マイコン
Raspberry pi
Linux + ROS
etc.
上位CPU
制御ボードB社
制御ボードC社
ローカル リモート
gazebo
ROS
モーション作成
Heart To Heart
Robovie Maker
etc.
小型ヒューマノイドのシステム構成
コンピューティングリソース： 小 ＜＜ 大
インターネット
翻
訳
翻
訳
翻
訳
翻
訳
翻
訳
翻
訳
ストレージ
無 線 通 信 で
高 速 に デ ー タ を シ ン ク ロ
「 デ ジ タ ル ツ イ ン 化 」
翻
訳
母艦PC
制御
マイコン
＜＜＜ 無限大

9. Meridian Board Type.K ver1.2
Meridian デバイス
E S P 3 2 - D e v k i t C
無 線 通 信 処 理 が 得 意
- デュアルコア 240MHz CPU
- Wi-Fi 2.4GHz IEEE 802.11b/g/n
- Bluetooth V4.2 BR/EDR BLE
- SD IO
etc.
Te e n s y 4 . 0
豊 富 な I / O で 電 子 機 器 の RT 制 御 が 得 意
- A R M C o r e t e x - M 7 600MHz CPU
- U A RT x 4
- SD IO
etc.
Wi-Fi/Bluetooth（リモート接続）
ヒ ュ ー マ ノ イ ド に 搭 載 す る 基 板 。 ２ つ の 市 販 ボ ー ド で 処 理 負 荷 を 分 散 。
V S C o d e ＋ P l a t f o r m I O ＋ A r d u i n o ラ イ ブ ラ リ を 使 用 。
SPI(有線接続)

10. デ バ イ ス
A
デ バ イ ス
B
受信データを書換えて送信
1パケット分の
一つのデータ形式が
デバイス間を
ぐるぐると循環
Meridimパケット
Meridim パケット
♥
Meridian 通信プロトコル
1 0 0 H z 通 信 を 可 能 に す る 短 文 （ M e r i d i m パ ケ ッ ト ） を 循 環 ・ リ レ ー す る 仕 組 み
1 0 0 H z を キ ー プ す る 発 振 器 の 働 き
デ バ イ ス C 以 降 も つ な が る
受信データを書換えて送信

11. フレーム
カウンタ
IMU
データ
IMU
データ
[1] [2] [6]
マスター
コマンド
[0]
IMU
データ
[3]
IMU
データ
[4]
IMU
データ
[5]
IMU
データ
[7]
IMU
データ
[8]
IMU
データ
[9]
IMU
データ
[10]
IMU
データ
カスタム
データ
[11] [12] [16]
カスタム
データ
[13]
カスタム
データ
[14] [15] [17] [18]
モーション
設定
[19]
サーボ
データ
サーボ
データ
[21] [25]
サーボ
コマンド
ID 1
[22]
サーボ
データ
[23]
サーボ
コマンド
ID 2
[24]
サーボ
コマンド
ID 3
[26]
サーボ
データ
[27]
カスタム
データ
ID 4
[28]
サーボ
コマンド
ID 0
[20]
サーボ
コマンド
[29]
サーボ
データ
サーボ
データ
[31] [35]
サーボ
コマンド
ID 6
[32]
サーボ
データ
[33]
サーボ
コマンド
ID 7
[34]
サーボ
コマンド
ID 8
[36]
サーボ
データ
[37]
カスタム
データ
ID 9
[38]
サーボ
コマンド
ID 5
[30]
サーボ
コマンド
[39]
サーボ
データ
サーボ
データ
[41] [45]
サーボ
コマンド
ID 11
[42]
サーボ
データ
[43]
サーボ
コマンド
ID 12
[44]
サーボ
コマンド
ID 13
[46]
サーボ
データ
[47]
サーボ
コマンド
ID 14
[48]
サーボ
コマンド
ID 10
[40]
サーボ
データ
[49]
サーボ
データ
サーボ
データ
[51] [55]
サーボ
コマンド
ID 1
[52]
サーボ
データ
[53]
サーボ
コマンド
ID 2
[54]
サーボ
コマンド
ID 3
[56]
サーボ
データ
[57]
カスタム
データ
ID 4
[58]
サーボ
コマンド
ID 0
[50]
サーボ
コマンド
[59]
サーボ
データ
サーボ
データ
[61] [65]
サーボ
コマンド
ID 6
[62]
サーボ
データ
[63]
サーボ
コマンド
ID 7
[64]
サーボ
コマンド
ID 8
[66]
サーボ
データ
[67]
カスタム
データ
ID 9
[68]
サーボ
コマンド
ID 5
[60]
サーボ
コマンド
[69]
サーボ
データ
サーボ
データ
[71] [75]
サーボ
コマンド
ID 11
[72]
サーボ
データ
[73]
サーボ
コマンド
ID 12
[74]
サーボ
コマンド
ID 13
[76]
サーボ
データ
[77]
カスタム
データ
ID 14
[78]
サーボ
コマンド
ID 10
[70]
サーボ
コマンド
[79]
カスタム
データ
カスタム
データ
[81] [85]
カスタム
データ
[82]
カスタム
データ
[83]
カスタム
データ
[84]
カスタム
データ
[86]
カスタム
データ
[87]
エラー
コード
[88]
カスタム
データ
[80]
CHECK
SUM
[89]
(COBS)
[90]
・EtherのUDPの１パケットに収める
・16ビット x 90個 = 180バイトのデータを定型とし、
30軸分の指令やIMUデータやリモコンデータを格納
・パケットサイズは可変（最大1472Byte）
（←左半身系データ）
（右半身系データ→）
リモコン
データ
リモコン
データ
リモコン
データ
リモコン
ボタン
データ
Meridim90パケットの構成(180Byte）

12. 小型ヒューマノイドのアプリ開発

13. Ⅰ.リモートで試してローカルにすばやく移植する
① リ モ ー ト U n i t y / R O S で 安 定 歩 行 制 御 の ア ル ゴ リ ズ ム を 記 述 す る （ C + + / C # o r P y t h o n ）
② リ モ ー ト と ロ ー カ ル 間 を 、 歩 行 デ ー タ 送 信 ・ セ ン サ デ ー タ 受 信 し て 1 0 0 H z で RT 制 御 す る
③ リ モ ー ト で の 検 証 が 終 わ っ た ら 、 ロ ー カ ル A r d u i n o へ の 移 植 す る （ C + + ）
UVC（上体垂直制御*1）アルゴリズムを使って、大きい外力に対する反射行動
*1: Dr.Guero氏(@doctorguero)の倒れないニ足歩行ロボットを実現する技術
（https://www.youtube.com/watch?v=B6YltEG2mNs）
M e r i d i a n
B o a r d
U n i t y
ロ ー カ ル
リ モ ー ト
R O S
リ モ ー ト

14. Ⅱ. 多様なモーションデータを取込む
【A】人モーションファイルを再生する
*1: Virtual Motion Capture。アバターの人モーションの送受信機能（https://protocol.vmc.info/）
*2: ThreeD Pose Tracker。映像から骨格推定するVRソフト（https://digital-standard.com/tdpt/）
*3: Kirurobo氏のVMC Protocolを受信しロボットを動かす技術（https://github.com/kirurobo）
V M C
【 B 】
① U n i t y 標 準 の 人 モ ー シ ョ ン フ ァ イ ル を 取 り 込 む
① ’ V M C Pr o t o c o l * 1 対 応 V R ソ フ ト が 出 力 す る 人 モ ー シ ョ ン を 取 り 込 む
② 取 込 ん だ 人 モ ー シ ョ ン を ヒ ュ ー マ ノ イ ド モ ー シ ョ ン へ RT 変 換 * 3 ・ 送 信 す る
M e r i d i a n
B o a r d
U n i t y
ロ ー カ ル
リ モ ー ト
Motion
File
【A】
V R ソ フ ト
骨 格 推 定
【B】VRソフトが動画からRT骨格推定*2し再生する
・・・【A】
・・・【B】

15. Ⅲ.モーショントレースでロボットを操縦する
モーションキャプチャデータをUnityとROSに渡す
*1: mocopi 。SONY製の6点トラッキング（https://www.sony.jp/mocopi/）
*2: Haritorax。Shitall製の8点～11点トラッキング（https://ja.shiftall.net/products/haritorax）
① V M C Pr o t o c o l 対 応 V R 機 器 （ m o c o p i * 1 / H a r i t o r a x * 2 ） で 人 の 動 き を ト レ ー ス す る
② 通 信 経 路 に R O S を 挟 ん で 、 ヒ ュ ー マ ノ イ ド モ ー シ ョ ン を j o i n t _ s t a t e に 変 換 す る 。
→ M e r i d i a n で U n i t y と R O S を 繋 ぎ 、 そ れ ぞ れ の 有 用 な 資 産 を 活 用 す る 準 備 が で き た ！
M e r i d i a n
B o a r d
U n i t y
ロ ー カ ル
リ モ ー ト
V R 機 器
モ ー シ ョ ン
キ ャ プ チ ャ
R O S
Rviz画面。URDFモデルで物理演算を検証中
V M C

16. モーション生成AIの導入

17. モーションは「撮る」から「創る」へ
・
・ 近 年 L L M ベ ー ス の A I が 大 き く 進 化 。 テ キ ス ト 文 章 か ら 欲 し い 情 報 を 得 ら れ る よ う に
・ C h a t G P T （ 文 章 生 成 ） 、 C o p i l o t （ コ ー ド 生 成 ） 、 D A L L - E （ 画 像 生 成 ） が 話 題 に
・ Te x t - To - 〇 〇 の A I 研 究 が 活 性 化 。 2 0 2 2 年 に 人 の モ ー シ ョ ン 生 成 A I の 論 文 が 登 場
→ モ ー シ ョ ン 生 成 A I を ヒ ュ ー マ ノ イ ド に 適 用 し て み た
モーション生成AIが、テキスト文章からモーションを自動生成する テキストとモーションを紐づけたLLM
*1: Human Motion Diffusion Modelの論文（https://guytevet.github.io/mdm-page/）
*2: HumanML3D。データセット（https://github.com/EricGuo5513/HumanML3D）
MDM Architecture

18. R O S
Ⅰ. 言葉からモーションを生成する
① G o o g l e C o l a b o r a t o r y （ C o l a b ） で ク ラ ウ ド 上 に P y t h o n の A I 開 発 環 境 を 用 意 す る * 1
② M D M で 「 前 に 歩 い て 道 具 箱 を 拾 う 」 の テ キ ス ト 文 章 か ら モ ー シ ョ ン を 自 動 生 成 す る
③ 生 成 し た モ ー シ ョ ン デ ー タ を S M P L 形 式 か ら J S O N 形 式 に 変 換 す る * 2
Colab の jupyter notebookでText-To-Motionを実行する様子 M e r i d i a n
B o a r d
U n i t y
ロ ー カ ル
リ モ ー ト
V R ソ フ ト
モ ー シ ョ ン
再 生
V M C
C o l a b
モ ー シ ョ ン
生 成 A I
JSON
*1:12 kaz氏の記事（https://www.12-technology.com/2022/10/）
*2:布留川英一氏(@npaka123）のno+e記事（https://note.com/npaka/n/nb988c59c259f）
The person walked forward and is picking up his toolbox.

19. R O S
Ⅱ. 言葉でロボットを動かす
① モ ー シ ョ ン 再 生 V R ソ フ ト * 1 が J S O N フ ァ イ ル を 取 込 み 、 ア バ タ ー で 再 生 す る
② V M C Pr o t o c o l で 人 モ ー シ ョ ン を 送 信
③ 取 込 ん だ 人 モ ー シ ョ ン を ヒ ュ ー マ ノ イ ド モ ー シ ョ ン へ RT 変 換 ・ 送 信 す る
→ 言 葉 で リ ア ル ロ ボ ッ ト が 動 い た ！
Text-To-RobotMotion
M e r i d i a n
B o a r d
U n i t y
ロ ー カ ル
リ モ ー ト
V R ソ フ ト
モ ー シ ョ ン
再 生
V M C
C o l a b
モ ー シ ョ ン
生 成 A I
JSON
*1:布留川英一氏(@npaka123）のno+e記事（https://note.com/npaka/n/nc76278c4a646）
※ 数 秒 の モ ー シ ョ ン 生 成 に 、 数 分 を 要 す る の が 最 大 の 課 題
※ U n i t y ・ R O S 連 携 で 音 声 入 力 ・ 安 定 歩 行 制 御 ・ セ ン シ ン グ 等 の 組 合 せ で “ よ り 自 然 に “ を 目 指 す

20. まとめ
・ M e r i d i a n を 使 っ て 最 新 X R ・ A I ・ I o T 技 術 を 小 型 ヒ ュ ー マ ノ イ ド に 繋 い だ
・ あ ら ゆ る ロ ボ ッ ト が M e r i d i a n の 適 用 対 象 （ ヒ ュ ー マ ノ イ ド に 限 定 し な い ）
・ エ ン ジ ニ ア が ロ ボ テ ィ ク ス に 日 常 的 に 触 れ て 研 究 開 発 を 共 に 楽 し ん で ほ し い
・ エ ン ジ ニ ア の 成 長 が 我 々 の ミ ラ イ の 生 活 を 助 け る ・ 面 白 く す る と 信 じ て …

21. #Meridian計画
https://twitter.com/automo_emo
/robot 「Meridian部室」
「holypong automo のチャンネル」
活動空間
https://discord.gg/3QTSfPfKKA https://www.youtube.com/channel/UCCSSWx_AYgwzex5LbAfnyug
Discord 招待リンク（50名）

22. END