Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to [DLゼミ] Learning agile and dynamic motor skills for legged robots
Similar to [DLゼミ] Learning agile and dynamic motor skills for legged robots (20)
More from harmonylab
More from harmonylab (20)
[DLゼミ] Learning agile and dynamic motor skills for legged robots
- 1. Learning agile and dynamic motor skills for legged robots Jemin Hwangbo1*, Joonho Lee1, Alexey Dosovitskiy2, Dario Bellicoso1, Vassilios Tsounis1,Vladlen Koltun3, Marco Hutter1 Science Robotics Vol 4, Issue 26 16 January 2019 2020/05/13 M1 織田智矢https://arxiv.org/pdf/1901.08652.pdf 1Robotic Systems Lab, ETH Zurich, Zurich, Switzerland. 2Intelligent Systems Lab, Intel,Munich, Germany. 3Intelligent Systems Lab, Intel, Santa Clara, CA, USA.
- 2. 2
- 3. 概要 • 複雑なモータ制御が必要なロボットの制御方法を提案 • シミュレーションのみで学習した方策をロボットに転送し、実 環境のロボット制御に成功 • ロボットのシミュレーションとの違いをNNによって吸収 • これによりシミュレータでのモデリングが改善 3
- 4. 背景 • 実環境での多脚ロボットに関する研究は少ない（シミュばっ か） • 多脚ロボットは荒れた土地などで活躍でき、需要が高い • しかし制御が非常に難しい（多くの物理的制約を持つ高次元で 非平滑なシステム） • 従来の制御理論ではこれらの問題には長時間の設計やパラメー タ調整が必須 4
- 5. 多脚ロボット制御の先行研究 • モジュラーコントローラー設計 (制御問題をより小さなモ ジュールに分解する手法) - ロボットの脚の質量が0のモデルを使用し制御する手法 1. 目標の足場位置がが与えられる 2. 目標軌道計算→ … →PIDコントローラまで各モジュールが行う - 以前までこの手法がSOTA 5 [デメリット] • モデルの誤差が制御信号にそのまま現れる • モデル・パラメータのハンドチューニングが必要 (数ヶ月)
- 6. 6 多脚ロボット制御の先行研究2 • 軌道最適化 • コントローラをplanning, trackingに分離 • planninngは数値最適化を用いてロボットの目標経路計算 • trackingはその経路追従に使用 [デメリット] • モジュラーコントローラー設計より自動化されているが、性能が劣る • planningの計算コストが高く、リアルタイムに行うのが難しい • 依然、ハンドチューニングは必須！
- 7. 7 他のロボット制御手法 • データ駆動な手法として強化学習がロボット制御に用いられてい る • 複雑なスキル獲得は数週間から数ヶ月のインタラクションが必要 • 近年ではシミュレータ上での複雑な行動獲得に成功 • しかし、シミュレーションから現実への移行はReality gapによっ て実現できていない
- 8. 8 Reality gapを埋めるには • データドリブンな方法でシミュレータのをより実環境に近づけ て精度向上させる - 解析的にわかってるアクチェータを使う • シミュレータでの様々な部分をランダムにする - 方策、センサ、ダイナミクスすべてにノイズを加える - ロバスト性の獲得が期待 • 通常は両方用いられる
- 9. 9 提案手法概要 1. 物理モデルを定義 2. ロボットへの指令→トルクの マッピングを、実データを用い て学習 (actuator net) 3. 1, 2を用いてシミュレータ上で 強化学習 4. 実環境に方策のみをデプロイ 1.ロボットの物理パラメータ特定 2.アクチュエータ・ソフトウェアのダイナミ クスのモデルを学習によって獲得
- 10. 10 実験に用いた機材 • ANYmal Robotを使用 - SEA(Serial Elastic Actuators)を12個 - 解析的モデル化は試みられたが精度が不 十分 - 複雑で脚が長く、モデリングも難しい • 一般的に制御が難しいロボットで検証 http://www.nihonbinary.co.jp/Products/Robot/ANYmal.html http://www.thothchildren.com/chapter/5c0c810c41f88f26724a 7ed3
- 11. 11 actuator net の学習 • actuator net • 入力: 各関節の位置の誤差（目標との差)、 速度の履歴 • 出力: トルク • 活性化関数: softsign (滑らかな写像が制 御に向いてる・tanhより高速) • 単純な正弦波の軌道を出力するコント ローラを作成し、対応する関節位置を 計算、トルク値(教師ラベル)収集 • データ収集中にも手動で外乱を入れる • 4分間、400Hzで収集したため、100 万以上のサンプル
- 12. 12 actuator netの精度 • 数値計算の解と比較 • 32, 32, 32のMLP • 理想モデルとは、通信遅延0、瞬時に任意のトルクを出せる • 理想モデルのRMS: 5.74Nm • actuator netの RMS: 0.996Nm • トルク測定の分解能が0.2Nmなので、予測精度は理想モデルよ り良いが、誤差は小さいとは言えない
- 13. 13 強化学習について • 入力: ロボットの状態の履歴、操作信号 • 出力: 関節の目標位置 • TRPOを使用（パラメータ元論文まま） • そのまま学習させると上手くいかない カリキュラム学習の導入（トルク、関節速 度などの物理的制約は小→大） • タスクによって割引率が異なる • ゴリゴリの報酬設計 q: 各関節の位置, u: 各関節の速度
- 14. 14 その他工夫 • シミュレータの条件をランダマイズ - ロボットの初期位置・形状・質量… - 入力の変数ほどんどすべて - 誤差の分散が大きい変数は強めのノイズ - 例, ロボットの関節速度は現実では計測できない → U(-0.5, 0.5) rad/s)の強いノ イズを乗せる • シミュレータ - 複雑な接触を正確かつ高速に処理できるように改良 - 一般的なシミュレータより正確かつ高速な実装が用いられている ロバストな 方策を獲得
- 15. 15 実験1 操作信号を受けて移動するタスク • コマンド - 前方速度 - 横方向速度 - 角速度 • 報酬 - 角速度、移動速度、トルク、関節速度など - それぞれのコスト項をロジスティクカーネルでclip - ユークリッドノルムより良いらしい • 学習はシミュレーション上で9日間（普通のPCで4時間程度） • モデルベースの手法と比較
- 16. 16 報酬設計について 各タスクによってこれらのコスト関数が微妙に 違う(これは実験1と2) 𝑘 𝑐, 𝑘 𝑑はカリキュラム変数(𝑘0, 𝑘 𝑑 = 0.3, 0.997) 𝑘 𝑐,𝑗+1 = (𝑘 𝑐,𝑗) 𝑘 𝑑で更新、つまり𝑘 𝑐,𝑗+1 = (𝑘0) 𝑘 𝑑 𝑗 1000stepで𝑘 𝑐=0.95くらい
- 19. 19 結果1 • シミュレータと実機の差を比較 • 誤差がシミュより実機のほうが1.1%高い • 速度誤差、トルク、消費電力比較
- 20. 20 実験2 全力疾走 • 実験1と同じ報酬、ネットワークで最高速度にチャレンジ • 徐々に目標スピードを1.6 m/s(シミュレーションでの限界）ま で上昇させ、10m走った後0 m/sにする • 3サイクルの平均を計測し比較
- 21. 21 結果2
- 22. 22 結果2 • モデルベースの手法より50%以上早く走ら すことができた • 図Cより、物理的な限界のトルク(40Nm)を 使用していることがわかる • 制御にかかる演算が軽いから実現できたと 主張(推論時のCPU使用率100Hzで約0.25%) • また、付随的に、走り方もより4足歩行の動 物っぽくなった HAA: 第一関節の内外転 HFE: 第一関節を曲げる KFE: 第二関節を曲げる
- 23. 23 実験3 起き上がり • 倒れた状態から復帰するタスク • モデルベースでは実現可能な目標軌道を生成することは、一般に 困難（障害物にちょっとでも当たるとズレる等） • 先行研究では、膨大なパラメータ調整が必要とのこと • 学習はシミュレーション上で79日間（普通のPCで11時間程度）
- 25. 25 議論 • 学習されたポリシーは、ハードウェア変更や重量の変更にもロ バストだった • ロボット上での推論コストが非常に低い • コスト関数と初期状態分布の設計・微調整にかなり時間がか かった • 方策関数はタスク専用になってしまった→階層構造を持たせて ると複数タスクでの実現ができるらしい • 実機へのデプロイはスムーズに行えた
- 26. 26 まとめ • 方策はシミュレーション上のみで学習された • 既存のSOTAのモデルベース手法より優れた性能を示した • より、少ないエネルギー、計算量ながら、より高速で高い精度 を示した • 本論文は多脚ロボットの汎用的なコントローラの獲得への一歩 である