Recommended
Recommended
More Related Content
More from harmonylab
More from harmonylab (20)
Recently uploaded
Recently uploaded (9)
EMERGENT TOOL USE FROM MULTI-AGENT AUTOCURRICULA
- 1. EMERGENT TOOL USE FROM MULTI-AGENT AUTOCURRICULA 調和系工学研究室 B4 織田智矢 OpenAI HP: https://openai.com/blog/emergent-tool-use/ Paper: https://arxiv.org/abs/1909.07528 Code: https://github.com/openai/multi-agent-emergence-environments
- 2. 論文情報 著者 • Bowen Baker, Ingmar Kanitscheider, Todor Markov, Yi Wu, Glenn Powell, Bob McGrew “Emergent Tool Use From Multi-Agent Autocurricula”, 2019 概要 • チーム戦のかくれんぼを通じて，相互の戦略を獲得できたとする研究 • このAUTOCURRICULAは他の手法（内発的動機付けを用いたものなど） より人間に関連するスキルを中心とする行動を獲得できたと主張
- 3. 背景 • 近年ではエージェントの自己対戦により多くのタスクを達成 • しかしながら強化学習でそのタスク専用の報酬関数を設計したり，データ を収集するのは大変 • 内部的動機付けによる探索は，環境の複雑さのスケールに比べ不十分であ る • Visual-baseな外部的報酬のみで人間的な方策を自動で獲得 外部的動機付け：エージェントが外（環境など）から与えられる報酬 - 目的地へ到達 +1.0，死亡 -1.0 内部的動機付け：特定の基準に沿ってエージェント自体によって生成される報酬 - 新しい道を発見 +1.0，同じ道を通った -1.0
- 4. 強化学習おさらい 強化学習の枠組み • s : 状態 (state) • a : 行動 (action) • r : 報酬 (reward) • エージェントがある行動atを行って， 環境から次の状態st+1と報酬rt+1を受け取る という枠組みが基本である 引用:Pythonではじめる強化学習
- 5. かくれんぼの環境 SeekersチームとHidersチームで構成 • 最初にhidersは逃げる時間を持つ エージェントについて 観測できるもの(Observation) • 自身のx,y座標・速度・サイズ（障害物と他のエージェント） • 135度の視線・30本のLiDAR • 同じチームのエージェント・残っている逃げる時間 動かせるもの（Action) • x,yへ方向への移動の力，ｚへのトルク（回転） • 物体を掴む{0,1}，物体を固定する{0,1} 1~3人 1~3人 seekers hiders 視線 LiDAR Agent(両チーム共通）
- 6. かくれんぼの環境 MUJOCO物理エンジン上でシミュレート ランダム要素 • それぞれのエージェントの数 • 3~9の動く物体(最低3つは細長いやつ) • 2つの動く傾斜台 • 部屋と動かない壁 Episodeの冒頭40%はSeekersを固定 してHidersが逃げる時間
- 7. 報酬設計 チーム全体での報酬 • Hidersは全員Seekersに見られていなければ+1.0 • 一人でも見られていたら-1.0 • Seekersはその逆の報酬をもらう エージェント自体の報酬 • Play areaの外にでたらペナルティ • Hidersの逃げる時間の時はお互い報酬0
- 8. 方策の獲得 • すべてのエージェントは同じ方策のパラ メータを共有 • 各エージェントはPPOで強化学習 • 学習はDistributed rapid（複数CPUで Episodeを観測しGPUでOptimize) • 方策はEntityをEmbedしてSelf-attention +LSTM • Embedの段階ではエージェントが見えて ない物体も含めて計算 • 5％の確率で過去の方策で行動 • などその他方策を残留させるような工夫 多数
- 9. 獲得した方策 • 中心のグラフはチームの獲得 した報酬 • エージェントはいたちごっこ 式に，6つ異なる方策を創出 • 自由な環境と単純な報酬のみ で複雑な協調行動を達成 • 強化学習によって将来的に複 雑で知的な動作を獲得できる ことを示唆
- 10. 結果 獲得した方策 特にHidersの方に協調行動が多く 見られた （要塞を作る ときに物体を渡し てあげるなど） 物体の上に乗って移動させるのは 予想外だった （物体と共に移動できるように なっていたため，このようなこと が起きた） Seekers Hiders 追いかける 物体を使って要塞を作る(25M) 傾斜台を使って要塞へ侵入する(75M) 要塞の中に傾斜台を入れロックする(85M) 物体の上に乗って要塞へ侵入する(380M) すべての物体をロックする Prep は冒頭の逃げる時間 ()はEpisode数
- 12. 評価 環境が複雑になると定量的評価が難しい 5つの別のタスクを転移学習によって評価した(最後の層のみ初期化） • 同じ環境で，同じ{Action, Observation}空間 • 2つは認知・記憶に関するタスク • 3つは操作に関するタスク 収束の速さとスコアで計測 • 5つのうち，3つはpretrainモデルが最も収束が早くスコアが良い
- 13. 意図しない行動 環境の脆弱性をつくような行動も見られた ボックスの上に乗り移動 • 物体と同時に移動できるため 要塞のまま遠くに移動 • プレイエリアを離れず遠くに行ける 物理エンジンのバグを悪用 • 傾斜台をプレイエリアから削除 • ある条件を満たした壁を走ると大ジャンプ
- 14. 結論 • かんたんな報酬設計のみで協調行動を獲得できた • マルチエージェントによって人間的な行動を獲得できる • 内部的な動機付けは環境が複雑になるほど性能が出ない • 協調行動の定量的評価が難しい