AWS DeepRacerリーグ体験記

AWS DeepRacerリーグ体験記
JAWS-UG名古屋筒井孝典（つついたかのり）
20190620 JAWS-UG 名古屋 AWS Summit Tokyo 振り返り 1
@nori2takanori

AWS DeepRacer リーグは、AWS Summit 会場で開催される「Summit
サーキット・リーグ」とDeepRacerコンソール上のオンラインで開催される
「バーチャル・サーキット・リーグ」の２つ用意されています。
AWS DeepRacer リーグ参加ガイド
https://aws.amazon.com/jp/summits/tokyo-2019/deepracer-league-guide/
上記のルールにのっとり、自分で作った強化学習モデルをみんなでタイムトラ
イアルを競います。
今回の体験記は、Summitサーキット・リーグの方です。
ごちゃごちゃ言わずに実際の動画を見た方が、雰囲気がわかるはず。
AWS DeepRacerリーグとは

僕の1回目走行映像抜粋
フルバージョンは
懇親会LTで流します
https://demoopen.s3-ap-northeast-1.amazonaws.com/20190620jawsugnagoya/deepracer.mp4

なんと暫定1位でインタビュー
映像は
懇親会LTで流します

完全に浮かれモード
その後、DNPチームの逆襲により、
過去の人になるとはまだ知らない

最終結果
浮かれてすみませんでした
1位は7.44秒（世界新）
https://d3akhm1epsal2g.cloudfr
ont.net/bigscreen/?event=tokyo
以下のサイトでランキング確認
できます

現場からは、以上です。
熱気が伝わったところで、これからお勉強

AWS DeepRacerとは
・強化学習により駆動する1/18スケールの完全自走型
レーシングカー
・実機がなくてもできるように、3Dレーシングシミュ
レーターを用意
簡単にいうと、
強化学習を手軽に試せる大人のおもちゃ

強化学習とは
・ある環境下のエージェントが現在の状態を観測し、
取るべき行動を決定する問題を扱う機械学習の一種
・エージェントは行動を選択することで環境から報
酬を得る
・強化学習は一連の行動を通じて報酬が最も多く得
られるような方策（policy）を学習する
By Wikipedia

用語整理（DeepRacerとの関係）
エージェント： DeepRacer
環境：トラック
状態：どこにいるか
（DeepRacerの視点カメラ画像）
行動：どう進むか
（速度とステアリング角度）
報酬：報酬関数で設定する
（ex）中心線に近いと+1
トラック外れる-1

強化学習とは（DeepRacer用語で変換）
・現在のDeepRacerがコース上のどこにいるかカメ
ラ画像を取得して、次の行動（速度とステアリング角
度）を決定する。（くりかえし）
・行動に対しての次のトラック情報から報酬関数で報
酬をもらう。
・いろいろの行動をランダムで試していって、一番累
積報酬が得られる行動をとる学習モデルをつくる

実際にやってみよう
※バージニア北部リージョンにします
マネジメントコンソールでDeepRacerを選択

①モデル名、説明
ガチに頑張る場合は、そのモデルが、どのように設定したかは、
別途シートで管理するのが良い（試しの場合はこれでOK）

②学習トラック選択
バーチャルリーグは、毎月指定コース
が変わるけど、Summitサミットリー
グでは、「re:Invent 2018」コース
を指定

③行動選択
ステアリング最大角
ステアリング角分割数
最大速度
速度分割数
を指定
分割数を多くすると、学
習に必要な時間も長くな
る傾向

④行動リスト確認（自動生成）
先程の指定情報から、行動リストができます

⑤報酬関数作成
Pythonで記述
サンプルは用意さ
れています。
＜ノウハウ＞
・Print文で詳細
ログをはいておく
・各報酬を加算す
る場合は、それぞ
れの報酬がどの割
合できいてくるか
をPrint文ではい
ておこう

⑤報酬関数に使用できる変数たち(1)

https://github.com/aws-samples/aws-deepracer-
workshops/blob/master/Workshops/2019-AWSSummits-
AWSDeepRacerService/Lab1/Readme-Japanese.md

⑥ハイパーパラメータ編集
最初はデフォルトで良いかも

⑦停止条件（学習時間）を設定
行動リストが多いと長くしないと、良い結果でないです。
結果を見ながら伸ばしていくでよいかも

⑧学習状況を確認
報酬の時系列グラフ
https://demoopen.s3-ap-northeast-1.amazonaws.com/20190620jawsugnagoya/deepracertraning.mp4

⑨RoboMakerで確認
RoboMaker
↓
シミュレーションジョ
ブ
↓
Gazebo
上からみることできる
（操作注意）
グリグリ動かすとよく
ない影響でます。
下のアイコンで視線変
えるレベルがよい
https://demoopen.s3-ap-northeast-1.amazonaws.com/20190620jawsugnagoya/robomakertraning.mp4

⑩評価結果
Trial resultsが
100%で1周コース
アウトせずにはしれ
たことになる

⑪モデルダウンロード、セット
Summitサーキットの場合、作成済モデルをダウンロードして、PIT Crewに
USBにいれて渡します。
あとは、セットしてくれるのを待つ。

⑫いざ、走行
バーチャルサーキットと違い、Summitサーキットの場合、タブレットで最大速
度調整（%）という指定します。
実機の個体差や吸収するためでしょうが、結構これをどの値にするか大事です。
バーチャルで動いていたような速度、挙動になるまで4分間で％をちょっとづつ
いじる。
40%から65%くらいまで変更しましたが、たいぶ速度変わりました。

世界トップの走りを見てみよう
•7.7秒
https://twitter.com/i/status/113906979662701
7733
•7.4秒（世界新）
https://twitter.com/sunilmallya/status/1139383
462064902144

まとめ
・意外に簡単に強化学習が試せれます。
・意外にお金もかかります。一回の学習で300円くらい。
・中毒性があります。
・一度に2つ以上学習できない配慮はしてくれている。
・世界中のユーザーと戦えるのは楽しい
・順番待ち（2時間）が大変でした。
・DeepRacer同好会（slack）で情報共有おすすめ
Let’s Try DeepRacer

AWS DeepRacerリーグ体験記

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to AWS DeepRacerリーグ体験記

Similar to AWS DeepRacerリーグ体験記 (20)

More from TakanoriTsutsui

More from TakanoriTsutsui (8)

AWS DeepRacerリーグ体験記