https://chainer.connpass.com/event/81556/ で発表

1. ChainerRLをColaboratoryで動かしてみ
た
(株)ACCESS
池内康樹

2. ChainerRLとは ● Chainerを使った深層
強化学習ライブラリ
● 実装が難しい強化学
習のアルゴリズムが
実装済み！
● 学習環境を変えて簡
単に試せる

3. 強化学習とは
ある環境内におけるエージェントが、
現在の状態を観測し、取るべき行動
を決定する問題を扱う機械学習の一
種。
エージェントは行動を通じて、報酬が
最も沢山得られるように学習する
Portions of this page are modifications based on work created and shared by Google and used according to terms
described in the Creative Commons 3.0 Attribution License.
エージェント
環境
報酬状態

4. ブロック崩しを
強化学習で学習させる
とこうなる

5. 強化学習の
つらいところ
● アルゴリズムが難しくて実装
が辛い
● 分類タスクなど教師あり学習
と違って、入力は乱数（と推論
した結果）
○ 学習が進んでいない理由が
わかりにくい
● 実行環境の整備が面倒
○ GPUが必要
○ 画面が見られないと
うまくいっているかわからない

6. そこで Colaboratory
Googleが提供してい
る、秒速でGPUマシンと
Jupyter Notebook実
行環境が手に入る夢の
ようなサービス

7. そこで Colaboratory
Googleが提供してい
る、秒速でGPUマシンと
Jupyter Notebook実
行環境が手に入る夢の
ようなサービス
● 普通、Deep Learningをしよ
うとおもうと、
AWSで動かして12時間で
1000円ほどかかったり、
17万円のPCを組み立てた
り、お金がかかかる
● Colaboratoryだと無料！
○ ただし、12時間以上のタスクは
実行できない

8. とはいえ、Jupyter
Notebook では
画面確認ができない
画像をColaboratory のノー
トブック上で、アニメーション
で表示

9. デモ ● 倒立振子の例（ChainerRLの
Quick Start Guide）
https://goo.gl/Hz3KLB
○ Qiitaの記事「ChainerRL を
Colaboratory で動かす」を参照
● Atari ブロック崩しの例
https://goo.gl/DnuxpS
○ Qiitaの記事「ChainerRL を使って
atari のゲームの学習を
Colaboratory 上でする」を参照