PyData.Okinawa meetup23で利用したLTの資料です

1. OpenAI
universe-starter-agent
触ってみた

2. 今回の目標
- universe-starter-agentでAtari pongの学習をさせて遊んでみる

3. 学習の最終目標
- 強化学習を利用してアプリゲームなどのレベル上げを自動化したい

6. OpenAI / universe とは？
- AIの知能を測定・学習するためのソフトウェアプラットフォーム
- Universe上でAIエージェントは人間と同じようにコンピュータを利用することで学習
を行わせることができる

7. OpenAI / universe-starter-agent とは？
- 以前のPyData.Okinawa meetupでも利用した、universeの環境に加えて、
TensorFlowで実装されたA3Cアルゴリズムが最初から実装されている
- さまざまなuniverse上の環境を解決できるエージェントらしいが、実際はAtari pong
の環境に最適化されているっぽい

8. 環境構築 → プロセスの起動
- リポジトリのREADMEを参照しながらやったらすぐできた
- 環境構築がうまくいけばanacondaの仮想環境内でtmuxのセッションが立ち上がる

9. ps：別々のワーカ間でパラメータを同期させるパラメータサーバ

10. w-0：方策勾配法で強化学習を行うプロセス（なるほどわからん）

11. w-1：環境から受け取ったランダムなノイズを利用するプロセス（なるほどわからん）

12. tb：TenorBoardを動かすプロセス

13. htop：マシンにかかる負荷を監視できる

14. 学習のようす
- 53000ステップ目付近
- 160000ステップ目付近

15. 学習のようす：TensorBoardの global/reward_per_time

16. 所感
- 強化学習の理論の勉強ちょうむずかしそう
- 2014年に購入した4CoreのMacを使ってるんですが、はやくもつらくなってきた。。
- 今度はマシンスペックに余裕のある環境（EC2）で構築してみる

17. 大変だったこと
- 最近飼い始めたねこ(むぎ君)が邪魔してなかなか作業がはかどらなかった
- ねこと強化学習の勉強は相性が悪い可能性あり（突然のCtrl-C！）

18. ねこのハトムギ君

19. これからやることリスト
- スペックの高いマシンでの
- A3Cアルゴリズムの勉強
- universe-starter-agentのREADMEによると、さまざまな環境で使えるようなので
ほかのゲームでも学習を試してみる
- ねこと一緒に住んでても快適にコーディングできる術を考える

20. 参考文献
- universe-starter-agent
- https://github.com/openai/universe-starter-agent
- OpenAI UniverseでするAtari Pongの強化学習
- http://qiita.com/TSY/items/9ef0db18d40233f023e8
- A3Cという強化学習アルゴリズムで遊んでみた話
- https://www.slideshare.net/mooopan/a3c-62170605

21. さいごに
- おもしろそうだなと思ってくれたそこのかた！
- 一緒に勉強しましょう！（土下座）

23. GitHubのPyData.Okinawaリポジトリにあ
るJupyter notebookがDeadKernelになる
人へ

25. つらみ(´・ω・｀)

26. 解決方法
- 気になる方は”IT系バンドマンの日常”でけんさくけんさくぅ

27. いつもよりはフランクな雰囲気だと
思いますのでなんでも聞いてください