Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

GRU-Prednetを実装してみた(途中経過)

【第2回】全脳アーキテクチャ研究会オフ会 発表資料
PredNetのquadjrさんの実装(https://github.com/quadjr/PredNet)のConvLSTMをほかのRNNに置き換えてみたという話です。(まだまとまった知見は得られてません)

Related Books

Free with a 30 day trial from Scribd

See all
  • Be the first to comment

GRU-Prednetを実装してみた(途中経過)

  1. 1. ConvGRUを用いた PredNetの実装と評価(途中経過) 第2回全脳アーキテクチャ研究会オフ会 2016-06-29 株式会社Nextremer 壹岐 太一
  2. 2. PredNet (*): https://arxiv.org/abs/1605.08104 Deep Predictive Coding Networks for Video Prediction and Unsupervised Learning W. Lotter, G. Kreiman, D. Cox
  3. 3. PredNet (*): https://arxiv.org/abs/1605.08104 Deep Predictive Coding Networks for Video Prediction and Unsupervised Learning W. Lotter, G. Kreiman, D. Cox ここ
  4. 4. LSTMとGRU LSTM(Long-Short Term Memory) ポピュラーなRNNの拡張. メモリーセルを導入 3つのゲート(input, forget, output) LSTM以外の構造はないの? GRU(Gated Reccurent Unit)はその一つ.
  5. 5. RNN Conventional Graph Deep Gate Recurrent Neural Network • RNN Conventional Graphの導入 • Vanilla RNN, LSTM, GRUの比較 • RNNの変種SUG, DSUGの提案 Authors: Yuan Gao (University of Helsinki), Dorota Glowacka (University of Helsinki); 2016 Vanilla RNN RNN Conventional Graphによる比較 LSTM GRU ⨂: Elementwise product ⨁: Tensor product + bias
  6. 6. LSTM ⨂: Elementwise product ⨁: Tensor product i-gate f-gate o-gate
  7. 7. GRU ⨂: Elementwise product ⨁: Tensor product r-gate u-gate どれくらい前回 の出力を入れて 候補を作るか前回の出力と候補の 合わせ具合 ○ 計算量: 少ない ○ パラメータ: 少ない △ LSTMとの性能差: まだはっきりしていない PredNetに乗せると規模の拡大に多少は有効 ?
  8. 8. GRU-PredNet まだよくわかっていないので作って調べてみる quadjr/PredNetをベースにGRU-PredNetを実装しました。 コード: https://github.com/cavy-t/GRU-PredNet まだ詳しく見れていませんが、テスト進捗を… テストの条件 • KITTIのデータ 2011_09_26_drive_0001_sync.zip image_02 108枚 (中央の160*128) • 10 枚ごとにupdate • 100エポック相当学習 • 紅莉栖 (gpu1個)
  9. 9. (LSTM)PredNet
  10. 10. (LSTM)PredNet 8 18 28 38 48 入力 予想 正解
  11. 11. (LSTM)PredNet 991 1001 1011 1021 1031 入力 予想 正解
  12. 12. (LSTM)PredNet 10651 10661 10671 10681 10691 入力 予想 正解
  13. 13. GRU-PredNet
  14. 14. GRU-PredNet 8 18 28 38 48 入力 予想 正解
  15. 15. GRU-PredNet 991 1001 1011 1021 1031 入力 予想 正解
  16. 16. GRU-PredNet 10651 10661 10671 10681 10691 入力 予想 正解
  17. 17. LSTM / GRU-PredNet 比較
  18. 18. LSTM / GRU-PredNet 10651 10661 10671 10681 10691 LSTM GRU 正解
  19. 19. LSTM / GRU-PredNet 10651 10661 10671 10681 10691 LSTM GRU 正解 見た目ではそれほど違いがない。 (小さいし…)
  20. 20. ロスの変化 LSTM, GRUそれぞれに関して3回 • LSTMもGRUも学習しにくい時があるらしい. • LSTMの方が到達点は小さそう. • この結果を見る限りGRUの方が不安定?
  21. 21. [参考]0.1付近で停滞する時 0.1付近で学習が停滞している時, LSTM/GRU共に色がうまく表現できていないケース 1205 1302 1409 1506 LSTM 予想 正解 11081001 形はわかるが色味が違う
  22. 22. [参考]0.1付近で停滞する時 0.1付近で学習が停滞している時, LSTM/GRU共に色がうまく表現できていないケース 7712 7802 7909 8006 GRU 予想 正解 76057508 形はわかるが色味が違う
  23. 23. [参考]0.1付近で停滞する時 7712 7802 7909 8006 正解 76057508 色味の学習が済むまでは入力画像に近い画像を出している。
  24. 24. 計算時間・モデルの大きさ LSTM, GRUそれぞれに関して3回 (MB) 10000.model 10000.state LSTM 31 63 GRU 20 37 書き出された Chainer用のファイルのサイズ 式に出てきたWの数 11:6 と似た傾向
  25. 25. まとめ • GRU-PredNetを実装 • KITTIの1つの例でテスト • 学習後の予想画像を目視した場合LSTMとの違いはあまりわからない. • Lossで見るとLSTMの方が小さい値に到達している. • 計算の速さ, モデルのファイル容量ではGRUの方が有利. • BPTTの深さや画像の大きさを稼ぎたい時にはGRU-PredNetも候補に入れてみると良いかも.
  26. 26. RNNもいれる GRURNN LSTM 10000.model 10000.state 8.8 MB 15.2 MB 20 MB 37 MB 37 MB 63 MB

    Be the first to comment

    Login to see the comments

  • MasayukiNakazawa

    Jul. 2, 2016
  • hammerpicopico

    Aug. 26, 2017
  • MasakiOkamura

    Nov. 20, 2018
  • TOMMYLINK1

    May. 4, 2021

【第2回】全脳アーキテクチャ研究会オフ会 発表資料 PredNetのquadjrさんの実装(https://github.com/quadjr/PredNet)のConvLSTMをほかのRNNに置き換えてみたという話です。(まだまとまった知見は得られてません)

Views

Total views

2,676

On Slideshare

0

From embeds

0

Number of embeds

291

Actions

Downloads

21

Shares

0

Comments

0

Likes

4

×