[DL輪読会]Understanding and Controlling Memory in Recurrent Neural Networks (ICML2019)
•
0 likes•195 views
2019/07/19 Deep Learning JP: http://deeplearning.jp/seminar-2/
![1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
“Understanding and Controlling Memory in
Recurrent Neural Networks (ICML2019)”
Naoki Nonaka](https://image.slidesharecdn.com/190719nonaka-190808100959/85/DL-Understanding-and-Controlling-Memory-in-Recurrent-Neural-Networks-ICML2019-1-320.jpg)
Recommended
Recommended
More Related Content
More from Deep Learning JP
More from Deep Learning JP (20)
Recently uploaded
Recently uploaded (12)
[DL輪読会]Understanding and Controlling Memory in Recurrent Neural Networks (ICML2019)
- 1. 1 DEEP LEARNING JP [DL Papers] http://deeplearning.jp/ “Understanding and Controlling Memory in Recurrent Neural Networks (ICML2019)” Naoki Nonaka
- 3. 3 書書誌誌情情報報 • OR���������� • ��������������������������������������� ����� �������������������������������� ������������������
- 4. 4 背背景景 RNNの隠れ状態とメモリの関係 明らかでない点 n 動的な観測値が精度にどのように影響するか n メモリがどのように形成されるか n メモリを操作できるのか => 分析用のタスクを用いて，隠れ状態とメモリの関係を分析
- 5. 5 分分析析用用タタススクク概概要要 時刻taおよびts n ts: 指定の画像を入れる n ta: 入力された画像に対応するクラスラベルを出力する n ts, ta ~ U[1, Tmax] s.t. ta ‒ ts > 4の制約 入力(画像とトリガーのペア) n ts（画像, off） n ta（ノイズ, on） n その他（ノイズ, off） タスク：ノイズと画像が含まれる系列データから任意のタイミングでクラスラベルを出力する
- 6. 6 学学習習手手順順 DeCuVoCu そのままでは学習がうまくいかない => カリキュラム学習（簡単な問題から始め徐々に難しく） Vocabulary curriculum クラス数を2から始め，徐々に増やす Delay curriculum Delayを徐々に増やす
- 7. 7 分分析析 Delayを大きくした場合の挙動の観察 Hidden stateの変化の観察 Slow pointと精度の関係 (Slow pointを考慮した)長期記憶の改善
- 8. 8 DDeellaayy増増大大 1. Delayを大きくすると精度は低下 2. Delayが大でもランダムより良い精度 3. 精度は常に > aDeCu VoCu 仮説 - 記憶が頑健 (= 固定の点が存在) => 精度は落ちず - 記憶が一時的 => Delayの増大とともに精度低下 Delayを大きくしても，ランダムより精度が高いこと => （少なくとも一部では）入力に対応する頑健な点が存在するはず
- 9. 9 分分析析 Delayを大きくした場合の挙動の観察 Hidden stateの変化の観察 Slow pointと精度の関係 (Slow pointを考慮した)長期記憶の改善 入力に対応する頑健な点の存在を示唆
- 10. 10 HHiiddddeenn ssttaatteeのの変変化化のの観観察察 DeCu VoCu (主成分分析で)ネットワークの活性を可視化 ΔT = 20 p クラスごとにある程度まとまっている ΔT = 1000 p クラスごとに1点に収束している p 点の分散は VoCu > DeCu 可視化された点を定量的に評価
- 11. 11 SSllooww ppooiinntt SSllooww ppooiinntt: SpeedのLocal minimum n ξ：GRUまたはLSTMの隠れ状態 n F(ξ, I)：入力Iを受け取ったときに計算される次の時刻における隠れ状態 Speed：現在の隠れ状態と次の時刻の隠れ状態の差の2乗ノルム
- 12. 12 分分析析 Delayを大きくした場合の挙動の観察 Hidden stateの変化の観察 Slow pointと精度の関係 (Slow pointを考慮した)長期記憶の改善 入力に対応する頑健な点の存在を示唆 Slow pointの導出（Speedのlocal minimum）
- 13. 13 SSllooww ppooiinnttとと精精度度のの関関係係 1. クラス毎のSlow pointを算出 2. Speedと予測精度をPlot Speedが小さいほど，予測精度が高い
- 14. 14 分分析析 Delayを大きくした場合の挙動の観察 Hidden stateの変化の観察 Slow pointと精度の関係 (Slow pointを考慮した)長期記憶の改善 入力に対応する頑健な点の存在を示唆 クラスごとに対応する点が存在 Speedが小さいほど，精度が良い
- 15. 15 SSllooww ppooiinntt 学習過程とSpeedの変遷 n VoCu: 新しいクラスが追加されるとspeedが大きく変化 n DeCu: 徐々にspeedが遅くなる => DeCuでは徐々にspeedが遅くなる = DeCuの方が良い結果となる
- 16. 16 SSllooww ppooiinntt n [8]を追加すると，[5]のslow pointから派生（Figure 5C） n [8]の導入により、5の分類精度が悪化する（Figure 5D） n クラスラベル[5]の精度低下が有意であることを確認（Figure 5E）
- 17. 17 分分析析 Delayを大きくした場合の挙動の観察 Hidden stateの変化の観察 Slow pointと精度の関係 (Slow pointを考慮した)長期記憶の改善 入力に対応する頑健な点の存在を示唆 クラスごとに対応する点が存在 Speedが小さいほど，精度が良い
- 18. 18 （（ssllooww ppooiinnttをを考考慮慮ししたた））長長期期記記憶憶のの改改善善 n ここまでの知見を学習に活かすことを考える n 学習時よりも長いdelayでも対応できるメモリを獲得できるか => 隠れ状態のspeedを制約として導入した損失関数を用いて追加的に学習 Lxent: 通常のクロスエントロピー誤差
- 19. 19 （（ssllooww ppooiinnttをを考考慮慮ししたた））長長期期記記憶憶のの改改善善 Bar(ξ)としては、各クラスに対応するslow pointが理想的 => 制約項の導入で精度の悪化が劇的に抑えられる slow pointの使用はコストが大きい Þ 質量の中心を用いる Þ 精度悪化の抑制は有効
- 20. 20 分分析析 Delayを大きくした場合の挙動の観察 Hidden stateの変化の観察 Slow pointと精度の関係 (Slow pointを考慮した)長期記憶の改善 入力に対応する頑健な点の存在を示唆 クラスごとに対応する点が存在 Speedが小さいほど，精度が良い 制約項の導入で精度改善
- 21. 21 ままととめめ n n n