More Related Content
Similar to Dilated rnn (14)
More from naoto moriyama (7)
Dilated rnn
- 2. 自己紹介
• 森山 直人(もりやま なおと)
• もともと中国国籍 ⇒ 帰化(国籍変更)して日本人に
• パーソルキャリア株式会社でデータ分析しています
• 仕事では大方勾配Boosting、プライベートで遊びで深層学習
• 自然言語処理が好きです
- 9. Dilated Recurrent Neural Networks
(以下dilatedRNNとします)
• IBMとイリノイ大学の共同執筆
• 再帰構造を持つ隠れ層の再帰接続にスキップ機能を導入。
これにより少数の接続で長期の範囲と接続を持たせる
• 複数の隠れ層を構築し、それぞれ異なる時系列を参照
• 平均再帰長とパラメータ効率の概念を新たに提唱し、
モデルの優位性を分析
- 15. 平均再帰長 ※より小さい平均再帰長のほうが優秀
RNNの平均再帰長 𝑑 =
𝑚−1
2
+ log2 𝑚 +
1
𝑚
+ 1
dilatedRNNの平均再帰長 𝑑 =
3𝑚−1
2𝑚 log2 𝑚
+
1
𝑚
+ 1
再帰層mが多いほど、dilatedRNNの理論平均再帰長が減少。
前述の理論に基づいてdilatedRNNの方がより情報を効率よく
記憶できる