More Related Content
What's hot
What's hot (20)
Viewers also liked
Recently uploaded
BRNNとは
- 2. BRNNとは？ • Bi-directional RNN（双方向性RNN）のこと。 • そもそもRNNは順伝播において過去から未来へと一方向のみ。BRNNは過去から未来への順伝 播と、未来から過去への逆伝播を組み合わせたもの。 • 通常のRNNより性能がいいと言われている。 それってどういうこと？通常のRNNとどう違うの？
- 3. まずは通常のRNNのしくみ • 画像 を入力する場合を考える。 • 通常のRNNはこのようになる。 t=1, ２ 出力層 入力層中間層 4 2 3 6 t=1, ２ 0.2 0.9 0.8 0.1 過去から未来へと続く順方向データのみが入力される 入力順→ 4 2 3 6 é ë ê ù û ú
- 4. BRNNのしくみ • 画像 を入力する場合を考える。 • BRNNは逆向きの入力データが入る部分が加わる。 t=1, ２ 出力層 入力層中間層 4 2 3 6 t=1, ２ 0.3 0.6 0.7 0.4 入力層および中間層では、順方向（過去から未来）の部分と 逆方向（未来から過去）の部分が独立している 入力順→ 4 2 3 6 é ë ê ù û ú 2 4 6 3 ひっくり返る
- 5. BRNNにおける順伝播の計算はどうな る？• 入力層、中間層においては、順方向（過去から未来）の部分は通常のRNNと 同じ。出力層においては逆方向（未来から過去）の部分と統合される。 t=1, ２ 出力層 入力層中間層 4 2 3 6 t=1, ２ 0.3 0.6 0.7 0.4 入力順→ uk t = wkj f zj f ,t + j å wkj' b zj' b,t j' å u0 t u1 t z1 b,t 0 1 0 1 z0 b,t z0 f ,t z1 f ,t
- 6. 逆方向部分の順伝播計算はどうな る？• 入力層、中間層においては、逆方向（未来から過去）の部分は通常のRNNと 同じく計算する。出力層において順方向（過去から未来）の部分と統合される。 t=1, ２ 出力層 入力層中間層 t=1, ２ 0.3 0.6 0.7 0.4 入力順→ uk out,t = wkj f zj f ,t + j å wkj' b zj' b,t j' å u0 out,t u1 out,t 0 1 z1 f ,t z0 f ,t z1 b,t z0 b,t 0 1 2 4 6 3
- 7. BRNNにおける逆伝播の計算はどうな る？• もっともシンプルなモデルで考える。 • t=1,2の2時刻で考える。 出力層 入力層中間層 順方向 逆方向
- 9. t=2における中間層のδは？ • 次にt=2における中間層のδが求まる。 • 例えば、 は以下。 出力層 入力層中間層 順方向 逆方向 t=2 順方向 逆方向 t=1 dout,2 d fmid,2 dbmid,2 ufmid,2 ubmid,2 d fmid,2 uout,2
- 10. t=1における中間層のδは？ • 次にt=1における中間層のδが求まる。 • 例えば、 は以下のように、t=2の順方向中間層の およびt=1の出力層 の から求まる。 順方向 逆方向 t=2 順方向 逆方向 t=1 dout,1 d fmid,1 = ¶E ¶ufmid,1 = ¶E ¶ufmid,2 ¶ufmid,2 ¶ufmid,1 + ¶E ¶uout,1 ¶uout,1 ¶ufmid,1 d fmid,2 ufmid,1 ubmid,1 d fmid,1 uout,1 dbmid,1 d fmid,1 dbmid,2 d fmid,2 dout,1 ufmid,2
- 11. t=1における中間層のδは？ 順方向 逆方向 t=2 順方向 逆方向 t=1 dout,1 d fmid,2 ufmid,1 ubmid,1 uout,1 dbmid,1 =d fmid,2 wfmidR f ' ufmid,1 ( )+dout,1 wfout f ' ufmid,1 ( ) d fmid,1 dbmid,2 ufmid,2
- 12. 入力層のδは？ 順方向 逆方向 t=2 順方向 逆方向 t=1 d fmid,2 dbmid,1 d fmid,1 dbmid,2 入力層のδは中間層のδからそれぞれ求まる。 d fin,2 dbin,2 dbin,1 d fin,1 これで全てのδが求まる。よって全ての重みの更新量も求まる。