Recommended
Recommended
More Related Content
Recently uploaded
Recently uploaded (11)
Featured
Featured (20)
Recurrent Neural Network
- 1. Recurrent Neural Network M1 近井厚三 2016/6/17 1
- 2. 内容 (教科書7.1~7.4) 1. 系列データの分類 RNNの歴史(?)とその必要性 2. RNNの構造 モデル説明 3. 順伝播計算 4. 逆伝播計算 2
- 3. 7.1 系列データの分類 • 系列データとは？ データある時系列に従っている要素の順序付き集合 →このデータを系列データと定義する • 種類 音声データ，テキストデータ，etc… 音素 (phoneme) や言語 (language) などのデータは過去の入力に依存 →今までのニューラルネットにおいて，入力は個々に独立 →データによって，その仮説が正しいとは限らない 3
- 7. 7.3 順伝播計算 • 単純なRNNモデル (時刻𝑡の中間層への入力) 7入力層 中間層 出力層 時刻𝑡でのRNN (時刻𝑡の入力層からの入力) (時刻𝑡 − 1の中間層への帰還路)= + 𝑢𝑗 𝑡 = 𝑖 𝑤𝑗𝑖 (𝑖𝑛) 𝑥𝑖 𝑡 𝑗′ 𝑤𝑗𝑗′ 𝑧𝑗′ 𝑡−1 + 𝑣 𝑘 𝑡 = 𝑗 𝑤 𝑘𝑗 (𝑜𝑢𝑡) 𝑧𝑗 𝑡 𝑧𝑗 𝑡 = 𝑓(𝑢𝑗 𝑡 ) 𝒚 𝑡 = 𝒇 𝑜𝑢𝑡 𝒗 𝑡 = 𝒇 𝑜𝑢𝑡 (𝑾(𝑜𝑢𝑡) 𝒛 𝑡 )
- 8. 7.4 逆伝播計算 • BPTT法 RNNを時間方向に展開 →順伝播型ニューラルネットワークとして扱うことが可能 誤差逆伝播法を用いることができる 8 𝑧 𝑡 𝑥 𝑡 𝑦 𝑡 𝑧1 𝑥1 𝑦1 𝑧2 𝑥2 𝑦2 𝑧3 𝑥3 𝑦3 𝑧4 𝑥4 𝑦4 𝑧 𝑡 𝑥 𝑡 𝑦 𝑡 … 時刻𝑡 時刻𝑡時刻1 時刻2 時刻3 時刻4 𝑊 𝑜𝑢𝑡 𝑊 𝑖𝑛 𝑊 𝑊 𝑊 𝑊 𝑊 𝑊 𝑖𝑛 𝑊 𝑖𝑛 𝑊 𝑖𝑛 𝑊 𝑖𝑛 𝑊 𝑖𝑛 𝑊 𝑜𝑢𝑡 𝑊 𝑜𝑢𝑡 𝑊 𝑜𝑢𝑡 𝑊 𝑜𝑢𝑡 𝑊 𝑜𝑢𝑡
- 9. 7.4 逆伝播計算 • 伝播計算に使用する𝛿の計算 9 𝛿逆伝播式 (4章参照) 𝛿の定義を反映 (4章参照) 𝑢𝑗 𝑡 𝑣 𝑘 𝑡
- 10. 7.4 逆伝播計算 • 各重み勾配式 10 この値と学習係数を かけた値を元の重み から引いてめでたし 𝑢𝑗 𝑡 = 𝑖 𝑤𝑗𝑖 (𝑖𝑛) 𝑥𝑖 𝑡 + 𝑗′ 𝑤𝑗𝑗′ 𝑧𝑗′ 𝑡−1 𝑣 𝑘 𝑡 = 𝑗 𝑤 𝑘𝑗 (𝑜𝑢𝑡) 𝑧𝑗 𝑡
Editor's Notes
- 系列データ＝順序関係のある要素の集まり
- x1~xtからytを予測する問題に帰着される 文章は単語の自由な組み合わせで表現されているが，文法や文脈などの縛りを受けているとも取れる．
- 系列データ＝順序関係のある要素の集まり
- 系列データ＝順序関係のある要素の集まり
- x1~xtからytを予測する問題に帰着される 文章は単語の自由な組み合わせで表現されているが，文法や文脈などの縛りを受けているとも取れる．
- RTRL法(メモリ効率が良い)とBPTT法(計算時間が早い)
- デルタの定義を同様にRNNにも反映してやる． t=T+1の時は中間層のデルタは0とする． デルタoutの値は，誤差関数によって求め方が異なる (4.4を参照)
- 上二つは左辺分母wがuにのみ関与するため，uで連鎖規則を使う 下は左辺分母wがvにのみ関与するため，vで連鎖規則を用いる