Recommended
More Related Content
Similar to Chap.7 pp.553~556
Recently uploaded
Recently uploaded (10)
Chap.7 pp.553~556
- 2. DNNのモデル • 多層パーセプトロン(MLP) • 畳み込みニューラルネットワーク(CNN) • リカレントニューラルネットワーク(RNN) 2
- 3. リカレントニューラルネットワーク(RNN) • 音声認識や言語翻訳に利用されている • 過去と現在の情報を両方用いた状態変化に関する学習 • 次の状態の予測など、状態遷移の認識が可能 従来のDNN：時系列データなど動的なデータを扱うのは難しい 例）音声データの認識や文法解析 RNN：前の時刻の中間層を次の時刻の入力と合わせて学習に用 いる 前後の時系列情報を取り扱う 3
- 5. Long-Short Term Memory(LSTM) • LSTMは短期記憶を長期に渡って活用することが可能 Short-Term memory：短期記憶 Long-term memory：長期記憶 • 階層設計 • セルと呼ばれるモジュールで構成 • 多層パーセプトロンと同様にセルを結合させてDNNsモデル を作成 5
- 6. LSTMセルはどのように結合しているのか Figure 7.10 LSTM cells connected together 入力 (翻訳したい英語) 出力 (翻訳されたスペイン語) 6
- 7. LSTMセルはどのように結合しているのか Figure 7.10からわかること • 英語からスペイン語への翻訳 • セルは左(入力側)から右(出力側)に接続される • セルは時間の経過とともに上位から下位へ展開 • ループ毎に単語は入力される • 長期的な記憶情報と短期的な記憶情報は上位から下位へやり取 りされる 7
- 8. LSTMセルはどのように結合しているのか Figure 7.10からわかること • 入力が終了するまで出力は遅らせる • 入力した順番とは逆に翻訳する • 翻訳された最新の単語を次の入力として使用する • 「now is the time」が「ahora es el momento」となる 8
- 9. 長期的？短期的？ 言語モデルが以前の単語に基づいて、次の単語の予測を行う場合 例) Q.「the clouds are in the sky,」の最後の単語は？ A. sky 「the clouds are in the までの文章で答えは明白 関連する情報とそれを必要とする場所のギャップが小さい →短期的(Short Term) 9
- 10. 長期的？短期的？ 言語モデルが以前の単語に基づいて、次の単語の予測を行う場合 例) Q. 「I grew up in France… I speak fluent French. 」の最後 の単語は？ 直近の情報は言語の名前を示唆している ↳言語を絞り込むには France が必要 関連する情報とそれを必要とする場所のギャップが非常に大きい →長期的(Long Term) 10
- 11. 簡略化したモデルを参考に • 英語の単語列と、それを翻訳したスペイン語の単語列を与えて 変換できるモデルを学習する 翻訳元の単語列を入力し、<end_input>を入力することで翻訳 文を得るモードにする now is the time <end_input> 出力 入力 時間 11
- 12. 簡略化したモデルを参考に • 逆順での翻訳が行われる • 翻訳文が1単語ずつ出力されてくるため、入力に戻すと次の単 語が出てくる <end_input>が出力されるまで繰り返し、それまでの出力をつなげたも のが翻訳文となる momento <end_input> momento el es el es ahora ahora <end_output> 12
- 13. LSTMセルの中身 Figure 7.11 The contents of an LSTM cell 入力 出力 Long Term Memory Short Term Memory Long Term Memory Short Term Memory 13
- 14. 入力ゲート、出力ゲート、忘却ゲートの働き 情報量を制限する働きを持つゲート • 入力ゲート • 出力ゲート →入力したくない、出力したくないデータを除去 • 忘却ゲート →長期記憶情報に沿って何を忘れるかを決定する 入出力をフィルタリング 14
- 16. 重みと演算数を計算する 入出力ペアの次元数(Dim)は同じであるとする • 3つの入力は連結しているため ↳ゲートのベクトルは3×Dim • InputとSTMemoryinは連結しているため ↳入力のベクトルは2×Dim • 出力であるため ↳最も右に位置する乗算は1×Dim 16
- 17. 重みと演算数を計算する セル1つあたりの重みの数 ↳ 3×(3×Dim×Dim)＋(2×Dim×Dim)＋(1×Dim×Dim)=12×Di𝑚2 セル1つあたりの5つのベクトル - 行列乗算の演算数 ↳ 2×セル1つあたりの重みの数=24×Di𝑚2 3つの乗算と1つ加算の演算数 ↳ 4×Dim セル１つあたりの総演算数 ↳ 24×Di𝑚2 +4×Dim 演算数/重さ数：演算強度 ↳ ~2 17
- 20. バッチ学習 ある教師データを読み込ませた学習について -ニューラルネットワークの重み:wi -誤差関数: E 重みの更新は wi+1= wi−ρ 𝜕E 𝜕wi となる ※ρ:学習率 <1 学習データ(入力)がN個あるときに、N≧ 𝑛個のデータを用いて、それぞれの データでの誤差 𝑒の平均を計算し、それをデータ全体の誤差Eと考え E= 1 𝑛 σ1 𝑛 𝑒 を誤差関数と定義し、学習を行う バッチサイズ 20
- 22. 計算効率の向上 Figure 7.7のMLPとFigure7.11のLSTMも 入出力ベクトルをそれぞれ独立した1次元配列のベクト ルとしてではなく行列として計算してやる 𝒙 =(𝑥1,𝑥2, 𝑥3,…,𝑥𝑖) 𝒚 =(𝑦1,𝑦2, 𝑦3,…,𝑦𝑖) 𝒛 =(𝑧1,𝑧2, 𝑧3,…,𝑧𝑖) バッチサイズ：1 ： ： 𝑥1 𝑥2 𝑥3 … 𝑥𝑖 𝑦1 𝑦2 𝑦3 … 𝑦𝑖 𝑧1 𝑧2 𝑧3 … 𝑧𝑖 ： ： バッチサイズ： n ≧ 1 22