ae-7. 予測・判断（時系列データ，リカレントニューラルネットワーク，LSTM）
•Download as PPTX, PDF•
0 likes•970 views
トピックス：時系列データ, リカレントニューラルネットワーク, LSTM, ディープラーニング, 人工知能 ディープラーニング（スライドとプログラム例，Python を使用）（全１５回） https://www.kkaneko.jp/ai/ae/index.html 金子邦彦研究室ホームページ https://www.kkaneko.jp/index.html
Recommended
More Related Content
Similar to ae-7. 予測・判断（時系列データ，リカレントニューラルネットワーク，LSTM）
More from kunihikokaneko1
More from kunihikokaneko1 (20)
ae-7. 予測・判断（時系列データ，リカレントニューラルネットワーク，LSTM）
- 5. ニューラルネットワークの原理 ニューラルネットワークのユニットは，数理により 動く ① 入力は複数 ② 入力を重みづけし合計をとる ③ その合計から出力値を得る 5 0.3 × 0.1 ⇒ 0.03 -0.5 × 0.8 ⇒ -0.4 0.2 × -0.5 ⇒ -0.1 合計 -0.47 合計に 応じた出力値 0.3846
- 6. ニューラルネットワーク 機械学習の能力を持つ．コンピュータで動作． 次を特徴とする． ① 入力は複数 ② 入力を重みづけし合計をとる ③ その合計から出力値を得る 6 入力 1 2 3 4 5 6 7 8 9 1 1 2 1 3 1 4 0 5 1 6 1 7 0 8 0 9 1 白黒の画像 （画素は 0 または 1） 重み w1 ～ w9 ユニット w1 w2 w3 w4 w5 w6 w7 w8 w9 合計 ・合計に，バイアスという値を 足し引きしたあと，活性化関数 が適用され出力値が得られる． ・活性化関数はさまざまな種類 シグモイド ReLU （2011年発表） 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 合計は， 1 × w1 + 1 × w2 + 1 × w3 + 0 × w4 + 1 × w5 + 1 × w6 + 0 × w7 + 0 × w8 + 1 × w9
- 7. ニューラルネットワークの仕組み 7 入力層 中間層 出力層 〇 はユニット，線は結合 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 全結合のときは， 次層の全ユニッ トと結合する 全結合のときは， 次層の全ユニッ トと結合する • 前の層から結果を受けとって，次の層へ結果を 渡す （他の結合は書 いていない） （他の結合は書 いていない）
- 8. アウトライン 8 番号 項目 7-1 時系列データ 7-2 リカレントニューラルネットワーク 7-3 LSTM 7-4 演習 各自，資料を読み返したり，課題に取り組んだりも行う
- 9. 全体まとめ • 時系列データは，時間とともに，値が変化するデー タ • 時系列データから，周期性やトレンドなどを読み取 ることができる • リカレントニューラルネットワーク • 回帰により，過去の情報を保持 • 時系列データなどデータの並びを扱う能力を持つ 予測，手書き文字認識，音声認識，言葉の理解， 翻訳，テキスト生成，プログラム生成 など • 長期に及ぶ過去の情報の保持のため，LSTM が考案され た 9
- 10. 7-1. 時系列データ 10
- 15. 時系列データの特性 • 周期性： 週単位，月単位，年単位 • イベント： 正月，クリスマス，４月頭 • 長期的な傾向： 増加傾向，一定，減少傾向 • 誤差や，突発的な変化・変動 15
- 16. Facebook イベント数の分析例 16 Taylor SJ, Letham B. 2017. Forecasting at scale. PeerJ Preprints 5:e3190v2 https://doi.org/10.7287/peerj.preprints.3190v2 曜日で色を変えてプロット ⇒ 曜日単の周期性を読み取る
- 17. Facebook イベント数の分析例 17 Taylor SJ, Letham B. 2017. Forecasting at scale. PeerJ Preprints 5:e3190v2 https://doi.org/10.7287/peerj.preprints.3190v2 周期性の分析 トレンドの分析 土日は少ない 年末年始は少ない 2015年からは増加 元データをProphet で処理した結果 元データをProphet で処理した結果
- 26. リカレントニューラルネットワークの応用 • 時系列データを用いた予測 データの並びを扱う • 手書き文字認識 筆記の動きを扱う • 音声認識 音の並びを扱う • 「言葉」の理解，翻訳，テキスト生成，プログラ ム生成 単語の並びを扱う 26
- 27. リカレントニューラルネットワークのニュース 数学に関する教科書を人工知能が学習．数学論文の 偽物等を生成する能力を獲得 27 Andrej Karpathy のブログ記事 The Unreasonable Effectiveness of Recurrent Neural Networks. 2015. http://karpathy.github.io/2015/05/21/rnn-effectiveness/ 人工知能が生成した数学レポート 人工知能が生成した C言語プログラム
- 28. リカレントニューラルネットワークの特質 • 単純なフィードフォワードのニューラルネット ワークより，高い能力を持つ • その分，多くの訓練データを必要とする • 長期に及ぶ過去の情報の保持が困難 （1991年, 1994年に理論的根拠が示された） ⇒ LSTM など， 改良が生まれた 28
- 29. 7-3. LSTM 29
- 31. LSTM 誕生の背景 • リカレントニューラルネットワークでは，長期に 及ぶ過去の情報の保持が困難 （1991年, 1994年に 理論的根拠が示された） • 長期に及ぶ過去の情報を保持しようとすると，問 題が発生（勾配消失や勾配爆発により，学習がう まくいかなくなる） 31 Y Bengio 1, P Simard, P Frasconi, Learning long-term dependencies with gradient descent is difficult, IEEE Trans Neural Netw, 1994;5(2):157-66, doi: 10.1109/72.279181, 1994.
- 32. LSTM の仕組み 32 回帰 入力 出力 状態 状態を受け取る 状態は「メモリセル」に記憶されている ユニットの動作のたびに 状態が変化する LSTM は，リカレント ニューラルネットワークの一種 ２つの機能 ・記憶の持続 (constant error carousel) 1997年発表 ・記憶の忘却 (forget gate) 1999 年発表
- 33. LSTM の特徴 • LSTMは，リカレントニューラルネットワークの 一種 • メモリセルは，状態として，同じ値の長期の記憶 の保持を可能とする • リカレントニューラルネットワークの弱点ともい われる「長期に及ぶ過去の情報の保持が困難」で あることを解決 • 1997, 1999年発表の技術．その後，手書き文字認 識，音声認識，自動翻訳など数多くの応用 33
- 34. 全体まとめ • 時系列データは，時間とともに，値が変化するデー タ • 時系列データから，周期性やトレンドなどを読み取 ることができる • リカレントニューラルネットワーク • 回帰により，過去の情報を保持 • 時系列データなどデータの並びを扱う能力を持つ 予測，手書き文字認識，音声認識，言葉の理解， 翻訳，テキスト生成，プログラム生成 など • 長期に及ぶ過去の情報の保持のため，LSTM が考案され た 34
- 35. 7-4. 演習 35
- 36. Google Colaboratory の使い方概要 ① 36 Google Colaboratory ノートブック コードセルの再実行や変更には， Google アカウントでのログインが必要 実行 コードセル
- 37. テキストセル コードセル コードセル • WEBブラウザでアクセス • コードセルは Python プログラム． 各自の Google アカウント でログインすれば， 変更，再実行可能 Google Colaboratory の使い方概要 ② 37 実行 一番上のコードセルから順々に実行 実行
- 38. ① LSTM による予測 1. 使用するページ: https://colab.research.google.com/drive/1qxh5l0iEP Um-QRTuEBSqBLd3V9KvqItK?usp=sharing 2. 必要な事前知識 LSTM もニューラルネットワークの一種であり，学 習のさせ方などは，ふつうのニューラルネットワー クと同じであること 3. 各自で実行すること 実際に実行し、予測を試す． 38
- 40. ① 10日分のデータから 11日後を予測 ② 100日分のデータから 101日後を予測 ③ 1000日分のデータから 1001日後を予測 40
- 41. ① 10日分のデータから 11日後を予測 ② 100日分のデータから 101日後を予測 ③ 1000日分のデータから 1001日後を予測 41 訓練データの量が 1/10 になる 訓練データの量が 1/100 になる 「①より②，③が良い」と思い込まないこと （①がベスト，ということもあり得る）
Editor's Notes
- 良好な学習能力をもち，機械学習が脚光をあびるきっかけにも 機械学習を勉強するとき，ニューラルネットワークは良い手段と考える 機械学習では，ニューラルネットワークを使う場合もあれば，ニューラルネットワークではない他のものもある（あとで詳しく）