Masaharu Kinoshita, profile picture
Uploaded byMasaharu Kinoshita
5,735 views

時系列問題に対するCNNの有用性検証

Googleの株価（終値）予測タスクを題材として、CNNの時系列問題に対する有用性を検証する。 RNNをベンチマークとして、LSTM, CNN+LSTMの予測性能（MSE、学習時間）を比較する。

Data & Analytics◦
Related topics:
Deep Learning•

Embed presentation

Download to read offline
© 2019 Masaharu Kinoshita 時系列問題に対するCNNの有⽤性検証 July 6th, 2019 ⽊下 正治
© 2019 Masaharu Kinoshita 本発表の動機は、個⼈の能⼒を第３者に証明する⼩さな”実績”を獲得するため。 具体的にはオープンなデータを⽤いて分析を⾏い、個⼈のアセットとして公開する。 2 9 July 2019 本発表の動機 ⾃社開発型 データサイエンティスト 受託開発型 データサイエンティスト スキル 実績 今後、dsnで発表したい⽅はSlackに投稿したメッセージにリアクション（本⽇締め切り） 意思 発信 XXがしたいです XXがしたいです Python, R, SQLが書けます Python, R, SQLが書けます Qiita記事、 Git Accountはこちらです … （Client Workばかりで 公開できるものない） 機 会 獲 得
© 2019 Masaharu Kinoshita 名前︓ ⽊下正治 出⾝︓ 和歌⼭県 趣味︓ 3Cが好きです（Curry, Cat, Craft Beer） PJ遍歴︓ 1. 営業⽀援ツール開発 R, Python - データ分析に携わる社会⼈としての“いろは”を教えてくれた 2. ⾃動⾞事故検知アルゴリズム構築 Python, SPSS - 分析もPJもリードできた 3. 営業⽀援ツール開発 R, Python - コンサルテーションから結合テストまでやれた 4. 探し中（SiX案件に⼊るかも︖） - ビジネススキルも同時につけたい 3 9 July 2019 ⾃⼰紹介
© 2019 Masaharu Kinoshita ⽬的 分析の引き出しを増やし、かつ、お客様へ理論的な説明も実施できる状態になる ゴール 1. 画像タスク以外へのCNNのユースケースを知っている 2. 基本的な深層学習モデルとOptimizerの理論を理解している 本発表の⽬的とゴール 4 9 July 2019 問題設定 Googleの株価をRNN(BM), LSTM, 1d CNN+LSTMで予測し、評価する。 MSE・学習時間の観点で結果を評価することで、CNNの有⽤性を検証する。
© 2019 Masaharu Kinoshita アジェンダ 5 9 July 2019 1. 理論 1.1. LSTM 1.2. Optimizer 2. 分析概要 3. 予測結果 4. サマリ
© 2019 Masaharu Kinoshita アジェンダ 6 9 July 2019 1. 理論 1.1. LSTM 1.2. Optimizer 2. 分析概要 3. 予測結果 4. サマリ
© 2019 Masaharu Kinoshita CNNの時系列タスクへの有⽤性を検証するために、1d CNN+LSTMをLSTMと⽐較 する。CNNの理論については他発表者に譲り、ここではLSTMについて⾔及する。 7 9 July 2019 理論 ・・・ X0 X1 Xt-1 Xt ht LSTM = ht Xt The American can Speak English LSTMの基構造イメージ LSTMの詳細構造イメージ 系列情報を中⻑期で保持できないという問題点に対して、 LSTMでは”メモリセル” という外部記憶装置を設けることで中短期に渡って系列情報を記憶可能とする。 σ σ tanh σ Ct-1 X + Ct tanh ht-1 ht (次の⾃分へ) ht（次の層へ） Xt X X ・・・ ・・・ 忘却 ゲート ⼊⼒ ゲート 出⼒ NN LayerRepeating Module 出⼒ ゲート ・・・ X0 X1 Xt-1 Xt LSTM = ht Xt LSTM ・・・ ht 時系列を扱うモデルであることから、前の出⼒を次の⼊⼒の⼀部として出⼒する。 理論 概要 結果 サマリ
© 2019 Masaharu Kinoshita 実ビジネスにおいても、1d CNN+LSTMを時系列分類問題に適⽤した事例が報告さ れている。本予測においても1d CNN+LSTMを適⽤する。 8 9 July 2019 理論 各DLモデルの予測性能⽐較 “1d CNN-LSTMによる調節弁内部の異常検知”, 茂木貴弘（アズビル株式会社）ら. (第32回全国大会論文集, 人工知能学会, 2018) https://www.jstage.jst.go.jp/article/pjsai/JSAI2018/0/JSAI2018_3Pin144/_article/-char/ja/ 課題︓ ⽯油・化学業界などの各種プラント装置の流量制御に使 ⽤される調節内弁内部における、異常（キャビテーションの 発⽣）の⾃動検知。 ソリューション︓ 調節内弁本体の外部に設置した振動センサから取得した、 時系列振動データから1d CNN+LSTMモデルを適⽤。 効果︓ ⾼いAccuracy（検証データに対して最⾼99.5%）での 異常検知を実現。 「時系列⼀次元振動データに対する2値分類タスクへの1d CNN+LSTMモデル適⽤事例」 事例概要 並列処理を⾏うCNNをパターン抽出器として利⽤し、逐次処理を⾏うLSTMで系列情報を付与することでコスパを向上 理論 概要 結果 サマリ
© 2019 Masaharu Kinoshita また、OptimizerとしてはAdamを採⽤。Adamは、「学習率をパラメータごとに調整す るRMSprop」と「勾配⽅向を調整するMomentum SGD」を組み合わせた⼿法。 9 9 July 2019 理論 Adamの理論 過去の勾配情報を加味して、 どっちに歩くか︖(Momentum SGD) どれだけ歩くか︖(RMSProp) “ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION”, Diederik P. Kingma, Jimmy Lei Ba. (ICLR, 2015) https://arxiv.org/pdf/1412.6980.pdf 理論 概要 結果 サマリ
© 2019 Masaharu Kinoshita 【参考】AdaBound(2019)は、「学習前半はAdam、後半はSGDで計算」、「学習率 に動的な上限と下限を付与」することで、Adamのデメリットを低減した⼿法。 10 9 July 2019 理論 Adamのメリットとデメリット AdaBoundの理論 メリット︓学習初期の収束が早い デメリット︓学習後半で 1. 局所解から抜けずらい 2. 極端な学習率となり学習が不安定 学習後半では、学習率が⼤きすぎたり⼩さすぎる ことのデメリットが出てきてしまう。 学習率に対して上限と下限を動的に設定する。 “ADAPTIVE GRADIENT METHODS WITH DYNAMIC BOUND OF LEARNING RATE, Liangchen Luo, Yuanhao Xiong, Yan Liu, Xu Shun. (ICLR, 2019) https://arxiv.org/pdf/1902.09843.pdf 理論 概要 結果 サマリ
© 2019 Masaharu Kinoshita アジェンダ 11 9 July 2019 1. 理論 1.1. LSTM 1.2. Optimizer 2. 分析概要 3. 予測結果 4. サマリ
© 2019 Masaharu Kinoshita Googleの株価（終値）予測タスクにおいて、3つのモデル（RNN, LSTM, CNN+LSTM） を⽤いて、CNNの時系列タスクに対する有⽤性を学習時間,MSEの軸で検証する。 12 9 July 2019 分析概要 Input Preprocess Modeling Output Train+Test Train Data Test Data Norm Norm MSE 1 2 3 1 2 3 分析概要 分析詳細 for i in range(X.shape[0] - window): X_tmp = X.iloc[i:i+window].copy() X_tmp = X / X.iloc[0] - 1. X_norm.append(X_tmp) window = 10 Windowデータの中で正規化 3種類のDLモデル⽬的変数(Close)と4特徴量 Train Pred DL Model MSE 理論 概要 結果 サマリ FCRNN FCLSTM FCCNN LSTM
© 2019 Masaharu Kinoshita アジェンダ 13 9 July 2019 1. 理論 1.1. LSTM 1.2. Optimizer 2. 分析概要 3. 予測結果 4. サマリ
© 2019 Masaharu Kinoshita ベンチマークであるRNNと⽐べ、MSEでLSTM・CNN+LSTMが上回った。⼀⽅、学習 時間はCNN+LSTMのみが上回った。時系列タスクへのCNNの有⽤性が確認できた。 14 9 July 2019 予測結果 理論 概要 結果 サマリ
© 2019 Masaharu Kinoshita 【参考】LSTMの予測結果 15 9 July 2019 予測結果 理論 概要 結果 サマリ
© 2019 Masaharu Kinoshita 【参考】1d CNN+LSTMの予測結果 16 9 July 2019 予測結果 理論 概要 結果 サマリ
© 2019 Masaharu Kinoshita 皆さんは、各レイヤのWeightを⾒て、何を思いますか︖ 17 9 July 2019 予測結果 理論 概要 結果 サマリ CNN LSTM LSTM FCCNN CNN LSTM
© 2019 Masaharu Kinoshita アジェンダ 18 9 July 2019 1. 理論 1.1. LSTM 1.2. Optimizer 2. 分析概要 3. 予測結果 4. サマリ
© 2019 Masaharu Kinoshita ⽬的 分析の引き出しを増やし、かつ、お客様へ理論的な説明も実施できる状態になる ゴール 1. 画像タスク以外へのCNNのユースケースを知っている 2. 基本的な深層学習モデルとOptimizerの理論を理解している ⽬的とゴール 19 9 July 2019 問題設定 Googleの株価をRNN, LSTM, 1d CNN+LSTMで予測し、評価する。 MSE・学習時間の観点で結果を評価することで、CNNの有⽤性を検証する。 結論 MSE・学習時間を軸としてCNNの 時系列タスクの有⽤性が確認された。
© 2019 Masaharu Kinoshita EoF July 6th, 2019 ⽊下 正治

More Related Content

PDF
全力解説！Transformer
byArithmer Inc.
 
PDF
Transformerを多層にする際の勾配消失問題と解決法について
bySho Takase
 
PDF
Deeplearning輪読会
by正志 坪坂
 
PPTX
【DL輪読会】ViT + Self Supervised Learningまとめ
byDeep Learning JP
 
PPTX
[DL輪読会]相互情報量最大化による表現学習
byDeep Learning JP
 
PPTX
これからの Vision & Language ～ Acadexit した4つの理由
byYoshitaka Ushiku
 
PDF
[DL輪読会]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
byDeep Learning JP
 
PDF
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
byDeep Learning JP
 
全力解説！Transformer
byArithmer Inc.
 
Transformerを多層にする際の勾配消失問題と解決法について
bySho Takase
 
Deeplearning輪読会
by正志 坪坂
 
【DL輪読会】ViT + Self Supervised Learningまとめ
byDeep Learning JP
 
[DL輪読会]相互情報量最大化による表現学習
byDeep Learning JP
 
これからの Vision & Language ～ Acadexit した4つの理由
byYoshitaka Ushiku
 
[DL輪読会]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
byDeep Learning JP
 
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
byDeep Learning JP
 

What's hot

PPTX
深層学習の数理
byTaiji Suzuki
 
PDF
Layer Normalization@NIPS+読み会・関西
byKeigo Nishida
 
PPTX
強化学習アルゴリズムPPOの解説と実験
by克海 納谷
 
PPTX
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
byRyuichiKanoh
 
PDF
機械学習による統計的実験計画（ベイズ最適化を中心に）
byKota Matsui
 
PDF
数学で解き明かす深層学習の原理
byTaiji Suzuki
 
PDF
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
byDeep Learning JP
 
PDF
ゼロから始める深層強化学習（NLP2018講演資料）/ Introduction of Deep Reinforcement Learning
byPreferred Networks
 
PPTX
Noisy Labels と戦う深層学習
byPlot Hong
 
PDF
Optunaを使ったHuman-in-the-loop最適化の紹介 - 2023/04/27 W&B 東京ミートアップ #3
byPreferred Networks
 
PPTX
【DL輪読会】Scaling Laws for Neural Language Models
byDeep Learning JP
 
PDF
ドメイン適応の原理と応用
byYoshitaka Ushiku
 
PDF
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
bySSII
 
PDF
PRML学習者から入る深層生成モデル入門
bytmtm otm
 
PPTX
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
byDeep Learning JP
 
PDF
動画認識サーベイv1（メタサーベイ ）
bycvpaper. challenge
 
PDF
機械学習モデルのハイパパラメータ最適化
bygree_tech
 
PPTX
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
byDeep Learning JP
 
PPTX
【DL輪読会】Toolformer: Language Models Can Teach Themselves to Use Tools
byDeep Learning JP
 
PPTX
Maximum Entropy IRL（最大エントロピー逆強化学習）とその発展系について
byYusuke Nakata
 
深層学習の数理
byTaiji Suzuki
 
Layer Normalization@NIPS+読み会・関西
byKeigo Nishida
 
強化学習アルゴリズムPPOの解説と実験
by克海 納谷
 
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
byRyuichiKanoh
 
機械学習による統計的実験計画（ベイズ最適化を中心に）
byKota Matsui
 
数学で解き明かす深層学習の原理
byTaiji Suzuki
 
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
byDeep Learning JP
 
ゼロから始める深層強化学習（NLP2018講演資料）/ Introduction of Deep Reinforcement Learning
byPreferred Networks
 
Noisy Labels と戦う深層学習
byPlot Hong
 
Optunaを使ったHuman-in-the-loop最適化の紹介 - 2023/04/27 W&B 東京ミートアップ #3
byPreferred Networks
 
【DL輪読会】Scaling Laws for Neural Language Models
byDeep Learning JP
 
ドメイン適応の原理と応用
byYoshitaka Ushiku
 
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
bySSII
 
PRML学習者から入る深層生成モデル入門
bytmtm otm
 
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
byDeep Learning JP
 
動画認識サーベイv1（メタサーベイ ）
bycvpaper. challenge
 
機械学習モデルのハイパパラメータ最適化
bygree_tech
 
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
byDeep Learning JP
 
【DL輪読会】Toolformer: Language Models Can Teach Themselves to Use Tools
byDeep Learning JP
 
Maximum Entropy IRL（最大エントロピー逆強化学習）とその発展系について
byYusuke Nakata
 

Similar to 時系列問題に対するCNNの有用性検証

PDF
時系列予測にTransformerを使うのは有効か？
byFumihiko Takahashi
 
PDF
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
byDeep Learning JP
 
PDF
[DL輪読会]Temporal Abstraction in NeurIPS2019
byDeep Learning JP
 
PDF
LSTM (Long short-term memory) 概要
byKenji Urai
 
PDF
【基調講演】『深層学習の原理の理解に向けた理論の試み』 今泉 允聡（東大）
byMLSE
 
PDF
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
byPreferred Networks
 
PPTX
You Only Learn One Representation: Unified Network for Multiple Tasks
byharmonylab
 
PPTX
深層学習とTensorFlow入門
bytak9029
 
PPTX
[DL輪読会] “Asymmetric Tri-training for Unsupervised Domain Adaptation (ICML2017...
byYusuke Iwasawa
 
PDF
Meta-Learning with Memory Augmented Neural Network
byYusuke Watanabe
 
PPTX
Multiscale analysis using convolutional neural network
byYoshiro Suzuki
 
PDF
TensorflowとKerasによる深層学習のプログラム実装実践講座
byRuo Ando
 
PDF
無限ボルツマンマシンの学習
byShitian Ni
 
PDF
End to end training with deep visiomotor
byMasato Nakai
 
PDF
NIPS KANSAI Reading Group #7: Temporal Difference Models: Model-Free Deep RL ...
byEiji Uchibe
 
PPTX
CNTK deep dive
byKyoichi Iwasaki
 
PDF
MIRU_Preview_JSAI2019
byTakayoshi Yamashita
 
PDF
慣性センサーログの効果的な可視化と分類
byMasato Miwada
 
PPTX
Cvim saisentan-6-4-tomoaki
bytomoaki0705
 
PPTX
TensorFlowとCNTK
bymaruyama097
 
時系列予測にTransformerを使うのは有効か？
byFumihiko Takahashi
 
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
byDeep Learning JP
 
[DL輪読会]Temporal Abstraction in NeurIPS2019
byDeep Learning JP
 
LSTM (Long short-term memory) 概要
byKenji Urai
 
【基調講演】『深層学習の原理の理解に向けた理論の試み』 今泉 允聡（東大）
byMLSE
 
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
byPreferred Networks
 
You Only Learn One Representation: Unified Network for Multiple Tasks
byharmonylab
 
深層学習とTensorFlow入門
bytak9029
 
[DL輪読会] “Asymmetric Tri-training for Unsupervised Domain Adaptation (ICML2017...
byYusuke Iwasawa
 
Meta-Learning with Memory Augmented Neural Network
byYusuke Watanabe
 
Multiscale analysis using convolutional neural network
byYoshiro Suzuki
 
TensorflowとKerasによる深層学習のプログラム実装実践講座
byRuo Ando
 
無限ボルツマンマシンの学習
byShitian Ni
 
End to end training with deep visiomotor
byMasato Nakai
 
NIPS KANSAI Reading Group #7: Temporal Difference Models: Model-Free Deep RL ...
byEiji Uchibe
 
CNTK deep dive
byKyoichi Iwasaki
 
MIRU_Preview_JSAI2019
byTakayoshi Yamashita
 
慣性センサーログの効果的な可視化と分類
byMasato Miwada
 
Cvim saisentan-6-4-tomoaki
bytomoaki0705
 
TensorFlowとCNTK
bymaruyama097
 

時系列問題に対するCNNの有用性検証

  • 1.
    © 2019 MasaharuKinoshita 時系列問題に対するCNNの有⽤性検証 July 6th, 2019 ⽊下 正治
  • 2.
    © 2019 MasaharuKinoshita 本発表の動機は、個⼈の能⼒を第３者に証明する⼩さな”実績”を獲得するため。 具体的にはオープンなデータを⽤いて分析を⾏い、個⼈のアセットとして公開する。 2 9 July 2019 本発表の動機 ⾃社開発型 データサイエンティスト 受託開発型 データサイエンティスト スキル 実績 今後、dsnで発表したい⽅はSlackに投稿したメッセージにリアクション（本⽇締め切り） 意思 発信 XXがしたいです XXがしたいです Python, R, SQLが書けます Python, R, SQLが書けます Qiita記事、 Git Accountはこちらです … （Client Workばかりで 公開できるものない） 機 会 獲 得
  • 3.
    © 2019 MasaharuKinoshita 名前︓ ⽊下正治 出⾝︓ 和歌⼭県 趣味︓ 3Cが好きです（Curry, Cat, Craft Beer） PJ遍歴︓ 1. 営業⽀援ツール開発 R, Python - データ分析に携わる社会⼈としての“いろは”を教えてくれた 2. ⾃動⾞事故検知アルゴリズム構築 Python, SPSS - 分析もPJもリードできた 3. 営業⽀援ツール開発 R, Python - コンサルテーションから結合テストまでやれた 4. 探し中（SiX案件に⼊るかも︖） - ビジネススキルも同時につけたい 3 9 July 2019 ⾃⼰紹介
  • 4.
    © 2019 MasaharuKinoshita ⽬的 分析の引き出しを増やし、かつ、お客様へ理論的な説明も実施できる状態になる ゴール 1. 画像タスク以外へのCNNのユースケースを知っている 2. 基本的な深層学習モデルとOptimizerの理論を理解している 本発表の⽬的とゴール 4 9 July 2019 問題設定 Googleの株価をRNN(BM), LSTM, 1d CNN+LSTMで予測し、評価する。 MSE・学習時間の観点で結果を評価することで、CNNの有⽤性を検証する。
  • 5.
    © 2019 MasaharuKinoshita アジェンダ 5 9 July 2019 1. 理論 1.1. LSTM 1.2. Optimizer 2. 分析概要 3. 予測結果 4. サマリ
  • 6.
    © 2019 MasaharuKinoshita アジェンダ 6 9 July 2019 1. 理論 1.1. LSTM 1.2. Optimizer 2. 分析概要 3. 予測結果 4. サマリ
  • 7.
    © 2019 MasaharuKinoshita CNNの時系列タスクへの有⽤性を検証するために、1d CNN+LSTMをLSTMと⽐較 する。CNNの理論については他発表者に譲り、ここではLSTMについて⾔及する。 7 9 July 2019 理論 ・・・ X0 X1 Xt-1 Xt ht LSTM = ht Xt The American can Speak English LSTMの基構造イメージ LSTMの詳細構造イメージ 系列情報を中⻑期で保持できないという問題点に対して、 LSTMでは”メモリセル” という外部記憶装置を設けることで中短期に渡って系列情報を記憶可能とする。 σ σ tanh σ Ct-1 X + Ct tanh ht-1 ht (次の⾃分へ) ht（次の層へ） Xt X X ・・・ ・・・ 忘却 ゲート ⼊⼒ ゲート 出⼒ NN LayerRepeating Module 出⼒ ゲート ・・・ X0 X1 Xt-1 Xt LSTM = ht Xt LSTM ・・・ ht 時系列を扱うモデルであることから、前の出⼒を次の⼊⼒の⼀部として出⼒する。 理論 概要 結果 サマリ
  • 8.
    © 2019 MasaharuKinoshita 実ビジネスにおいても、1d CNN+LSTMを時系列分類問題に適⽤した事例が報告さ れている。本予測においても1d CNN+LSTMを適⽤する。 8 9 July 2019 理論 各DLモデルの予測性能⽐較 “1d CNN-LSTMによる調節弁内部の異常検知”, 茂木貴弘（アズビル株式会社）ら. (第32回全国大会論文集, 人工知能学会, 2018) https://www.jstage.jst.go.jp/article/pjsai/JSAI2018/0/JSAI2018_3Pin144/_article/-char/ja/ 課題︓ ⽯油・化学業界などの各種プラント装置の流量制御に使 ⽤される調節内弁内部における、異常（キャビテーションの 発⽣）の⾃動検知。 ソリューション︓ 調節内弁本体の外部に設置した振動センサから取得した、 時系列振動データから1d CNN+LSTMモデルを適⽤。 効果︓ ⾼いAccuracy（検証データに対して最⾼99.5%）での 異常検知を実現。 「時系列⼀次元振動データに対する2値分類タスクへの1d CNN+LSTMモデル適⽤事例」 事例概要 並列処理を⾏うCNNをパターン抽出器として利⽤し、逐次処理を⾏うLSTMで系列情報を付与することでコスパを向上 理論 概要 結果 サマリ
  • 9.
    © 2019 MasaharuKinoshita また、OptimizerとしてはAdamを採⽤。Adamは、「学習率をパラメータごとに調整す るRMSprop」と「勾配⽅向を調整するMomentum SGD」を組み合わせた⼿法。 9 9 July 2019 理論 Adamの理論 過去の勾配情報を加味して、 どっちに歩くか︖(Momentum SGD) どれだけ歩くか︖(RMSProp) “ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION”, Diederik P. Kingma, Jimmy Lei Ba. (ICLR, 2015) https://arxiv.org/pdf/1412.6980.pdf 理論 概要 結果 サマリ
  • 10.
    © 2019 MasaharuKinoshita 【参考】AdaBound(2019)は、「学習前半はAdam、後半はSGDで計算」、「学習率 に動的な上限と下限を付与」することで、Adamのデメリットを低減した⼿法。 10 9 July 2019 理論 Adamのメリットとデメリット AdaBoundの理論 メリット︓学習初期の収束が早い デメリット︓学習後半で 1. 局所解から抜けずらい 2. 極端な学習率となり学習が不安定 学習後半では、学習率が⼤きすぎたり⼩さすぎる ことのデメリットが出てきてしまう。 学習率に対して上限と下限を動的に設定する。 “ADAPTIVE GRADIENT METHODS WITH DYNAMIC BOUND OF LEARNING RATE, Liangchen Luo, Yuanhao Xiong, Yan Liu, Xu Shun. (ICLR, 2019) https://arxiv.org/pdf/1902.09843.pdf 理論 概要 結果 サマリ
  • 11.
    © 2019 MasaharuKinoshita アジェンダ 11 9 July 2019 1. 理論 1.1. LSTM 1.2. Optimizer 2. 分析概要 3. 予測結果 4. サマリ
  • 12.
    © 2019 MasaharuKinoshita Googleの株価（終値）予測タスクにおいて、3つのモデル（RNN, LSTM, CNN+LSTM） を⽤いて、CNNの時系列タスクに対する有⽤性を学習時間,MSEの軸で検証する。 12 9 July 2019 分析概要 Input Preprocess Modeling Output Train+Test Train Data Test Data Norm Norm MSE 1 2 3 1 2 3 分析概要 分析詳細 for i in range(X.shape[0] - window): X_tmp = X.iloc[i:i+window].copy() X_tmp = X / X.iloc[0] - 1. X_norm.append(X_tmp) window = 10 Windowデータの中で正規化 3種類のDLモデル⽬的変数(Close)と4特徴量 Train Pred DL Model MSE 理論 概要 結果 サマリ FCRNN FCLSTM FCCNN LSTM
  • 13.
    © 2019 MasaharuKinoshita アジェンダ 13 9 July 2019 1. 理論 1.1. LSTM 1.2. Optimizer 2. 分析概要 3. 予測結果 4. サマリ
  • 14.
    © 2019 MasaharuKinoshita ベンチマークであるRNNと⽐べ、MSEでLSTM・CNN+LSTMが上回った。⼀⽅、学習 時間はCNN+LSTMのみが上回った。時系列タスクへのCNNの有⽤性が確認できた。 14 9 July 2019 予測結果 理論 概要 結果 サマリ
  • 15.
    © 2019 MasaharuKinoshita 【参考】LSTMの予測結果 15 9 July 2019 予測結果 理論 概要 結果 サマリ
  • 16.
    © 2019 MasaharuKinoshita 【参考】1d CNN+LSTMの予測結果 16 9 July 2019 予測結果 理論 概要 結果 サマリ
  • 17.
    © 2019 MasaharuKinoshita 皆さんは、各レイヤのWeightを⾒て、何を思いますか︖ 17 9 July 2019 予測結果 理論 概要 結果 サマリ CNN LSTM LSTM FCCNN CNN LSTM
  • 18.
    © 2019 MasaharuKinoshita アジェンダ 18 9 July 2019 1. 理論 1.1. LSTM 1.2. Optimizer 2. 分析概要 3. 予測結果 4. サマリ
  • 19.
    © 2019 MasaharuKinoshita ⽬的 分析の引き出しを増やし、かつ、お客様へ理論的な説明も実施できる状態になる ゴール 1. 画像タスク以外へのCNNのユースケースを知っている 2. 基本的な深層学習モデルとOptimizerの理論を理解している ⽬的とゴール 19 9 July 2019 問題設定 Googleの株価をRNN, LSTM, 1d CNN+LSTMで予測し、評価する。 MSE・学習時間の観点で結果を評価することで、CNNの有⽤性を検証する。 結論 MSE・学習時間を軸としてCNNの 時系列タスクの有⽤性が確認された。
  • 20.
    © 2019 MasaharuKinoshita EoF July 6th, 2019 ⽊下 正治