Masaharu Kinoshita, profile picture
Uploaded byMasaharu Kinoshita
5,756 views

時系列問題に対するCNNの有用性検証

Googleの株価（終値）予測タスクを題材として、CNNの時系列問題に対する有用性を検証する。 RNNをベンチマークとして、LSTM, CNN+LSTMの予測性能（MSE、学習時間）を比較する。

Data & Analytics◦
Related topics:
Deep Learning•

Embed presentation

Download to read offline
© 2019 Masaharu Kinoshita 時系列問題に対するCNNの有⽤性検証 July 6th, 2019 ⽊下 正治
© 2019 Masaharu Kinoshita 本発表の動機は、個⼈の能⼒を第３者に証明する⼩さな”実績”を獲得するため。 具体的にはオープンなデータを⽤いて分析を⾏い、個⼈のアセットとして公開する。 2 9 July 2019 本発表の動機 ⾃社開発型 データサイエンティスト 受託開発型 データサイエンティスト スキル 実績 今後、dsnで発表したい⽅はSlackに投稿したメッセージにリアクション（本⽇締め切り） 意思 発信 XXがしたいです XXがしたいです Python, R, SQLが書けます Python, R, SQLが書けます Qiita記事、 Git Accountはこちらです … （Client Workばかりで 公開できるものない） 機 会 獲 得
© 2019 Masaharu Kinoshita 名前︓ ⽊下正治 出⾝︓ 和歌⼭県 趣味︓ 3Cが好きです（Curry, Cat, Craft Beer） PJ遍歴︓ 1. 営業⽀援ツール開発 R, Python - データ分析に携わる社会⼈としての“いろは”を教えてくれた 2. ⾃動⾞事故検知アルゴリズム構築 Python, SPSS - 分析もPJもリードできた 3. 営業⽀援ツール開発 R, Python - コンサルテーションから結合テストまでやれた 4. 探し中（SiX案件に⼊るかも︖） - ビジネススキルも同時につけたい 3 9 July 2019 ⾃⼰紹介
© 2019 Masaharu Kinoshita ⽬的 分析の引き出しを増やし、かつ、お客様へ理論的な説明も実施できる状態になる ゴール 1. 画像タスク以外へのCNNのユースケースを知っている 2. 基本的な深層学習モデルとOptimizerの理論を理解している 本発表の⽬的とゴール 4 9 July 2019 問題設定 Googleの株価をRNN(BM), LSTM, 1d CNN+LSTMで予測し、評価する。 MSE・学習時間の観点で結果を評価することで、CNNの有⽤性を検証する。
© 2019 Masaharu Kinoshita アジェンダ 5 9 July 2019 1. 理論 1.1. LSTM 1.2. Optimizer 2. 分析概要 3. 予測結果 4. サマリ
© 2019 Masaharu Kinoshita アジェンダ 6 9 July 2019 1. 理論 1.1. LSTM 1.2. Optimizer 2. 分析概要 3. 予測結果 4. サマリ
© 2019 Masaharu Kinoshita CNNの時系列タスクへの有⽤性を検証するために、1d CNN+LSTMをLSTMと⽐較 する。CNNの理論については他発表者に譲り、ここではLSTMについて⾔及する。 7 9 July 2019 理論 ・・・ X0 X1 Xt-1 Xt ht LSTM = ht Xt The American can Speak English LSTMの基構造イメージ LSTMの詳細構造イメージ 系列情報を中⻑期で保持できないという問題点に対して、 LSTMでは”メモリセル” という外部記憶装置を設けることで中短期に渡って系列情報を記憶可能とする。 σ σ tanh σ Ct-1 X + Ct tanh ht-1 ht (次の⾃分へ) ht（次の層へ） Xt X X ・・・ ・・・ 忘却 ゲート ⼊⼒ ゲート 出⼒ NN LayerRepeating Module 出⼒ ゲート ・・・ X0 X1 Xt-1 Xt LSTM = ht Xt LSTM ・・・ ht 時系列を扱うモデルであることから、前の出⼒を次の⼊⼒の⼀部として出⼒する。 理論 概要 結果 サマリ
© 2019 Masaharu Kinoshita 実ビジネスにおいても、1d CNN+LSTMを時系列分類問題に適⽤した事例が報告さ れている。本予測においても1d CNN+LSTMを適⽤する。 8 9 July 2019 理論 各DLモデルの予測性能⽐較 “1d CNN-LSTMによる調節弁内部の異常検知”, 茂木貴弘（アズビル株式会社）ら. (第32回全国大会論文集, 人工知能学会, 2018) https://www.jstage.jst.go.jp/article/pjsai/JSAI2018/0/JSAI2018_3Pin144/_article/-char/ja/ 課題︓ ⽯油・化学業界などの各種プラント装置の流量制御に使 ⽤される調節内弁内部における、異常（キャビテーションの 発⽣）の⾃動検知。 ソリューション︓ 調節内弁本体の外部に設置した振動センサから取得した、 時系列振動データから1d CNN+LSTMモデルを適⽤。 効果︓ ⾼いAccuracy（検証データに対して最⾼99.5%）での 異常検知を実現。 「時系列⼀次元振動データに対する2値分類タスクへの1d CNN+LSTMモデル適⽤事例」 事例概要 並列処理を⾏うCNNをパターン抽出器として利⽤し、逐次処理を⾏うLSTMで系列情報を付与することでコスパを向上 理論 概要 結果 サマリ
© 2019 Masaharu Kinoshita また、OptimizerとしてはAdamを採⽤。Adamは、「学習率をパラメータごとに調整す るRMSprop」と「勾配⽅向を調整するMomentum SGD」を組み合わせた⼿法。 9 9 July 2019 理論 Adamの理論 過去の勾配情報を加味して、 どっちに歩くか︖(Momentum SGD) どれだけ歩くか︖(RMSProp) “ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION”, Diederik P. Kingma, Jimmy Lei Ba. (ICLR, 2015) https://arxiv.org/pdf/1412.6980.pdf 理論 概要 結果 サマリ
© 2019 Masaharu Kinoshita 【参考】AdaBound(2019)は、「学習前半はAdam、後半はSGDで計算」、「学習率 に動的な上限と下限を付与」することで、Adamのデメリットを低減した⼿法。 10 9 July 2019 理論 Adamのメリットとデメリット AdaBoundの理論 メリット︓学習初期の収束が早い デメリット︓学習後半で 1. 局所解から抜けずらい 2. 極端な学習率となり学習が不安定 学習後半では、学習率が⼤きすぎたり⼩さすぎる ことのデメリットが出てきてしまう。 学習率に対して上限と下限を動的に設定する。 “ADAPTIVE GRADIENT METHODS WITH DYNAMIC BOUND OF LEARNING RATE, Liangchen Luo, Yuanhao Xiong, Yan Liu, Xu Shun. (ICLR, 2019) https://arxiv.org/pdf/1902.09843.pdf 理論 概要 結果 サマリ
© 2019 Masaharu Kinoshita アジェンダ 11 9 July 2019 1. 理論 1.1. LSTM 1.2. Optimizer 2. 分析概要 3. 予測結果 4. サマリ
© 2019 Masaharu Kinoshita Googleの株価（終値）予測タスクにおいて、3つのモデル（RNN, LSTM, CNN+LSTM） を⽤いて、CNNの時系列タスクに対する有⽤性を学習時間,MSEの軸で検証する。 12 9 July 2019 分析概要 Input Preprocess Modeling Output Train+Test Train Data Test Data Norm Norm MSE 1 2 3 1 2 3 分析概要 分析詳細 for i in range(X.shape[0] - window): X_tmp = X.iloc[i:i+window].copy() X_tmp = X / X.iloc[0] - 1. X_norm.append(X_tmp) window = 10 Windowデータの中で正規化 3種類のDLモデル⽬的変数(Close)と4特徴量 Train Pred DL Model MSE 理論 概要 結果 サマリ FCRNN FCLSTM FCCNN LSTM
© 2019 Masaharu Kinoshita アジェンダ 13 9 July 2019 1. 理論 1.1. LSTM 1.2. Optimizer 2. 分析概要 3. 予測結果 4. サマリ
© 2019 Masaharu Kinoshita ベンチマークであるRNNと⽐べ、MSEでLSTM・CNN+LSTMが上回った。⼀⽅、学習 時間はCNN+LSTMのみが上回った。時系列タスクへのCNNの有⽤性が確認できた。 14 9 July 2019 予測結果 理論 概要 結果 サマリ
© 2019 Masaharu Kinoshita 【参考】LSTMの予測結果 15 9 July 2019 予測結果 理論 概要 結果 サマリ
© 2019 Masaharu Kinoshita 【参考】1d CNN+LSTMの予測結果 16 9 July 2019 予測結果 理論 概要 結果 サマリ
© 2019 Masaharu Kinoshita 皆さんは、各レイヤのWeightを⾒て、何を思いますか︖ 17 9 July 2019 予測結果 理論 概要 結果 サマリ CNN LSTM LSTM FCCNN CNN LSTM
© 2019 Masaharu Kinoshita アジェンダ 18 9 July 2019 1. 理論 1.1. LSTM 1.2. Optimizer 2. 分析概要 3. 予測結果 4. サマリ
© 2019 Masaharu Kinoshita ⽬的 分析の引き出しを増やし、かつ、お客様へ理論的な説明も実施できる状態になる ゴール 1. 画像タスク以外へのCNNのユースケースを知っている 2. 基本的な深層学習モデルとOptimizerの理論を理解している ⽬的とゴール 19 9 July 2019 問題設定 Googleの株価をRNN, LSTM, 1d CNN+LSTMで予測し、評価する。 MSE・学習時間の観点で結果を評価することで、CNNの有⽤性を検証する。 結論 MSE・学習時間を軸としてCNNの 時系列タスクの有⽤性が確認された。
© 2019 Masaharu Kinoshita EoF July 6th, 2019 ⽊下 正治

More Related Content

PDF
ドメイン適応の原理と応用
byYoshitaka Ushiku
 
PDF
【メタサーベイ】数式ドリブン教師あり学習
bycvpaper. challenge
 
PPTX
【DL輪読会】ViT + Self Supervised Learningまとめ
byDeep Learning JP
 
PDF
DQNからRainbowまで 〜深層強化学習の最新動向〜
byJun Okumura
 
PDF
【メタサーベイ】Video Transformer
bycvpaper. challenge
 
PPTX
畳み込みニューラルネットワークの高精度化と高速化
byYusuke Uchida
 
PDF
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
bySSII
 
PDF
最適輸送入門
byjoisino
 
ドメイン適応の原理と応用
byYoshitaka Ushiku
 
【メタサーベイ】数式ドリブン教師あり学習
bycvpaper. challenge
 
【DL輪読会】ViT + Self Supervised Learningまとめ
byDeep Learning JP
 
DQNからRainbowまで 〜深層強化学習の最新動向〜
byJun Okumura
 
【メタサーベイ】Video Transformer
bycvpaper. challenge
 
畳み込みニューラルネットワークの高精度化と高速化
byYusuke Uchida
 
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
bySSII
 
最適輸送入門
byjoisino
 

What's hot

PDF
数学で解き明かす深層学習の原理
byTaiji Suzuki
 
PDF
POMDP下での強化学習の基礎と応用
byYasunori Ozaki
 
PDF
Transformerを多層にする際の勾配消失問題と解決法について
bySho Takase
 
PPTX
強化学習における好奇心
byShota Imai
 
PPTX
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
byDeep Learning JP
 
PDF
不均衡データのクラス分類
byShintaro Fukushima
 
PDF
強化学習と逆強化学習を組み合わせた模倣学習
byEiji Uchibe
 
PDF
深層生成モデルと世界モデル
byMasahiro Suzuki
 
PDF
強化学習その2
bynishio
 
PDF
Optimizer入門＆最新動向
byMotokawa Tetsuya
 
PDF
coordinate descent 法について
by京都大学大学院情報学研究科数理工学専攻
 
PPTX
ようやく分かった！最尤推定とベイズ推定
byAkira Masuda
 
PDF
失敗から学ぶ機械学習応用
byHiroyuki Masuda
 
PPTX
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
byDeep Learning JP
 
PDF
PCAの最終形態GPLVMの解説
by弘毅 露崎
 
PDF
最適化超入門
byTakami Sato
 
PDF
Domain Adaptation 発展と動向まとめ（サーベイ資料）
byYamato OKAMOTO
 
PDF
PRMLの線形回帰モデル（線形基底関数モデル）
byYasunori Ozaki
 
PDF
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
bySSII
 
PPTX
モデル高速化百選
byYusuke Uchida
 
数学で解き明かす深層学習の原理
byTaiji Suzuki
 
POMDP下での強化学習の基礎と応用
byYasunori Ozaki
 
Transformerを多層にする際の勾配消失問題と解決法について
bySho Takase
 
強化学習における好奇心
byShota Imai
 
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
byDeep Learning JP
 
不均衡データのクラス分類
byShintaro Fukushima
 
強化学習と逆強化学習を組み合わせた模倣学習
byEiji Uchibe
 
深層生成モデルと世界モデル
byMasahiro Suzuki
 
強化学習その2
bynishio
 
Optimizer入門＆最新動向
byMotokawa Tetsuya
 
coordinate descent 法について
by京都大学大学院情報学研究科数理工学専攻
 
ようやく分かった！最尤推定とベイズ推定
byAkira Masuda
 
失敗から学ぶ機械学習応用
byHiroyuki Masuda
 
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
byDeep Learning JP
 
PCAの最終形態GPLVMの解説
by弘毅 露崎
 
最適化超入門
byTakami Sato
 
Domain Adaptation 発展と動向まとめ（サーベイ資料）
byYamato OKAMOTO
 
PRMLの線形回帰モデル（線形基底関数モデル）
byYasunori Ozaki
 
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
bySSII
 
モデル高速化百選
byYusuke Uchida
 

Similar to 時系列問題に対するCNNの有用性検証

PDF
LSTM (Long short-term memory) 概要
byKenji Urai
 
PDF
NIPS KANSAI Reading Group #7: Temporal Difference Models: Model-Free Deep RL ...
byEiji Uchibe
 
PDF
時系列予測にTransformerを使うのは有効か？
byFumihiko Takahashi
 
PDF
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
byDeep Learning JP
 
PDF
【基調講演】『深層学習の原理の理解に向けた理論の試み』 今泉 允聡（東大）
byMLSE
 
PDF
無限ボルツマンマシンの学習
byShitian Ni
 
PPTX
TensorFlowとCNTK
bymaruyama097
 
PPTX
Cvim saisentan-6-4-tomoaki
bytomoaki0705
 
PDF
[DL輪読会]Temporal Abstraction in NeurIPS2019
byDeep Learning JP
 
PDF
MIRU_Preview_JSAI2019
byTakayoshi Yamashita
 
PPTX
CNTK deep dive
byKyoichi Iwasaki
 
PDF
TensorflowとKerasによる深層学習のプログラム実装実践講座
byRuo Ando
 
PDF
Meta-Learning with Memory Augmented Neural Network
byYusuke Watanabe
 
PPTX
[DL輪読会] “Asymmetric Tri-training for Unsupervised Domain Adaptation (ICML2017...
byYusuke Iwasawa
 
PPTX
Multiscale analysis using convolutional neural network
byYoshiro Suzuki
 
PDF
End to end training with deep visiomotor
byMasato Nakai
 
PPTX
You Only Learn One Representation: Unified Network for Multiple Tasks
byharmonylab
 
PPTX
深層学習とTensorFlow入門
bytak9029
 
PDF
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
byPreferred Networks
 
PDF
慣性センサーログの効果的な可視化と分類
byMasato Miwada
 
LSTM (Long short-term memory) 概要
byKenji Urai
 
NIPS KANSAI Reading Group #7: Temporal Difference Models: Model-Free Deep RL ...
byEiji Uchibe
 
時系列予測にTransformerを使うのは有効か？
byFumihiko Takahashi
 
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
byDeep Learning JP
 
【基調講演】『深層学習の原理の理解に向けた理論の試み』 今泉 允聡（東大）
byMLSE
 
無限ボルツマンマシンの学習
byShitian Ni
 
TensorFlowとCNTK
bymaruyama097
 
Cvim saisentan-6-4-tomoaki
bytomoaki0705
 
[DL輪読会]Temporal Abstraction in NeurIPS2019
byDeep Learning JP
 
MIRU_Preview_JSAI2019
byTakayoshi Yamashita
 
CNTK deep dive
byKyoichi Iwasaki
 
TensorflowとKerasによる深層学習のプログラム実装実践講座
byRuo Ando
 
Meta-Learning with Memory Augmented Neural Network
byYusuke Watanabe
 
[DL輪読会] “Asymmetric Tri-training for Unsupervised Domain Adaptation (ICML2017...
byYusuke Iwasawa
 
Multiscale analysis using convolutional neural network
byYoshiro Suzuki
 
End to end training with deep visiomotor
byMasato Nakai
 
You Only Learn One Representation: Unified Network for Multiple Tasks
byharmonylab
 
深層学習とTensorFlow入門
bytak9029
 
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
byPreferred Networks
 
慣性センサーログの効果的な可視化と分類
byMasato Miwada
 

時系列問題に対するCNNの有用性検証

  • 1.
    © 2019 MasaharuKinoshita 時系列問題に対するCNNの有⽤性検証 July 6th, 2019 ⽊下 正治
  • 2.
    © 2019 MasaharuKinoshita 本発表の動機は、個⼈の能⼒を第３者に証明する⼩さな”実績”を獲得するため。 具体的にはオープンなデータを⽤いて分析を⾏い、個⼈のアセットとして公開する。 2 9 July 2019 本発表の動機 ⾃社開発型 データサイエンティスト 受託開発型 データサイエンティスト スキル 実績 今後、dsnで発表したい⽅はSlackに投稿したメッセージにリアクション（本⽇締め切り） 意思 発信 XXがしたいです XXがしたいです Python, R, SQLが書けます Python, R, SQLが書けます Qiita記事、 Git Accountはこちらです … （Client Workばかりで 公開できるものない） 機 会 獲 得
  • 3.
    © 2019 MasaharuKinoshita 名前︓ ⽊下正治 出⾝︓ 和歌⼭県 趣味︓ 3Cが好きです（Curry, Cat, Craft Beer） PJ遍歴︓ 1. 営業⽀援ツール開発 R, Python - データ分析に携わる社会⼈としての“いろは”を教えてくれた 2. ⾃動⾞事故検知アルゴリズム構築 Python, SPSS - 分析もPJもリードできた 3. 営業⽀援ツール開発 R, Python - コンサルテーションから結合テストまでやれた 4. 探し中（SiX案件に⼊るかも︖） - ビジネススキルも同時につけたい 3 9 July 2019 ⾃⼰紹介
  • 4.
    © 2019 MasaharuKinoshita ⽬的 分析の引き出しを増やし、かつ、お客様へ理論的な説明も実施できる状態になる ゴール 1. 画像タスク以外へのCNNのユースケースを知っている 2. 基本的な深層学習モデルとOptimizerの理論を理解している 本発表の⽬的とゴール 4 9 July 2019 問題設定 Googleの株価をRNN(BM), LSTM, 1d CNN+LSTMで予測し、評価する。 MSE・学習時間の観点で結果を評価することで、CNNの有⽤性を検証する。
  • 5.
    © 2019 MasaharuKinoshita アジェンダ 5 9 July 2019 1. 理論 1.1. LSTM 1.2. Optimizer 2. 分析概要 3. 予測結果 4. サマリ
  • 6.
    © 2019 MasaharuKinoshita アジェンダ 6 9 July 2019 1. 理論 1.1. LSTM 1.2. Optimizer 2. 分析概要 3. 予測結果 4. サマリ
  • 7.
    © 2019 MasaharuKinoshita CNNの時系列タスクへの有⽤性を検証するために、1d CNN+LSTMをLSTMと⽐較 する。CNNの理論については他発表者に譲り、ここではLSTMについて⾔及する。 7 9 July 2019 理論 ・・・ X0 X1 Xt-1 Xt ht LSTM = ht Xt The American can Speak English LSTMの基構造イメージ LSTMの詳細構造イメージ 系列情報を中⻑期で保持できないという問題点に対して、 LSTMでは”メモリセル” という外部記憶装置を設けることで中短期に渡って系列情報を記憶可能とする。 σ σ tanh σ Ct-1 X + Ct tanh ht-1 ht (次の⾃分へ) ht（次の層へ） Xt X X ・・・ ・・・ 忘却 ゲート ⼊⼒ ゲート 出⼒ NN LayerRepeating Module 出⼒ ゲート ・・・ X0 X1 Xt-1 Xt LSTM = ht Xt LSTM ・・・ ht 時系列を扱うモデルであることから、前の出⼒を次の⼊⼒の⼀部として出⼒する。 理論 概要 結果 サマリ
  • 8.
    © 2019 MasaharuKinoshita 実ビジネスにおいても、1d CNN+LSTMを時系列分類問題に適⽤した事例が報告さ れている。本予測においても1d CNN+LSTMを適⽤する。 8 9 July 2019 理論 各DLモデルの予測性能⽐較 “1d CNN-LSTMによる調節弁内部の異常検知”, 茂木貴弘（アズビル株式会社）ら. (第32回全国大会論文集, 人工知能学会, 2018) https://www.jstage.jst.go.jp/article/pjsai/JSAI2018/0/JSAI2018_3Pin144/_article/-char/ja/ 課題︓ ⽯油・化学業界などの各種プラント装置の流量制御に使 ⽤される調節内弁内部における、異常（キャビテーションの 発⽣）の⾃動検知。 ソリューション︓ 調節内弁本体の外部に設置した振動センサから取得した、 時系列振動データから1d CNN+LSTMモデルを適⽤。 効果︓ ⾼いAccuracy（検証データに対して最⾼99.5%）での 異常検知を実現。 「時系列⼀次元振動データに対する2値分類タスクへの1d CNN+LSTMモデル適⽤事例」 事例概要 並列処理を⾏うCNNをパターン抽出器として利⽤し、逐次処理を⾏うLSTMで系列情報を付与することでコスパを向上 理論 概要 結果 サマリ
  • 9.
    © 2019 MasaharuKinoshita また、OptimizerとしてはAdamを採⽤。Adamは、「学習率をパラメータごとに調整す るRMSprop」と「勾配⽅向を調整するMomentum SGD」を組み合わせた⼿法。 9 9 July 2019 理論 Adamの理論 過去の勾配情報を加味して、 どっちに歩くか︖(Momentum SGD) どれだけ歩くか︖(RMSProp) “ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION”, Diederik P. Kingma, Jimmy Lei Ba. (ICLR, 2015) https://arxiv.org/pdf/1412.6980.pdf 理論 概要 結果 サマリ
  • 10.
    © 2019 MasaharuKinoshita 【参考】AdaBound(2019)は、「学習前半はAdam、後半はSGDで計算」、「学習率 に動的な上限と下限を付与」することで、Adamのデメリットを低減した⼿法。 10 9 July 2019 理論 Adamのメリットとデメリット AdaBoundの理論 メリット︓学習初期の収束が早い デメリット︓学習後半で 1. 局所解から抜けずらい 2. 極端な学習率となり学習が不安定 学習後半では、学習率が⼤きすぎたり⼩さすぎる ことのデメリットが出てきてしまう。 学習率に対して上限と下限を動的に設定する。 “ADAPTIVE GRADIENT METHODS WITH DYNAMIC BOUND OF LEARNING RATE, Liangchen Luo, Yuanhao Xiong, Yan Liu, Xu Shun. (ICLR, 2019) https://arxiv.org/pdf/1902.09843.pdf 理論 概要 結果 サマリ
  • 11.
    © 2019 MasaharuKinoshita アジェンダ 11 9 July 2019 1. 理論 1.1. LSTM 1.2. Optimizer 2. 分析概要 3. 予測結果 4. サマリ
  • 12.
    © 2019 MasaharuKinoshita Googleの株価（終値）予測タスクにおいて、3つのモデル（RNN, LSTM, CNN+LSTM） を⽤いて、CNNの時系列タスクに対する有⽤性を学習時間,MSEの軸で検証する。 12 9 July 2019 分析概要 Input Preprocess Modeling Output Train+Test Train Data Test Data Norm Norm MSE 1 2 3 1 2 3 分析概要 分析詳細 for i in range(X.shape[0] - window): X_tmp = X.iloc[i:i+window].copy() X_tmp = X / X.iloc[0] - 1. X_norm.append(X_tmp) window = 10 Windowデータの中で正規化 3種類のDLモデル⽬的変数(Close)と4特徴量 Train Pred DL Model MSE 理論 概要 結果 サマリ FCRNN FCLSTM FCCNN LSTM
  • 13.
    © 2019 MasaharuKinoshita アジェンダ 13 9 July 2019 1. 理論 1.1. LSTM 1.2. Optimizer 2. 分析概要 3. 予測結果 4. サマリ
  • 14.
    © 2019 MasaharuKinoshita ベンチマークであるRNNと⽐べ、MSEでLSTM・CNN+LSTMが上回った。⼀⽅、学習 時間はCNN+LSTMのみが上回った。時系列タスクへのCNNの有⽤性が確認できた。 14 9 July 2019 予測結果 理論 概要 結果 サマリ
  • 15.
    © 2019 MasaharuKinoshita 【参考】LSTMの予測結果 15 9 July 2019 予測結果 理論 概要 結果 サマリ
  • 16.
    © 2019 MasaharuKinoshita 【参考】1d CNN+LSTMの予測結果 16 9 July 2019 予測結果 理論 概要 結果 サマリ
  • 17.
    © 2019 MasaharuKinoshita 皆さんは、各レイヤのWeightを⾒て、何を思いますか︖ 17 9 July 2019 予測結果 理論 概要 結果 サマリ CNN LSTM LSTM FCCNN CNN LSTM
  • 18.
    © 2019 MasaharuKinoshita アジェンダ 18 9 July 2019 1. 理論 1.1. LSTM 1.2. Optimizer 2. 分析概要 3. 予測結果 4. サマリ
  • 19.
    © 2019 MasaharuKinoshita ⽬的 分析の引き出しを増やし、かつ、お客様へ理論的な説明も実施できる状態になる ゴール 1. 画像タスク以外へのCNNのユースケースを知っている 2. 基本的な深層学習モデルとOptimizerの理論を理解している ⽬的とゴール 19 9 July 2019 問題設定 Googleの株価をRNN, LSTM, 1d CNN+LSTMで予測し、評価する。 MSE・学習時間の観点で結果を評価することで、CNNの有⽤性を検証する。 結論 MSE・学習時間を軸としてCNNの 時系列タスクの有⽤性が確認された。
  • 20.
    © 2019 MasaharuKinoshita EoF July 6th, 2019 ⽊下 正治