[DL輪読会]Learning binary or real-valued time-series via spike-timing dependent plasticity / Nonlinear Dynamic Boltzmann Machines for Time-Series Prediction
•
4 likes•2,142 views
2017/6/30 Deep Learning JP: http://deeplearning.jp/seminar-2/
Recommended
Recommended
More Related Content
More from Deep Learning JP
More from Deep Learning JP (20)
Recently uploaded
Recently uploaded (9)
[DL輪読会]Learning binary or real-valued time-series via spike-timing dependent plasticity / Nonlinear Dynamic Boltzmann Machines for Time-Series Prediction
- 2. Learning binary or real-valued time-series via spike-timing dependent plasticity 2
- 3. 書誌情報 Learning binary or real-valued time-series via spike-timing dependent plasticity 著者: T. Osogami (IBM Reserch Tokyo) ・NIPS 2016 workshop https://arxiv.org/abs/1612.04897 3
- 5. 筆者らが提案していたモデル Dynamic Bolzmann Machine ・Nature系列Scientific Reportsで発表 Seven neurons memorizing sequences of alphabetical images via spike-timing dependent plasticity (T. Osogami and M. Otsuka, 2015) https://www.nature.com/articles/srep14149 ・2015/10/8の輪読会(鈴木さん) http://deeplearning.jp/wp-content/uploads/2015/10/DL_hacks_20151011. pdf 5
- 9. (再)STDP ・スパイクタイミング依存可塑性 ・発火の順番によって重みが強まるor弱まる The Synaptic Organization of the Brain, Ed: Gordon M. Shepherd, Oxford University Press (2003) 9 LDP LTP
- 10. (再)Dynamic Boltzmann Machine 通常のBMとの違いは， 伝導遅延とメモリユニットのモデル化 伝導遅延 (conduction delay) ・過去の発火が軸索を通して伝わる(FIFO) メモリユニット (eligibility trace) ・各ニューロンとニューロン間に存在 10
- 11. (再)Dynamic Boltzmann Machine 11 伝導遅延 neural eligibility trace synaptic eligibility trace
- 13. (再)Dynamic Boltzmann Machine 時間tのニューロンjのエネルギー関数 ・1項目はバイアス ・2項目はLTP 但し, synaptic eligibility trace 13
- 14. (再)Dynamic Boltzmann Machine 時間tのニューロンjのエネルギー関数 ・3項目はLTD 但し, キュー neural eligibility trace 14
- 25. Nonlinear Dynamic Boltzmann Machines for Time-Series Prediction 25
- 26. 書誌情報 Nonlinear Dynamic Boltzmann Machines for Time-Series Prediction 著者: S. Dasgupta and T. Osogami ・AAAI 2017 https://aaai.org/ocs/index.php/AAAI/AAAI17/paper/view/14350 26
- 27. 概要 ・Gaussian DyBMの提案 (ここでは説明を省略) ・RNN-Gaussian DyBMの提案 ・Gaussian DyBMのバイアスをRNNで学習 ・非線形の隠れ層の役割をする 27
- 32. 実験② NARMA 30th order nonliner autoregressive moveing average ・N=1, M=5 ・uは平均0, 分散0.5のガウス分布 ・独立に100試行 ・MSEで評価 32
- 34. 実験③④ 実データに対して実験 (ともに20epoch) ③ガソリンとディーゼル燃料の価格予測 ・N=8, M=20 ・1223stepをtrain:test=2:1に分割 ④黒点数の予測 ・N=1, M=50 ・2080stepをtrain:test=2:1に分割 34
- 38. 結論 ・Gaussian DyBMは多変量自己回帰モデルの拡張 ・時系列の固有の非線形性をモデル化するために RNN-Gaussian DyBMが有効 ・LSTMより計算コストの面で優れる ・逆伝播が必要なモデルとは異なり， RNN-Gaussian DyBMはパラメータを分散して 計算できる →ロバストで計算コストの低い 高次元の時系列予測ができる 38