2017/11/13 Deep Learning JP: http://deeplearning.jp/workshop/

1. 1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
Deep Direct Reinforcement Learning for Financial Signal
Representation andTrading
Kunihiro Miyazaki, Matsuo Lab

2. • タイトル
– Deep Direct Reinforcement Learning for Financial Signal Representation and Trading
• ジャーナル
– IEEE transactions on neural networks and learning systems
– IF: 6.108 as of 2016
• Date of Publication
– 15 February 2016
• 引用数
– 13
• 著者
– Yue Deng, Feng Bao, Youyong Kong, Zhiquan Ren and Qionghai Dai
–
• 一言で
– DL RL
2017/6/2 2

3. • 元々金融系の研究をしている
• DLによる金融時系列情報からの特徴量抽出
• RLによる金融商品トレーディング
– 2
• まだDLでトレーディングを試みている論文は少ない
2017/6/2 3

4. • 金融における機械学習応用は様々
1.
2.
3.
4.
5. etc
•
• 効率的市場仮説
–
•
–
•
• =>DL
2017/6/2 4

5. • 問題設定
• 提案手法
• 実験と結果
• 考察
• 感想
2017/6/2 5

6. • 2つの問題設定
–
–
• 以下の二つを統合した、
• Direct Reinforcement Learningによる金融トレードシステムを
提案
– Fuzzy Learning RNN
– Task-aware BPTT
2017/6/2 6

7. Direct Reinforcement Learning
7
• R: 時間t毎の利得
• δ: ポジション {1,0,-1}
• c: 決済のコスト
• z: 前の時刻からのリターン
• u: ポジション変更のコスト
• g: NNのマッピング
• a: 前の層からのインプット
• o: ある層のアウトプット

8. Fuzzy Learning
8
• 株価にはその会社の本質の価値だけでなく、
マーケットのセンチメントや会社の噂など、
数多くのファクターで成り立っている
• メンバーシップ関数を用いることで、より
ロバストな学習が可能
– k=3
• v: メンバーシップ関数
R→[0,1]

9. Task-aware BPTT
2017/6/2 9
• Fuzzy Learningは、実装する上で膨大な
潜在変数に対処しきれない
– Task-aware BPTT
• 初期値の設定
– DNN Part AutoEncoder
• Task-aware BPTT
– Reward BPTT time stack BP
• Reward stack

10. Task-aware BPTT
• Task-aware BPTTを用いるとロバストな学習ができる
10

11. -
• 使用したデータ
– IF
• 300
•
–
• AG
• SU
–
• 特徴量
– 45m 3h 5h 1d 3d 10d
• 約1年のデータをtrainとtestに分割
11
TC: 決済コスト

12. -
12
• DLを用い、最初に
Fuzzy_learningを用い
る程結果は良くなる
–

13. -
13
• S&Pのデータで実験
–

14. –
2017/6/2 14
• パラメータを変更した結果
–
– τ

15. • 結論
–
•
– Fuzzy Leaning
–
• 感想
– DL
– DL
2017/6/2 15

16. 2017/6/2 16