Download as PDF, PPTX
![論文の実験結果
182017/10/5
参考論文の紹介
初
期
資
産
と
各
時
刻
の
資
産
比
時間[30min]
論文で提案された
方法によるもの
(29.69倍 !?)
最も高い利益を出した
商品を保有し続けたもの
(1.29倍)
1倍
10倍](https://image.slidesharecdn.com/renomusergroup2part1-171013070451/85/slide-18-320.jpg)
![実装してみました(テスト結果 総資産の変動)
202017/10/5
資産5倍ライン
ここを拡大
資産3倍ライン
初
期
資
産
と
各
時
刻
の
資
産
比 時間 [30min]](https://image.slidesharecdn.com/renomusergroup2part1-171013070451/85/slide-20-320.jpg)
![資産変動図を拡大
212017/10/5
実装結果
1.08倍
1.02倍
1.05倍
初
期
資
産
と
各
時
刻
の
資
産
比
時間 [30min]](https://image.slidesharecdn.com/renomusergroup2part1-171013070451/85/slide-21-320.jpg)
![参考資料
232017/10/5
実装結果
● A Deep Reinforcement Learning Framework for the
Financial Portfolio Management Problem
Zhengyao Jiang, Dixing Xu, Jinjun Liang
● Online Portfolio Selection: Principles and Algorithms[p.23~p.29]
Bin Li、Steven Chu Hong Hoi
● Deep Learning in Finance
J. B. Heaton, N. G. Polson, J. H. Witte](https://image.slidesharecdn.com/renomusergroup2part1-171013070451/85/slide-23-320.jpg)
強化学習を用いたポートフォリオマネジメントの試み
- 1. INFRASTRUCTURE + LIFE+ INNOVATION 12017/10/5 RNUG 02 分散投資を強化学習でマネジメントしてみる
- 2.
- 3.
- 4. 色々なアプローチ：例1 42017/10/5 ポートフォリオマネジメント 時々の市場価格に基づくアプローチ ● Follow theWinner アルゴリズム ● Follow the Loser アルゴリズム など 市場の移動平均などを見て、 決められた数式に従って 一定量の資産を買う(売る)
- 5. 色々なアプローチ：例2 52017/10/5 ポートフォリオマネジメント 価格予測に基づくアプローチ ● Deep Learningin Finance J. B. Heaton, N. G. Polson, J. H. Witte 価格予測 モデル 売買コスト評価 モデル 意思決定 モデル 注文 市場 データ 将来の価格を過去のデータから 予測し、その商品を買う(売る) 価格予測モデル + 売買コスト評価モデル + 意思決定を行うモデルが必要
- 6. 色々なアプローチ：例3 62017/10/5 ポートフォリオマネジメント 強化学習に基くアルゴリズム ● A DeepReinforcement Learning Framework for the Financial Portfolio Management Problem Zhengyao Jiang, Dixing Xu, Jinjun Liang データ評価 売買コスト評価 意思決定 注文 市場 データ 売買コスト評価と意思決定の全てがエージェントによって行われる
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14. 参考論文の紹介 142017/10/5 ● A DeepReinforcement Learning Framework for the Financial Portfolio Management Problem Zhengyao Jiang, Dixing Xu, Jinjun Liang ⇒ フィナンシャル ポートフォリオ マネジメントのための 深層強化学習フレームワーク ビットコイン市場で30分ごとに保有資産の割合を 変更し、資産の最大化を目指す。
- 15.
- 16. 状態を定義 162017/10/5 参考論文の紹介 市場のトレンド と 自分の保有資産を状態として扱う。 時刻ごとの各商品の価格比を並べ、行列データとする。 一つの状態は50時刻分のトレンドデータと保有資産ベクトルからなる。 EUR t1 t2 … t50 USD t1 t2 … t50 JPN t1 t2 … t50 時系列 エージェントは “市場を見て売買割合を決める” ので、 状態を以下のように定義する 商 品
- 17.
- 18.
- 19. 実装してみました 192017/10/5 2年分(30分 30000ステップ)の取引データを用いて学習 約20日(30分 1000ステップ)の取引データを用いてテスト 学習データテスト 2017/9/222015~ 2017/8~ ※いくつか分からない点が残っていますが、無理やり実装しました。 ● 電子通貨市場で11種類の商品に対して分散投資を行った
- 20.
- 21.
- 22. まとめ 222017/10/5 実装結果 ● 強化学習によるポートフォリオマネジメントアルゴリズムを実装した ● Backテスト(過去のデータに基づくテスト)では非常にハイパフォーマンス ●全ての資産を一つの商品に割り当てる傾向がある(リスク管理が足りない) ※実験の仮定として… 1. 自分の売買が市場に影響を与えないぐらい市場が大きい 2. 自分の注文は直ちに売り買いが行われる という条件がある。特に2番の仮定により、実取引はパフォーマンスが出ないかもしれない。
- 23. 参考資料 232017/10/5 実装結果 ● A DeepReinforcement Learning Framework for the Financial Portfolio Management Problem Zhengyao Jiang, Dixing Xu, Jinjun Liang ● Online Portfolio Selection: Principles and Algorithms[p.23~p.29] Bin Li、Steven Chu Hong Hoi ● Deep Learning in Finance J. B. Heaton, N. G. Polson, J. H. Witte