More Related Content
Similar to Sigfin Neural Fractional SDE NET
Similar to Sigfin Neural Fractional SDE NET (20)
More from Kei Nakagawa (20)
Sigfin Neural Fractional SDE NET
- 5. 先行研究:連続時間ニューラルネットモデル
5
飛び越えて伝播
ResNet [He+, 2016]
連続化
ランダムネスの導入
Neural ODE [Chen+, 2018, NeurIPS]
Neural SDE [Liu+, 2019+]
𝑓(𝑥𝑡)
𝑥𝑡
𝑥𝑡+1 = 𝑥𝑡 + 𝑓(𝑥𝑡)
𝑑𝑥𝑡
𝑑𝑡
= 𝑓(𝑡, 𝑥𝑡)
𝑑𝑥𝑡
𝑑𝑡
= 𝑓 𝑡, 𝑥𝑡 + 𝜀𝑡
+
• ネットワーク構造を
常微分方程式 (ODE) で記述できる.
• ODEのソルバーを使うことで
計算量・メモリの削減が可能.
• ネットワーク構造を
確率微分方程式 (SDE) で記述できる.
• SDEのソルバーを使うことで
計算量・メモリの削減が可能.
問題点:標準Brown運動では金融時系列の複雑性を再現するのに不十分.
本研究:ノイズを非整数階Brown運動へ一般化した.
- 7. 時系列の長期記憶性と非整数階Brown運動
定義:𝐻 ∈ 0,1 :Hurst指数. Var(𝐵𝑡
𝐻
− 𝐵𝑠
𝐻
) = 𝑡 − 𝑠 2𝐻
を満たす平均ゼロの連続ガウス過程
𝐵𝑡
𝐻
𝑡≥0を非整数階Brown運動(fractional Brownian motion, fBm)という.
• 𝐻 = 1/2のとき標準Brown運動となる.
• 𝐻 ≠ 1/2のときセミマルチンゲールでない.Hurst指数が小さいほどパスの正則性は低い.
• 数理ファイナンスと関連:裁定取引の存在,パスのラフさ.
• 𝐻 > 1/2のとき,fBmの増分は長期記憶性を持つ.
ここで,確率過程{𝑋𝑡}𝑡≥0に対し,その増分𝑋𝑠,𝑡 = 𝑋𝑡 − 𝑋𝑠が長期記憶性を持つとは次が成り立つこと:
𝑛∈ℕ
Cov 𝑋0,ℎ, 𝑋 𝑛−1 ℎ,𝑛ℎ = ∞, ∀ℎ > 0.
• 金融データや自然言語などの時系列に対し長期記憶性が観測されている.
• SDE-Netの拡張としてfBm (H>1/2) で駆動されるニューラルネット (fSDE-Net) を考え,長期記憶性を持
つパスを生成する.
7
H=0.25 H=0.5 H=0.75
図:非整数階Brown運動 (fBm) のサンプルパスの例
- 8. Neural Fractional SDE-Netの導入
• 前提:時系列データ𝑋 = {𝑋𝑡}𝑡∈ 0,𝑇 が次の確率微分方程式に従うと仮定.
𝑑𝑋𝑡 = 𝑏 𝜃, 𝑋𝑡 𝑑𝑡 + 𝜎 𝜃, 𝑋𝑡 𝑑𝐵𝑡
𝐻
, 𝐻 > 1/2.
輸送項𝑏,拡散項𝜎はパラメータ𝜃のニューラルネットワークで与える.
• ネットワーク設計:Multi-layer perceptron (MLP)
𝑥ℓ+1 = tanh 𝑊ℓ𝑥ℓ + 𝑏ℓ , ℓ = 1, … 𝐿
• 数値計算スキーム:陽的Euler法
𝑋(𝑖+1)/𝑛
𝑛
= 𝑋𝑖/𝑛
𝑛
+ 𝑏 𝑋𝑖/𝑛
𝑛 1
𝑛
+ 𝜎 𝑋𝑖/𝑛
𝑛
(𝐵(𝑖+1)/𝑛
𝐻
− 𝐵𝑖/𝑛
𝐻
)
を解き,𝑋𝑡
𝑛
= 𝑋 𝑛𝑡 /𝑛
𝑛
, 0 ≤ 𝑡 ≤ 𝑇と定義する.
• fSDE-Netにより時系列
𝑋𝑡
𝜃
𝑡≥0
を生成し,対数尤度を最大化するように
パラメータ𝜃を最適化.
𝐿 𝜃 =
1
𝑇
𝑡=0
𝑇
log 𝑝𝜃(𝑡, log(𝑋𝑡+1/𝑋𝑡)) .
ここで,𝑝𝜃は対数リターンlog(
𝑋𝑡+1
𝜃
/
𝑋𝑡
𝜃
)の確率密度関数.
8
主定理:𝐻 > 1/2と仮定する.上記のfSDE-Netの生成器は一意解を持ち,更に
陽的Euler法により数値的に解くことができる.