NeurIPS 2019 読み会 in 京都(https://connpass.com/event/159096/)のLT枠で紹介する論文です。 Abs.: 不均一な間隔の 時系列データを標準RNNでモデル化は困難。不規則な観測時間間隔をODEソルバーを使って補完し，Enc./Dec.モデルを用いてLatent ODEsを構築することで周期的な時不変ダイナミクスを復元。

1. Latent ODEs
for Irregularly-Sampled Time Series
s.matoba
NeurIPS2019読み会@京都

2. [まとめ]
• 問題
不均一な間隔の時系列を標準のRNNでモデル化は困難
• 提案
ODEを使ったダイナミクスの補完 + Enc./Dec.モデル
• 結論
周期的な時不変ダイナミクスと相性が良い
Fig.1 ある1人の患者の48時間の複数観測データ

3. [復習] Neural ODEs @ NeurIPS2018
• 隠れ状態 ℎ(𝑡) のダイナミクスを求める。
• ODEソルバーを入力する損失関数を最適化。
• Training時のODEソルバーを通したreverse-mode differentiationの問題は
adjoint sensitivity method (Pontryagin)を用いて勾配計算。
• 随伴感度 𝑎(𝑡) =
𝜕𝐿
𝜕𝑧(𝑡)
を使用した、メモリ効率が良い𝜃に関する勾配計算。
，
vector-Jacobian積
ResNetだとBackpropagation

4. ODE-RNN
• 観測時間の間の(隠れ状態)補完方法
• Standard RNN
• RNN-Decay and GRU-D
固定点に単調収束するダイナミクスに強制している
• ODE-RNN
• 観測時間の間：
• 観測時間：
ODEソルバーでフレキシブルなダイナミクスを可能に。
𝜏: decay rate
(観測した時間)
ただし、自己回帰モデルは観測値が疎らな場合パフォーマンス低下

5. Latent ODEs (Enc./Dec.モデル)
• 不規則な時間データ𝑥𝑖から近似事後分布𝑞(𝑧0|𝑥0, … , 𝑥 𝑁)を求める
• 初期潜在状態𝑧0から時系列モデルを生成
• ELBOを最大化することで、Enc./Dec.共同でTraining
ODE-RNN

6. Latent ODEs using Poisson processes
• 不規則な観測率をモデル化
• Poissonポイント過程の対数尤度：
• Latent ODE に 観測時間に対応するPoisson過程を追加することで拡張
• 𝜆(𝑡)を𝑧(𝑡)の関数としてパラメータ化
• 条件付き周辺尤度 を最大化する代わりに
同時周辺尤度 を最大化
(正直、あまり興味ない…)

7. [結果] Toy dataset で時不変周期の復元性を確認
• [Training]： 赤い領域の点を調整、青い領域の点を再構築。
• [Test] ：赤い領域の20点モデルを調整、より大きな時間で生成ODE解く。
Latent ODE with ODE-RNNは、データから周期的Dynamicsを復元！
Train
Test
Train
Test

8. [結果] (Physionet) ICU患者の死亡率の予測
片側t検定のトレーニング結果
・[Training]： (Ours)が平均誤差・誤差分散ともに良い
・[Test]：AUCは思ったほど差が出なかった…
(死亡するんだったら単調収束に向かう？)
歩く・座る・寝るなどのアクティビティ分類
では、Latent ODE(ODE enc)がもっとも良い