Recommended
More Related Content
Similar to Dynamic Measurement Scheduling for Event Forecasting Using Deep RL
Similar to Dynamic Measurement Scheduling for Event Forecasting Using Deep RL (20)
More from harmonylab
More from harmonylab (20)
Dynamic Measurement Scheduling for Event Forecasting Using Deep RL
- 1. Dynamic Measurement Scheduling for Event Forecasting Using Deep RL 北海道大学 大学院情報科学研究院 調和系工学研究室 大江 弘峻 2020年7月8日
- 2. 1論文情報 • Chun-Hao Chang, Mingjie Mai, Anna Goldenberg • Proceedings of the 36th International Conference on Machine Learning (ICML2019) • 論文 https://arxiv.org/abs/1901.09699 • コード https://github.com/zzzace2000/autodiagnosis
- 3. 2論文の概要 • 患者の健康状態把握のために行う測定のスケジュー リングを強化学習と予測モデルを組み合わせて実現 • 医者の測定スケジューリングと比べて、 測定数の削減、高い情報利得の獲得に成功
- 5. 4問題設定 • 測定コストを抑えつつ測定によってできるだけ多く 意味のある情報を取得したい • 入力データは、患者の身体情報と過去の測定データ • 出力データは測定のスケジュール • 患者が死亡したかどうかを測定の効率性の判断に 使用
- 7. 6死亡予測モデルの作成 • 患者の死亡データをもとに、将来の24時間以内に 患者が死亡するかどうかを予測させる • LSTMを使用 – 1層の中間層（32ユニット） – Dropoutを使用（入出力層に0.3、中間層に0.5） – L2正則化を損失関数に追加 死亡 予測確率 ℎ 𝑡 ℎ 𝑡−1
- 9. 8強化学習のモデル • Dueling DQNを使用 • 予測モデルの中間層特徴を入力として使用 • どの測定を行うかを行動として出力する • 測定コストと測定によって得られる情報利得を 報酬に使用
- 11. 10強化学習モデルの入力状態 • 学習させた予測モデル（LSTM）の中間層の特徴(ℎ 𝑡)と 現在の時刻tで行ってきたこれまでの測定履歴を合わせ たものを使用 • LSTMの中間層を使うことで時系列に考慮させる 予測確率 ℎ 𝑡 ℎ 𝑡−1
- 12. 11強化学習モデルの行動空間 • 測定をするかしないかの組み合わせで表現すると、 測定項目の数が多い場合に行動空間が指数関数的に 増大してしまう • ストップアクションΩを使用した方法を導入 – ストップアクションΩが選択されるまでその時間の測定 を続ける
- 14. 13モデルの評価方法 • Off-Policy Policy Evaluation (OPPE)
- 15. 14実験設定 訓練 – 予測モデル（LSTM）の学習 – スケジューリングモデル（DQN）の学習 テスト – MIMIC3データでのテスト
- 16. 15実験結果
- 17. 16まとめ • 患者の測定スケジューリングを強化学習と予測モデルを 使用して学習 • テストでは、 – 31%低い測定回数で同程度の情報利得を獲得 – 同じ測定回数で3倍高い情報利得を獲得 • スケジューリングの学習は予測モデルの性能に依存する ので、モデルの過学習に注意を払う必要がある