Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

分枝限定法でモデル選択の計算量を低減する

308 views

Published on

2018 行動計量学会

Published in: Data & Analytics
  • Be the first to comment

  • Be the first to like this

分枝限定法でモデル選択の計算量を低減する

  1. 1. 大阪大学 鈴木讓 行動計量学会第46回大会 2018年9月6日 分枝限定法で モデル選択の計算量を低減する
  2. 2. ロードマップ 1. BNの構造学習 2. BNの構造学習の計算を分枝限定法で削減 (既存) 3. Gaussian BNの場合の分枝限定法の適用方法 (提案) 4. 実験 5. 結論と課題
  3. 3. ベイジアンネットワーク (BN) 分布の因数分解を、有向非巡回グラフで表現したもの マルコフ同値
  4. 4. P=3変数の場合、11種類のBN
  5. 5. それぞれに事前確率をかけたものを比較 データから、事後確率最大のBNを見出す
  6. 6. 確率のようなもの
  7. 7. 条件付きスコアを求める
  8. 8. 各構造のスコアを比較する Xが先頭の構造だけで16個 Yが先頭、Zが先頭の場合も比較 各構造の事前確率は、等しいとする
  9. 9. (別の)条件付きスコアを求める
  10. 10. 各構造のスコアを(別の方法で)比較する 全部で6個 p変数の場合、pの階乗個の比較 最短経路問題でとける
  11. 11. のすべてを計算しないで、 を計算して、 最適な構造を見出したい 計算量を低減する
  12. 12. 動的計画法の適用 (Silander-Myllymaki, 2006)
  13. 13. 分枝限定法の適用 (Suzuki, ICML-96) の計算を削除できる 最適な構造が見出される ことは、保証される
  14. 14. 事後確率最大でも、情報量基準最小でもよい この条件が成立すると、それ以上深い探索は不要 (Suzuki, ICML-96, UAI-17) ➖(尤度)は、非負
  15. 15. Gaussian BN (今回の検討事項) 多変量正規分布をあらわすBN 依存している 変数の個数 分枝限定法の カットルール の構成 ー(尤度)は、負になりうる
  16. 16. 提案するカットルール (残り)すべての変数に依存するとき、 尤度が最大になる
  17. 17. 実験1 : 人工データ 分岐限定法を使用しないときとくらべ、 1/20から1/10の計算量1/10から1/5の時間
  18. 18. 実験2: 実データ (Hitters, BeastCancer)
  19. 19. まとめ Gaussian BNの構造学習の計算量の削減 • 計算ノード数で1/10-1/20, 計算時間で1/5-1/10に削減 (変数が20-25程度の場合) • 連続BNで、はじめて分枝限定法を適用 • 一般性があるので、波及効果が大きい 今後の課題 Nを固定したときの計算量がpの多項式になることの証明 (離散BNでは証明が完成してる) (来週からの国際会議で発表)

×