SlideShare a Scribd company logo
外れ値データの発生を含む回帰モデルに対するベイズ予測アルゴリズム 須子 統太 松嶋 敏泰 平澤 茂一 (早稲田大学)
1. 研究背景 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],ベイズ基準に基づく最適な予測方法を示し 計算量を削減した近似アルゴリズムを提案
3. 外れ値データのモデル化 ,[object Object],[object Object],[object Object],[object Object],[object Object],正常値のモデル 外れ値のモデル 分散,回帰係数が違う通常の線形回帰モデル :外れ値の出現する確率(既知)
4. 予測問題 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],・説明変数と目的変数の n 個の組        ・ n+1 個目の説明変数 を予測 簡単の為,今回はこちらのみ考える
5. ベイズ最適な予測法の導出 ,[object Object],[object Object],[object Object],(i番目のデータが正常値) (i番目のデータが外れ値) :外れ値の出現パターン(全部で  2 n  個)
5. ベイズ最適な予測法の導出 通常の線形回帰モデルに対するベイズ最適な予測値 ⇒ 自然共役な事前分布を仮定すると    t 分布の期待値 として解析的に計算可能 [Bernardo’94] z n における全ての正常値のデータの組 全ての  z n   について事後確率で重み付け ⇒ 外れ値を検出する必要はない 2 n   個の  z n   についての重み付け計算が必要 ⇒  O (2 n ) の計算量
6. 近似予測アルゴリズム ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
6. 近似予測アルゴリズム ,[object Object],[object Object],[object Object],⇒ 値が小さいほど  が間違えている可能性が高い
6. 近似予測アルゴリズム ,[object Object],N =7, A =3 の場合 0.12 0 6 0.08 1 5 0.42 0 4 0.45 0.4 0.35 0.1 0 1 0 0 7 3 2 1 i
6. 近似予測アルゴリズム ,[object Object],N =7, A =3 の場合 (  , 0 , 1 , 0 ,  ,  , 0 ) 0 1 0 1 0 1 0 か 1 のどちらかを取る ⇒ 2 A   個の  z n   の集合 0.12 0 6 0.08 1 5 0.42 0 4 0.45 0.4 0.35 0.1 0 1 0 0 7 3 2 1 i
6. 近似予測アルゴリズム ,[object Object],重み付ける  z n   の集合が Z n  から     へ変わった以外は 全て同じ計算
7.  シミュレーションによる評価 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
7.1.  シミュレーション 1 (データ数 13 ,正確な事後確率の高い順に重み付け)
7.1.  シミュレーション 1 (データ数 13 ,重み付け数変化) A =1 A =13 (ベイズ最適) A =11 A =12
7.1.  シミュレーション 2 (データ数大,データ数変化)
7.1.  シミュレーション 2 (データ数大,データ数変化)
8. 考察 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
9. まとめと今後の課題 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
予備資料:EM反復回数

More Related Content

What's hot

カステラ本勉強会 第三回
カステラ本勉強会 第三回カステラ本勉強会 第三回
カステラ本勉強会 第三回
ke beck
 
みどりぼん3章前半
みどりぼん3章前半みどりぼん3章前半
みどりぼん3章前半
Akifumi Eguchi
 
データ解析6 重回帰分析
データ解析6 重回帰分析データ解析6 重回帰分析
データ解析6 重回帰分析
Hirotaka Hachiya
 
Stan で欠測データの相関係数を推定してみた
Stan で欠測データの相関係数を推定してみたStan で欠測データの相関係数を推定してみた
Stan で欠測データの相関係数を推定してみたhoxo_m
 
統計的学習の基礎 3章前半
統計的学習の基礎 3章前半統計的学習の基礎 3章前半
統計的学習の基礎 3章前半
Kazunori Miyanishi
 
データ解析5 単回帰分析
データ解析5 単回帰分析データ解析5 単回帰分析
データ解析5 単回帰分析
Hirotaka Hachiya
 
PRML輪読#11
PRML輪読#11PRML輪読#11
PRML輪読#11
matsuolab
 
PRML読み会第一章
PRML読み会第一章PRML読み会第一章
PRML読み会第一章
Takushi Miki
 
データ解析4 確率の復習
データ解析4 確率の復習データ解析4 確率の復習
データ解析4 確率の復習
Hirotaka Hachiya
 
データ解析7 主成分分析の基礎
データ解析7 主成分分析の基礎データ解析7 主成分分析の基礎
データ解析7 主成分分析の基礎
Hirotaka Hachiya
 
PRML11章
PRML11章PRML11章
PRML11章
Takashi Tamura
 
DARM勉強会第3回 (missing data analysis)
DARM勉強会第3回 (missing data analysis)DARM勉強会第3回 (missing data analysis)
DARM勉強会第3回 (missing data analysis)
Masaru Tokuoka
 
データ解析11 因子分析の応用
データ解析11 因子分析の応用データ解析11 因子分析の応用
データ解析11 因子分析の応用
Hirotaka Hachiya
 
データ解析14 ナイーブベイズ
データ解析14 ナイーブベイズデータ解析14 ナイーブベイズ
データ解析14 ナイーブベイズ
Hirotaka Hachiya
 
データ解析10 因子分析の基礎
データ解析10 因子分析の基礎データ解析10 因子分析の基礎
データ解析10 因子分析の基礎
Hirotaka Hachiya
 
データ解析13 線形判別分析
データ解析13 線形判別分析データ解析13 線形判別分析
データ解析13 線形判別分析
Hirotaka Hachiya
 
幾何を使った統計のはなし
幾何を使った統計のはなし幾何を使った統計のはなし
幾何を使った統計のはなし
Toru Imai
 
データ解析入門
データ解析入門データ解析入門
データ解析入門
Takeo Noda
 
距離とクラスタリング
距離とクラスタリング距離とクラスタリング
距離とクラスタリング
大貴 末廣
 
アンサンブル木モデル解釈のためのモデル簡略化法
アンサンブル木モデル解釈のためのモデル簡略化法アンサンブル木モデル解釈のためのモデル簡略化法
アンサンブル木モデル解釈のためのモデル簡略化法
Satoshi Hara
 

What's hot (20)

カステラ本勉強会 第三回
カステラ本勉強会 第三回カステラ本勉強会 第三回
カステラ本勉強会 第三回
 
みどりぼん3章前半
みどりぼん3章前半みどりぼん3章前半
みどりぼん3章前半
 
データ解析6 重回帰分析
データ解析6 重回帰分析データ解析6 重回帰分析
データ解析6 重回帰分析
 
Stan で欠測データの相関係数を推定してみた
Stan で欠測データの相関係数を推定してみたStan で欠測データの相関係数を推定してみた
Stan で欠測データの相関係数を推定してみた
 
統計的学習の基礎 3章前半
統計的学習の基礎 3章前半統計的学習の基礎 3章前半
統計的学習の基礎 3章前半
 
データ解析5 単回帰分析
データ解析5 単回帰分析データ解析5 単回帰分析
データ解析5 単回帰分析
 
PRML輪読#11
PRML輪読#11PRML輪読#11
PRML輪読#11
 
PRML読み会第一章
PRML読み会第一章PRML読み会第一章
PRML読み会第一章
 
データ解析4 確率の復習
データ解析4 確率の復習データ解析4 確率の復習
データ解析4 確率の復習
 
データ解析7 主成分分析の基礎
データ解析7 主成分分析の基礎データ解析7 主成分分析の基礎
データ解析7 主成分分析の基礎
 
PRML11章
PRML11章PRML11章
PRML11章
 
DARM勉強会第3回 (missing data analysis)
DARM勉強会第3回 (missing data analysis)DARM勉強会第3回 (missing data analysis)
DARM勉強会第3回 (missing data analysis)
 
データ解析11 因子分析の応用
データ解析11 因子分析の応用データ解析11 因子分析の応用
データ解析11 因子分析の応用
 
データ解析14 ナイーブベイズ
データ解析14 ナイーブベイズデータ解析14 ナイーブベイズ
データ解析14 ナイーブベイズ
 
データ解析10 因子分析の基礎
データ解析10 因子分析の基礎データ解析10 因子分析の基礎
データ解析10 因子分析の基礎
 
データ解析13 線形判別分析
データ解析13 線形判別分析データ解析13 線形判別分析
データ解析13 線形判別分析
 
幾何を使った統計のはなし
幾何を使った統計のはなし幾何を使った統計のはなし
幾何を使った統計のはなし
 
データ解析入門
データ解析入門データ解析入門
データ解析入門
 
距離とクラスタリング
距離とクラスタリング距離とクラスタリング
距離とクラスタリング
 
アンサンブル木モデル解釈のためのモデル簡略化法
アンサンブル木モデル解釈のためのモデル簡略化法アンサンブル木モデル解釈のためのモデル簡略化法
アンサンブル木モデル解釈のためのモデル簡略化法
 

Similar to ma92007id395

Introduction to statistics
Introduction to statisticsIntroduction to statistics
Introduction to statistics
Kohta Ishikawa
 
PRML第3章_3.3-3.4
PRML第3章_3.3-3.4PRML第3章_3.3-3.4
PRML第3章_3.3-3.4
Takashi Tamura
 
[論文解説]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
[論文解説]A Bayesian Perspective on Generalization and Stochastic Gradient Descent[論文解説]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
[論文解説]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
Ryutaro Yamauchi
 
Survival analysis0702 2
Survival analysis0702 2Survival analysis0702 2
Survival analysis0702 2
Nobuaki Oshiro
 
ベイズ統計学の概論的紹介-old
ベイズ統計学の概論的紹介-oldベイズ統計学の概論的紹介-old
ベイズ統計学の概論的紹介-old
Naoki Hayashi
 
Survival analysis0702
Survival analysis0702Survival analysis0702
Survival analysis0702
Nobuaki Oshiro
 
Big Data Bootstrap (ICML読み会)
Big Data Bootstrap (ICML読み会)Big Data Bootstrap (ICML読み会)
Big Data Bootstrap (ICML読み会)正志 坪坂
 
NagoyaStat#7 StanとRでベイズ統計モデリング(アヒル本)4章の発表資料
NagoyaStat#7 StanとRでベイズ統計モデリング(アヒル本)4章の発表資料NagoyaStat#7 StanとRでベイズ統計モデリング(アヒル本)4章の発表資料
NagoyaStat#7 StanとRでベイズ統計モデリング(アヒル本)4章の発表資料
nishioka1
 
Let中部2012シンポスライド
Let中部2012シンポスライドLet中部2012シンポスライド
Let中部2012シンポスライド
Mizumoto Atsushi
 
ベイズ入門
ベイズ入門ベイズ入門
ベイズ入門
Zansa
 
Data-Intensive Text Processing with MapReduce ch6.1
Data-Intensive Text Processing with MapReduce ch6.1Data-Intensive Text Processing with MapReduce ch6.1
Data-Intensive Text Processing with MapReduce ch6.1
Sho Shimauchi
 
自動微分変分ベイズ法の紹介
自動微分変分ベイズ法の紹介自動微分変分ベイズ法の紹介
自動微分変分ベイズ法の紹介
Taku Yoshioka
 
ベイズ統計入門
ベイズ統計入門ベイズ統計入門
ベイズ統計入門Miyoshi Yuya
 
Risk based portfolio with large dynamic covariance matrices
Risk based portfolio with large dynamic covariance matricesRisk based portfolio with large dynamic covariance matrices
Risk based portfolio with large dynamic covariance matrices
Kei Nakagawa
 

Similar to ma92007id395 (14)

Introduction to statistics
Introduction to statisticsIntroduction to statistics
Introduction to statistics
 
PRML第3章_3.3-3.4
PRML第3章_3.3-3.4PRML第3章_3.3-3.4
PRML第3章_3.3-3.4
 
[論文解説]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
[論文解説]A Bayesian Perspective on Generalization and Stochastic Gradient Descent[論文解説]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
[論文解説]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
 
Survival analysis0702 2
Survival analysis0702 2Survival analysis0702 2
Survival analysis0702 2
 
ベイズ統計学の概論的紹介-old
ベイズ統計学の概論的紹介-oldベイズ統計学の概論的紹介-old
ベイズ統計学の概論的紹介-old
 
Survival analysis0702
Survival analysis0702Survival analysis0702
Survival analysis0702
 
Big Data Bootstrap (ICML読み会)
Big Data Bootstrap (ICML読み会)Big Data Bootstrap (ICML読み会)
Big Data Bootstrap (ICML読み会)
 
NagoyaStat#7 StanとRでベイズ統計モデリング(アヒル本)4章の発表資料
NagoyaStat#7 StanとRでベイズ統計モデリング(アヒル本)4章の発表資料NagoyaStat#7 StanとRでベイズ統計モデリング(アヒル本)4章の発表資料
NagoyaStat#7 StanとRでベイズ統計モデリング(アヒル本)4章の発表資料
 
Let中部2012シンポスライド
Let中部2012シンポスライドLet中部2012シンポスライド
Let中部2012シンポスライド
 
ベイズ入門
ベイズ入門ベイズ入門
ベイズ入門
 
Data-Intensive Text Processing with MapReduce ch6.1
Data-Intensive Text Processing with MapReduce ch6.1Data-Intensive Text Processing with MapReduce ch6.1
Data-Intensive Text Processing with MapReduce ch6.1
 
自動微分変分ベイズ法の紹介
自動微分変分ベイズ法の紹介自動微分変分ベイズ法の紹介
自動微分変分ベイズ法の紹介
 
ベイズ統計入門
ベイズ統計入門ベイズ統計入門
ベイズ統計入門
 
Risk based portfolio with large dynamic covariance matrices
Risk based portfolio with large dynamic covariance matricesRisk based portfolio with large dynamic covariance matrices
Risk based portfolio with large dynamic covariance matrices
 

More from matsushimalab

ma99992012id537
ma99992012id537ma99992012id537
ma99992012id537
matsushimalab
 
ma12012id536
ma12012id536ma12012id536
ma12012id536
matsushimalab
 
ma112011id535
ma112011id535ma112011id535
ma112011id535
matsushimalab
 
ma52009id421
ma52009id421ma52009id421
ma52009id421
matsushimalab
 
ma52009id420
ma52009id420ma52009id420
ma52009id420
matsushimalab
 
ma112006id337
ma112006id337ma112006id337
ma112006id337
matsushimalab
 

More from matsushimalab (20)

ma99992012id537
ma99992012id537ma99992012id537
ma99992012id537
 
ma12012id536
ma12012id536ma12012id536
ma12012id536
 
ma112011id535
ma112011id535ma112011id535
ma112011id535
 
ma99992011id513
ma99992011id513ma99992011id513
ma99992011id513
 
ma99992010id512
ma99992010id512ma99992010id512
ma99992010id512
 
ma99992010id510
ma99992010id510ma99992010id510
ma99992010id510
 
ma99992011id509
ma99992011id509ma99992011id509
ma99992011id509
 
ma99992011id508
ma99992011id508ma99992011id508
ma99992011id508
 
ma99992010id497
ma99992010id497ma99992010id497
ma99992010id497
 
ma99992010id464
ma99992010id464ma99992010id464
ma99992010id464
 
ma92010id461
ma92010id461ma92010id461
ma92010id461
 
ma112010id450
ma112010id450ma112010id450
ma112010id450
 
ma112009id434
ma112009id434ma112009id434
ma112009id434
 
ma52009id421
ma52009id421ma52009id421
ma52009id421
 
ma52009id420
ma52009id420ma52009id420
ma52009id420
 
ma52009id419
ma52009id419ma52009id419
ma52009id419
 
ma112007id414
ma112007id414ma112007id414
ma112007id414
 
ma112007id413
ma112007id413ma112007id413
ma112007id413
 
ma22006id411
ma22006id411ma22006id411
ma22006id411
 
ma112006id337
ma112006id337ma112006id337
ma112006id337
 

ma92007id395