Recommended
More Related Content
Featured
Featured (20)
Bootstrap methodの勉強メモ
- 2. 未知の母集団𝑃 ？ 𝑋1 𝑋2 𝑋3 ・・・ 𝑋n n個の ランダム サンプリング 𝑀 = 𝑔(𝑋1, 𝑋2,, 𝑋3 ⋯ , 𝑋 𝑛) 𝑀: 推定したいパラメーター ここで、母集団Pがどんな分布なのかは不明・・・
- 3. 母集団𝑃 ？ もし、母集団PからB回、ランダムサンプリングすることが できたらこんな感じで推定が可能。 n個のRS → 𝑀1 n個のRS → 𝑀2 n個のRS → 𝑀 𝐵 ・ ・ ・ 平均 𝑚 = 1 𝐵 𝑗=1 𝐵 𝑀𝑗 分散 𝑠2 = 1 𝐵 𝑗=1 𝐵 (𝑀𝑗)2 − 1 𝐵 𝑗=1 𝐵 𝑀𝑗 2
- 4. 平均 𝑚 = 1 𝐵 𝑗=1 𝐵 𝑀𝑗 → 𝑃 𝐸 𝑀 分散 𝑠2 = 1 𝐵 𝑗=1 𝐵 (𝑀𝑗)2 − 1 𝐵 𝑗=1 𝐵 𝑀𝑗 2 → 𝑃 𝑉𝑎𝑟(𝑀) Bの数を無限に増やしていくと、Mの真の平均𝐸(𝑀)と、 真の分散𝑉𝑎𝑟 𝑀 の値となる
- 5. 母集団𝑃 ？ ただし、現実は、母集団から無限に ランダムサンプリングすることはできない。 手元のデータからなんとかしたい そのためには ・Empirical Distribution Function ・Plug-in Estimator の考え方が必要 手元の データ
- 6. Empirical Distribution Function 𝐹 𝑥 = 1 𝑛 𝑖=1 𝑛 𝐼(𝑋𝑖 ≤ 𝑥) 𝐼はインジケーター関数 例：10個のランダムサンプルの結果が {1,3,3,5,6,7,7,7,8,8}であれば 𝐹(𝑥)は、こん な感じのグラフになる 𝐹 𝑥 = 0, 𝑥 < 1 0.1, 1 ≤ 𝑥 < 3 0.3, 3 ≤ 𝑥 < 5 ⋯ 1, 8 ≤ 𝑥 𝐹 4 = 1 10 𝑖=1 10 𝐼(𝑋𝑖 ≤ 𝑥) = 1 10 𝐼 𝑋1 ≤ 4 + 𝐼 𝑋2 ≤ 4 + 𝐼 𝑋3 ≤ 4 +𝐼 𝑋4 ≤ 4 + 𝐼 𝑋5 ≤ 4 + 𝐼 𝑋6 ≤ 4 +𝐼 𝑋7 ≤ 4 + 𝐼 𝑋8 ≤ 4 + 𝐼 𝑋9 ≤ 4 + 𝐼 𝑋10 ≤ 4 ) = 1 10 𝐼 1 ≤ 4 + 𝐼 3 ≤ 4 + 𝐼 3 ≤ 4 +𝐼 5 ≤ 4 + 𝐼 6 ≤ 4 + 𝐼 7 ≤ 4 +𝐼 7 ≤ 4 + 𝐼 7 ≤ 4 + 𝐼 8 ≤ 4 + 𝐼 8 ≤ 4 ) = 1 10 1 + 1 + 1 + 0 + 0 + 0 + 0 + 0 + 0 + 0 = 0.3 x=4のとき
- 7. Statistical Functional 0.0 0.1 0.2 0.3 0.4 1 2 3 4 5 0.00 0.25 0.50 0.75 1.00 1 2 3 4 5 PMF:𝑝(𝑥) 𝑝 2 = 0.4 CDF:𝐹(𝑥) 𝑥 = 2 𝐹 2 = 0.6 𝐹 1 = 0.2 𝑑𝐹 𝑥 𝑑𝑥 = 0.4, 𝑖𝑓 𝑥 = 2 𝑑𝐹 𝑥 𝑑𝑥 = 𝑝(𝑥) 𝑑𝐹 𝑥 = 𝑝 𝑥 𝑑𝑥 とできる。 これは、連続値のPDFでも同様なので、 CDFの傾きとPMFの個別の値が一致する ことを利用して、 𝐸 𝑋 = 𝑥 𝑑𝐹(𝑥) = 𝑥 𝑝 𝑥 𝑑𝑥 = 𝑥 𝑥 𝑝(𝑥) Statistical Functional とは、推定したい 値をCDFを含んだ形とすること？で、 例えば、E(X)であれば、
- 8. Statistical Functional 𝑀 = 𝑔 𝐹 = 𝐸 𝑋 = 𝑥 𝑑𝐹(𝑥) = 𝑥 𝑝 𝑥 𝑑𝑥 𝑀 = 𝑔 𝐹 = 𝜎2 = 𝑥2 𝑑𝐹(𝑥) − 𝑥 𝐹 𝑥 𝑑𝑥 2 このように、平均や分散等、色々な統計的な推定したい値をF(x)を用いて表現可能。
- 9. Plug-in Estimator 母集団𝑃 ？ 手元の データ ここで、母集団からMを推定したい場合、Fの分布がわかっていれば、Mを推定できるが、 それがわからないので、𝐶𝐷𝐹: 𝐹(𝑥)の代わりに、𝐸𝐷𝐹: 𝐹(𝑥)を用いる！ 𝑀は𝑀のplug-in estimator! 𝑀 = 𝑔(𝐹) 𝑀 = 𝑔( 𝐹)
- 10. 𝐹 𝑥 = 1 𝑛 𝑖=1 𝑛 𝐼(𝑋𝑖 ≤ 𝑥) まとめるｔ、EDF: 𝐹(𝑥)は、 𝐹 𝑥 = 0, 𝑥 < 1 0.1, 1 ≤ 𝑥 < 3 0.3, 3 ≤ 𝑥 < 5 ⋯ 1, 8 ≤ 𝑥 その、PMF(𝑓(𝑥))は、 𝑓 𝑥 = 1 𝑛 , 𝑥 ∈ {𝑥1, 𝑥2, ⋯ 𝑥 𝑛} 𝑀 = 𝑔 𝐹 = 𝑟 𝑥 𝑑 𝐹(𝑥) = 𝑟 𝑥 𝑓 𝑥 𝑑𝑥 = 1 𝑛 𝑖=1 𝑛 𝑟(𝑥) 𝑑𝐹 𝑥 𝑑𝑥 = 𝑓(𝑥) なので、 𝑀 = 1 𝑛 𝑖=1 𝑛 𝑟(𝑥)
- 11. 分散を求めてみると 𝑀 = 𝑔 𝐹 = 𝜎2 = 𝑥2 𝑑 𝐹 (𝑥) − 𝑥 𝐹 𝑥 𝑑𝑥 2 = 𝑥2 𝑓 𝑥 𝑑𝑥 − 𝑥𝑓 𝑥 𝑑𝑥 2 = 1 𝑛 𝑖=1 𝑛 𝑥2 − 1 𝑛 𝑖=1 𝑛 𝑥 2 と、EDFから 𝑀を求めることは比較的簡単！ ここで、この 𝑀の分散を求める場合は、
- 12. 母 集 団 ？ → 𝑀1 n個のRS → 𝑀2 → 𝑀 𝐵 ・ ・ ・ 平均 𝐸[ 𝑀] = 1 𝐵 𝑗=1 𝐵 𝑀𝑗 分散 𝑉𝑎𝑟( 𝑀) = 1 𝐵 𝑗=1 𝐵 ( 𝑀𝑗)2 − 1 𝐵 𝑗=1 𝐵 𝑀𝑗 2 手 元 の デ ー タ RS とすることで求めることができる 分布：𝐹 分布： 𝐹
- 13. ここで、ブートストラップで推定した𝑉𝑎𝑟( 𝑀)が母集団のMの分散と一致するためには何が必要かを考えると、 母 集 団 ？ → 𝑀1 n個のRS → 𝑀2 → 𝑀 𝐵 ・ ・ ・ 平均 𝐸[ 𝑀] = 1 𝐵 𝑗=1 𝐵 𝑀𝑗 分散 𝑉𝑎𝑟( 𝑀) = 1 𝐵 𝑗=1 𝐵 ( 𝑀𝑗)2 − 1 𝐵 𝑗=1 𝐵 𝑀𝑗 2 手 元 の デ ー タ RS 分布：𝐹 分布： 𝐹 仮定1 仮定2
- 14. 𝑉𝑎𝑟( 𝑀) = 1 𝐵 𝑗=1 𝐵 ( 𝑀𝑗)2 − 1 𝐵 𝑗=1 𝐵 𝑀𝑗 2 分布：𝐹 分布： 𝐹 仮定1 仮定2 仮定1： 母集団の分布のCDF（𝐹）と手元のデータのEDF（ 𝐹）が近似できること また、 分散を求める関数がSmoothness Conditionを満たしていること（微分可能なこと） 𝑉𝑎𝑟(𝑀; 𝐹) 𝑉𝑎𝑟( 𝑀; 𝐹) 仮定2： 𝑉𝑎𝑟 𝑀 と𝑉𝑎𝑟( 𝑀; 𝐹)が近似できること ・CDFとEDFが近似できるかどうかはわからないものの、データ数が十分に多ければ ある程度近似できる？ ・微分可能な条件等については、調べきれていないが、分散は問題なしとのこと。 ・ここの近似は、Bの数を大きくすること（サンプリング回数を大きくする）こと で、問題はなさそう。