Successfully reported this slideshow.                                          Upcoming SlideShare
×

# 経験過程

8,231 views

Published on

Watanabe理論勉強会 第七回 資料
タイトル詐欺で経験過程まで行っておらず、法則収束の説明まで

Published in: Data & Analytics
• Full Name
Comment goes here.

Are you sure you want to Yes No Are you sure you want to  Yes  No

Are you sure you want to  Yes  No

Are you sure you want to  Yes  No

Are you sure you want to  Yes  No

Are you sure you want to  Yes  No

### 経験過程

1. 1. 経験過程 @hoxo_m 2016/12/04 1
2. 2. Watanabe理論勉強会 #7 •  本資料は •  Sumio Watanabe, Algebraic Geometry and Statistical Learning Theory, Cambridge University Press, 2009. •  第7回読書会資料です。 2
3. 3. これまでの流れ •  1章： イントロダクション (全体像) •  2章： 特異点理論 (特異点解消定理) •  3章： 代数幾何 (ブローアップ) •  4章： ゼータ関数と特異点積分 •  5章： 経験過程 3
4. 4. 経験過程 •  中⼼極限定理 – 実数を値に取る確率変数についての定理 •  経験過程 – 関数を値に取る確率変数についての定理 4
5. 5. 5. Empirical Process 序⽂ •  特異統計モデルにおいて、真のパラメー タは 1つではなく、特異点を持つ実解析 集合となる •  従来の統計的学習理論では、真のパラ メータの近傍において対数尤度関数に漸 近的な正規性が与えられた •  ⼀⽅、特異学習理論における Main Formals は経験過程によって与えられる 5
6. 6. 第5章 Empirical Process •  担当分 5.1 Convergence in law (法則収束) 5.2 Function-valued analytic functions (関数を値に取る解析関数) 5.3 Empirical process (経験過程) 5.4 Fluctuation of Gaussian Process 6
7. 7. 5.1 法則収束 •  このセクションで⽰したいこと Zn = f(ξn) + anXn •  定理5.1より Zn は f(ξ) に法則収束 •  定理5.5より E[Zn] → E[f(ξ)] •  ただし •  {Zn} は AUI •  {ξn} は ξ に法則収束 •  f は連続 7 •  an → 0 •  Xn は法則収束 これらの⽤語 を理解したい
8. 8. 地図 •  法則収束 定義5.1 •  f は有界連続ならば •  E[f(Xn)] → E[f(X)] •  法則収束の性質 定理5.1, 定理5.2 •  有界でない f 定理5.3 •  Xn が AUI ならば 定義5.2, 定理5.4 •  E[f(Xn)] → E[f(X)] 定理5.5 8
9. 9. 定義5.1 法則収束 (1) •  可測空間 (Ω, B) (1) (Ω, B) 上の確率分布の列 {Pn} と確率分布 P {Pn} が P に法則収束(弱収束)するとは 任意の連続有界関数 f: Ω → R に対して が成り⽴つことを⾔う 9
10. 10. 定義5.1 法則収束 (2) •  可測空間 (Ω, B) (2) (Ω, B) 上の確率変数の列 {Xn} と確率変数 X {Xn} が X に法則収束(弱収束)するとは {PXn} が PX に法則収束することを⾔う これは以下と等価である 任意の有界な連続関数 f に対して EX[f(X)] = limn→∞ EXn[f(Xn)] 10
11. 11. Remark 5.1 (1) •  任意の有界な⼀様連続関数 f に対して limn→∞EXn[f(Xn)] = EX[f(X)] が成り⽴つならば Xn は X に法則収束する •  すなわち、法則収束を⽰すには有界な⼀様 連続関数のみを考えればよい ⼀様連続: 任意の ε > 0 に対して δ が存在し |x – y| < δ ⇒ |f(x) – f(y)| < ε ただし、δ は x, y には依存しない 11
12. 12. Remark 5.1 (2) •  Xn と Yn が X と Y に法則収束するとき、 Xn + Yn が X + Y に法則収束するとは限ら ない •  例： – Norm(0, 1) に従う R1-確率変数 X – Xn = X, Yn = (-1)n X – Xn と Yn は X に法則収束する – Xn + Yn は X + X に法則収束しない 12
13. 13. Remark 5.1 (3) •  法則収束の定義では X1, X2, … および X は 同じ像空間 (Ω, B) を持つ •  確率空間は異なっても良い Xn: Ωn → Ω •  {Xn} が異なる確率空間で定義されていて も {Xn} の確率分布は同じ可測空間に定義 される 13
14. 14. Remark 5.1 (4) •  {Xn} と X が同じ確率空間で定義され、  Xn が X に確率収束するとき、Xn は X に 法則収束する •  証明： ε が与えられたとき、 |EX[f(X)] – EXn[f(Xn)]| ≦ E[|f(X) – f(Xn)|]{|X – Xn|<δ} + |E[f(X)] – E[f(Xn)]|{|X – Xn|≧δ} ≦ ε + 2(supx|f(x)|) E{|X – Xn|≧δ} ≦ ε + 2(supx|f(x)|) P(|X – Xn| ≧ δ) 14 確率収束より 0 となる n が存在 ⼀様連続より δ が存在
15. 15. Example 5.1 (1) •  確率変数 Xn: R1 → R1 •  Xn が従う確率分布 •  Xn は法則収束する 15
16. 16. Example 5.1 (2) •  Xn が従う確率分布 •  Xn は法則収束しない 16
17. 17. Note •  法則収束はシュワルツ超関数のトポロ ジーにおける収束(p.108)とは異なる 17
18. 18. 地図 •  法則収束 定義5.1 •  f は有界連続ならば •  E[f(Xn)] → E[f(X)] •  法則収束の性質 定理5.1, 定理5.2 •  有界でない f 定理5.3 •  Xn が AUI ならば 定義5.2, 定理5.4 •  E[f(Xn)] → E[f(X)] 定理5.5 18
19. 19. 定理5.1 •  確率空間 (Ω1, F1, P) •  可測空間 (Ω2, F2), (Ω3, F3) •  確率変数の列 {Xn: Ω1 → Ω2} が X に法則 収束するとき、 •  連続関数 g: Ω2 → Ω3 •  {g(Xn): Ω2 → Ω3} は g(X) に法則収束する 19
20. 20. 定理5.1 証明 •  有界な連続関数 f: Ω2 → Ω3 •  f(g( )) も有界連続関数になる •  したがって limn→∞EXn[f(g(Xn))] = EX[f(g(X))] 20
21. 21. 定理5.2 •  RN-確率変数の列 {Xn} と {Yn} •  0 は Dirac の δ(x) で定義される確率分布 (1) Xn が 0 に法則収束するとき、Xn は 0 に 確率収束する (2) Xn が X に、Yn が 0 に法則収束するとき Xn + Yn は X に法則収束する 21
22. 22. 定理5.2 (1) 証明 •  pn(x)dx を Xn の確率分布とする •  任意の ε > 0 に対して •  有界連続関数 ρ(x) (0 ≦ ρ(x) ≦ 1) を次で定義 •  Xn が X に法則収束することから 22
23. 23. 定理5.2 (2) 証明 •  有界な⼀様連続関数 f: RN → R 23 ⼀様連続より δ が存在 Yn → 0 に法則収束より確率収束するため
24. 24. 地図 •  法則収束 定義5.1 •  f は有界連続ならば •  E[f(Xn)] → E[f(X)] •  法則収束の性質 定理5.1, 定理5.2 •  有界でない f 定理5.3 •  Xn が AUI ならば 定義5.2, 定理5.4 •  E[f(Xn)] → E[f(X)] 定理5.5 24
25. 25. 有界でない f •  {Xn} が X に法則収束するとき •  関数 f が有界かつ連続ならば、定義より E[f(Xn)] → E[f(X)] •  これは有界でない関数に対しては⼀般に は成り⽴たない •  どのような条件をつければ、有界でない 関数でこれが成り⽴つか？ 25
26. 26. 定理5.3 •  {Xn} が X に法則収束するとき •  連続関数 f が supn E[|f(Xn)|] < C  を満たすならば、次が成り⽴つ (1) E[|f(X)|] は有限 (2) E[|f(X)|] ≦ lim supn→∞ E[|f(Xn)|] 26
27. 27. 定理5.3 証明 •  連続関数 f(x) に対して •  fM(x) は有界連続かつ |fM(x)| ≦ |f(x)| •  |fM(x)| は M について各点⾮減少列であり limM→∞ |fM(x)| = |f(x)| 27
28. 28. 定理5.3 証明 •  ルベーグの単調収束定理より E[|fM(X)|] → E[f(X)] •  Xn は X に法則収束するので E[|f(X)|] = limn→∞E[|fM(X)|] ≦ limn→∞sup E[|f(Xn)|] < C 28
29. 29. Example 5.2 •  関数 f が有界でないならば (1) Xn が X に法則収束 (2) E[|f(Xn)|] < ∞ (3) E[|f(X)|] < ∞ は E[f(Xn)] → E[f(X)] を保証しない 29
30. 30. Example 5.2 •  Pn は P に法則収束するが f(x) = x に対して •  期待値は異なる！ 30
31. 31. 地図 •  法則収束 定義5.1 •  f は有界連続ならば •  E[f(Xn)] → E[f(X)] •  法則収束の性質 定理5.1, 定理5.2 •  有界でない f 定理5.3 •  Xn が AUI ならば 定義5.2, 定理5.4 •  E[f(Xn)] → E[f(X)] 定理5.5 31
32. 32. 定義5.2 AUI •  Asymptotically Uniformly Integrable (漸近的⼀様可積分) •  R-確率変数の列 {Xn} が AUI とは が成り⽴つことをいう 32 ※ よく分からないので定義を天下り的に受け⼊れます m(＿ ＿)m
33. 33. 定理5.4 (1) (2) (1) R-確率変数の列 {Xn}, {Yn} |Xn| ≦ Yn を満たし、{Yn} が AUI ならば {Xn} も AUI (2) R-確率変数の列 {Xn} に対して |Xn| ≦ Y , E[Y] < ∞ を満たす確率変数 Y が存在するならば {Xn} は AUI 33
34. 34. 定理5.4 証明 (1) (2) (1) |Xn(w)| ≦ Yn(w) より { w ; |Xn(w)| ≧ M } ⊂ { w ; Yn(w) ≧ M } したがって、 E[|Xn|]{|Xn|≧M} ≦ E[|Xn|]{Yn≧M} ≦ E[Yn]{Yn≧M} (2) 上記の Yn をすべて Y にする 34
35. 35. 定理5.4 (3) •  定数 0 < δ < s •  C は n によらない定数 •  R-確率変数の列 {Xn} が E[|Xn|s] < C を 満たすならば、Xn s-δ は AUI (証明) •  E[|Xn|s-δ]{|Xn|≧M} ≦ E[|Xn|s / Mδ]{|Xn|≧M} ≦ C / Mδ 35 ※ δ = s では成り⽴たないのは重要ぽい
36. 36. 地図 •  法則収束 定義5.1 •  f は有界連続ならば •  E[f(Xn)] → E[f(X)] •  法則収束の性質 定理5.1, 定理5.2 •  有界でない f 定理5.3 •  Xn が AUI ならば 定義5.2, 定理5.4 •  E[f(Xn)] → E[f(X)] 定理5.5 36
37. 37. 定理5.5 期待値の収束 •  Ω-確率変数の列 {Xn} が X に法則収束 •  連続関数 f: Ω → R E[|f(Xn)|] < C •  このとき、f(Xn) が AUI ならば limn→∞ E[f(Xn)] = E[f(X)] 37
38. 38. 定理5.5 証明 •  定理5.3 より E[f(X)] は有限 •  関数 fM(x) を定理5.3 と同じ⽅法で作る |E[f(X)] – E[f(Xn)]| ≦ |E[f(X)] – E[fM(X)]| + |E[fM(X)] – E[fM(Xn)]| + |E[fM(Xn)] – E[f(Xn)]| ＜最後の項③は＞ |E[fM(Xn)] – E[f(Xn)]| ≦ E[|fM(Xn) – f(Xn)|] ≦ E[|f(Xn)|]{|f(Xn)| ≧ M} 38 ① ② ③ ③ʻ
39. 39. 定理5.5 証明 •  定理5.3と AUI の定義より、ε に対して |E[f(X)] – E[fM(X)]| < ε limn→∞supN≧nE[|f(XN)|]{|f(XN)|≧M} < ε  が成り⽴つ M が存在し、 |E[fM(X)] – E[fM(Xn)]| < ε supN≧nE[|f(XN)|]{|f(XN)|≧M} < ε  が成り⽴つ n が存在する 39 ① ② ③ʻ
40. 40. Remark 5.2 •  特異学習理論でよく使われる定理 Zn = f(ξn) + anXn •  定理5.1より Zn は f(ξ) に法則収束 •  定理5.5より E[Zn] → E[f(ξ)] •  ただし •  {Zn} は AUI •  {ξn} は ξ に法則収束 •  f は連続 40 •  an → 0 •  Xn は法則収束
41. 41. 第5章 Empirical Process •  担当分 5.1 Convergence in law (法則収束) 5.2 Function-valued analytic functions (関数を値に取る解析関数) 5.3 Empirical process (経験過程) 5.4 Fluctuation of Gaussian Process 41