Watanabe理論勉強会 第七回 資料 タイトル詐欺で経験過程まで行っておらず、法則収束の説明まで

1. 経験過程
@hoxo_m
2016/12/04
1

2. Watanabe理論勉強会 #7
• 本資料は
• Sumio Watanabe, Algebraic Geometry
and Statistical Learning Theory,
Cambridge University Press, 2009.
• 第7回読書会資料です。
2

3. これまでの流れ
• 1章： イントロダクション (全体像)
• 2章： 特異点理論 (特異点解消定理)
• 3章： 代数幾何 (ブローアップ)
• 4章： ゼータ関数と特異点積分
• 5章： 経験過程
3

4. 経験過程
• 中⼼極限定理
– 実数を値に取る確率変数についての定理
• 経験過程
– 関数を値に取る確率変数についての定理
4

5. 5. Empirical Process 序⽂
• 特異統計モデルにおいて、真のパラメー
タは 1つではなく、特異点を持つ実解析
集合となる
• 従来の統計的学習理論では、真のパラ
メータの近傍において対数尤度関数に漸
近的な正規性が与えられた
• ⼀⽅、特異学習理論における Main
Formals は経験過程によって与えられる
5

6. 第5章 Empirical Process
• 担当分
5.1 Convergence in law
(法則収束)
5.2 Function-valued analytic functions
(関数を値に取る解析関数)
5.3 Empirical process (経験過程)
5.4 Fluctuation of Gaussian Process
6

7. 5.1 法則収束
• このセクションで⽰したいこと
Zn = f(ξn) + anXn
• 定理5.1より Zn は f(ξ) に法則収束
• 定理5.5より E[Zn] → E[f(ξ)]
• ただし
• {Zn} は AUI
• {ξn} は ξ に法則収束
• f は連続
7
• an → 0
• Xn は法則収束
これらの⽤語
を理解したい

8. 地図
• 法則収束 定義5.1
• f は有界連続ならば
• E[f(Xn)] → E[f(X)]
• 法則収束の性質 定理5.1, 定理5.2
• 有界でない f 定理5.3
• Xn が AUI ならば 定義5.2, 定理5.4
• E[f(Xn)] → E[f(X)] 定理5.5
8

9. 定義5.1 法則収束 (1)
• 可測空間 (Ω, B)
(1) (Ω, B) 上の確率分布の列 {Pn} と確率分布 P
{Pn} が P に法則収束(弱収束)するとは
任意の連続有界関数 f: Ω → R に対して
が成り⽴つことを⾔う
9

10. 定義5.1 法則収束 (2)
• 可測空間 (Ω, B)
(2) (Ω, B) 上の確率変数の列 {Xn} と確率変数 X
{Xn} が X に法則収束(弱収束)するとは
{PXn} が PX に法則収束することを⾔う
これは以下と等価である
任意の有界な連続関数 f に対して
EX[f(X)] = limn→∞ EXn[f(Xn)]
10

11. Remark 5.1 (1)
• 任意の有界な⼀様連続関数 f に対して
limn→∞EXn[f(Xn)] = EX[f(X)]
が成り⽴つならば Xn は X に法則収束する
• すなわち、法則収束を⽰すには有界な⼀様
連続関数のみを考えればよい
⼀様連続: 任意の ε > 0 に対して δ が存在し
|x – y| < δ ⇒ |f(x) – f(y)| < ε
ただし、δ は x, y には依存しない
11

12. Remark 5.1 (2)
• Xn と Yn が X と Y に法則収束するとき、
Xn + Yn が X + Y に法則収束するとは限ら
ない
• 例：
– Norm(0, 1) に従う R1-確率変数 X
– Xn = X, Yn = (-1)n X
– Xn と Yn は X に法則収束する
– Xn + Yn は X + X に法則収束しない
12

13. Remark 5.1 (3)
• 法則収束の定義では X1, X2, … および X は
同じ像空間 (Ω, B) を持つ
• 確率空間は異なっても良い
Xn: Ωn → Ω
• {Xn} が異なる確率空間で定義されていて
も {Xn} の確率分布は同じ可測空間に定義
される
13

14. Remark 5.1 (4)
• {Xn} と X が同じ確率空間で定義され、
Xn が X に確率収束するとき、Xn は X に
法則収束する
• 証明： ε が与えられたとき、
|EX[f(X)] – EXn[f(Xn)]|
≦ E[|f(X) – f(Xn)|]{|X – Xn|<δ} + |E[f(X)] – E[f(Xn)]|{|X – Xn|≧δ}
≦ ε + 2(supx|f(x)|) E[1]{|X – Xn|≧δ}
≦ ε + 2(supx|f(x)|) P(|X – Xn| ≧ δ)
14
確率収束より 0 となる n が存在
⼀様連続より δ が存在

15. Example 5.1 (1)
• 確率変数 Xn: R1 → R1
• Xn が従う確率分布
• Xn は法則収束する
15

16. Example 5.1 (2)
• Xn が従う確率分布
• Xn は法則収束しない
16

17. Note
• 法則収束はシュワルツ超関数のトポロ
ジーにおける収束(p.108)とは異なる
17

18. 地図
• 法則収束 定義5.1
• f は有界連続ならば
• E[f(Xn)] → E[f(X)]
• 法則収束の性質 定理5.1, 定理5.2
• 有界でない f 定理5.3
• Xn が AUI ならば 定義5.2, 定理5.4
• E[f(Xn)] → E[f(X)] 定理5.5
18

19. 定理5.1
• 確率空間 (Ω1, F1, P)
• 可測空間 (Ω2, F2), (Ω3, F3)
• 確率変数の列 {Xn: Ω1 → Ω2} が X に法則
収束するとき、
• 連続関数 g: Ω2 → Ω3
• {g(Xn): Ω2 → Ω3} は g(X) に法則収束する
19

20. 定理5.1 証明
• 有界な連続関数 f: Ω2 → Ω3
• f(g( )) も有界連続関数になる
• したがって
limn→∞EXn[f(g(Xn))] = EX[f(g(X))]
20

21. 定理5.2
• RN-確率変数の列 {Xn} と {Yn}
• 0 は Dirac の δ(x) で定義される確率分布
(1) Xn が 0 に法則収束するとき、Xn は 0 に
確率収束する
(2) Xn が X に、Yn が 0 に法則収束するとき
Xn + Yn は X に法則収束する
21

22. 定理5.2 (1) 証明
• pn(x)dx を Xn の確率分布とする
• 任意の ε > 0 に対して
• 有界連続関数 ρ(x) (0 ≦ ρ(x) ≦ 1) を次で定義
• Xn が X に法則収束することから
22

23. 定理5.2 (2) 証明
• 有界な⼀様連続関数 f: RN → R
23
⼀様連続より δ が存在
Yn → 0 に法則収束より確率収束するため

24. 地図
• 法則収束 定義5.1
• f は有界連続ならば
• E[f(Xn)] → E[f(X)]
• 法則収束の性質 定理5.1, 定理5.2
• 有界でない f 定理5.3
• Xn が AUI ならば 定義5.2, 定理5.4
• E[f(Xn)] → E[f(X)] 定理5.5
24

25. 有界でない f
• {Xn} が X に法則収束するとき
• 関数 f が有界かつ連続ならば、定義より
E[f(Xn)] → E[f(X)]
• これは有界でない関数に対しては⼀般に
は成り⽴たない
• どのような条件をつければ、有界でない
関数でこれが成り⽴つか？
25

26. 定理5.3
• {Xn} が X に法則収束するとき
• 連続関数 f が
supn E[|f(Xn)|] < C
を満たすならば、次が成り⽴つ
(1) E[|f(X)|] は有限
(2) E[|f(X)|] ≦ lim supn→∞ E[|f(Xn)|]
26

27. 定理5.3 証明
• 連続関数 f(x) に対して
• fM(x) は有界連続かつ |fM(x)| ≦ |f(x)|
• |fM(x)| は M について各点⾮減少列であり
limM→∞ |fM(x)| = |f(x)|
27

28. 定理5.3 証明
• ルベーグの単調収束定理より
E[|fM(X)|] → E[f(X)]
• Xn は X に法則収束するので
E[|f(X)|] = limn→∞E[|fM(X)|]
≦ limn→∞sup E[|f(Xn)|] < C
28

29. Example 5.2
• 関数 f が有界でないならば
(1) Xn が X に法則収束
(2) E[|f(Xn)|] < ∞
(3) E[|f(X)|] < ∞
は E[f(Xn)] → E[f(X)] を保証しない
29

30. Example 5.2
• Pn は P に法則収束するが f(x) = x に対して
• 期待値は異なる！
30

31. 地図
• 法則収束 定義5.1
• f は有界連続ならば
• E[f(Xn)] → E[f(X)]
• 法則収束の性質 定理5.1, 定理5.2
• 有界でない f 定理5.3
• Xn が AUI ならば 定義5.2, 定理5.4
• E[f(Xn)] → E[f(X)] 定理5.5
31

32. 定義5.2 AUI
• Asymptotically Uniformly Integrable
(漸近的⼀様可積分)
• R-確率変数の列 {Xn} が AUI とは
が成り⽴つことをいう
32
※ よく分からないので定義を天下り的に受け⼊れます
m(＿ ＿)m

33. 定理5.4 (1) (2)
(1) R-確率変数の列 {Xn}, {Yn}
|Xn| ≦ Yn を満たし、{Yn} が AUI ならば
{Xn} も AUI
(2) R-確率変数の列 {Xn} に対して
|Xn| ≦ Y , E[Y] < ∞
を満たす確率変数 Y が存在するならば
{Xn} は AUI
33

34. 定理5.4 証明 (1) (2)
(1) |Xn(w)| ≦ Yn(w) より
{ w ; |Xn(w)| ≧ M } ⊂ { w ; Yn(w) ≧ M }
したがって、
E[|Xn|]{|Xn|≧M} ≦ E[|Xn|]{Yn≧M}
≦ E[Yn]{Yn≧M}
(2) 上記の Yn をすべて Y にする
34

35. 定理5.4 (3)
• 定数 0 < δ < s
• C は n によらない定数
• R-確率変数の列 {Xn} が E[|Xn|s] < C を
満たすならば、Xn
s-δ は AUI
(証明)
• E[|Xn|s-δ]{|Xn|≧M} ≦ E[|Xn|s / Mδ]{|Xn|≧M}
≦ C / Mδ
35
※ δ = s では成り⽴たないのは重要ぽい

36. 地図
• 法則収束 定義5.1
• f は有界連続ならば
• E[f(Xn)] → E[f(X)]
• 法則収束の性質 定理5.1, 定理5.2
• 有界でない f 定理5.3
• Xn が AUI ならば 定義5.2, 定理5.4
• E[f(Xn)] → E[f(X)] 定理5.5
36

37. 定理5.5 期待値の収束
• Ω-確率変数の列 {Xn} が X に法則収束
• 連続関数 f: Ω → R
E[|f(Xn)|] < C
• このとき、f(Xn) が AUI ならば
limn→∞ E[f(Xn)] = E[f(X)]
37

38. 定理5.5 証明
• 定理5.3 より E[f(X)] は有限
• 関数 fM(x) を定理5.3 と同じ⽅法で作る
|E[f(X)] – E[f(Xn)]| ≦ |E[f(X)] – E[fM(X)]|
+ |E[fM(X)] – E[fM(Xn)]|
+ |E[fM(Xn)] – E[f(Xn)]|
＜最後の項③は＞
|E[fM(Xn)] – E[f(Xn)]| ≦ E[|fM(Xn) – f(Xn)|]
≦ E[|f(Xn)|]{|f(Xn)| ≧ M}
38
①
②
③
③ʻ

39. 定理5.5 証明
• 定理5.3と AUI の定義より、ε に対して
|E[f(X)] – E[fM(X)]| < ε
limn→∞supN≧nE[|f(XN)|]{|f(XN)|≧M} < ε
が成り⽴つ M が存在し、
|E[fM(X)] – E[fM(Xn)]| < ε
supN≧nE[|f(XN)|]{|f(XN)|≧M} < ε
が成り⽴つ n が存在する
39
①
②
③ʻ

40. Remark 5.2
• 特異学習理論でよく使われる定理
Zn = f(ξn) + anXn
• 定理5.1より Zn は f(ξ) に法則収束
• 定理5.5より E[Zn] → E[f(ξ)]
• ただし
• {Zn} は AUI
• {ξn} は ξ に法則収束
• f は連続
40
• an → 0
• Xn は法則収束

41. 第5章 Empirical Process
• 担当分
5.1 Convergence in law
(法則収束)
5.2 Function-valued analytic functions
(関数を値に取る解析関数)
5.3 Empirical process (経験過程)
5.4 Fluctuation of Gaussian Process
41

42. 42
© 旭丘分校管理組合