Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

シンギュラリティを知らずに機械学習を語るな

11,790 views

Published on

Watanabe理論勉強会 第二回 発表資料

Published in: Data & Analytics

シンギュラリティを知らずに機械学習を語るな

  1. 1. シンギュラリティを知らずに 機械学習を語るな @hoxo_m 2016/09/25 1
  2. 2. 自己紹介 • hoxo_m • 所属:匿名知的集団ホクソエム 付録C 2
  3. 3. 本日のお話 • Sumio Watanabe says: • “It is not until we understand singularities that we obtain statistical learning theory” • 「シンギュラリティを理解してはじめて 統計的学習理論が身についたと言える」 3
  4. 4. シンギュラリティ? • IQの分布 人工 知能 IQ 10000IQ 100 4
  5. 5. シンギュラリティ? • IQの分布 人工 知能 IQ 10000IQ 100 ※これではない 5
  6. 6. Singularity (特異性) • 数学において、特異性(singularity)とは、 適当な枠組みの下で考えている数学的対 象が「定義されない」「よく振舞わな い」などと言ったことを理由に除外され ること、もの、およびその基準である。 特異性を示す点を特異点(singular point) という。 特異点(数学) – Wikipedia より 6
  7. 7. Watanabe理論勉強会 #2 • 本資料は • Sumio Watanabe, Algebraic Geometry and Statistical Learning Theory, Cambridge University Press, 2009. • 第2回読書会資料です。 7
  8. 8. 前回(第1章) • E[min Kn(w)] ≠ min E[Kn(w)] = min K(w) • 尤度の最大化はカルバック・ライブラー 距離の最小化を意味しない • これが、統計的学習が単純な最適化問題 にならない理由である • Watanabe理論恐ろしい・・(゚Д゚;) 8
  9. 9. 第2章 Singularity Theory • 担当分 2.1 Polynomials and analytic functions (多項式と解析関数の定義) 2.2 Algebraic set and analytic set (代数的集合と解析的集合の定義) 2.3 Singularity (特異点の定義と判別法) 9
  10. 10. Main Result • Theorem 2.2 (非特異点の十分条件) 実解析的集合の点 x0 に対して、ヤコビ行列式 が 0 でないならば、x0 は非特異点である 10 実解析的集合? ヤコビ行列式? 非特異点? これが 分かる ように なろう
  11. 11. 発表の流れ • 2章序文 • 2.1 多項式と解析関数 • 2.2 代数的集合と解析的集合 • 2.3 特異点(前半) • 2.3 特異点(後半) • まとめ 11
  12. 12. 2. Singularity Theory 序文 • 統計モデルと機械学習モデルの多くは、 パラメータ空間に特異点を含んでいる • 特異点は学習過程のふるまいを決定する ため、特異点を理解せずに統計的学習理 論は会得できない • 本章では、特異点の定義と特異点解消に 関する基本的な定理を導入する • 多様体は 2.6 で導入する (担当外) 12
  13. 13. 地図 13 ① 多項式 f ② 解析関数 f ③ 代数的集合 { x; f(x) = 0} ④ 解析的集合 { x; f(x) = 0} ⑤ 特異点
  14. 14. 発表の流れ • 2章序文 • 2.1 多項式と解析関数 • 2.2 代数的集合と解析的集合 • 2.3 特異点(前半) • 2.3 特異点(後半) • まとめ 14
  15. 15. 2.1 多項式と解析関数 • このセクションでは – 多項式の定義 – 解析関数の定義 – Cr 級関数の定義 を行う 15
  16. 16. 多項式(polynomial) • d次元マルチインデックス α = (α1, α2, …, αd) αi ∈ N • x, b ∈ Rd aα(x - b)α = aα(x1-b1)α1(x2-b2)α2 (xd-bd)αd • べき級数(power series) f(x) = Σα1 Σαd aα(x - b)α = Σα aα(x - b)α • 多項式とは非ゼロ項が有限個のべき級数 … … 16
  17. 17. 多項式の例 • f(x, y, z) = x3y5z2 + xy6 + z5 + 2 – d = 3 – a3,5,2 = 1 – a1,6,0 = 1 – a0,0,5 = 1 – a0,0,0 = 2 – otherwise aα = 0 – b = (0, 0, 0) 17
  18. 18. 解析関数(analytic function) • 絶対収束(absolutely convergent) 開集合 U ⊂ Rd が与えられたとき、 任意の x ∈ U に対して Σα |aα||x - b|α < ∞ • 発散しない関数 f: U → R がべき級数から 得られる • この f(x) を実解析関数と呼ぶ • ( f: U → C なら複素解析関数) 18
  19. 19. 解析関数 • 解析関数 f(x) f(x) = a0 + a1(x - b) + a2(x - b)2 + … • f(x) はテイラー級数になっている • 無限回微分可能 • 係数 19
  20. 20. 解析関数の例 • べき級数 は |x|, |y| < ∞ で絶対収束する • このときの解析関数 f(x, y) = exp(x + y) 20
  21. 21. 定義 2.1 Cr級関数 • d次元ユークリッド空間 Rd の開集合 U • 関数 f: U → Rd’ が Cr 級関数であるとは が well defined かつ連続であり n1 + n2 + ・・・ + nd ≦ r が成り立つときを言う(ni ∈ N) 21
  22. 22. Cr級関数 • f(x) が Cr 級関数ならば、0 ≦ r’ ≦ r に対 して f(x) は Cr’ 級関数でもある • 全ての r ∈ N に対して f(x) が Cr 級関数で あるとき C∞ 級関数と呼ぶ • f(x) が実解析関数のとき Cω 級関数と呼ぶ 22
  23. 23. 発表の流れ • 2章序文 • 2.1 多項式と解析関数 • 2.2 代数的集合と解析的集合 • 2.3 特異点(前半) • 2.3 特異点(後半) • まとめ 23
  24. 24. 地図 24 ① 多項式 f ② 解析関数 f ③ 代数的集合 { x; f(x) = 0} ④ 解析的集合 { x; f(x) = 0} ⑤ 特異点
  25. 25. 2.2 代数的集合と解析的集合 • このセクションでは – 代数的集合の定義 – 解析的集合の定義 を行う 25
  26. 26. 定義 2.2 代数的集合 • 多項式 f: Rd → R に対して V(f) = { x ∈ Rd; f(x) = 0} を実代数的集合と呼ぶ • 複数の多項式 f1, f2, …, fk に対して V(f1,…,fk) = { x∈Rd; f1(x)=…=fk(x)=0 } これも実代数的集合と呼ぶ 26
  27. 27. 代数的集合の例 • V(y2 – x3 – ax2) アニメーションが 動きます 27
  28. 28. 定義2.3 解析的集合 • 実解析関数 f: U → R に対して { x ∈ U; f(x) = 0} を実解析的集合と呼ぶ • 複数の実解析関数 f1, f2, …, fk に対して { x ∈ U; f1(x) = … = fk(x) = 0 } これも実解析的集合と呼ぶ 28
  29. 29. 解析的集合の例 • { (x,y)∈R2; cos(x) - sin(y) = 0 } • { (x,y,z)∈R3; exp(xy) + exp(yz) + z3 = 0 } • { (x,y,z)∈U; x2 – ylog(z) = 0 } – ただし U = { (x,y,z); x,y,z∈R, z > 0 } 29
  30. 30. 発表の流れ • 2章序文 • 2.1 多項式と解析関数 • 2.2 代数的集合と解析的集合 • 2.3 特異点(前半) • 2.3 特異点(後半) • まとめ 30
  31. 31. 地図 31 ① 多項式 f ② 解析関数 f ③ 代数的集合 { x; f(x) = 0} ④ 解析的集合 { x; f(x) = 0} ⑤ 特異点
  32. 32. 2.3 特異点 (前半) • このセクションでは – 勾配ベクトルの定義 – 関数の停留点の定義 – 極大点、極小点の定義 – 同型および解析的同型の定義 – 特異点の定義 – 特異点の例 32
  33. 33. 勾配ベクトル • 開集合 U⊂Rd と C1 級関数 f: U→R • f(x) の勾配ベクトルとは 33
  34. 34. 定義2.4 停留点(Critical Point) • 開集合 U⊂Rd と C1 級関数 f: U→R • x*∈U が f の停留点であるとは ∇f(x*) = 0 が成り立つことをいう 34
  35. 35. 極大点、極小点 • 停留点 x* を含み f(x) ≦ f(x*) ∀x∈U’ を満たす開集合 U’⊂U が存在するとき x* を極大点という f(x) ≧ f(x*) ∀x∈U’ をみたす開集合 U’⊂U が存在するとき x* を極小点という 35
  36. 36. 極大点、極小点 • f が C1 級の関数であるならば、極大点と 極小点は停留点である • しかし、停留点が常に極大点または極小 点になるとは限らない • 鞍点(saddle point)となる場合がある 36
  37. 37. Example 2.4 • f(x, y) = x2 + y4 + 3 – 唯一の極小点 (0,0) を持つ • f(x, y, z) = (x + y + z)4 + 1 – x+y+z = 0 を満たす組み合わせは全て極小点 • f(x, y) = x2 – y2 – 極大点、極小点を持たない – (0,0) は停留点であり、鞍点と呼ばれる 37
  38. 38. 定義 2.5 Cr 同型写像 • 実ユークリッド空間 Rd の開集合 U,V∈Rd • 一対一写像 f: U → V が存在し、 • f と f-1 が Cr 級の関数であるとき、 • U と V は同型といい、f を同型写像という • f と f-1 が解析関数であるとき、 • U と V は解析的同型といい、 • f を解析的同型写像という 38
  39. 39. 同型写像の例 • 2つの開集合 U = { (x, y) ; x2 + y2 < 1 } V = { (x’, y’) ; x’2 + y’2 + 2y’ex’ + e2x’ < 1 } は解析的同型である ∵ (x, y) → (x, y – ex) は解析的同型写像 39
  40. 40. 定義 2.6 特異点 (1) • 実ユークリッド空間 Rd の空でない部分集 合 A に対して、 • P ∈ A が非特異(nonsingular)であるとは、 • P を含む開集合 U, V ⊂ Rd と • 解析的同型写像 f: U → V が存在して f(A∩U) = { (x1,…,xr, 0,…,0); x∈Rd }∩V • が成り立つことをいう 40
  41. 41. 定義 2.6 特異点 (2) • すべての P ∈ A が非特異のとき • A を非特異集合と呼ぶ • P ∈ A が非特異でないとき、 • P を A の特異点(singularity)と呼ぶ • 特異点集合(singular locus) Sing(A) = { P ∈ A; P は A の特異点 } 41
  42. 42. Example 2.6 (1) • A = { (x, y); y – x3 = 0} は非特異集合 • P = (0, 0) に対して • U = V = { (x, y); |x| < 1 } とすると • (x, y) → (x, y – x3) は解析的同型写像 42
  43. 43. (x, y) → (x , y – x3) 43 (x1, …, xr, 0, …, 0)
  44. 44. Example 2.6 (2) • A = { (x, y, z); (xy + z)2 = 0 } は非特異集合 • P = (0, 0, 0) に対して • U = V = { (x, y, z); |x| < 1, |y| < 1 } • (x, y, z) → (x, y, xy + z) は解析的同型写像 44
  45. 45. Example 2.6 (3) • A = { (x, y); xy = 0 } • P = (0, 0) は特異点 45
  46. 46. Example 2.6 (4) • A = { (x, y); y2 – x3 = 0 } • P = (0, 0) は特異点 • 尖点(cusp)という 46
  47. 47. Example 2.6 (5) • A = { (x, y); x5 – y3 = 0 } • P = (0, 0) は特異点 • 特異点に接線 47
  48. 48. Example 2.6 (6) • A = { (x, y, z); xyz = 0 } Sing(A) = { (x,y,z); x=y=0 or x=z=0 or y=z=0 } • B = { (x, y, z); x = y = 0 } は非特異集合 • B ⊂ Sing(A) • 特異点集合に含まれる非特異集合 48
  49. 49. Remark 2.1 (1)(2) • 非特異解析的集合は実解析的多様体 – 非特異点の近傍は、実ユークリッド空間の r次元開集合と解析的同型 – r は (x1, …, xr, 0, …, 0) の r • 非特異点では接平面が定義可能 – 特異点では一般に接平面が定義不可能 – 例外:Example 2.6 (5) https://en.wikipedia.org/wiki/Tangent_space 49
  50. 50. Remark 2.1 (3)(4) • 代数的集合の点 P が特異点かどうかは、 ヤコビ行列の状態によって判別できる – 定理 2.2 で述べる • f の停留点は実解析的集合 {x; f(x) = 0} の 特異点ではない場合がある (系2.1で述べる) – Ex. 2.6 (1) 非特異点かつ停留点でない – Ex. 2.6 (2) 非特異点かつ停留点 ← これ – Ex. 2.6 (3)(4)(5) 特異点かつ停留点 50
  51. 51. 発表の流れ • 2章序文 • 2.1 多項式と解析関数 • 2.2 代数的集合と解析的集合 • 2.3 特異点(前半) • 2.3 特異点(後半) • まとめ 51
  52. 52. 2.3 特異点 (後半) • このセクションでは – ヤコビ行列 – 定理 2.1 逆関数定理 – 定理 2.2 非特異点の十分条件 – 陰関数定理 – 特異点と停留点の関係 – Sard の定理 52
  53. 53. ヤコビ行列 (Jacobian) • 開集合 U ⊂ Rd • C1 級関数 f: U → Rd – f(x) = (f1(x), f2(x), …, fd(x)) • ヤコビ行列とは • ヤコビ行列式 det J(x) 53
  54. 54. 定理 2.1 逆関数定理 • 開集合 U ⊂ Rd と • Cr 級関数 f: U → Rd に対して • ヤコビ行列が x0 ∈ U で可逆(invertible) すなわち逆行列を持つならば • U’ と f(U’) が Cr 同型となるような開集合 U’ ⊂ U が存在する • 逆関数定理として良く知られているため 証明は省略する 54
  55. 55. 定理 2.2 非特異点の十分条件 • 実ユークリッド空間 Rd の開集合 U • 解析関数 f1(x), f2(x), …, fk(x) (k ≦ d) • 実解析的集合 A = { x ∈ U; f1(x) = f2(x) = … = fk(x) = 0 } • x0∈A が次を満たすならば x0 は非特異点 55
  56. 56. 定理 2.2 証明 (1) • k ≦ d より、(d – k) 個の関数を追加する fi(x) = xi (k < i ≦ d) • f(x) = (f1(x), f2(x), …, fd(x)) は定理 2.1 の 条件を満たす(det J(x0) ≠ 0 ⇔ 可逆) • したがって、x0 を含み • f: V → f(V) が解析的同型写像となるよう な開集合 V が存在する 56
  57. 57. 定理 2.2 証明 (2) • このとき、 • x = (x1, …, xd) ∈ A∩V ならば • f1(x) = f2(x) = … = fk(x) = 0 である • x0 ∈ A∩V なので • f(x0) = (0, …, 0, xk+1, …, xd) ∈ f(V) • 定義 2.6 より x0 は特異点でない (証明終) 57
  58. 58. Main Result • Theorem 2.2 (非特異点の十分条件) 実解析的集合の点 x0 に対して、ヤコビ行列式 が 0 でないならば、x0 は非特異点である
  59. 59. Remark 2.2 陰関数定理 (1) • 定理 2.2 の証明より f-1: (0, …, 0, xk+1, …, xd) → (x1, …, xd) ∈ A∩V • この関数は x^ = (xk+1, …, xd) ∈ Rd-k から Rd への写像とみなせる • これを g(x^) と書く • π(x1, …, xd) = (x1, …, xk) と定義すると • φ(x^) = π(g(x^)) は次を満たす (次ページ) 59
  60. 60. Remark 2.2 陰関数定理 (2) • φ(x^) = π(g(x^)) は次を満たす f1(φ(x^), x^) = 0 ・・・ fr(φ(x^), x^) = 0 • すなわち、定理 2.2 の条件を満たすとき、 このような φ が存在する • これを陰関数定理という 60
  61. 61. Remark 2.3 • 一般化ヤコビ行列 (k×d) (k≦d) – rank J(x0) = k ⇒ x0 は非特異 は成り立つ – x0 が非特異 ⇒ rank J(x0) = k は成り立たない – 第3章で x0 が非特異 ⇔ rank J(x0) = k となる 条件を見る 61
  62. 62. Corollary 2.1 • 実解析関数 f に対して、 • 実解析的集合 A = { x; f(x) = 0 } の特異点は • 関数 f の停留点である。 • 一方、関数 f の停留点は • A の特異点とならないこともある 62
  63. 63. Corollary 2.1 (証明) • 定理 2.2 より • x0 が f の停留点(勾配ベクトル=0)でないな らば • x0 は特異点でない • 一方、f(x, y) = (x + y)2 は • P = (0, 0) が停留点であるが • (0, 0) は特異点でない 63
  64. 64. Remark 2.4 • (1) Sard の定理 – C∞ 級の関数 f : U → Rd – Rd のすべての停留値の集合のルベーグ測度は 0 である • (2) (定理2.9で述べる) – 実解析関数 f の定義域が、コンパクト集合に 制限されるならば – すべての停留点からなる集合は有限集合 64
  65. 65. 発表の流れ • 2章序文 • 2.1 多項式と解析関数 • 2.2 代数的集合と解析的集合 • 2.3 特異点(前半) • 2.3 特異点(後半) • まとめ 65
  66. 66. まとめ 66出典:得能 正太郎『NEW GAME! (4)』

×