2.3 ガウス分布 #prmlrevenge
Upcoming SlideShare
Loading in...5
×
 

2.3 ガウス分布 #prmlrevenge

on

  • 5,589 views

PRML復習レーンの発表資料です.

PRML復習レーンの発表資料です.

Statistics

Views

Total Views
5,589
Views on SlideShare
4,607
Embed Views
982

Actions

Likes
5
Downloads
62
Comments
0

6 Embeds 982

http://d.hatena.ne.jp 963
http://www.slideshare.net 15
http://www.health.medicbd.com 1
http://translate.googleusercontent.com 1
http://webcache.googleusercontent.com 1
https://twimg0-a.akamaihd.net 1

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

2.3 ガウス分布 #prmlrevenge 2.3 ガウス分布 #prmlrevenge Presentation Transcript

  • 2.3 ガウス分布 #PRMLrevenge @nokuno <ぜひ熟読されたい
  • 教科書の流れ 2  1次元ガウス分布  中心極限定理  多次元ガウス分布  マハラノビス距離  共分散行列の固有値問題  正定値行列と半正定値行列  変数変換後のガウス分布  ガウス分布のバリエーション
  • 1次元ガウス分布 3 数学的にも実用的にも数学的にも実用的にも扱い易く、 最も基本的な連続値の分布 1  1 2 N ( x | , )  2 exp  2 ( x   )  (2.42) (2 ) 2 1/ 2  2  平均   E[x] 分散  2  V [ x] 標準正規分布 1  1 2 N ( x | 0,1)  exp  x  2  2  図1.13 1次元ガウス分布
  • 中心極限定理 4 観測数を増やすと、サンプル平均の分布は 正規分布に収束する  実世界で正規分布が多く現れる理由となっている n (X i 1 i  ) サンプル平均 lim ~ N ( x | 0,1) n  n 図2.6 一様分布に従うN個のサンプル平均のヒストグラム
  • 多次元ガウス分布 5  多次元ガウス分布は(2.43)となる(キリッ 1  1 1  N (x | μ, Σ)  exp  (x  μ) Σ (x  μ) T (2 ) D / 2 Σ  2  1/ 2 (2.43)
  • Bishop先生、分かりません>< 6 分からないのでしばらく復習が続きます!  付録Cと副読本の2冊を参考にします
  • 線形代数の復習(付録C) 7 転置の性質 行列式の性質 (AT )ij  Aji (定義) AB  A B (C.12) (AB )T  BT AT (C.1) 1 1 A  (C.13) 逆行列の性質 A AA 1  A1A  I (C.2) AT  A (AB ) 1  B 1A 1 (C.3) (AT ) 1  (A 1 )T (C.4)
  • 多次元標準正規分布 8 平均が0、共分散行列がIの正規分布。 これなら分かる! 1  1 2 N (x | 0, I)  exp  x  (N.1) (2 ) D/2  2  x  xT x  xT Ix 2 なので(2.43)の特殊な場合 確率密度が等しい線(面)が円(超球)となる
  • 変数変換 9 正則行列Aを用いて y  Ax と変数変換すると、 x  A 1y なので p(y )  1 1  N A y | 0, I  1   1 1 2  exp  A y  2  A  2 (N.2)  D/2 A expの中身は 2 A y  A 1y 1   A y   y A  A T 1 T 1 T 1  y  y T AA T  1 y (N.3) T 1/ 2 A  AA Σ 1/ 2 ここで Σ  AA T とおくと、 (N.4) 1  1 T 1  (N.2)に代入して p(y )  exp  y Σ y  (N.3) (2 )  2  1/ 2 D/2 Σ
  • 変数変換・図解 10 行列をかける=線形写像 行列式=面積拡大率 y  Ax  2 1 A 0 1    A 2
  • 変数変換のまとめ 11 標準正規分布から、 拡大縮小・回転・平行移動による変換で一般化 1  1 1  N (x | μ, Σ)  exp  (x  μ) Σ (x  μ) T (2.43) (2 ) Σ  2  D/2 1/ 2 ただし Σ  AA T A μ 拡大・回転 移動 (N.1) (2.43)
  • 共分散行列の対称性 12 演習2.17: 精度行列に非対称成分があってもマハラノビス距 離(2.44)から消えることを示せ。 マハラノビス距離: 2  (x  μ)T Σ1 (x  μ) (2.44) 演習2.22:対称行列の逆行列も対称行列であることを示せ。 A   A  1 T T 1  A 1 別解 Σij   Aik A jk Σ ji なので∑が対称行列なのは明らか k
  • 固有値問題(付録C) 13 M×Mの正方行列Aについての固有値問題 Au i  i ui i  1,..., M (C.29) u i :固有ベクトル i :固有値 固有方程式 A  i I  0 (C.30) ※これはM次方程式となり、M>4のときはべき乗法などの反復計算が必要 (C.29)をまとめて書くと U  u1  u M  AU  UΛ (C.38) Λ  diag 1 , 2 ,M  (対角行列) よってUの逆行列が存在すれば、Aを対角化できて A  UΛU 1 (N.5)
  • 対称行列の場合(付録C) 14 (N.5)の転置をとって A  UΛU T  1 T   U  Λ U 1 T T T U   T 1 ΛU T (N.6) Aが対称行列の場合、 AT  A より(N.5)と(N.6)を比較して U T  U 1 (N.7) つまりUは直交行列となる。このとき(N.5)とその逆行列は A  UΛU T (C.43) A 1  UΛ 1U T (C.43) ベクトルで書くと、 M M A   i u i u i 1 A  T 1 T (C.45) uiui (C.46) i 1 i 1 i
  • 共分散行列の対角化 15 対称行列∑を固有値行列Λと固有ベクトル行列Uによって対角化すると 2  (x  μ)T Σ 1 (x  μ) (2.44)  (x  μ)T (UΛ 1U T )(x  μ)   T  U (x  μ) Λ 1 U T (x  μ) T   よって y  U T ( x  μ) (2.52)' とおくと D 2 yi   yΛ y   2 1 T (2.50) i 1 i 元の分布を変数変換すると 1  1 D yi 2  p(y )  exp    (N.8) (2 )  2 i 1 i  1/ 2 D/2 Σ
  • 楕円体 16 対角化によって拡大率と回転後の基底ベクトルが分かる 図2.7 ガウス分布の密度が一定になる楕円体の説明
  • 線形写像Aの分解 17 拡大縮小→回転→平行移動 の順に変換すれば良い A  UΛ1/ 2 とすると、 AA T  (UΛ1/ 2 )(UΛ1/ 2 )T  UΛ1/ 2 (Λ1/ 2 )T U T  UΛU T  Σ よって∑が与えられたとき、元の写像Aは以下のように分解できる Λ1/ 2 U μ 拡大 回転 移動 (N.1) (2.43)
  • 79pの件 18 http://togetter.com/li/23801 結論:79p. 4l. の「(2.51)が定数となる~」→「(2.50)が定数となる~」
  • ガウス分布のバリエーション 19 行列の形を制限することでパラメータを削減できる  (a) 一般行列は斜めの楕円  (b) 対角行列は軸方向の拡大縮小  (c) 等方行列は同心円状 図2.8 行列の形を制限した場合のガウス分布
  • 20 ご清聴ありがとうございました
  • 宣伝 21  自然言語処理に関する勉強会をやります  昨日グループを作ったばかりで詳細未定  発表者と会場提供を募集中  輪読にちょうどいい教科書があったら教えてください http://groups.google.co.jp/group/tokyotextmining
  • 自己紹介 22  Twitter: @nokuno  はてな:id:nokuno  Social IME開発者  自然言語処理とか  RとかPRMLとか  Web業界でプログラマをやってます
  • Rのコード 23 > x <- rnorm(10000) > y <- rnorm(10000) > plot(x,y,xlim=c(-5,5),ylim=c(-5,5),cex=0.1) > x2 <- 2*x > y2 <- x+y > plot(x2,y2,xlim=c(-5,5),ylim=c(-5,5),cex=0.1) > plot(x,y,xlim=c(-5,5),ylim=c(-5,5),cex=0.1,axes=FALSE,frame.plot = TRUE) > plot(x2,y,xlim=c(-5,5),ylim=c(-5,5),cex=0.1,axes=FALSE,frame.plot = TRUE) > plot(x2,y2,xlim=c(-5,5),ylim=c(-5,5),cex=0.1,axes=FALSE,frame.plot = TRUE) > plot(x2+2,y2-1,xlim=c(-5,5),ylim=c(-5,5),cex=0.1,axes=FALSE,frame.plot = TRUE)