Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Gaussianmodels
ガウシアンモデル
MLaPP Chapter 4
きょうの話題
 ガウス分布とは
 ガウス分布にもとづく判別分析
 ガウス分布を用いた補間
 ガウス分布とベイジアン
きょうの話題
 ガウス分布とは
 ガウス分布にもとづく判別分析
 ガウス分布を用いた補間
 ガウス分布とベイジアン
割愛します
m(_ _)m
きょうの話題
 ガウス分布とは
 ガウス分布にもとづく判別分析
 ガウス分布を用いた補間
きょうの話題
 ガウス分布とは
 ガウス分布にもとづく判別分析
 ガウス分布を用いた補間
ガウス分布 (Gaussian Distribution)
もっともよく使われる分布の王者
正規分布 (Normal Distribution) とも呼ぶ
ガウス分布とは
概要
ガウス分布 (Gaussian Distribution)
もっともよく使われる分布の王者
正規分布 (Normal Distribution) とも呼ぶ
単変量が許されるのは
小学生まで!!!
ガウス分布とは
概要
ガウス分布 (Gaussian Distribution)
もっともよく使われる分布の王者
正規分布 (Normal Distribution) とも呼ぶ
ガウス分布とは
概要
ガウス分布とは
概要
ガウス分布 (Gaussian Distribution)
もっともよく使われる分布の王者
正規分布 (Normal Distribution) とも呼ぶ
ガウス分布とは
概要
ガウス分布 (Gaussian Distribution)
もっともよく使われる分布の王者
正規分布 (Normal Distribution) とも呼ぶ
大事なのは
この後ろの部分
(前半は正規化係数)
ガウス分布とは
expの中を詳しく
ガウス分布とは
expの中を詳しく
ガウス分布とは
expの中を詳しく
こういう v⊤Av みたいな形を「2次形式」といいます
ガウス分布とは
expの中を詳しく
こういう v⊤Av みたいな形を「2次形式」といいます
2次形式の性質はあいだの行列の固有値で決まるので
ちょっと Σ-1 を固有値分解してみましょう
ガウス分布とは
expの中を詳しく
とすると
ガウス分布とは
expの中を詳しく
とすると
ガウス分布とは
expの中を詳しく
とすると
ガウス分布とは
expの中を詳しく
ということは、2次元で考えれば
ガウス分布とは
expの中を詳しく
ということは、2次元で考えれば
Σ は半正定値
(固有値が非負)
↓
分布の等高線が
楕円になる!
ガウス分布とは
expの中を詳しく
この
は
ガウス分布とは
expの中を詳しく
この
は x と μ のユークリッド距離
の分散を補正したもの(=マハラノビス距離)の2乗
ガウス分布とは
expの中を詳しく
この
は x と μ のユークリッド距離
の分散を補正したもの(=マハラノビス距離)の2乗
ガウス分布とは
expの中を詳しく
この
は x と μ のユークリッド距離
の分散を補正したもの(=マハラノビス距離)の2乗
→ ガウス分布を書き直すと
ガウス分布 (Gaussian Distribution)
もっともよく使われる分布の王者
正規分布 (Normal Distribution) とも呼ぶ
ガウス分布とは
概要、再び
ガウス分布 (Gaussian Distribution)
もっともよく使われる分布の王者
正規分布 (Normal Distribution) とも呼ぶ
ガウス分布とは
概要、再び
一言でいえば
ガウス分布とは
どの辺が王者なのか
一言でいえば
「ガウス分布たん可愛いよ (;´Д`)ハァハァ」
ガウス分布とは
どの辺が王者なのか
一言でいえば
「ガウス分布たん可愛いよ (;´Д`)ハァハァ」
「シンプルでありながら現実に即している」
ガウス分布とは
どの辺が王者なのか
一言でいえば
「ガウス分布たん可愛いよ (;´Д`)ハァハァ」
「シンプルでありながら現実に即している」
• 中心極限定理のたどり着く先である
ガウス分布とは
どの辺が王者なのか
一言でいえば
「ガウス分布たん可愛いよ (;´Д`)ハァハァ」
「シンプルでありながら現実に即している」
• 中心極限定理のたどり着く先である
• たった2つのパラメータで定まる
ガウス分布とは
どの辺が王者なのか
一言でいえば
「ガウス分布たん可愛いよ (;´Д`)ハァハァ」
「シンプルでありながら現実に即している」
• 中心極限定理のたどり着く先である
• たった2つのパラメータで定まる
• しかもその2つが解釈しやすい(平均と分散)
ガウス分布とは
...
一言でいえば
「ガウス分布たん可愛いよ (;´Д`)ハァハァ」
「シンプルでありながら現実に即している」
• 中心極限定理のたどり着く先である
• たった2つのパラメータで定まる
• しかもその2つが解釈しやすい(平均と分散)
• 平均と分散以...
一言でいえば
「ガウス分布たん可愛いよ (;´Д`)ハァハァ」
「シンプルでありながら現実に即している」
• 中心極限定理のたどり着く先である
• たった2つのパラメータで定まる
• しかもその2つが解釈しやすい(平均と分散)
• 平均と分散以...
一言でいえば
「ガウス分布たん可愛いよ (;´Д`)ハァハァ」
「シンプルでありながら現実に即している」
• 中心極限定理のたどり着く先である
• たった2つのパラメータで定まる
• しかもその2つが解釈しやすい(平均と分散)
• 平均と分散以...
一言でいえば
「ガウス分布たん可愛いよ (;´Д`)ハァハァ」
「シンプルでありながら現実に即している」
• 中心極限定理のたどり着く先である
• たった2つのパラメータで定まる
• しかもその2つが解釈しやすい(平均と分散)
• 平均と分散以...
一言でいえば
「ガウス分布たん可愛いよ (;´Д`)ハァハァ」
「シンプルでありながら現実に即している」
• 中心極限定理のたどり着く先である
• たった2つのパラメータで定まる
• しかもその2つが解釈しやすい(平均と分散)
• 平均と分散以...
いま、一つのガウス分布に独立に従う N 個のデータ点
{x1, x2,…, xN} があるとする:
ガウス分布とは
最尤推定法によるあてはめ
いま、一つのガウス分布に独立に従う N 個のデータ点
{x1, x2,…, xN} があるとする:
このとき、 μ と Σ の最尤推定量は
ガウス分布とは
最尤推定法によるあてはめ
いま、一つのガウス分布に独立に従う N 個のデータ点
{x1, x2,…, xN} があるとする:
このとき、 μ と Σ の最尤推定量は
ガウス分布とは
最尤推定法によるあてはめ
最尤推定量が
標本平均・標本
分散そのもの!
2つのパラメータが単に分布の平均と分散である
というだけでなく、最尤推定量が標本平均・分散と一致
ガウス分布とは
最尤推定法によるあてはめ
一言でいえば
「ガウス分布たん可愛いよ (;´Д`)ハァハァ」
「シンプルでありながら現実に即している」
• 中心極限定理のたどり着く先である
• たった2つのパラメータで定まる
• しかもその2つが解釈しやすい(平均と分散)
• 平均と分散以...
一言でいえば
「ガウス分布たん可愛いよ (;´Д`)ハァハァ」
「シンプルでありながら現実に即している」
• 中心極限定理のたどり着く先である
• たった2つのパラメータで定まる
• しかもその2つが解釈しやすい(平均と分散)
• 平均と分散以...
【定理】
ガウス分布は特定の平均と分散を持つ分布の
中で、もっともエントロピーが大きい分布である
(証明は教科書参照)
ガウス分布とは
ガウス分布の情報量
【定理】
ガウス分布は特定の平均と分散を持つ分布の
中で、もっともエントロピーが大きい分布である
(証明は教科書参照)
エントロピーが大きい=表現できる情報量が多い
正体不明の分布を表すのに、できるだけ仮定を置かず
幅広い可能性に対応できるよう...
一言でいえば
「ガウス分布たん可愛いよ (;´Д`)ハァハァ」
「シンプルでありながら現実に即している」
• 中心極限定理のたどり着く先である
• たった2つのパラメータで定まる
• しかもその2つが解釈しやすい(平均と分散)
• 平均と分散以...
一言でいえば
「ガウス分布たん可愛いよ (;´Д`)ハァハァ」
「シンプルでありながら現実に即している」
• 中心極限定理のたどり着く先である
• たった2つのパラメータで定まる
• しかもその2つが解釈しやすい(平均と分散)
• 平均と分散以...
ガウス分布は
ガウス分布とは
ガウス分布の変換
ガウス分布は
• 線形変換した分布
ガウス分布とは
ガウス分布の変換
ガウス分布は
• 線形変換した分布
• 周辺分布
ガウス分布とは
ガウス分布の変換
ガウス分布は
• 線形変換した分布
• 周辺分布
• 条件付き分布
ガウス分布とは
ガウス分布の変換
ガウス分布は
• 線形変換した分布
• 周辺分布
• 条件付き分布
もガウス分布になる
ガウス分布とは
ガウス分布の変換
ガウス分布は
• 線形変換した分布
• 周辺分布
• 条件付き分布
もガウス分布になる
→ 分布関数全体は不要。 μ と Σ さえ求めればいい!
ガウス分布とは
ガウス分布の変換
ガウス分布は
• 線形変換した分布
• 周辺分布
• 条件付き分布
もガウス分布になる
→ 分布関数全体は不要。 μ と Σ さえ求めればいい!
ガウス分布とは
ガウス分布の変換
x1 ∼ N (μ1,Σ1) を以下のように変換すると
ガウス分布とは
ガウス分布の線形変換
x1 ∼ N (μ1,Σ1) を以下のように変換すると
変換後も x2 ∼ N (μ2,Σ2) となる
ガウス分布とは
ガウス分布の線形変換
x1 ∼ N (μ1,Σ1) を以下のように変換すると
変換後も x2 ∼ N (μ2,Σ2) となる
ただし
ガウス分布とは
ガウス分布の線形変換
x1 ∼ N (μ1,Σ1) を以下のように変換すると
変換後も x2 ∼ N (μ2,Σ2) となる
ただし
ガウス分布とは
ガウス分布の線形変換
x1 と同じ変換
x1 の拡大分の
2乗拡大
ガウス分布は
• 線形変換した分布
• 周辺分布
• 条件付き分布
もガウス分布になる
→ 分布関数全体は不要。 μ と Σ さえ求めればいい!
ガウス分布とは
ガウス分布の変換
ガウス分布は
• 線形変換した分布
• 周辺分布
• 条件付き分布
もガウス分布になる
→ 分布関数全体は不要。 μ と Σ さえ求めればいい!
ガウス分布とは
ガウス分布の変換
x = (x1,x2) ∼ N (μ,Σ) とする。ただし
ガウス分布とは
ガウス分布の周辺分布
x = (x1,x2) ∼ N (μ,Σ) とする。ただし
ガウス分布とは
ガウス分布の周辺分布
x2
x1
Σ =
Σ12
Σ11 Σ12
Σ21
x2x1
μ2
μ1
μ =
x2
x1
対応する部分を
区切っただけ
x = (x1,x2) ∼ N (μ,Σ) とする。ただし
ガウス分布とは
ガウス分布の周辺分布
x = (x1,x2) ∼ N (μ,Σ) とする。ただし
周辺分布は
x1 ∼ N (μ1,Σ11)
ガウス分布とは
ガウス分布の周辺分布
対応する部分を
区切っただけ
x = (x1,x2) ∼ N (μ,Σ) とする。ただし
周辺分布は
x1 ∼ N (μ1,Σ11)
x2 ∼ N (μ2,Σ22)
ガウス分布とは
ガウス分布の周辺分布
対応する部分を
区切っただけ
ガウス分布は
• 線形変換した分布
• 周辺分布
• 条件付き分布
もガウス分布になる
→ 分布関数全体は不要。 μ と Σ さえ求めればいい!
ガウス分布とは
ガウス分布の変換
ガウス分布は
• 線形変換した分布
• 周辺分布
• 条件付き分布
もガウス分布になる
→ 分布関数全体は不要。 μ と Σ さえ求めればいい!
ガウス分布とは
ガウス分布の変換
x = (x1,x2) ∼ N (μ,Σ) とする。ただし
ガウス分布とは
ガウス分布の条件付き分布
x = (x1,x2) ∼ N (μ,Σ) とする。ただし
ガウス分布とは
ガウス分布の条件付き分布
精度行列(分散の逆行列)
を考えると見通しが良い
x = (x1,x2) ∼ N (μ,Σ) とする。ただし
ガウス分布とは
ガウス分布の条件付き分布
x = (x1,x2) ∼ N (μ,Σ) とする。ただし
条件付き分布は x1|x2 ∼ N (μ1|2,Σ1|2)
ガウス分布とは
ガウス分布の条件付き分布
x = (x1,x2) ∼ N (μ,Σ) とする。ただし
条件付き分布は x1|x2 ∼ N (μ1|2,Σ1|2)
ガウス分布とは
ガウス分布の条件付き分布
x = (x1,x2) ∼ N (μ,Σ) とする。ただし
条件付き分布は x1|x2 ∼ N (μ1|2,Σ1|2)
ガウス分布とは
ガウス分布の条件付き分布
μ に x2 が入る
ことだけ注意!
x = (x1,x2) ∼ N (μ,Σ) とする。ただし
条件付き分布は x1|x2 ∼ N (μ1|2,Σ1|2)
ガウス分布とは
ガウス分布の条件付き分布
μ に x2 が入る
ことだけ注意!
ガウス分布は
• 線形変換した分布
• 周辺分布
• 条件付き分布
もガウス分布になる
→ 分布関数全体は不要。 μ と Σ さえ求めればいい!
ガウス分布とは
ガウス分布の変換
ガウス分布は
• 線形変換した分布
• 周辺分布
• 条件付き分布
もガウス分布になる
→ 分布関数全体は不要。 μ と Σ さえ求めればいい!
ガウス分布とは
ガウス分布の変換
一言でいえば
「ガウス分布たん可愛いよ (;´Д`)ハァハァ」
「シンプルでありながら現実に即している」
• 中心極限定理のたどり着く先である
• たった2つのパラメータで定まる
• しかもその2つが解釈しやすい(平均と分散)
• 平均と分散以...
ガウス分布 (Gaussian Distribution)
• 中心極限定理のたどり着く先である
• たった2つのパラメータで定まる
• しかもその2つが解釈しやすい(平均と分散)
• 平均と分散以外に持っている知識は最小限
• 一見複雑なのに...
きょうの話題
 ガウス分布とは
 ガウス分布にもとづく判別分析
 ガウス分布を用いた補間
きょうの話題
 ガウス分布とは
 ガウス分布にもとづく判別分析
 ガウス分布を用いた補間
ガウス分布にもとづく判別分析
判別分析とは
分類問題に対する手法の一つ
分類問題 (classification)
クラスのわかっているデータ(教師データ)をもとに、
未知のデータを分類する問題
ガウス分布にもとづく判別分析
判別分析とは
ガウス判別分析の解き方
1. データは、クラスごとに固有のガウス分布から iid で生成
されていると仮定する
2. 教師データからパラメータを推定する
3. 未知のデータに対し各クラスに属する確率を...
ガウス分布にもとづく判別分析
判別分析とは
ガウス判別分析の解き方
1. データは、クラスごとに固有のガウス分布から iid で生成
されていると仮定する
2. 教師データからパラメータを推定する
3. 未知のデータに対し各クラスに属する確率を...
55 60 65 70 75 80
80
100
120
140
160
180
200
220
240
260
280
ガウス分布にもとづく判別分析
判別分析とは
ガウス判別分析の解き方
1. データは、クラスごとに固有のガウス分布から ii...
55 60 65 70 75 80
80
100
120
140
160
180
200
220
240
260
280
ガウス分布にもとづく判別分析
判別分析とは
ガウス判別分析の解き方
1. データは、クラスごとに固有のガウス分布から ii...
ガウス分布にもとづく判別分析
生成モデル
クラスごとに固有のガウス分布
パラメータ θ が与えられて、クラスを c に定めたときに
x が生成される確率
ガウス分布にもとづく判別分析
生成モデル
クラスごとに固有のガウス分布
パラメータ θ が与えられて、クラスを c に定めたときに
x が生成される確率
ガウス分布にもとづく判別分析
生成モデル
クラスごとに固有のガウス分布
パラメータ θ が与えられて、クラスを c に定めたときに
x が生成される確率
ガウス分布にもとづく判別分析
生成モデル
クラスごとに固有のガウス分布
パラメータ θ が与えられて、クラスを c に定めたときに
x が生成される確率
ガウス分布にもとづく判別分析
生成モデル
クラスごとに固有のガウス分布
パラメータ θ が与えられて、クラスを c に定めたときに
x が生成される確率
ガウス分布にもとづく判別分析
生成モデル
クラスごとに固有のガウス分布
パラメータ θ が与えられて、クラスを c に定めたときに
x が生成される確率
クラス c の
平均と分散
モデル全体のパラメータ
(各 μc, Σc を含む)
ガウス分布にもとづく判別分析
生成モデル
クラスごとに固有のガウス分布
パラメータ θ が与えられて、クラスを c に定めたときに
x が生成される確率
ついでに、下記も仮定:クラス c の出やすさは πc
ガウス分布にもとづく判別分析
生成モデル
クラスごとに固有のガウス分布
パラメータ θ が与えられて、クラスを c に定めたときに
x が生成される確率
ついでに、下記も仮定:クラス c の出やすさは πc
各 πc も
パラメータ θ
の一部
ガウス分布にもとづく判別分析
判別分析とは
ガウス判別分析の解き方
1. データは、クラスごとに固有のガウス分布から iid で生成
されていると仮定する
2. 教師データからパラメータを推定する
3. 未知のデータに対し各クラスに属する確率を...
ガウス分布にもとづく判別分析
判別分析とは
ガウス判別分析の解き方
1. データは、クラスごとに固有のガウス分布から iid で生成
されていると仮定する
2. 教師データからパラメータを推定する
3. 未知のデータに対し各クラスに属する確率を...
55 60 65 70 75 80
80
100
120
140
160
180
200
220
240
260
280
ガウス分布にもとづく判別分析
判別分析とは
ガウス判別分析の解き方
1. データは、クラスごとに固有のガウス分布から ii...
55 60 65 70 75 80
80
100
120
140
160
180
200
220
240
260
280
ガウス分布にもとづく判別分析
判別分析とは
ガウス判別分析の解き方
1. データは、クラスごとに固有のガウス分布から ii...
ガウス分布にもとづく判別分析
クラス事後確率
未知のデータ点 x が与えられたときに、
それがクラス c に属する確率
ガウス分布にもとづく判別分析
クラス事後確率
未知のデータ点 x が与えられたときに、
それがクラス c に属する確率
ガウス分布にもとづく判別分析
クラス事後確率
未知のデータ点 x が与えられたときに、
それがクラス c に属する確率
ガウス分布にもとづく判別分析
クラス事後確率
未知のデータ点 x が与えられたときに、
それがクラス c に属する確率
ガウス分布にもとづく判別分析
クラス事後確率
未知のデータ点 x が与えられたときに、
それがクラス c に属する確率
みなさんベイズの公式
覚えてますか!?
ガウス分布にもとづく判別分析
クラス事後確率
未知のデータ点 x が与えられたときに、
それがクラス c に属する確率
ガウス分布にもとづく判別分析
クラス事後確率
未知のデータ点 x が与えられたときに、
それがクラス c に属する確率
尤度
ガウス分布にもとづく判別分析
クラス事後確率
未知のデータ点 x が与えられたときに、
それがクラス c に属する確率
尤度 事前分布
ガウス分布にもとづく判別分析
クラス事後確率
未知のデータ点 x が与えられたときに、
それがクラス c に属する確率
尤度 事前分布
ガウス分布にもとづく判別分析
クラス事後確率
未知のデータ点 x が与えられたときに、
それがクラス c に属する確率
ガウス分布にもとづく判別分析
クラス事後確率
未知のデータ点 x が与えられたときに、
それがクラス c に属する確率
ガウス分布にもとづく判別分析
クラス事後確率
未知のデータ点 x が与えられたときに、
それがクラス c に属する確率
よって x は下記のように分類される
ガウス分布にもとづく判別分析
判別分析とは
ガウス判別分析の解き方
1. データは、クラスごとに固有のガウス分布から iid で生成
されていると仮定する
2. 教師データからパラメータを推定する
3. 未知のデータに対し各クラスに属する確率を...
ガウス分布にもとづく判別分析
判別分析とは
ガウス判別分析の解き方
1. データは、クラスごとに固有のガウス分布から iid で生成
されていると仮定する
2. 教師データからパラメータを推定する
3. 未知のデータに対し各クラスに属する確率を...
ガウス分布にもとづく判別分析
いろいろなガウス判別分析
パラメータへの制限や推定法によって、ガウス判別分
析はいくつかの種類に分けられる
• 制限なし QDA
• 等分散 LDA
• 特徴量が独立 Naïve Bayes
• 等分散&特徴量が独...
ガウス分布にもとづく判別分析
いろいろなガウス判別分析
パラメータへの制限や推定法によって、ガウス判別分
析はいくつかの種類に分けられる
• 制限なし
• 等分散
• 特徴量が独立
• 等分散&特徴量が独立
• 事前分布で正則化
ガウス分布にもとづく判別分析
2次判別分析
パラメータへなにも制約をおかなかった場合、一般に
分離境界は2次式になる
→ 2次判別分析 (QuadraticDiscriminantAnalysis)
ガウス分布にもとづく判別分析
2次判別分析
パラメータへなにも制約をおかなかった場合、一般に
分離境界は2次式になる
→ 2次判別分析 (QuadraticDiscriminantAnalysis)
ガウス分布にもとづく判別分析
2次判別分析
パラメータへなにも制約をおかなかった場合、一般に
分離境界は2次式になる
→ 2次判別分析 (QuadraticDiscriminantAnalysis)
ガウス分布にもとづく判別分析
2次判別分析
パラメータへなにも制約をおかなかった場合、一般に
分離境界は2次式になる
→ 2次判別分析 (QuadraticDiscriminantAnalysis)
分散が同じだと
境界が直線に
ガウス分布にもとづく判別分析
いろいろなガウス判別分析
パラメータへの制限や推定法によって、ガウス判別分
析はいくつかの種類に分けられる
• 制限なし
• 等分散
• 特徴量が独立
• 等分散&特徴量が独立
• 事前分布で正則化
ガウス分布にもとづく判別分析
いろいろなガウス判別分析
パラメータへの制限や推定法によって、ガウス判別分
析はいくつかの種類に分けられる
• 制限なし 2次判別分析 (QDA)
• 等分散
• 特徴量が独立
• 等分散&特徴量が独立
• 事前分...
ガウス分布にもとづく判別分析
いろいろなガウス判別分析
パラメータへの制限や推定法によって、ガウス判別分
析はいくつかの種類に分けられる
• 制限なし 2次判別分析 (QDA)
• 等分散
• 特徴量が独立
• 等分散&特徴量が独立
• 事前分...
ガウス分布にもとづく判別分析
2次判別分析
分散が各クラスで共通だと分離境界は1次式になる
→ 線形判別分析 (LinearDiscriminantAnalysis)
ガウス分布にもとづく判別分析
2次判別分析
分散が各クラスで共通だと分離境界は1次式になる
→ 線形判別分析 (LinearDiscriminantAnalysis)
ガウス分布にもとづく判別分析
2次判別分析
分散が各クラスで共通だと分離境界は1次式になる
→ 線形判別分析 (LinearDiscriminantAnalysis)
よく PCA との対比で語られること
の多い LDA ですが、実は背後に
等...
ガウス分布にもとづく判別分析
2次判別分析
分散が各クラスで共通だと分離境界は1次式になる
→ 線形判別分析 (LinearDiscriminantAnalysis)
よく PCA との対比で語られること
の多い LDA ですが、実は背後に
等...
ガウス分布にもとづく判別分析
いろいろなガウス判別分析
パラメータへの制限や推定法によって、ガウス判別分
析はいくつかの種類に分けられる
• 制限なし 2次判別分析 (QDA)
• 等分散
• 特徴量が独立
• 等分散&特徴量が独立
• 事前分...
ガウス分布にもとづく判別分析
いろいろなガウス判別分析
パラメータへの制限や推定法によって、ガウス判別分
析はいくつかの種類に分けられる
• 制限なし 2次判別分析 (QDA)
• 等分散 線形判別分析 (LDA)
• 特徴量が独立
• 等分散...
ガウス分布にもとづく判別分析
いろいろなガウス判別分析
パラメータへの制限や推定法によって、ガウス判別分
析はいくつかの種類に分けられる
• 制限なし 2次判別分析 (QDA)
• 等分散 線形判別分析 (LDA)
• 特徴量が独立
• 等分散...
ガウス分布にもとづく判別分析
単純ベイズ法
特徴量が独立=データの各次元が独立
x = (x1, x2, …, xi, …, xN)
独立
ガウス分布にもとづく判別分析
単純ベイズ法
特徴量が独立=データの各次元が独立
x = (x1, x2, …, xi, …, xN)
つまり
独立
独立 ⇔
同時分布を積に
分解できる
ガウス分布にもとづく判別分析
単純ベイズ法
特徴量が独立=データの各次元が独立
x = (x1, x2, …, xi, …, xN)
つまり
これはガウス分布による単純ベイズ (Naïve Bayes) と等価!
独立
独立 ⇔
同時分布を積に...
ガウス分布にもとづく判別分析
単純ベイズ法
特徴量が独立=データの各次元が独立
x = (x1, x2, …, xi, …, xN)
つまり
独立
独立 ⇔
同時分布を積に
分解できる
ガウス分布にもとづく判別分析
単純ベイズ法
特徴量が独立=データの各次元が独立
x = (x1, x2, …, xi, …, xN)
つまり
独立
独立 ⇔
同時分布を積に
分解できる
ガウス分布にもとづく判別分析
単純ベイズ法
特徴量が独立=データの各次元が独立
x = (x1, x2, …, xi, …, xN)
つまり
独立
独立 ⇔
同時分布を積に
分解できる
ただし
ガウス分布にもとづく判別分析
単純ベイズ法
特徴量が独立=データの各次元が独立
x = (x1, x2, …, xi, …, xN)
つまり
独立
独立 ⇔
同時分布を積に
分解できる
ただし
ガウス判別分析の観点で言うと、分散を対角行列に
制...
ガウス分布にもとづく判別分析
いろいろなガウス判別分析
パラメータへの制限や推定法によって、ガウス判別分
析はいくつかの種類に分けられる
• 制限なし 2次判別分析 (QDA)
• 等分散 線形判別分析 (LDA)
• 特徴量が独立
• 等分散...
ガウス分布にもとづく判別分析
いろいろなガウス判別分析
パラメータへの制限や推定法によって、ガウス判別分
析はいくつかの種類に分けられる
• 制限なし 2次判別分析 (QDA)
• 等分散 線形判別分析 (LDA)
• 特徴量が独立 単純ベイズ...
ガウス分布にもとづく判別分析
いろいろなガウス判別分析
パラメータへの制限や推定法によって、ガウス判別分
析はいくつかの種類に分けられる
• 制限なし 2次判別分析 (QDA)
• 等分散 線形判別分析 (LDA)
• 特徴量が独立 単純ベイズ...
ガウス分布にもとづく判別分析
対角線形判別分析
分散行列を対角かつ各クラスで共通に制限したものを
対角線形判別分析 (Diagonal LDA) と呼ぶ
ガウス分布にもとづく判別分析
対角線形判別分析
分散行列を対角かつ各クラスで共通に制限したものを
対角線形判別分析 (Diagonal LDA) と呼ぶ
正則化がかなり強く働くので、高次元データに強い
ガウス分布にもとづく判別分析
対角線形判別分析
分散行列を対角かつ各クラスで共通に制限したものを
対角線形判別分析 (Diagonal LDA) と呼ぶ
正則化がかなり強く働くので、高次元データに強い
Σ の推定値には合併経験分散 (Poole...
ガウス分布にもとづく判別分析
対角線形判別分析
分散行列を対角かつ各クラスで共通に制限したものを
対角線形判別分析 (Diagonal LDA) と呼ぶ
正則化がかなり強く働くので、高次元データに強い
Σ の推定値には合併経験分散 (Poole...
ガウス分布にもとづく判別分析
いろいろなガウス判別分析
パラメータへの制限や推定法によって、ガウス判別分
析はいくつかの種類に分けられる
• 制限なし 2次判別分析 (QDA)
• 等分散 線形判別分析 (LDA)
• 特徴量が独立 単純ベイズ...
ガウス分布にもとづく判別分析
いろいろなガウス判別分析
パラメータへの制限や推定法によって、ガウス判別分
析はいくつかの種類に分けられる
• 制限なし 2次判別分析 (QDA)
• 等分散 線形判別分析 (LDA)
• 特徴量が独立 単純ベイズ...
ガウス分布にもとづく判別分析
いろいろなガウス判別分析
パラメータへの制限や推定法によって、ガウス判別分
析はいくつかの種類に分けられる
• 制限なし 2次判別分析 (QDA)
• 等分散 線形判別分析 (LDA)
• 特徴量が独立 単純ベイズ...
ガウス分布にもとづく判別分析
事前分布による正則化
ベイジアンなら直截的に Σ の値を制限するのではなく
事前分布を使って正則化をすることも出来る
ここでは2種類紹介する
• 分散に逆ウィシャート分布
• 平均のオフセットにラプラス分布
ガウス分布にもとづく判別分析
事前分布による正則化
ベイジアンなら直截的に Σ の値を制限するのではなく
事前分布を使って正則化をすることも出来る
ここでは2種類紹介する
• 分散に逆ウィシャート分布
• 平均のオフセットにラプラス分布
ガウス分布にもとづく判別分析
事前分布による正則化
ベイジアンなら直截的に Σ の値を制限するのではなく
事前分布を使って正則化をすることも出来る
ここでは2種類紹介する
• 分散に逆ウィシャート分布
• 平均のオフセットにラプラス分布
おさら...
ガウス分布にもとづく判別分析
事前分布による正則化
ベイジアンなら直截的に Σ の値を制限するのではなく
事前分布を使って正則化をすることも出来る
ここでは2種類紹介する
• 分散に逆ウィシャート分布
• 平均のオフセットにラプラス分布
ガウス分布にもとづく判別分析
事前分布による正則化
ベイジアンなら直截的に Σ の値を制限するのではなく
事前分布を使って正則化をすることも出来る
ここでは2種類紹介する
• 分散に逆ウィシャート分布
• 平均のオフセットにラプラス分布
ガウス分布にもとづく判別分析
正則化判別分析
分散の事前分布として逆ウィシャート分布
をおく
ガウス分布にもとづく判別分析
正則化判別分析
分散の事前分布として逆ウィシャート分布
をおく
このとき分散の推定量は以下( λ は ν0 で定まる量)
ガウス分布にもとづく判別分析
正則化判別分析
分散の事前分布として逆ウィシャート分布
をおく
このとき分散の推定量は以下( λ は ν0 で定まる量)
の非対角成分
を薄めている感じ
(λ=1で対角LDAに一致)
ガウス分布にもとづく判別分析
正則化判別分析
分散の事前分布として逆ウィシャート分布
をおく
このとき分散の推定量は以下( λ は ν0 で定まる量)
次元が高すぎて( D>N )、 が計算出来ないときは
データ行列 X の特異値分解 を使うと...
ガウス分布にもとづく判別分析
事前分布による正則化
ベイジアンなら直截的に Σ の値を制限するのではなく
事前分布を使って正則化をすることも出来る
ここでは2種類紹介する
• 分散に逆ウィシャート分布
• 平均のオフセットにラプラス分布
ガウス分布にもとづく判別分析
事前分布による正則化
ベイジアンなら直截的に Σ の値を制限するのではなく
事前分布を使って正則化をすることも出来る
ここでは2種類紹介する
• 分散に逆ウィシャート分布
• 平均のオフセットにラプラス分布
ガウス分布にもとづく判別分析
NearestShrunken CentroidsClassifier
対角LDAですら高次元データには弱い
→ Σ は対角行列かつ各クラス共通に制限したうえで
さらに不要な特徴量を削りたい(L0 正則化に近い)
...
ガウス分布にもとづく判別分析
NearestShrunken CentroidsClassifier
対角LDAですら高次元データには弱い
→ Σ は対角行列かつ各クラス共通に制限したうえで
さらに不要な特徴量を削りたい(L0 正則化に近い)
...
ガウス分布にもとづく判別分析
NearestShrunken CentroidsClassifier
対角LDAですら高次元データには弱い
→ Σ は対角行列かつ各クラス共通に制限したうえで
さらに不要な特徴量を削りたい(L0 正則化に近い)
ガウス分布にもとづく判別分析
事前分布による正則化
ベイジアンなら直截的に Σ の値を制限するのではなく
事前分布を使って正則化をすることも出来る
ここでは2種類紹介する
• 分散に逆ウィシャート分布
• 平均のオフセットにラプラス分布
ガウス分布にもとづく判別分析
事前分布による正則化
ベイジアンなら直截的に Σ の値を制限するのではなく
事前分布を使って正則化をすることも出来る
ここでは2種類紹介する
• 分散に逆ウィシャート分布
• 平均のオフセットにラプラス分布
ガウス分布にもとづく判別分析
いろいろなガウス判別分析
パラメータへの制限や推定法によって、ガウス判別分
析はいくつかの種類に分けられる
• 制限なし 2次判別分析 (QDA)
• 等分散 線形判別分析 (LDA)
• 特徴量が独立 単純ベイズ...
ガウス分布にもとづく判別分析
いろいろなガウス判別分析
パラメータへの制限や推定法によって、ガウス判別分
析はいくつかの種類に分けられる
• 制限なし 2次判別分析 (QDA)
• 等分散 線形判別分析 (LDA)
• 特徴量が独立 単純ベイズ...
ガウス分布にもとづく判別分析
いろいろなガウス判別分析
パラメータへの制限や推定法によって、ガウス判別分
析はいくつかの種類に分けられる
• 制限なし 2次判別分析 (QDA)
• 等分散 線形判別分析 (LDA)
• 特徴量が独立 単純ベイズ...
きょうの話題
 ガウス分布とは
 ガウス分布にもとづく判別分析
 ガウス分布を用いた補間
きょうの話題
 ガウス分布とは
 ガウス分布にもとづく判別分析
 ガウス分布を用いた補間
ガウス分布による補間
補間とは
補間問題 (Interpolation)
与えられたデータ点 {(xi,yi)} から定義域全体の関
数 y(x) の振る舞いを推定すること
(ふつう最小点と最大点のあいだのみを扱うことが多い)
機械学習の言葉で...
ガウス分布による補間
2通りのデータ
ここで扱う手法は、データの種類によって2つに別れる
• ノイズのないデータ
• ノイズのあるデータ
ガウス分布による補間
2通りのデータ
ここで扱う手法は、データの種類によって2つに別れる
• ノイズのないデータ
• ノイズのあるデータ
ガウス分布による補間
ノイズのないデータの補間
対象とする区間を D 等分し、そのi番目を
yi = ƒ(xi)
とする
ガウス分布による補間
ノイズのないデータの補間
対象とする区間を D 等分し、そのi番目を
yi = ƒ(xi)
とする。 ƒ はなめらかだと仮定して
とおく(両隣の平均+ずれ)
ガウス分布による補間
ノイズのないデータの補間
対象とする区間を D 等分し、そのi番目を
yi = ƒ(xi)
とする。 ƒ はなめらかだと仮定して
とおく(両隣の平均+ずれ)
ガウス分布による補間
ノイズのないデータの補間
対象とする区間を D 等分し、そのi番目を
yi = ƒ(xi)
とする。 ƒ はなめらかだと仮定して
とおく(両隣の平均+ずれ)
ただし
行列の形で
書き直した
ガウス分布による補間
ノイズのないデータの補間
対象とする区間を D 等分し、そのi番目を
yi = ƒ(xi)
とする。 ƒ はなめらかだと仮定して
とおく(両隣の平均+ずれ)
ただし
行列の形で
書き直した
D 列
D-2 行
ガウス分布による補間
ノイズのないデータの補間
対象とする区間を D 等分し、そのi番目を
yi = ƒ(xi)
とする。 ƒ はなめらかだと仮定して
とおく(両隣の平均+ずれ)
ただし
行列の形で
書き直した
ガウス分布による補間
ノイズのないデータの補間
y=(y1, y2), y1:未知データ, y2:既知データとする
y = 既知未知
ガウス分布による補間
ノイズのないデータの補間
y=(y1, y2), y1:未知データ, y2:既知データとする
すると
y = 既知未知
ガウス分布による補間
ノイズのないデータの補間
y=(y1, y2), y1:未知データ, y2:既知データとする
すると
→ y1が予測できる!
y = 既知未知
ガウス分布による補間
ノイズのないデータの補間
y=(y1, y2), y1:未知データ, y2:既知データとする
すると
→ y1が予測できる!
y = 既知未知
ガウス分布による補間
2通りのデータ
ここで扱う手法は、データの種類によって2つに別れる
• ノイズのないデータ
• ノイズのあるデータ
ガウス分布による補間
2通りのデータ
ここで扱う手法は、データの種類によって2つに別れる
• ノイズのないデータ
• ノイズのあるデータ
ガウス分布による補間
ノイズのあるデータの補間
やることはさっきと同じ!
唯一の違いはデータ y が線形ガウスシステムで
生成されているとみなすこと
すると
ガウス分布による補間
2通りのデータ
ここで扱う手法は、データの種類によって2つに別れる
• ノイズのないデータ
• ノイズのあるデータ
ガウス分布による補間
2通りのデータ
ここで扱う手法は、データの種類によって2つに別れる
• ノイズのないデータ
• ノイズのあるデータ
きょうの話題
 ガウス分布とは
 ガウス分布にもとづく判別分析
 ガウス分布を用いた補間
きょうの話題
 ガウス分布とは
 ガウス分布にもとづく判別分析
 ガウス分布を用いた補間
きょうの話題
 ガウス分布とは
 ガウス分布にもとづく判別分析
 ガウス分布を用いた補間
Upcoming SlideShare
Loading in …5
×

MLaPP 4章 「ガウシアンモデル」

3,560 views

Published on

機械学習輪講の発表資料
教科書:Kevin Murphy "Machine Learning: a Probabilistic Perspective" (MLaPP)

内容はガウス分布とそれをもちいた機械学習手法についてです。
(判別分析の話がメイン)

Published in: Technology

MLaPP 4章 「ガウシアンモデル」

  1. 1. Gaussianmodels ガウシアンモデル MLaPP Chapter 4
  2. 2. きょうの話題  ガウス分布とは  ガウス分布にもとづく判別分析  ガウス分布を用いた補間  ガウス分布とベイジアン
  3. 3. きょうの話題  ガウス分布とは  ガウス分布にもとづく判別分析  ガウス分布を用いた補間  ガウス分布とベイジアン 割愛します m(_ _)m
  4. 4. きょうの話題  ガウス分布とは  ガウス分布にもとづく判別分析  ガウス分布を用いた補間
  5. 5. きょうの話題  ガウス分布とは  ガウス分布にもとづく判別分析  ガウス分布を用いた補間
  6. 6. ガウス分布 (Gaussian Distribution) もっともよく使われる分布の王者 正規分布 (Normal Distribution) とも呼ぶ ガウス分布とは 概要
  7. 7. ガウス分布 (Gaussian Distribution) もっともよく使われる分布の王者 正規分布 (Normal Distribution) とも呼ぶ 単変量が許されるのは 小学生まで!!! ガウス分布とは 概要
  8. 8. ガウス分布 (Gaussian Distribution) もっともよく使われる分布の王者 正規分布 (Normal Distribution) とも呼ぶ ガウス分布とは 概要
  9. 9. ガウス分布とは 概要 ガウス分布 (Gaussian Distribution) もっともよく使われる分布の王者 正規分布 (Normal Distribution) とも呼ぶ
  10. 10. ガウス分布とは 概要 ガウス分布 (Gaussian Distribution) もっともよく使われる分布の王者 正規分布 (Normal Distribution) とも呼ぶ 大事なのは この後ろの部分 (前半は正規化係数)
  11. 11. ガウス分布とは expの中を詳しく
  12. 12. ガウス分布とは expの中を詳しく
  13. 13. ガウス分布とは expの中を詳しく こういう v⊤Av みたいな形を「2次形式」といいます
  14. 14. ガウス分布とは expの中を詳しく こういう v⊤Av みたいな形を「2次形式」といいます 2次形式の性質はあいだの行列の固有値で決まるので ちょっと Σ-1 を固有値分解してみましょう
  15. 15. ガウス分布とは expの中を詳しく とすると
  16. 16. ガウス分布とは expの中を詳しく とすると
  17. 17. ガウス分布とは expの中を詳しく とすると
  18. 18. ガウス分布とは expの中を詳しく ということは、2次元で考えれば
  19. 19. ガウス分布とは expの中を詳しく ということは、2次元で考えれば Σ は半正定値 (固有値が非負) ↓ 分布の等高線が 楕円になる!
  20. 20. ガウス分布とは expの中を詳しく この は
  21. 21. ガウス分布とは expの中を詳しく この は x と μ のユークリッド距離 の分散を補正したもの(=マハラノビス距離)の2乗
  22. 22. ガウス分布とは expの中を詳しく この は x と μ のユークリッド距離 の分散を補正したもの(=マハラノビス距離)の2乗
  23. 23. ガウス分布とは expの中を詳しく この は x と μ のユークリッド距離 の分散を補正したもの(=マハラノビス距離)の2乗 → ガウス分布を書き直すと
  24. 24. ガウス分布 (Gaussian Distribution) もっともよく使われる分布の王者 正規分布 (Normal Distribution) とも呼ぶ ガウス分布とは 概要、再び
  25. 25. ガウス分布 (Gaussian Distribution) もっともよく使われる分布の王者 正規分布 (Normal Distribution) とも呼ぶ ガウス分布とは 概要、再び
  26. 26. 一言でいえば ガウス分布とは どの辺が王者なのか
  27. 27. 一言でいえば 「ガウス分布たん可愛いよ (;´Д`)ハァハァ」 ガウス分布とは どの辺が王者なのか
  28. 28. 一言でいえば 「ガウス分布たん可愛いよ (;´Д`)ハァハァ」 「シンプルでありながら現実に即している」 ガウス分布とは どの辺が王者なのか
  29. 29. 一言でいえば 「ガウス分布たん可愛いよ (;´Д`)ハァハァ」 「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である ガウス分布とは どの辺が王者なのか
  30. 30. 一言でいえば 「ガウス分布たん可愛いよ (;´Д`)ハァハァ」 「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった2つのパラメータで定まる ガウス分布とは どの辺が王者なのか
  31. 31. 一言でいえば 「ガウス分布たん可愛いよ (;´Д`)ハァハァ」 「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった2つのパラメータで定まる • しかもその2つが解釈しやすい(平均と分散) ガウス分布とは どの辺が王者なのか
  32. 32. 一言でいえば 「ガウス分布たん可愛いよ (;´Д`)ハァハァ」 「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった2つのパラメータで定まる • しかもその2つが解釈しやすい(平均と分散) • 平均と分散以外に持っている知識は最小限 ガウス分布とは どの辺が王者なのか
  33. 33. 一言でいえば 「ガウス分布たん可愛いよ (;´Д`)ハァハァ」 「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった2つのパラメータで定まる • しかもその2つが解釈しやすい(平均と分散) • 平均と分散以外に持っている知識は最小限 • 一見複雑なのに線形代数だけで計算がすむ ガウス分布とは どの辺が王者なのか
  34. 34. 一言でいえば 「ガウス分布たん可愛いよ (;´Д`)ハァハァ」 「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった2つのパラメータで定まる • しかもその2つが解釈しやすい(平均と分散) • 平均と分散以外に持っている知識は最小限 • 一見複雑なのに線形代数だけで計算がすむ ガウス分布とは どの辺が王者なのか 実際には世の中みんなガウス 分布に従っているわけじゃない 対数正規分布、パレート分布、 二項分布、ポアソン分布…… 分布に対して分かっていること があるならそれを使えばいい ないなら、ガウス分布を使おう
  35. 35. 一言でいえば 「ガウス分布たん可愛いよ (;´Д`)ハァハァ」 「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった2つのパラメータで定まる • しかもその2つが解釈しやすい(平均と分散) • 平均と分散以外に持っている知識は最小限 • 一見複雑なのに線形代数だけで計算がすむ ガウス分布とは どの辺が王者なのか
  36. 36. 一言でいえば 「ガウス分布たん可愛いよ (;´Д`)ハァハァ」 「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった2つのパラメータで定まる • しかもその2つが解釈しやすい(平均と分散) • 平均と分散以外に持っている知識は最小限 • 一見複雑なのに線形代数だけで計算がすむ ガウス分布とは どの辺が王者なのか
  37. 37. いま、一つのガウス分布に独立に従う N 個のデータ点 {x1, x2,…, xN} があるとする: ガウス分布とは 最尤推定法によるあてはめ
  38. 38. いま、一つのガウス分布に独立に従う N 個のデータ点 {x1, x2,…, xN} があるとする: このとき、 μ と Σ の最尤推定量は ガウス分布とは 最尤推定法によるあてはめ
  39. 39. いま、一つのガウス分布に独立に従う N 個のデータ点 {x1, x2,…, xN} があるとする: このとき、 μ と Σ の最尤推定量は ガウス分布とは 最尤推定法によるあてはめ 最尤推定量が 標本平均・標本 分散そのもの!
  40. 40. 2つのパラメータが単に分布の平均と分散である というだけでなく、最尤推定量が標本平均・分散と一致 ガウス分布とは 最尤推定法によるあてはめ
  41. 41. 一言でいえば 「ガウス分布たん可愛いよ (;´Д`)ハァハァ」 「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった2つのパラメータで定まる • しかもその2つが解釈しやすい(平均と分散) • 平均と分散以外に持っている知識は最小限 • 一見複雑なのに線形代数だけで計算がすむ ガウス分布とは どの辺が王者なのか
  42. 42. 一言でいえば 「ガウス分布たん可愛いよ (;´Д`)ハァハァ」 「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった2つのパラメータで定まる • しかもその2つが解釈しやすい(平均と分散) • 平均と分散以外に持っている知識は最小限 • 一見複雑なのに線形代数だけで計算がすむ ガウス分布とは どの辺が王者なのか
  43. 43. 【定理】 ガウス分布は特定の平均と分散を持つ分布の 中で、もっともエントロピーが大きい分布である (証明は教科書参照) ガウス分布とは ガウス分布の情報量
  44. 44. 【定理】 ガウス分布は特定の平均と分散を持つ分布の 中で、もっともエントロピーが大きい分布である (証明は教科書参照) エントロピーが大きい=表現できる情報量が多い 正体不明の分布を表すのに、できるだけ仮定を置かず 幅広い可能性に対応できるようにしている ガウス分布とは ガウス分布の情報量
  45. 45. 一言でいえば 「ガウス分布たん可愛いよ (;´Д`)ハァハァ」 「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった2つのパラメータで定まる • しかもその2つが解釈しやすい(平均と分散) • 平均と分散以外に持っている知識は最小限 • 一見複雑なのに線形代数だけで計算がすむ ガウス分布とは どの辺が王者なのか
  46. 46. 一言でいえば 「ガウス分布たん可愛いよ (;´Д`)ハァハァ」 「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった2つのパラメータで定まる • しかもその2つが解釈しやすい(平均と分散) • 平均と分散以外に持っている知識は最小限 • 一見複雑なのに線形代数だけで計算がすむ ガウス分布とは どの辺が王者なのか
  47. 47. ガウス分布は ガウス分布とは ガウス分布の変換
  48. 48. ガウス分布は • 線形変換した分布 ガウス分布とは ガウス分布の変換
  49. 49. ガウス分布は • 線形変換した分布 • 周辺分布 ガウス分布とは ガウス分布の変換
  50. 50. ガウス分布は • 線形変換した分布 • 周辺分布 • 条件付き分布 ガウス分布とは ガウス分布の変換
  51. 51. ガウス分布は • 線形変換した分布 • 周辺分布 • 条件付き分布 もガウス分布になる ガウス分布とは ガウス分布の変換
  52. 52. ガウス分布は • 線形変換した分布 • 周辺分布 • 条件付き分布 もガウス分布になる → 分布関数全体は不要。 μ と Σ さえ求めればいい! ガウス分布とは ガウス分布の変換
  53. 53. ガウス分布は • 線形変換した分布 • 周辺分布 • 条件付き分布 もガウス分布になる → 分布関数全体は不要。 μ と Σ さえ求めればいい! ガウス分布とは ガウス分布の変換
  54. 54. x1 ∼ N (μ1,Σ1) を以下のように変換すると ガウス分布とは ガウス分布の線形変換
  55. 55. x1 ∼ N (μ1,Σ1) を以下のように変換すると 変換後も x2 ∼ N (μ2,Σ2) となる ガウス分布とは ガウス分布の線形変換
  56. 56. x1 ∼ N (μ1,Σ1) を以下のように変換すると 変換後も x2 ∼ N (μ2,Σ2) となる ただし ガウス分布とは ガウス分布の線形変換
  57. 57. x1 ∼ N (μ1,Σ1) を以下のように変換すると 変換後も x2 ∼ N (μ2,Σ2) となる ただし ガウス分布とは ガウス分布の線形変換 x1 と同じ変換 x1 の拡大分の 2乗拡大
  58. 58. ガウス分布は • 線形変換した分布 • 周辺分布 • 条件付き分布 もガウス分布になる → 分布関数全体は不要。 μ と Σ さえ求めればいい! ガウス分布とは ガウス分布の変換
  59. 59. ガウス分布は • 線形変換した分布 • 周辺分布 • 条件付き分布 もガウス分布になる → 分布関数全体は不要。 μ と Σ さえ求めればいい! ガウス分布とは ガウス分布の変換
  60. 60. x = (x1,x2) ∼ N (μ,Σ) とする。ただし ガウス分布とは ガウス分布の周辺分布
  61. 61. x = (x1,x2) ∼ N (μ,Σ) とする。ただし ガウス分布とは ガウス分布の周辺分布 x2 x1 Σ = Σ12 Σ11 Σ12 Σ21 x2x1 μ2 μ1 μ = x2 x1 対応する部分を 区切っただけ
  62. 62. x = (x1,x2) ∼ N (μ,Σ) とする。ただし ガウス分布とは ガウス分布の周辺分布
  63. 63. x = (x1,x2) ∼ N (μ,Σ) とする。ただし 周辺分布は x1 ∼ N (μ1,Σ11) ガウス分布とは ガウス分布の周辺分布 対応する部分を 区切っただけ
  64. 64. x = (x1,x2) ∼ N (μ,Σ) とする。ただし 周辺分布は x1 ∼ N (μ1,Σ11) x2 ∼ N (μ2,Σ22) ガウス分布とは ガウス分布の周辺分布 対応する部分を 区切っただけ
  65. 65. ガウス分布は • 線形変換した分布 • 周辺分布 • 条件付き分布 もガウス分布になる → 分布関数全体は不要。 μ と Σ さえ求めればいい! ガウス分布とは ガウス分布の変換
  66. 66. ガウス分布は • 線形変換した分布 • 周辺分布 • 条件付き分布 もガウス分布になる → 分布関数全体は不要。 μ と Σ さえ求めればいい! ガウス分布とは ガウス分布の変換
  67. 67. x = (x1,x2) ∼ N (μ,Σ) とする。ただし ガウス分布とは ガウス分布の条件付き分布
  68. 68. x = (x1,x2) ∼ N (μ,Σ) とする。ただし ガウス分布とは ガウス分布の条件付き分布 精度行列(分散の逆行列) を考えると見通しが良い
  69. 69. x = (x1,x2) ∼ N (μ,Σ) とする。ただし ガウス分布とは ガウス分布の条件付き分布
  70. 70. x = (x1,x2) ∼ N (μ,Σ) とする。ただし 条件付き分布は x1|x2 ∼ N (μ1|2,Σ1|2) ガウス分布とは ガウス分布の条件付き分布
  71. 71. x = (x1,x2) ∼ N (μ,Σ) とする。ただし 条件付き分布は x1|x2 ∼ N (μ1|2,Σ1|2) ガウス分布とは ガウス分布の条件付き分布
  72. 72. x = (x1,x2) ∼ N (μ,Σ) とする。ただし 条件付き分布は x1|x2 ∼ N (μ1|2,Σ1|2) ガウス分布とは ガウス分布の条件付き分布 μ に x2 が入る ことだけ注意!
  73. 73. x = (x1,x2) ∼ N (μ,Σ) とする。ただし 条件付き分布は x1|x2 ∼ N (μ1|2,Σ1|2) ガウス分布とは ガウス分布の条件付き分布 μ に x2 が入る ことだけ注意!
  74. 74. ガウス分布は • 線形変換した分布 • 周辺分布 • 条件付き分布 もガウス分布になる → 分布関数全体は不要。 μ と Σ さえ求めればいい! ガウス分布とは ガウス分布の変換
  75. 75. ガウス分布は • 線形変換した分布 • 周辺分布 • 条件付き分布 もガウス分布になる → 分布関数全体は不要。 μ と Σ さえ求めればいい! ガウス分布とは ガウス分布の変換
  76. 76. 一言でいえば 「ガウス分布たん可愛いよ (;´Д`)ハァハァ」 「シンプルでありながら現実に即している」 • 中心極限定理のたどり着く先である • たった2つのパラメータで定まる • しかもその2つが解釈しやすい(平均と分散) • 平均と分散以外に持っている知識は最小限 • 一見複雑なのに線形代数だけで計算がすむ ガウス分布とは どの辺が王者なのか
  77. 77. ガウス分布 (Gaussian Distribution) • 中心極限定理のたどり着く先である • たった2つのパラメータで定まる • しかもその2つが解釈しやすい(平均と分散) • 平均と分散以外に持っている知識は最小限 • 一見複雑なのに線形代数だけで計算がすむ ガウス分布とは まとめ
  78. 78. きょうの話題  ガウス分布とは  ガウス分布にもとづく判別分析  ガウス分布を用いた補間
  79. 79. きょうの話題  ガウス分布とは  ガウス分布にもとづく判別分析  ガウス分布を用いた補間
  80. 80. ガウス分布にもとづく判別分析 判別分析とは 分類問題に対する手法の一つ 分類問題 (classification) クラスのわかっているデータ(教師データ)をもとに、 未知のデータを分類する問題
  81. 81. ガウス分布にもとづく判別分析 判別分析とは ガウス判別分析の解き方 1. データは、クラスごとに固有のガウス分布から iid で生成 されていると仮定する 2. 教師データからパラメータを推定する 3. 未知のデータに対し各クラスに属する確率を求め最も高 いクラスに分類する 55 60 65 70 75 80 80 100 120 140 160 180 200 220 240 260 280
  82. 82. ガウス分布にもとづく判別分析 判別分析とは ガウス判別分析の解き方 1. データは、クラスごとに固有のガウス分布から iid で生成 されていると仮定する 2. 教師データからパラメータを推定する 3. 未知のデータに対し各クラスに属する確率を求め最も高 いクラスに分類する 55 60 65 70 75 80 80 100 120 140 160 180 200 220 240 260 280
  83. 83. 55 60 65 70 75 80 80 100 120 140 160 180 200 220 240 260 280 ガウス分布にもとづく判別分析 判別分析とは ガウス判別分析の解き方 1. データは、クラスごとに固有のガウス分布から iid で生成 されていると仮定する 2. 教師データからパラメータを推定する 3. 未知のデータに対し各クラスに属する確率を求め最も高 いクラスに分類する 生成モデルを仮定
  84. 84. 55 60 65 70 75 80 80 100 120 140 160 180 200 220 240 260 280 ガウス分布にもとづく判別分析 判別分析とは ガウス判別分析の解き方 1. データは、クラスごとに固有のガウス分布から iid で生成 されていると仮定する 2. 教師データからパラメータを推定する 3. 未知のデータに対し各クラスに属する確率を求め最も高 いクラスに分類する 生成モデルを仮定
  85. 85. ガウス分布にもとづく判別分析 生成モデル クラスごとに固有のガウス分布 パラメータ θ が与えられて、クラスを c に定めたときに x が生成される確率
  86. 86. ガウス分布にもとづく判別分析 生成モデル クラスごとに固有のガウス分布 パラメータ θ が与えられて、クラスを c に定めたときに x が生成される確率
  87. 87. ガウス分布にもとづく判別分析 生成モデル クラスごとに固有のガウス分布 パラメータ θ が与えられて、クラスを c に定めたときに x が生成される確率
  88. 88. ガウス分布にもとづく判別分析 生成モデル クラスごとに固有のガウス分布 パラメータ θ が与えられて、クラスを c に定めたときに x が生成される確率
  89. 89. ガウス分布にもとづく判別分析 生成モデル クラスごとに固有のガウス分布 パラメータ θ が与えられて、クラスを c に定めたときに x が生成される確率
  90. 90. ガウス分布にもとづく判別分析 生成モデル クラスごとに固有のガウス分布 パラメータ θ が与えられて、クラスを c に定めたときに x が生成される確率 クラス c の 平均と分散 モデル全体のパラメータ (各 μc, Σc を含む)
  91. 91. ガウス分布にもとづく判別分析 生成モデル クラスごとに固有のガウス分布 パラメータ θ が与えられて、クラスを c に定めたときに x が生成される確率 ついでに、下記も仮定:クラス c の出やすさは πc
  92. 92. ガウス分布にもとづく判別分析 生成モデル クラスごとに固有のガウス分布 パラメータ θ が与えられて、クラスを c に定めたときに x が生成される確率 ついでに、下記も仮定:クラス c の出やすさは πc 各 πc も パラメータ θ の一部
  93. 93. ガウス分布にもとづく判別分析 判別分析とは ガウス判別分析の解き方 1. データは、クラスごとに固有のガウス分布から iid で生成 されていると仮定する 2. 教師データからパラメータを推定する 3. 未知のデータに対し各クラスに属する確率を求め最も高 いクラスに分類する 55 60 65 70 75 80 80 100 120 140 160 180 200 220 240 260 280
  94. 94. ガウス分布にもとづく判別分析 判別分析とは ガウス判別分析の解き方 1. データは、クラスごとに固有のガウス分布から iid で生成 されていると仮定する 2. 教師データからパラメータを推定する 3. 未知のデータに対し各クラスに属する確率を求め最も高 いクラスに分類する 55 60 65 70 75 80 80 100 120 140 160 180 200 220 240 260 280
  95. 95. 55 60 65 70 75 80 80 100 120 140 160 180 200 220 240 260 280 ガウス分布にもとづく判別分析 判別分析とは ガウス判別分析の解き方 1. データは、クラスごとに固有のガウス分布から iid で生成 されていると仮定する 2. 教師データからパラメータを推定する 3. 未知のデータに対し各クラスに属する確率を求め最も高 いクラスに分類する ベイズの法則に より計算
  96. 96. 55 60 65 70 75 80 80 100 120 140 160 180 200 220 240 260 280 ガウス分布にもとづく判別分析 判別分析とは ガウス判別分析の解き方 1. データは、クラスごとに固有のガウス分布から iid で生成 されていると仮定する 2. 教師データからパラメータを推定する 3. 未知のデータに対し各クラスに属する確率を求め最も高 いクラスに分類する ベイズの法則に より計算
  97. 97. ガウス分布にもとづく判別分析 クラス事後確率 未知のデータ点 x が与えられたときに、 それがクラス c に属する確率
  98. 98. ガウス分布にもとづく判別分析 クラス事後確率 未知のデータ点 x が与えられたときに、 それがクラス c に属する確率
  99. 99. ガウス分布にもとづく判別分析 クラス事後確率 未知のデータ点 x が与えられたときに、 それがクラス c に属する確率
  100. 100. ガウス分布にもとづく判別分析 クラス事後確率 未知のデータ点 x が与えられたときに、 それがクラス c に属する確率
  101. 101. ガウス分布にもとづく判別分析 クラス事後確率 未知のデータ点 x が与えられたときに、 それがクラス c に属する確率 みなさんベイズの公式 覚えてますか!?
  102. 102. ガウス分布にもとづく判別分析 クラス事後確率 未知のデータ点 x が与えられたときに、 それがクラス c に属する確率
  103. 103. ガウス分布にもとづく判別分析 クラス事後確率 未知のデータ点 x が与えられたときに、 それがクラス c に属する確率 尤度
  104. 104. ガウス分布にもとづく判別分析 クラス事後確率 未知のデータ点 x が与えられたときに、 それがクラス c に属する確率 尤度 事前分布
  105. 105. ガウス分布にもとづく判別分析 クラス事後確率 未知のデータ点 x が与えられたときに、 それがクラス c に属する確率 尤度 事前分布
  106. 106. ガウス分布にもとづく判別分析 クラス事後確率 未知のデータ点 x が与えられたときに、 それがクラス c に属する確率
  107. 107. ガウス分布にもとづく判別分析 クラス事後確率 未知のデータ点 x が与えられたときに、 それがクラス c に属する確率
  108. 108. ガウス分布にもとづく判別分析 クラス事後確率 未知のデータ点 x が与えられたときに、 それがクラス c に属する確率 よって x は下記のように分類される
  109. 109. ガウス分布にもとづく判別分析 判別分析とは ガウス判別分析の解き方 1. データは、クラスごとに固有のガウス分布から iid で生成 されていると仮定する 2. 教師データからパラメータを推定する 3. 未知のデータに対し各クラスに属する確率を求め最も高 いクラスに分類する 55 60 65 70 75 80 80 100 120 140 160 180 200 220 240 260 280
  110. 110. ガウス分布にもとづく判別分析 判別分析とは ガウス判別分析の解き方 1. データは、クラスごとに固有のガウス分布から iid で生成 されていると仮定する 2. 教師データからパラメータを推定する 3. 未知のデータに対し各クラスに属する確率を求め最も高 いクラスに分類する 55 60 65 70 75 80 80 100 120 140 160 180 200 220 240 260 280
  111. 111. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし QDA • 等分散 LDA • 特徴量が独立 Naïve Bayes • 等分散&特徴量が独立 Diagonal LDA • 事前分布で正則化
  112. 112. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし • 等分散 • 特徴量が独立 • 等分散&特徴量が独立 • 事前分布で正則化
  113. 113. ガウス分布にもとづく判別分析 2次判別分析 パラメータへなにも制約をおかなかった場合、一般に 分離境界は2次式になる → 2次判別分析 (QuadraticDiscriminantAnalysis)
  114. 114. ガウス分布にもとづく判別分析 2次判別分析 パラメータへなにも制約をおかなかった場合、一般に 分離境界は2次式になる → 2次判別分析 (QuadraticDiscriminantAnalysis)
  115. 115. ガウス分布にもとづく判別分析 2次判別分析 パラメータへなにも制約をおかなかった場合、一般に 分離境界は2次式になる → 2次判別分析 (QuadraticDiscriminantAnalysis)
  116. 116. ガウス分布にもとづく判別分析 2次判別分析 パラメータへなにも制約をおかなかった場合、一般に 分離境界は2次式になる → 2次判別分析 (QuadraticDiscriminantAnalysis) 分散が同じだと 境界が直線に
  117. 117. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし • 等分散 • 特徴量が独立 • 等分散&特徴量が独立 • 事前分布で正則化
  118. 118. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし 2次判別分析 (QDA) • 等分散 • 特徴量が独立 • 等分散&特徴量が独立 • 事前分布で正則化
  119. 119. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし 2次判別分析 (QDA) • 等分散 • 特徴量が独立 • 等分散&特徴量が独立 • 事前分布で正則化
  120. 120. ガウス分布にもとづく判別分析 2次判別分析 分散が各クラスで共通だと分離境界は1次式になる → 線形判別分析 (LinearDiscriminantAnalysis)
  121. 121. ガウス分布にもとづく判別分析 2次判別分析 分散が各クラスで共通だと分離境界は1次式になる → 線形判別分析 (LinearDiscriminantAnalysis)
  122. 122. ガウス分布にもとづく判別分析 2次判別分析 分散が各クラスで共通だと分離境界は1次式になる → 線形判別分析 (LinearDiscriminantAnalysis) よく PCA との対比で語られること の多い LDA ですが、実は背後に 等分散なガウス分布 を生成モデルとして仮定していた!
  123. 123. ガウス分布にもとづく判別分析 2次判別分析 分散が各クラスで共通だと分離境界は1次式になる → 線形判別分析 (LinearDiscriminantAnalysis) よく PCA との対比で語られること の多い LDA ですが、実は背後に 等分散なガウス分布 を生成モデルとして仮定していた! LDAって言ってもトピックモデルの 方 (Latent Dirichlet allocation) じゃないよ!
  124. 124. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし 2次判別分析 (QDA) • 等分散 • 特徴量が独立 • 等分散&特徴量が独立 • 事前分布で正則化
  125. 125. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし 2次判別分析 (QDA) • 等分散 線形判別分析 (LDA) • 特徴量が独立 • 等分散&特徴量が独立 • 事前分布で正則化
  126. 126. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし 2次判別分析 (QDA) • 等分散 線形判別分析 (LDA) • 特徴量が独立 • 等分散&特徴量が独立 • 事前分布で正則化
  127. 127. ガウス分布にもとづく判別分析 単純ベイズ法 特徴量が独立=データの各次元が独立 x = (x1, x2, …, xi, …, xN) 独立
  128. 128. ガウス分布にもとづく判別分析 単純ベイズ法 特徴量が独立=データの各次元が独立 x = (x1, x2, …, xi, …, xN) つまり 独立 独立 ⇔ 同時分布を積に 分解できる
  129. 129. ガウス分布にもとづく判別分析 単純ベイズ法 特徴量が独立=データの各次元が独立 x = (x1, x2, …, xi, …, xN) つまり これはガウス分布による単純ベイズ (Naïve Bayes) と等価! 独立 独立 ⇔ 同時分布を積に 分解できる
  130. 130. ガウス分布にもとづく判別分析 単純ベイズ法 特徴量が独立=データの各次元が独立 x = (x1, x2, …, xi, …, xN) つまり 独立 独立 ⇔ 同時分布を積に 分解できる
  131. 131. ガウス分布にもとづく判別分析 単純ベイズ法 特徴量が独立=データの各次元が独立 x = (x1, x2, …, xi, …, xN) つまり 独立 独立 ⇔ 同時分布を積に 分解できる
  132. 132. ガウス分布にもとづく判別分析 単純ベイズ法 特徴量が独立=データの各次元が独立 x = (x1, x2, …, xi, …, xN) つまり 独立 独立 ⇔ 同時分布を積に 分解できる ただし
  133. 133. ガウス分布にもとづく判別分析 単純ベイズ法 特徴量が独立=データの各次元が独立 x = (x1, x2, …, xi, …, xN) つまり 独立 独立 ⇔ 同時分布を積に 分解できる ただし ガウス判別分析の観点で言うと、分散を対角行列に 制限している(無相関)ことに等しい
  134. 134. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし 2次判別分析 (QDA) • 等分散 線形判別分析 (LDA) • 特徴量が独立 • 等分散&特徴量が独立 • 事前分布で正則化
  135. 135. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし 2次判別分析 (QDA) • 等分散 線形判別分析 (LDA) • 特徴量が独立 単純ベイズ • 等分散&特徴量が独立 • 事前分布で正則化
  136. 136. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし 2次判別分析 (QDA) • 等分散 線形判別分析 (LDA) • 特徴量が独立 単純ベイズ • 等分散&特徴量が独立 • 事前分布で正則化
  137. 137. ガウス分布にもとづく判別分析 対角線形判別分析 分散行列を対角かつ各クラスで共通に制限したものを 対角線形判別分析 (Diagonal LDA) と呼ぶ
  138. 138. ガウス分布にもとづく判別分析 対角線形判別分析 分散行列を対角かつ各クラスで共通に制限したものを 対角線形判別分析 (Diagonal LDA) と呼ぶ 正則化がかなり強く働くので、高次元データに強い
  139. 139. ガウス分布にもとづく判別分析 対角線形判別分析 分散行列を対角かつ各クラスで共通に制限したものを 対角線形判別分析 (Diagonal LDA) と呼ぶ 正則化がかなり強く働くので、高次元データに強い Σ の推定値には合併経験分散 (PooledEmpiricalVariance) を用いることが多い
  140. 140. ガウス分布にもとづく判別分析 対角線形判別分析 分散行列を対角かつ各クラスで共通に制限したものを 対角線形判別分析 (Diagonal LDA) と呼ぶ 正則化がかなり強く働くので、高次元データに強い Σ の推定値には合併経験分散 (PooledEmpiricalVariance) を用いることが多い クラス内分散の 不偏推定量 みたいなもの
  141. 141. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし 2次判別分析 (QDA) • 等分散 線形判別分析 (LDA) • 特徴量が独立 単純ベイズ • 等分散&特徴量が独立 • 事前分布で正則化
  142. 142. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし 2次判別分析 (QDA) • 等分散 線形判別分析 (LDA) • 特徴量が独立 単純ベイズ • 等分散&特徴量が独立 対角線形判別分析 • 事前分布で正則化
  143. 143. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし 2次判別分析 (QDA) • 等分散 線形判別分析 (LDA) • 特徴量が独立 単純ベイズ • 等分散&特徴量が独立 対角線形判別分析 • 事前分布で正則化
  144. 144. ガウス分布にもとづく判別分析 事前分布による正則化 ベイジアンなら直截的に Σ の値を制限するのではなく 事前分布を使って正則化をすることも出来る ここでは2種類紹介する • 分散に逆ウィシャート分布 • 平均のオフセットにラプラス分布
  145. 145. ガウス分布にもとづく判別分析 事前分布による正則化 ベイジアンなら直截的に Σ の値を制限するのではなく 事前分布を使って正則化をすることも出来る ここでは2種類紹介する • 分散に逆ウィシャート分布 • 平均のオフセットにラプラス分布
  146. 146. ガウス分布にもとづく判別分析 事前分布による正則化 ベイジアンなら直截的に Σ の値を制限するのではなく 事前分布を使って正則化をすることも出来る ここでは2種類紹介する • 分散に逆ウィシャート分布 • 平均のオフセットにラプラス分布 おさらい:ベイズの公式 MAP推定では尤度だけでなく 事前分布も推定に影響を与える
  147. 147. ガウス分布にもとづく判別分析 事前分布による正則化 ベイジアンなら直截的に Σ の値を制限するのではなく 事前分布を使って正則化をすることも出来る ここでは2種類紹介する • 分散に逆ウィシャート分布 • 平均のオフセットにラプラス分布
  148. 148. ガウス分布にもとづく判別分析 事前分布による正則化 ベイジアンなら直截的に Σ の値を制限するのではなく 事前分布を使って正則化をすることも出来る ここでは2種類紹介する • 分散に逆ウィシャート分布 • 平均のオフセットにラプラス分布
  149. 149. ガウス分布にもとづく判別分析 正則化判別分析 分散の事前分布として逆ウィシャート分布 をおく
  150. 150. ガウス分布にもとづく判別分析 正則化判別分析 分散の事前分布として逆ウィシャート分布 をおく このとき分散の推定量は以下( λ は ν0 で定まる量)
  151. 151. ガウス分布にもとづく判別分析 正則化判別分析 分散の事前分布として逆ウィシャート分布 をおく このとき分散の推定量は以下( λ は ν0 で定まる量) の非対角成分 を薄めている感じ (λ=1で対角LDAに一致)
  152. 152. ガウス分布にもとづく判別分析 正則化判別分析 分散の事前分布として逆ウィシャート分布 をおく このとき分散の推定量は以下( λ は ν0 で定まる量) 次元が高すぎて( D>N )、 が計算出来ないときは データ行列 X の特異値分解 を使うとよい
  153. 153. ガウス分布にもとづく判別分析 事前分布による正則化 ベイジアンなら直截的に Σ の値を制限するのではなく 事前分布を使って正則化をすることも出来る ここでは2種類紹介する • 分散に逆ウィシャート分布 • 平均のオフセットにラプラス分布
  154. 154. ガウス分布にもとづく判別分析 事前分布による正則化 ベイジアンなら直截的に Σ の値を制限するのではなく 事前分布を使って正則化をすることも出来る ここでは2種類紹介する • 分散に逆ウィシャート分布 • 平均のオフセットにラプラス分布
  155. 155. ガウス分布にもとづく判別分析 NearestShrunken CentroidsClassifier 対角LDAですら高次元データには弱い → Σ は対角行列かつ各クラス共通に制限したうえで さらに不要な特徴量を削りたい(L0 正則化に近い) クラス平均 μc を各次元 j について、クラス共通の平均 各クラスごとのオフセットという形に分解 この Δcj が0になろうとするような事前分布 (中心0のラプラス分布)をおく → すべての c について Δcj=0 となれば特徴量 j は削れた!
  156. 156. ガウス分布にもとづく判別分析 NearestShrunken CentroidsClassifier 対角LDAですら高次元データには弱い → Σ は対角行列かつ各クラス共通に制限したうえで さらに不要な特徴量を削りたい(L0 正則化に近い) クラス平均 μc を各次元 j について、クラス共通の平均 各クラスごとのオフセットという形に分解 この Δcj が0になろうとするような事前分布 (中心0のラプラス分布)をおく → すべての c について Δcj=0 となれば特徴量 j は削れた!
  157. 157. ガウス分布にもとづく判別分析 NearestShrunken CentroidsClassifier 対角LDAですら高次元データには弱い → Σ は対角行列かつ各クラス共通に制限したうえで さらに不要な特徴量を削りたい(L0 正則化に近い)
  158. 158. ガウス分布にもとづく判別分析 事前分布による正則化 ベイジアンなら直截的に Σ の値を制限するのではなく 事前分布を使って正則化をすることも出来る ここでは2種類紹介する • 分散に逆ウィシャート分布 • 平均のオフセットにラプラス分布
  159. 159. ガウス分布にもとづく判別分析 事前分布による正則化 ベイジアンなら直截的に Σ の値を制限するのではなく 事前分布を使って正則化をすることも出来る ここでは2種類紹介する • 分散に逆ウィシャート分布 • 平均のオフセットにラプラス分布
  160. 160. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし 2次判別分析 (QDA) • 等分散 線形判別分析 (LDA) • 特徴量が独立 単純ベイズ • 等分散&特徴量が独立 対角線形判別分析 • 事前分布で正則化
  161. 161. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし 2次判別分析 (QDA) • 等分散 線形判別分析 (LDA) • 特徴量が独立 単純ベイズ • 等分散&特徴量が独立 対角線形判別分析 • 事前分布で正則化 正則化判別分析 Nearest Shrunken Centroids Classifier
  162. 162. ガウス分布にもとづく判別分析 いろいろなガウス判別分析 パラメータへの制限や推定法によって、ガウス判別分 析はいくつかの種類に分けられる • 制限なし 2次判別分析 (QDA) • 等分散 線形判別分析 (LDA) • 特徴量が独立 単純ベイズ • 等分散&特徴量が独立 対角線形判別分析 • 事前分布で正則化 正則化判別分析 Nearest Shrunken Centroids Classifier
  163. 163. きょうの話題  ガウス分布とは  ガウス分布にもとづく判別分析  ガウス分布を用いた補間
  164. 164. きょうの話題  ガウス分布とは  ガウス分布にもとづく判別分析  ガウス分布を用いた補間
  165. 165. ガウス分布による補間 補間とは 補間問題 (Interpolation) 与えられたデータ点 {(xi,yi)} から定義域全体の関 数 y(x) の振る舞いを推定すること (ふつう最小点と最大点のあいだのみを扱うことが多い) 機械学習の言葉でいえば回帰 (regression) にあたる
  166. 166. ガウス分布による補間 2通りのデータ ここで扱う手法は、データの種類によって2つに別れる • ノイズのないデータ • ノイズのあるデータ
  167. 167. ガウス分布による補間 2通りのデータ ここで扱う手法は、データの種類によって2つに別れる • ノイズのないデータ • ノイズのあるデータ
  168. 168. ガウス分布による補間 ノイズのないデータの補間 対象とする区間を D 等分し、そのi番目を yi = ƒ(xi) とする
  169. 169. ガウス分布による補間 ノイズのないデータの補間 対象とする区間を D 等分し、そのi番目を yi = ƒ(xi) とする。 ƒ はなめらかだと仮定して とおく(両隣の平均+ずれ)
  170. 170. ガウス分布による補間 ノイズのないデータの補間 対象とする区間を D 等分し、そのi番目を yi = ƒ(xi) とする。 ƒ はなめらかだと仮定して とおく(両隣の平均+ずれ)
  171. 171. ガウス分布による補間 ノイズのないデータの補間 対象とする区間を D 等分し、そのi番目を yi = ƒ(xi) とする。 ƒ はなめらかだと仮定して とおく(両隣の平均+ずれ) ただし 行列の形で 書き直した
  172. 172. ガウス分布による補間 ノイズのないデータの補間 対象とする区間を D 等分し、そのi番目を yi = ƒ(xi) とする。 ƒ はなめらかだと仮定して とおく(両隣の平均+ずれ) ただし 行列の形で 書き直した D 列 D-2 行
  173. 173. ガウス分布による補間 ノイズのないデータの補間 対象とする区間を D 等分し、そのi番目を yi = ƒ(xi) とする。 ƒ はなめらかだと仮定して とおく(両隣の平均+ずれ) ただし 行列の形で 書き直した
  174. 174. ガウス分布による補間 ノイズのないデータの補間 y=(y1, y2), y1:未知データ, y2:既知データとする y = 既知未知
  175. 175. ガウス分布による補間 ノイズのないデータの補間 y=(y1, y2), y1:未知データ, y2:既知データとする すると y = 既知未知
  176. 176. ガウス分布による補間 ノイズのないデータの補間 y=(y1, y2), y1:未知データ, y2:既知データとする すると → y1が予測できる! y = 既知未知
  177. 177. ガウス分布による補間 ノイズのないデータの補間 y=(y1, y2), y1:未知データ, y2:既知データとする すると → y1が予測できる! y = 既知未知
  178. 178. ガウス分布による補間 2通りのデータ ここで扱う手法は、データの種類によって2つに別れる • ノイズのないデータ • ノイズのあるデータ
  179. 179. ガウス分布による補間 2通りのデータ ここで扱う手法は、データの種類によって2つに別れる • ノイズのないデータ • ノイズのあるデータ
  180. 180. ガウス分布による補間 ノイズのあるデータの補間 やることはさっきと同じ! 唯一の違いはデータ y が線形ガウスシステムで 生成されているとみなすこと すると
  181. 181. ガウス分布による補間 2通りのデータ ここで扱う手法は、データの種類によって2つに別れる • ノイズのないデータ • ノイズのあるデータ
  182. 182. ガウス分布による補間 2通りのデータ ここで扱う手法は、データの種類によって2つに別れる • ノイズのないデータ • ノイズのあるデータ
  183. 183. きょうの話題  ガウス分布とは  ガウス分布にもとづく判別分析  ガウス分布を用いた補間
  184. 184. きょうの話題  ガウス分布とは  ガウス分布にもとづく判別分析  ガウス分布を用いた補間
  185. 185. きょうの話題  ガウス分布とは  ガウス分布にもとづく判別分析  ガウス分布を用いた補間

×