4. 隠れマルコフモデル(H M M )とは
下の図に示される状態空間モデルにおいて、潜在変数が離散な例
簡単にいうと
隠れ変数のマルコフ連鎖
一つの時刻について見ると、成分密度分布が過去の観測で選択された
成分に依存して選択されるように、混合分布モデルを拡張したもの
音声認識
自然言語モデル
オンライン手書き文字認識
タンパク質やD N A などの生物学的配列の解析
などに広く用いられている
5. HMMの性質
●
潜在変数は離散的な多項変数
zn は [ 1, 0, 0, .. ]のような形をとる
● p(zn)は直前の潜在変数p(zn-1)に依存
●
潜在変数の条件付き分布は以下の形にかける
K K
p z n∣z n−1 , A=∏ ∏ A
z n−1, j z nk
jk −13.7
k=1 j=1
A:遷移行列を要素に持つ数表
Aj kはp(znk = 1|zn-1,j = 1)
0≦Ajk ≦ 1, ΣkAjk=1
A はK (K -1 )個の独立なパラメータ
6. ●
最初の潜在ノードz_1 だけ親ノードを持たず特
別である
● Πk = p(z1k=1)を持つ確率のベクトルπ で表され
る周辺分布p(z1)を持つ
K
p z 1∣=∏ −13.8
z1k
k
k =1
ただしΣk πk=1
9. 観測変数p(xn|zn,Φ)の定義
K
p x n∣z n , =∏ p x n∣k −13.9
z nk
k =1
●
Φ：分布を支配するパラメータの集合
● p(xn|zn,Φ)は出力確率と呼ばれるK
p x n∣z n , = ∏ N x n∣k , k
z nk
● xが連続:(9.11)式
k =1
xが離散:条件付き確率表 で与えられる
10. 均一なモデルについて考えてみる
●
均一なモデル＝
●
潜在変数を支配する
全ての条件付き分布が
同じパラメータA を共有
●
全ての出力分布が同一のパラメータΦ を共有
●
このときの潜在変数と観測変数の同時分布
N N
p X , Z∣= p z 1∣[ ∏ p z n∣z n−1 , A] ∏ p x m∣z m ,
n=2 m=1
−13.10
