Download as PDF, PPTX
![ピットマン・ヨー過程兼CPRのコード
40
#ピットマン・ヨー過程＋CRPを生成する関数
pitman_yor <- function(size, alpha, beta)
{
table <- c(1)
x <- matrix(c(1,1), ncol=2)
for(n in seq_len(size))
{
denominator <- sum(table) + alpha
prob <- c(table - beta, alpha + (length(table)-1)*beta)/denominator
i <- sample(1:(length(table)+1), 1, prob=prob)
table[i] <- ifelse(is.na(table[i]), 0, table[i]) + 1
x <- rbind(x, c(n, length(table)))
}
list(x=x, table=sort(table, decreasing=TRUE))
}](https://image.slidesharecdn.com/zokupata20150714-150714124934-lva1-app6891/85/11-11-1-11-4-40-320.jpg)
![ピットマン・ヨー過程兼CPRのコード
41
#図11.5
x10 <- pitman_yor(10^3, 10 , 0)
x2 <- pitman_yor(10^3, 2 , 0)
ylim <- range(x10$x[,2])
plot(x10$x, ylim=ylim)
par(new=T)
plot(x2$x, ylim=ylim)
#図11.6
x <- pitman_yor(10^3, 2 , 0)
barplot(x$table, names.arg=seq_len(length(x$table)))](https://image.slidesharecdn.com/zokupata20150714-150714124934-lva1-app6891/85/11-11-1-11-4-41-320.jpg)
![ピットマン・ヨー過程兼CPRのコード
42
#図11.7
x4 <- pitman_yor(10^3, 2, 0.4)
x3 <- pitman_yor(10^3, 2, 0.3)
x2 <- pitman_yor(10^3, 2, 0.2)
x0 <- pitman_yor(10^3, 2, 0.0)
ylim <- range(x4$x[,2])
plot(x4$x, ylim=ylim)
par(new=T)
plot(x3$x, ylim=ylim)
par(new=T)
plot(x2$x, ylim=ylim)
par(new=T)
plot(x0$x, ylim=ylim)](https://image.slidesharecdn.com/zokupata20150714-150714124934-lva1-app6891/85/11-11-1-11-4-42-320.jpg)
More Related Content
![[DL輪読会]GANとエネルギーベースモデル](https://cdn.slidesharecdn.com/ss_thumbnails/dlseminar20200828-210519065921-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]近年のエネルギーベースモデルの進展](https://cdn.slidesharecdn.com/ss_thumbnails/energybasedmodel-200124020855-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]逆強化学習とGANs](https://cdn.slidesharecdn.com/ss_thumbnails/irlgans-171128063119-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to 続わかりやすいパターン認識11章(11.1 - 11.4)
続わかりやすいパターン認識11章(11.1 - 11.4)
- 1.
- 2.
- 3. 俺や • ID: @teramonagi •職種：データ分析おじさん • 業務：ブカーの育成&会議&Code • 言語：/R/F#/Python/C++/Ruby/ • 特技：早起き・根回し 3 優秀な新人怖い
- 4.
- 5. これまでのクラスタリング • 9-10章で扱ったクラスタリング手法 –混合正規分布のパラメータ推定 –K-Means法 –凸クラスタリング法 • これらはクラスタ構造のモデル化が欠如 •クラスタ構造をモデリングし、クラスタ リング実行中に最適なクラスタ数が自動 決定される手法が欲しい 5
- 6. ノンパラメトリックベイズモデル • そんな時のためのノンパラメトリックベイズ • （今まで）最尤推定→ ベイズ推定 • ベイズ推定に基づきクラスタリング構造も事 前分布としてモデル化する • 方法は大きく分けて２つ（次ページ） • 定義 –パターン集合： –クラスタ集合： –クラスタのパラメータ： 6
- 7.
- 8. クラスタリング法２ • パターンの所属クラスタのみを決 定する • クラスタのパラメータθは不要な ので積分消去(Marginalout) 8 事後確率 MAP推定値
- 9. 解決すべき問題 • 問題1：クラスタの事前確率p(s)の設定 • 答：分割の確率モデルを用いる(11.2, 11.3) •問題2：事後分布p(s, θ|x), p(s|x)を最大化 するための計算をどうするか • 答：ギブスサンプリング(12.1) 9 ※ここでは単一割り当てを仮定し、特にディリクレ過程を詳細に説明、 多重割り当ての場合はベータベルヌーイ過程については（A.7)で
- 10.
- 11. ホップの壺モデル • Hoppe’s urnmodel • 壺に１個の黒玉と他の色の玉(色 玉)が混在 • 玉の重さ：黒玉(α)・他の色(1) • 次ページに示すルールに従って、 壺から玉を出し入れする 11
- 12. ホップの壺モデル 1. 壺の中に黒玉が１個入ってる 2. 玉の重さに比例した確率で玉を １つ取りだす 3.If 玉色=黒→新色玉を1つ追加・ 黒玉戻す 4. Else その色と同じ玉を１つ追加 5. 2に戻る 12
- 13.
- 14.
- 15.
- 16.
- 17.
- 18.
- 19.
- 20.
- 21. イーウェンスの抽出公式 • 特徴１：交換可能性 –色玉の組み合わせの確率は、玉を入れ る順番に非依存 • 特徴２：クラスタ数の非規定 –壺に入れられる色玉の種類は試行とと もに増加 •特徴３：クラスタ数の調整 –αの値大→色玉の種類増 –αの値小→色玉の種類減 21
- 22.
- 23. 中華料理店過程 • Chinese RestaurantProcess, CRP • ホップの壺モデルの特徴を全て満 たす（等価な）分割の確率モデル • 中華料理店の複数のテーブルに順 次客が着席 • 同テーブルの客を１つのまとまり と考える 23
- 24.
- 25. 中華料理店過程（例） • ６番目の客のテーブル選択 25 テーブル １ テーブル ２ テーブル ３ 1 2 34 5 3/(5+α)2/(5+α) α/(5+α) ※↑は６番目の客が各テーブルを選択する確率
- 26.
- 27.
- 28. 中華料理店過程の特徴 • 特徴１：交換可能性 –着席確率は客の到着順序に非依存 • 特徴２：クラスタ数の非規定 –着席しているテーブルの数は客の到来と ともに増大する •特徴３：クラスタ数の調整 –αの値大→空席でないテーブルが増加 –αの値小→特定のテーブルに固まりやすい • これらの特徴はホップの壺モデルの特徴と 一対一対応（客の着席⇔色玉の追加） 28
- 29.
- 30. クラスタリングと２つのモデルの関係 クラスタリング ホップの壺モデル CRP k番目のパター ン 壺に入れるk番目の 玉 k番目の来店客 総パターン数:n 壺中の色玉の総数 来店客総数 クラスタ: ω_i 第i色 テーブルi クラスタ数: c 色の種類数 使用テーブル数 ω_iに属するパ ターン数: n_i 壺中の第i色の玉の 数 テーブルiに着席 した客の数 30
- 31. テーブルへの分割方法とその生起確率 (n=4, α=2) (a)テーブル数c (b)テーブルの客数客の分割方法 (d)生起確率 1 (4) (① ② ③ ④) 1/10 2 (2, 2) (① ②) (③ ④) 1/30 (① ③) (② ④) 1/30 (① ④) (② ③) 1/30 (3, 1) (① ② ③) (④) 1/15 (① ② ④) (③) 1/15 (① ③ ④) (②) 1/15 (② ③ ④) (①) 1/15 3 (2, 1, 1) (① ②) (③) (④) 1/15 (① ③) (②) (④) 1/15 (① ④) (②) (③) 1/15 (② ③) (①) (④) 1/15 (② ④) (①) (③) 1/15 (③ ④) (①) (②) 1/15 4 (1, 1, 1, 1) (① ② ③ ④) 2/15 31
- 32. 演習問題11.1(2)の答え • n人の客をn1, …,nc人ずつc個の テーブルに分割する方法の数N1 （テーブルの区別なし） • 間違ってたら正直スマン 32
- 33. CRPからピットマン・ヨー過程へ • CRP – 既にn_i人着席しているテーブルiに確率 n_i/(n-1+α) –誰も着席していない最も番号の小さいテーブ ルに確率α/(n-1+α) • ピットマン・ヨー過程 – 既にn_i人着席しているテーブルiに確率(n_i- β)/(n-1+α) – 誰も着席していない最も番号の小さいテーブ ルに確率(α+cβ) /(n-1+α) • β=0でCPRに帰着 33
- 34.
- 35. ピットマン・ヨー過程 • 使用テーブル数の期待値が、べき 乗則に従う(y=ax^b) • 値の範囲が非常に広くなるロング テールな現象が現れる •頑張ってシミュレーションしてみ た 35
- 36.
- 37.
- 38.
- 39.
- 40. ピットマン・ヨー過程兼CPRのコード 40 #ピットマン・ヨー過程＋CRPを生成する関数 pitman_yor <- function(size,alpha, beta) { table <- c(1) x <- matrix(c(1,1), ncol=2) for(n in seq_len(size)) { denominator <- sum(table) + alpha prob <- c(table - beta, alpha + (length(table)-1)*beta)/denominator i <- sample(1:(length(table)+1), 1, prob=prob) table[i] <- ifelse(is.na(table[i]), 0, table[i]) + 1 x <- rbind(x, c(n, length(table))) } list(x=x, table=sort(table, decreasing=TRUE)) }
- 41. ピットマン・ヨー過程兼CPRのコード 41 #図11.5 x10 <- pitman_yor(10^3,10 , 0) x2 <- pitman_yor(10^3, 2 , 0) ylim <- range(x10$x[,2]) plot(x10$x, ylim=ylim) par(new=T) plot(x2$x, ylim=ylim) #図11.6 x <- pitman_yor(10^3, 2 , 0) barplot(x$table, names.arg=seq_len(length(x$table)))
- 42. ピットマン・ヨー過程兼CPRのコード 42 #図11.7 x4 <- pitman_yor(10^3,2, 0.4) x3 <- pitman_yor(10^3, 2, 0.3) x2 <- pitman_yor(10^3, 2, 0.2) x0 <- pitman_yor(10^3, 2, 0.0) ylim <- range(x4$x[,2]) plot(x4$x, ylim=ylim) par(new=T) plot(x3$x, ylim=ylim) par(new=T) plot(x2$x, ylim=ylim) par(new=T) plot(x0$x, ylim=ylim)
- 43. ピットマン・ヨー過程兼CPRのコード 43 #図11.8 ylim <- range(c$table) xlim<- range(seq_len(length(p$table))) plot(seq_len(length(c$table)), c$table, log="xy", xlim=xlim, ylim=ylim) par(new=T) plot(seq_len(length(p$table)), p$table, log="xy", xlim=xlim, ylim=ylim)
- 44.