第32回 信号処理シンポジウム English title: Bayesian Binary Latent Feature Model Using Laplace Likelihood Authors: H. Tanji, T. Murakami, H. Kamata Institution: Meiji University Presented in IEICE technical group on signal processing (SIP) 32nd Symposium, Nov. 2017. Collapsed variational Bayes zero (CVB0) inference works well even in Indian buffet process (IBP) -like Bayesian model.

1. バイナリ潜在特徴モデルのための
尤度関数にラプラス分布を用いた
ベイズモデル
丹治 寛樹，村上 隆啓，鎌田 弘之
明治大学 理工学部 電気電子生命学科
第32回 信号処理シンポジウム

2. 目次 2
バイナリ潜在特徴モデル
線形ガウスモデル
ラプラス分布を用いたモデル
シミュレーション
今後の課題
推論アルゴリズム
本題

3. バイナリ潜在特徴モデル 3
観測データを特徴ベクトルの和で表現
， ， の要素が非負の実数なら非負値行列因子分解（NMF）
データ数
次元数 特徴数
観測データ バイナリ行列 特徴
番目のデータ 番目の特徴
バイナリマスク
[Griffiths 2005]
実数 実数バイナリ

4. 信号処理との関係 4
混合過程
雑音
観測信号
音源と混合過程を推定
混合過程のみ推定
モデル
応用例
独立成分分析
システム同定
[Knowles 2007]
[Tanji 2016]
厳密にはもう少し複雑
音源

5. ベイズモデル 5
事前分布
尤度 雑音の分布を考慮
事後分布
音源 観測信号混合過程
雑音
どうにかして知りたい

6. 線形ガウスモデル [Griffiths 2005] 6
事前分布
尤度
正規分布
ベータ分布
ベルヌーイ分布
正規分布
特徴のインデックス
データのインデックス

7. 研究の位置づけ 7
音源
混合過程
雑音
推論アルゴリズム
尤度
周辺化
ギブスサンプラー
周辺化
変分ベイズ法
正規分布 [Griffiths 2005]
ラプラス分布
観測信号

8. 研究の位置づけ 8
ラプラス分布
推論アルゴリズム
尤度
話し声，スパイクノイズ
音源
混合過程 観測信号
周辺化
ギブスサンプラー
周辺化
変分ベイズ法
正規分布 [Griffiths 2005]
ラプラス分布 本研究

9. 研究の位置づけ 9
推論アルゴリズム
尤度
周辺化
ギブスサンプラー
周辺化
変分ベイズ法
正規分布 [Griffiths 2005]
ラプラス分布 本研究
目的
バイナリ潜在特徴モデルの
尤度関数・推論アルゴリズムを変化させ，挙動を調べる
信号処理への適用はFuture Work

10. データの生成過程｜ラプラス分布を使う 10
事前分布
尤度
正規分布
ベータ分布
ベルヌーイ分布
正規分布
指数分布 を積分消去すれば，
尤度がラプラス分布になる
特徴のインデックス
データのインデックス

11. 周辺化変分ベイズ法（Collaplsed Variational Bayes） 11
事後分布 必須
問題を簡単にする
最大化する汎関数
尤度がラプラス分布の場合
更新式
が の近似になる
から を除いたもの

12. CVB0｜テイラー展開による近似 12
期待値
周りで対数関数をテイラー展開
0次の項
本当に0次の項だけで大丈夫？Q
Notation:
 0次のみでも実験的には事後分布の推論が可能
 本来は2次の近似（ラプラス近似）が良い？
 LDA（全く違うモデル）では， -divergence最小化の意味で妥当
テイラー展開
0次 1次 2次
[Sato 2012]

13. シミュレーション 13
データ数 128
尤度の分散 0.2
4特徴数
事前分布
タスク 乱数の系列をバイナリ行列と実ベクトルに分解する
具体的な信号処理のアプリケーションを想定しない
確認事項 推定誤差のL1またはL2ノルムを小さくできるか
尤度関数 正規分布，ラプラス分布
推論手法 周辺化ギブスサンプラー（CGS），
周辺化変分ベイズ法（CVB）
合計４通り
初期値 5通り

14. シミュレーション｜L1ノルム 14
Fig. L1ノルムの推移
L1ノルムが最小
CGS 周辺化ギブスサンプラー
CVB0 周辺化変分ベイズ法
 初期値を変えても安定して動作
 収束先によっては振動的
CVB0
 乱数なので，常に動く
 CVB0より良い解を発見できる
可能性がある
CGS

15. シミュレーション｜L2ノルム 15
Fig. L2ノルムの推移
CGS 周辺化ギブスサンプラー
CVB0 周辺化変分ベイズ法
 初期値を変えても安定して動作
 収束先によっては振動的
 乱数なので，常に動く
 CVB0より良い解を発見できる
可能性がある
CVB0
CGS
L2ノルムが最小

16. まとめ 16
推論アルゴリズム
尤度
周辺化
ギブスサンプラー
周辺化
変分ベイズ法
正規分布 [Griffiths 2005]
ラプラス分布 本研究
今後の課題
 信号処理への適用と評価
 周辺化変分ベイズ法の理論解析
0次のテイラー展開による近似は妥当か
バイナリ潜在特徴モデル

17. 文献 17
[Griffiths 2005]
T. Griffiths and Z. Ghahramani, “Infinite latent feature models and the
Indian buffet process”, NIPS2005, pp.475-482, Dec. 2005.
[Knowles 2007]
D.A. Knowles and Z. Ghahramani, “Infinite sparse factor analysis and infinite
independent components analysis”, ICA2007, pp.381-388, Sep. 2007.
[Tanji 2016]
H. Tanji, R. Tanaka T. Murakami, and Y. Ishida, “FIR system identification
based on a nonparametric Bayesian model using the Indian buffet process”,
Signal, Image, and Video Processing, 10(6), pp.1105-1112, Feb. 2016.
[Sato 2012]
I. Sato and H. Nakagawa, “Rethinking collapsed variational Bayes inference
for LDA”, ICML2012, pp.999-1006, Jun. 2012.