九州大学マスインフォマティクスでの講演

1. 連続変量を含む条件付相互情報量の推定
@九大IMIにおけるセミナー
2017年12月7日
鈴木譲 (大阪大学)

2. 計算数理B(3年後期): 機械学習入門
1. 機械学習の概要 8. Lasso回帰とRidge回帰
2. 線形回帰 (1) 理論解析 9. 主成分分析、主成分回帰、部分的最小2乗法
3. 線形回帰 (2) 応用 10. スプライン回帰、一般化加法モデル
4. ロジスティック回帰、最尤法、フィッシャー情報量 11. 決定木
5. 線形判別、2次判別、K近傍法 12. バギング、ランダムフォーレスト、ブースティング
6. クロスバリデーションとブートストラップ 13. サポートベクトルマシン
7. 情報量基準 14. クラスタリング
学部3年で、機械学習の専門家レベル
原理の本質を理解する (数学で証明できる)
実データに適用して、応用のイメージを定着させる
An Introduction to Statistical
Learning with Applications in R
Gareth James, Daniela Witten,
Trevor Hastie and Robert
Tibshirani
Springer, 2013
450ページ
最後(第15回は、機械学習を利用した実例に関する発表会)

3. 機械学習のトップ会議UAI 2017採択 (2017年8月)
Uncertainty in Artificial Intelligence, August 12-15, 2017
“Branch and Bound for Regular Bayesian Network Structure Learning”
Joe Suzuki and Jun Kawahara

4. 本日のお話の手順
• 相互情報量の推定 (離散)
• 相互情報量の推定 (連続)
• 森の構造学習
• 応用(1): BNSLパッケージ
• 条件付き相互情報量の推定(離散、連続)
• 証明
• 応用(2): ゲノム解析への応用

5. 相互情報量
独立であるとき
だけ0になる
独立性を仮定した場合
とのK-L情報量

6. 相互情報量 を推定したい
離散

7. スジの悪い統計家の解答
最適をめざさず、最尤推定で満足してしまう

8. 独立性を検知できる推定量 (Suzuki 93)
(負のときは0とする)
Suzuki 93を用いると、事後確率最大の森が生成される

9. 𝐼 𝑛は過学習: 独立性を評価できない
X
サンプル数nとともに、確率1で

10. J 𝑛の導出 その1
のときのBICの値
一般の場合のBICの値
両者の差をとって、nで割る

11. J 𝑛の導出 その2
その1, その2の𝐽 𝑛の値は
漸近的に一致性してくる

12. ベイズ統計学: データのもとでの事後確率最大化
P(構造|データ)
= P(構造) 𝑃 データ 構造, パラメータ 𝑃(パラメータ|構造)𝑑パラメータ
パラメータを周辺化した事後確率
構造 森のどれか
パラメータ 各部分の条件付き確率
構造の事前確率 パラメータの事前確率
事前確率としては、標準的なもの

13. 森の構造学習
データフレーム
p=3のとき
森で
はない
木 木木

14. 分布をK-L情報量を最小にする木に近似
(Chow-Liu, Kruskal)
分布が木で表現されることを仮定
相互情報量の推定値大きいものから、
ループができない限り、辺を結んでいく

15. データ -> 相互情報量の推定値 -> 森
(Chow-Liu, Kruskal)
分布が森で表現されることを仮定
相互情報量の推定値大きいものから、
ループができない限り、辺を結んでいく

16. alarmはBNで1日かかるが、森だと5秒で完了
pの2乗の時間
asia alarm

17. Chow-Liuに適用
𝐼 𝑛: 尤度最大 𝐽 𝑛: 記述長最小・事後確率最大
独立な頂点があっても、
全頂点が連結される
独立な頂点は、
分離される
真の相互情報量I(X,Y)のかわりに
推定量である 𝐼 𝑛, 𝐽 𝑛を用いる

18. 連続: 正規分布を仮定する場合
相関係数の推定に帰着
一般の場合は、どうするのか
X,Yが正規分布でないとき
Xが離散、Yが連続のとき

19. 多変量解析は、連続変数だけ、離散変数だけでいいのか
Boston データセット (住宅物件に関するデータ)

20. mi(x,y proc=10)の動作 (Suzuki,16)
X, Y ともに等頻度の分割表ができる
Xを等頻度に分割
Yを等頻度に分割
X,Yは離散でも連続でもよいが、区切って頻度を数える
相互情報量の推定量 𝐽 𝑛を計算
いろいろなサイズの分割表を生成して、 𝐽 𝑛の最大値を計算
連続値は、量子化される

21. (離散の)相互情報量の推定値が最大のメッシュ
サンプル数nのときに、𝑚 𝑛個のメッシュを用意

22. (離散などで) 同じ値が境界をまたぐとき
連続値と離散値を区別しない
順序統計量
各グループでサンプル数がほぼ同じに
同じ値のものは同じグループに

23. 条件付き相互情報量の推定(離散)

24. 条件付き相互情報量の推定(連続)

25. 最近の仕事

26. Rパッケージ
BNSL(Bayesian Network Structure Learning)
2017年3月5日にCRANで公開
鈴木譲 (阪大) 川原純(NAIST)
BNSLの特徴
ベイジアンネットワークの
構造学習の最新の成果を搭載
Rcppで高速化をはかる
BNSL CRAN公開の動機
研究成果を使ってもらいたい
論文の被引用件数を増やす

27. 高速化のためにRcppを適用
• Rでプログラミングするより、50-100倍高速
• C++で関数を構築して、Rから呼び出す
Rにはポインタがない。RcppではRの関数が使えない
R, C++を知っていても、インターフェイスになれるのに
若干時間がかかる

28. Rパッケージ BNSLの主な関数
関数名 機能
mi 相互情報量の推定
mi_matrix データフレームから相互情報量の推定量の行列を生成
cmi 条件付き相互情報量の推定
kruskal Chow-Liuアルゴリズムの実行で必要
parent_set ベイジアンネットワーク構築の親集合
bnsl ベイジアンネットワークの→の向き、変数の順序を決定
mi(x, y, proc=0)
等しい長さのベクトルx,yから、相互情報量を推定。
Jeffreys’ (proc=0), MDL (proc=1), 最尤 (proc=9), 連続を含む (proc=10)

29. 他ツールとの比較 (自己評価)
bnlearn BayoLink BNSL
連続 △ ☓ ◯
研究の最先端 ☓ ☓ ◎
大規模な
BNの構造学習
近似を許して、大規
模な処理を行う
近似を許して、大規
模な処理を行う
最適解が求まる場
合しか動かない
ユーザ数 ◎ ◯ △
価格 無料 (Rパッケージ) 有料 無料 (Rパッケージ)
グラフィック △ ◎ ☓

30. library(MASS)
df=Boston
mm=mi_matrix(df, proc=10)
edge.list=kruskal(mm)
g=graph_from_edgelist(edge.list, directed=FALSE)
V(g)$label <- 1:ncol(df)
plot(g,vertex.size=20.0)

31. 導出のキーとなった命題
命題1
命題2

32. Borel-Cantelliの補題

36. (強)一致性

37. 証明

39. ゲノム解析への応用 (1)
Int. J. Approximate Reasoning, 2016
青: p値の大きな遺伝子
赤: 症例/対照
1000個の連続変量
１個の2値変量
乳がん患者の遺伝子発現データ
(p51遺伝子をもつサンプル192個、
もたないサンプル58個)

40. ゲノム解析への応用 (2)
Int. J. Approximate Reasoning, 2016
青: 遺伝子発現量
赤: SNP (3値)

41. 一塩基多型(SNP)
飲めない人がもつSNP ALDH2遺伝子をもつ人の比率

42. マイクロアレイからRNA-seq へ
ゲノム解析データが大量に取得できるが、確率的モデルが異なる
古い 主流になりつつある
(産総研瀬々氏のスライド)

43. まとめ
• 過去の結果の紹介 (昔とった杵柄)
• 応用例(ゲノム、CRAN パッケージ BNSL)
• 最近の成果の紹介(証明が完成したこと)