NIPS論文読み会@PFN
Gao, Weihao, et al. "Estimating mutual information for discrete-continuous mixtures." Advances in Neural Information Processing Systems. 2017.
https://arxiv.org/abs/1709.06212
Iterative Decomposition Guided Variable Neighborhood Search for Graphical Mod...Yuya Takashina
Ouali, Abdelkader, et al. "Iterative Decomposition Guided Variable Neighborhood Search for Graphical Model Energy Minimization." Conference on Uncertainty in Artificial Intelligence, UAI 2017. 2017.
http://auai.org/uai2017/proceedings/papers/197.pdf
22. KL estimator [Kozachenko & Leonenko 1987]
エントロピー H(X) を近似するために,確率変数 X ∈R が従う
分布 p(x) を k 近傍法を用いて近似:
p(x) ≡ ,
ただし,c は d 次元単位球の体積,ϵ/2 が k 近傍までの距離.
k 近傍法では,x に対して P を固定して ϵ だけを動かす.
d
c ϵd
d
Pk
d
k
22
25. KSG estimator [Kraskov et al 2003]
Z = (X, Y ) として,それぞれエントロピーを計算すると,
上式で,ϵ = ϵ = ϵ となるように H(X) と H(Y ) におけ
る k を取り直すことで,各式の最終項を打ち消す.
(X)H^
(Y )H^
(Z)H^
= ψ(k) − ψ(N) − log(c ) − log ϵ ,dx
N
dx
i=1
∑
N
x,i
= ψ(k) − ψ(N) − log(c ) − log ϵ ,dy
N
dy
i=1
∑
N
y,i
= ψ(k) − ψ(N) − log(c c ) − log ϵ .dx dy
N
d + dx y
i=1
∑
N
z,i
x,i y,i z,i
25
26. 具体的には,ϵ を ϵ と揃えるため,近傍の数を,x から
ϵ /2 までの距離にある点の数 n を使って置き換える:
(X) = ψ(n + 1) − ψ(N) − log(c ) − log ϵ .
Y についても同様:
(Y ) = ψ(n + 1) − ψ(N) − log(c ) − log ϵ .
x,i z,i i
z,i x,i
H^
N
1
i=1
∑
N
x,i dx
N
dx
i=1
∑
N
z,i
H^
N
1
i=1
∑
N
y,i dy
N
dy
i=1
∑
N
z,i
26
27. 改めて I(X, Y ) = H(X) + H(Y ) − H(X, Y ) に代入する
と,次式が得られる.
(X, Y ) ≡ ψ(k) + ψ(N) − ψ(n + 1) − ψ(n + 1) .I^
N
1
i=1
∑
N
( x,i y,i )
27
28. Reference
[1] Kozachenko, L. F., and Nikolai N. Leonenko. "Sample estimate of
the entropy of a random vector." Problemy Peredachi Informatsii
23.2 ﴾1987﴿: 9‐16.
[2] Kraskov, Alexander, Harald Stogbauer, and Peter Grassberger.
"Estimating mutual information." Physical review E 69.6 ﴾2004﴿:
066138.
[1] は KL estimator を提案した論文.ロシア語.
[2] は KSG estimator を提案した論文. KL estimator について
も説明されている.本資料の KL estimator の説明は,主にこ
の論文の記述に拠った.
28
29. [3] Gao, Weihao, et al. "Estimating mutual information for discrete‐
continuous mixtures." Advances in Neural Information Processing
Systems. 2017.
[4] Gao, Weihao, Sewoong Oh, and Pramod Viswanath.
"Demystifying fixed k‐nearest neighbor information estimators."
IEEE International Symposium on Information Theory ﴾ISIT﴿. 2017.
[3] は NIPS2017 で発表された離散・連続混合の相互情報量の
近似の論文.
[4] は [3] と同一の著者による KSG estimator のバイアスを改良
した論文.
29