Varitional Inference Algorithm

1. Variational Inference
孙佩源
2015.07.23

2. Variational Inference
• 变分法
• KL散度
• 变分推导
• 实例

3. 变分法
问题：两点之间距离最短的连线是连接两端点的直线？

4. 变分法
问题假设：
1. 两端点坐标为 和
2. 两点间连接的曲线为
3. 曲面微元为
4. 曲面弧长为：
2
1
dy
ds dx
dx
 
   
 
 
1/2
'2
0
1
a
s y dx 

5. 变分法
问题数学描述：找出曲线使得
满足约束条件：

6. 变分法
• 泛函的概念
设对于某一函数集合内的任意一个函数 ，有一个实数 与之对应
则称 为 的泛函。
• 泛函极值的概念
当变量函数为 时泛函 取得极小值指的是：对于极值函数 及
其“附近”的变量函数 恒有
( )y x ( )y
( )y ( )y x
( )y x ( )y ( )y x
( ) ( )y x y x ( ) ( )y y y   
( ) ( )y x y x 称为函数 的变分

7. 变分法
• 一阶变分
满足端点条件 ，
• 假设存在函数 使得泛函取得极值，其附近函数为
则由于附近函数也满足端点条件，有：
( ) ( )y x y x( )y x
1( )=y y 2( )=y y
( )= ( ) 0y y    

8. 变分法
• 泛函的变分为：
• 做一阶泰勒展开：
• 引入简写符号：

9. 变分法
• 泛函变分为：

10. 变分法
性质：变分求导算子顺序可交换，即：
证明：
计算右图中G点的纵坐标
其一从C点纵坐标计算
其二从F点纵坐标计算

11. 变分法
• 则泛函变分进一步为：
• 右边第二部分进行分步积分有：
• 由端点条件可得，右边第二项为0，则可得：

12. 变分法
• 泛函取极值的必要条件为一阶变分为0
• 而 为任意选定，则有：
Euler-Lagrange方程

13. 变分法
• 泛函的条件极值
在约束条件 下求函数 的极值，可以引入Largange
乘子 ，从而定义一个新的泛函： ，则泛函 在边界条件
下取极值的必要条件为：


14. 变分法
• 最短连线问题求解：
• 由Euler-Lagrange方程可得：
2
( , , ') 1 'F x y y y 

15. 变分法
• 再由端点约束条件即可知：

16. 问题描述
• 有一组观测数据D，并且已知模型的形式，求参数与潜变量
（latent variables） 的后验分布：
• 在误差允许的范围内，用更简单，容易计算的 近似
1{ , , }nZ Z Z L ( | )P Z D
( )Q Z ( | )P Z D
后验分布可能维度过高、形式过于复杂
1. 如何度量 与 的差异？
2. 如何得到简单的 ？
( )Q Z ( | )P Z D
( )Q Z

17. 问题一
Kullback-Leibler散度（相对熵）
( )
( ) ( )ln
( )
q x
KL p q p x dx
p x
 
   
 
P
度量真实分布为p(x)，而假定分布为q(x)时的无效性

18. 问题一
• Kullback-Leibler散度性质
1. 不对称性：
2. 非负性：
( ) ( )KL p q KL q pP P
( ) 0 0KL p q p q P ，当且仅当 时为

19. 问题二
• 复杂的模型
1. 参数过多
2. 参数之间具有相互依赖性
• 近似分布取可分解分布：
1
( ) ( )
M
i i
i
q Z q Z

 

20. 问题描述
问题：
已知模型形式和参数，所有可观测变量为：
所有的潜变量和参数为：
目标：
找到KL散度最小的可分解分布 近似后验分布
1{ , , }NX x x L
1{ , , }NZ z z L
( )q Z ( | )p Z X

21. Variational Inference
对数边缘概率分布有如下分解式：
其中：
ln ( ) ( ) ( )p x L q KL q p  P
( , )
( ) ( )ln
( )
( | )
( ) ( )ln
( )
p X Z
L q q Z dZ
q Z
p Z X
KL q p q Z
q Z
 
  
 
 
   
 

P
固定值
极小化 等价于极大化( )KL q pP ( )L q

22. Variational Inference
( ) ln ( , ) ln
ln ( , ) ln
ln ( , ) ln
ln ( , ) ln
i i
ii
j i i j i i
ii j i
j i i j k i
ii j k
j i i j i i i i i
ii j
L q q p X Z q dZ
q p X Z q dZ dZ q q dZ
q p X Z q dZ dZ q q dZ
q p X Z q dZ dZ q q q dZ dZ


 

 
  
 
 
  
 
 
  
 
 
  
 

   
   
  

23. Variational Inference
( ) ln ( , ) ln
1
ln ( , ) ln
ln ( , ) ln
ln ( , ) ln
j i i j i i i i i
ii j
j i i j i i i
ii j i i
j i i j i i i
ii j
j i i j j j j
i j
L q q p X Z q dZ dZ q q dZ q dZ
q p X Z q dZ dZ q q dZ
q dZ
q p X Z q dZ dZ q q dZ
q p X Z q dZ dZ q q dZ const
 




 
  
 
 
  
 
 
  
 
 
   
 
   
  

  
  

24. Variational Inference
• 定义新的分布：
• 其中：
ln ( , ) [ln ( , )]j
i j
p X Z E p X Z const

 %
归一化
[ln ( , )] ln ( , ) i i
i j
i j
E p X Z p X Z q dZ


 

25. Variational Inference
• 则泛函
• 结合约束 ，根据泛函求条件极值的必要条件有：
( ) ln ( , ) ln
( , )
ln
( , ( , ))
j j j j j j
j
j j
j
j j
L q q p X Z dZ q q dZ const
p X Z
q dZ const
q
KL q p X Z const
  
 
  
 

%
%
%
ln 1j j jq q dZ 
. { ( , ( , )) ( ln 1)} 0j j i j j j
i
i KL q p X Z q q dZ
q


    
 %
若q(Z)划分为M个分解式，则上式有M个等式
当且仅当 和 相等时，取得最小值jq ( , )jp X Z%

26. Variational Inference
• 最优解为：
*
ln ( ) [ln ( , )]
ln ( , )
j j
i j
i i
i j
q Z E p X Z const
p X Z q dZ const


 
 

27. 例子
• 二元相关变量 的高斯分布
• 均值和方差分别为：
• 目标：
使用分解分布 近似
1
( ) ( | , )p Z Z  
 ¥1 2( , )z z z
1
2



 
  
 
11 12
21 22
  
   
  
1 1 2 2( ) ( ) ( )q z q z q z ( )p Z

28. 例子
• 使用前述最优解形式计算：
2
2
*
1 1
2
1 2 11 1 1 12 2 2
2
1 11 1 1 11 1 12 2 2
ln ( ) [ln ( )]
1
[ ( ) ( ) ( )]
2
1
( [ ] )
2
z
z
q z E p z const
E z z z z const
z z z E z const
 
 
 
        
        
和 无关的项都放到const里1z

29. 例子
• 配方法得到
• 其中
• 同理
* 1
1 1 1 1 11( ) ( | , )q z N z m 
 
1
1 1 11 12 2 2( [ ] )m E z 
    
* 1
2 2 2 2 22( ) ( | , )q z N z m 
 
1
2 2 22 21 1 1( [ ] )m E z 
    
2 2[ ]E z m
1 1[ ]E z m

30. Reference
• The normal distribution, Patrick Breheny.
• Variational Bayes, http://www.blog.huajh7.com/variational-bayes/, Junhao Hua.
• PMLR, chapter 10, Approximate Inference, Christopher M. Bishop.
• PMLR读书会第十章 Approximate Inference, 戴玮.
• Completing the square, http://t.cn/RLJtqNS, Richard D. Morey.