KL散度

KL散度：

---

多元分布到一元

对于各分量相互独立的多元分布：

     

KL散度可以分解为边缘分布的KL散度之和：

      

所以，我们把注意力集中在一维分布间KL散度的计算上。

---

正态分布

贝叶斯神经网络中，正态分布常用作变分分布和先验分布。

 

KL散度为：

---

详细推导-VAE中的例子

两个多变量高斯分布之间的KL散度是变分自编码中损失函数推导的重要步骤

 

 

结果的第一项：

                            

 

第二项：

                            

                        

第一项和第二项相加则

 

VAE中，则：

 

https://zhuanlan.zhihu.com/p/55778595