KL距离

• 全称：
  Kullback-Leibler差异（Kullback-Leibler divergence）
• 又称：
  相对熵（relative entropy）
• 数学本质：
  衡量相同事件空间里两个概率分布相对差距的测度
• 定义：
  $$D(p||q)=\sum _{x\in X}p(x)log\frac{p(x)}{q(x)}$$
  其中，$p(x)$与$q(x)$是两个概率分布。

定义中约定：
$0log(0/q)=0$、$plog(p/0)=\infty$

等价形式：
$$D(p||q)=E_p[log\frac{p(X)}{q(X)}]$$

• 说明：

  • 两个概率分布的差距越大，KL距离越大；
  • 当两个概率分布相同时，KL距离为0

• 推论：

1. 互信息衡量一个联合分布与独立性有多大的差距：
   $$\begin{array}{rl}I(X;Y)& =X(X)-H(X|Y)\\ & =-\sum _{x\in X}p(x)logp(x)+\sum _{x\in X}\sum _{y\in Y}p(x,y)logp(x|y)\\ & =\sum _{x\in X}\sum _{y\in Y}p(x,y)log\frac{p(x|y)}{p(x)}\\ & =\sum _{x\in X}\sum _{y\in Y}p(x,y)log\frac{p(x,y)}{p(x)p(y)}\\ & =D[p(x,y)||p(x)p(y)]\end{array}$$

2. 条件相对熵：
   $$D[p(y|x)||q(y|x)]=\sum _{x}p(x)\sum _{y}p(y|x)log\frac{p(y|x)}{q(y|x)}$$

3. 相对熵的链式法则：
   $$D[p(x,y)||q(x,y)]=D[p(x)||q(x)]+D[p(y|x)||q(y|x)]$$