信息熵 $H(x)$ 的范围

信息熵的定义如下：
$$H(X)=-\sum _{x\in X}p(x)\log p(x)$$

• 很显然，当随机变量 $X$ 的分布是确定的时候，信息熵 $H(X)$ 最小，此时 $H(X)=-1\cdot {\log }_{2}1+0\cdot {\log }_{2}0\cdots +0\cdot {\log }_{2}0=0$；
• 求 $H(x)$ 的最大值要用到拉格朗日乘子法。下面是具体步骤：

目标函数求的是最大值：
$$\max H(X)=-\sum _{x\in X}p(x)\log p(x)$$

我们写成拉格朗日乘子法的标准形式，前面加一个符号，就变成了求最小值：

$$\min -H(X)=\sum _{x\in X}p(x)\log p(x)$$

这个问题的约束条件就是：
$$\sum _{x\in X}p(x)=1$$
引入拉格朗日函数：
$$L(X,w)=\sum _{x\in X}p(x)\log p(x)+w(\sum _{x\in X}p(x)-1)$$
就变成了求解拉格朗日函数的无约束最优化问题，这个函数取极值的必要条件是它的偏导数向量为 0 向量，于是我们计算偏导数。

假设随机变量 $X$ 是一个有 $n$ 个取值的随机变量，那么把上面的符号改一改：
$$\sum _{x\in X}p(x)=\sum _{i=1}^{n}p(x_i)=1$$

$$L(X,w)=\sum _{i=1}^{n}p(x_i)\log p(x_i)+w(\sum _{i=1}^{n}p(x_i)-1)$$
于是：
$$\frac{\partial L(X,w)}{\partial p(x_i)}=\frac{\partial [p(x_i)\log p(x_i)]}{\partial p(x_i)}+w=\log p(x_i)+1+w$$

令：
$$\frac{\partial L(X,w)}{\partial p(x_i)}=0$$
得到：
$$\log p(x_i)+1+w=0$$
这个式子对于 $x_1$、$x_2$ 直到 $x_n$ 都成立，因此 $x_1=x_2=\cdots =x_n$。
又因为
$$\sum _{i=1}^{n}p(x_i)=1$$
故 $x_1=x_2=\cdots =x_n=\frac{1}{n}$，代入
$$H(X)=-\sum _{i=1}^{n}p(x_i)\log p(x_i)=-\sum _{i=1}^n\frac{1}{n}\log \frac{1}{n}=\log n$$
故 $0\le H(x)\le \log n$。