熵计算公式
如果一个随机变量XX的可能取值为X={x1,x2,…,xn}X={x1,x2,…,xn}，对应的概率为p(X=xi)(i=1,2,…,n)p(X=xi)(i=1,2,…,n)，则随机变量的熵定义为相对熵相对熵又称Kullback-Leible散度（即KL散度）。设p(x)和q(x)是取值的两个概率概率分布，则p对q的相对熵为交叉熵交叉熵（Cross Entropy），主要用于度量两个...
·
如果一个随机变量XX的可能取值为X={x1,x2,…,xn}X={x1,x2,…,xn}，对应的概率为p(X=xi)(i=1,2,…,n)p(X=xi)(i=1,2,…,n)，则随机变量的熵定义为
相对熵
相对熵又称Kullback-Leible散度（即KL散度）。
设p(x)和q(x)是取值的两个概率概率分布，则p对q的相对熵为
交叉熵
交叉熵（Cross Entropy），主要用于度量两个概率分布间的差异性信息。对一个离散随机变量的两个概率分布P和Q来说，他们的交叉熵定义为：
可以看出它和相对熵的差别和联系：
有“AI”的1024 = 2048，欢迎大家加入2048 AI社区
更多推荐
3
0- 0
已为社区贡献2条内容
所有评论(0)