交叉熵损失-二分类与多分类的关系

一、首先了解交叉熵是什么？1二、这个就是多分类中的交叉熵损失函数。三、而二分类中的交叉熵损失一般写成这样：1四、看起来二分类和多分类为什么不一样?貌似不一样，二分类为什么多一项?主要是one-hot向量搞得鬼！如果按多分类中的one-hot，其实是：0:[1,0]1:[0,1]但是二分类，一个维度的数就可以直接区别两个类别，不需要两个维度。所以使用多分类的交叉熵，将第一个维度用第二个维度直接代替就

nachifur

13214人浏览 · 2020-09-02 11:41:17

nachifur · 2020-09-02 11:41:17 发布

一、首先了解交叉熵是什么？¹

在这里插入图片描述

二、这个就是多分类中的交叉熵损失函数。

在这里插入图片描述

三、而二分类中的交叉熵损失一般写成这样：¹

在这里插入图片描述

四、看起来二分类和多分类为什么不一样?

貌似不一样，二分类为什么多一项?主要是one-hot向量搞得鬼！
如果按多分类中的one-hot，其实是：
0:[1,0]
1:[0,1]
但是二分类，一个维度的数就可以直接区别两个类别，不需要两个维度。所以使用多分类的交叉熵公式，用第一个维度代替第二个维度就成了我们看到的二分类交叉熵损失函数。现在知道二类中，那个 $(1-y)log(1-\hat{y})$ 是从哪里来的把。

五、多分类不同的写法

第一种
$R(w)=-\frac{1}{N} \sum_{n=1}^{N}\sum_{c=1}^{C} y_{c}^{(n)} log(\hat{y} _{c}^{(n)})$
第二种：
$R(w)=-\frac{1}{N} \sum_{n=1}^{N} y^{(n)} log(\hat{y}^{(n)})$
第二种是则么回事？还记得one-hot吗？就是他搞的鬼！
第二种 $y^{(n)}$ 代表第n个像素的label。这里暗含的是，one-hot！仅有一个为1，其余的全为0！当然如果不满足这个条件，使用第一个就行。

六、群追不舍，什么时候不满足多分类第二种写法

带有温度的softmax函数，当T较大时，即softmax软化较大时，one-hot不满足。²
在这里插入图片描述

https://nndl.github.io/ ↩︎ ↩︎
https://www.jianshu.com/p/cb93d5e39bca ↩︎

2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

Expect脚本实战：多条件匹配与防卡死技巧

在自动化测试和系统初始化中，我们常常使用 Expect 脚本来完成一系列交互操作，比如自动输入密码、监听输出并作出响应。然而，实际项目中可能遇到多步骤输出匹配的场景：只有在先匹配到某一行输出，再匹配到另一行输出时，才需要做出响应。同时，如果 “testX failed” 出现了，但 “set params error” 没有在合理时间内出现，不要卡死，而是打印警告并继续。这个写法的问题在于：如

2048 AI社区

AI模型版本控制的标签管理：架构师的技巧

在AI模型生命周期中，版本控制是保障模型可追溯性、协作效率与生产可靠性的核心环节。而标签管理作为版本控制的"语义接口"，其设计质量直接决定了团队对模型版本的理解、检索与复用能力。本文从架构师视角出发，结合第一性原理与MLOps实践，系统阐述AI模型标签管理的理论框架、架构设计、实现机制与高级考量。通过拆解标签的"唯一标识+语义描述"本质，提出四维标签模型。