这就是每个单元格的class-specific confidence scores，这即包含了预测的类别信息，也包含了对bbox值的准确度。 我们可以设置一个阈值，把低分的class-specific confidence scores滤掉，剩下的塞给非极大值抑制，得到最终的标定框。
对于这部分可以看deepsystem.ai的PPT，讲的很详细，需要翻墙。

单元格输出

每个网络一共会输出: B×(4+1)+C <script type="math/tex" id="MathJax-Element-33">B×(4+1)+C</script>个预测值.
故所有的单元格输出为: S×S×(B×5+C) <script type="math/tex" id="MathJax-Element-34">S×S×(B×5+C)</script>个预测值.

论文中每个单元格的输出如下图:

所有单元格输出为 7×7×(2×5+20) <script type="math/tex" id="MathJax-Element-35">7×7×(2×5+20)</script>，即最终的输出为 7×7×30 <script type="math/tex" id="MathJax-Element-36">7×7×30</script>的张量。

YOLO检测物体的流程

• 分割成单元格
• 预测bbox与类别信息，得到最终的 specificconfidence <script type="math/tex" id="MathJax-Element-57">specific confidence</script>
• 设置阈值，滤掉低分的bbox
• 非极大值抑制得到最终的bbox

YOLO的架构

上面说了YOLO的检测过程，那么中间关键的预测bbox和 confidence <script type="math/tex" id="MathJax-Element-38">confidence</script>该怎么实现？

当然是用CNN来整，整个网络框架如下：

网络架构受GoogleNet启发，共24个卷积层，后面接了2个FC层。

预训练

使用上图的前20个卷积层+平均池化+FC层在ImageNet上跑了一圈。(在ImageNet上跑是用的 224×224 <script type="math/tex" id="MathJax-Element-58">224×224</script>输入)。

预训练完事后，也就是get到了想要的前20个卷积层权重，在此基础上添加4个卷积层和2个FC层，得到最终模型(也就是上图)。同时将网络的输入尺寸从 224×224 <script type="math/tex" id="MathJax-Element-59">224×224</script>改成了 448×448 <script type="math/tex" id="MathJax-Element-60">448×448</script>。

YOLO的训练

整个YOLO在训练时，有很多处理的细节，我们主要讲一下网络损失函数的定义。

损失函数

这里我们把损失函数分为3个部分，每个部分都使用均方误差(为什么用均方，论文给出的原因是这样做简单啊)：

先看一下整个损失函数:

每个图片的每个单元格不一定都包含object，如果没有object，那么 confidence <script type="math/tex" id="MathJax-Element-42">confidence</script>就会变成0，这样在优化模型的时候可能会让梯度跨越太大，模型不稳定跑飞了。为了平衡这一点，在损失函数中，设置两个参数 λcorrd <script type="math/tex" id="MathJax-Element-43">\lambda_{corrd}</script>和 λnoobj <script type="math/tex" id="MathJax-Element-44">\lambda_{noobj}</script>，其中 λcorrd <script type="math/tex" id="MathJax-Element-45">\lambda_{corrd}</script>控制bbox预测位置的损失， λnoobj <script type="math/tex" id="MathJax-Element-46">\lambda_{noobj}</script>控制单个格内没有目标的损失。

对三个损失函数有细节上的调整:

• bbox
  对于预测的bbox框，大的bbox预测有点偏差可以接受，而小的bbox预测有点偏差就比较受影响了，如下图：
  
  对于这种情况，使用先平方根再求均方误差，尽可能的缩小小偏差下的影响。
  bbox的损失记为:
  

  中心点损失:λcorrd∑i=0S2∑j=0BIobjij[(xi−xi^)2+(yi−yi^)2]
  <script type="math/tex; mode=display" id="MathJax-Element-47">中心点损失:\lambda_{corrd}\sum_{i=0}^{S^2}\sum_{j=0}^B\mathbb{I}_{ij}^{obj}\left [ (x_i-\hat{x_i})^2+(y_i-\hat{y_i})^2 \right ] </script>
  
  宽高损失:+λcorrd∑i=0S2∑j=0BIobjij[(wi−−√−wi^−−√)2+(hi−−√−hi^−−√)2]
  <script type="math/tex; mode=display" id="MathJax-Element-48">宽高损失:+\lambda_{corrd}\sum_{i=0}^{S^2}\sum_{j=0}^B\mathbb{I}_{ij}^{obj}\left [ (\sqrt{w_i}-\sqrt{\hat{w_i}})^2+(\sqrt{h_i}-\sqrt{\hat{h_i}})^2 \right ]</script>
  Iobjij <script type="math/tex" id="MathJax-Element-49">\mathbb{I}_{ij}^{obj}</script>表示第i个单元格内预测的第j个bbox是否负责这个object:在计算损失过程中，bbox与ground truth的IoU值最大的负责object。

• confidence
  对于置信度的损失，是按照是否含有object情况下分成两部分，对于不包含object的单元格，我们使用 λnoobj <script type="math/tex" id="MathJax-Element-50">\lambda_{noobj}</script>调整比例，防止这部分overpowering。
  

  ∑i=0S2∑j=0BIobjij(Ci−Ci^)2+λnoobj∑i=0S2∑j=0BIobjij(Ci−Ci^)2
  <script type="math/tex; mode=display" id="MathJax-Element-51">\sum_{i=0}^{S^2}\sum_{j=0}^B\mathbb{I}_{ij}^{obj}(C_i-\hat{C_i})^2+\lambda_{noobj}\sum_{i=0}^{S^2}\sum_{j=0}^B\mathbb{I}_{ij}^{obj}(C_i-\hat{C_i})^2</script>

• categories
  对于种类预测，前面说了，这里设定每个单元格只负责一个object的预测，所以我们不用考虑多个bbox了。故损失函数为:
  

  ∑i=0S2Iobji(pi(c)−pi^(c))2
  <script type="math/tex; mode=display" id="MathJax-Element-52">\sum_{i=0}^{S^2}\mathbb{I}_{i}^{obj}(p_i(c)-\hat{p_i}(c))^2</script>

训练细节

• 在激活函数上:
  最后一层使用的是标准的线性激活函数，其他的层都使用leaky rectified linear activation:
  

  ϕ(x)={　x,　　　if　x>00.1x　,　　otherelse
  <script type="math/tex; mode=display" id="MathJax-Element-61"> \phi(x)= \begin{cases} 　x ,　　　 if 　 x>0\\ 0.1x 　 ,　　 otherelse \end{cases} </script>

• 在学习率上:

  • 前75个epoch设置为 10−2 <script type="math/tex" id="MathJax-Element-62">10^{-2}</script>
  • 再30个epoch设置为 10−3 <script type="math/tex" id="MathJax-Element-63">10^{-3}</script>
  • 最后30个epoch设置为 10−4 <script type="math/tex" id="MathJax-Element-64">10^{-4}</script>

• 其他的训练细节:

  • batch=64
  • 动量0.9，衰减为0.0005
  • 使用dropout，设置为0.5，接在第一个FC层后
  • 对样本做了数据增强

总结

优点

YOLO有如下特点：

• 速度快。YOLO将物体检测作为回归问题进行求解，使用单个网络完成整个检测过程。
• 召回率低，表现为背景误检率低。YOLO可以get到图像的整体信息，相比于region proposal等方法，有着更广阔的“视野”。
• 泛化能力强，对其他类的东西，训练后效果也是挺好的。

缺点

论文给出了YOLO与Fast RCNN的对比图，YOLO的定位准确率相对于fast rcnn比较差。但是YOLO对背景的误判率比Fast RCNN的误判率低很多。这说明了YOLO中把物体检测的思路转成回归问题的思路有较好的准确率，但是bounding box的定位不是很好。