小目标检测加权算法

 

电话 | 010-82030532    手机 | 18501361766

微信 | tech9999    邮箱 | [e-mail]

来源：防务快讯

作者：李彭伟,侯睿,吴诗婳

摘要

无人机视角的图像数据集常具有分辨率较低、特征信息较少和检测目标较小的特征。基于YOLO v3的深度学习框架，借鉴了Boosting算法的加权思想，提出了基于图像误差和正负样本不平衡的加权算法。最后，针对无人机小目标混合数据集进行了试验验证，并将该算法应用于无人机视角的车辆检测，取得了较好的检测效果。试验结果表明了该算法的可行性和有效性。

0 引言

  

   

作为计算机视觉最为重要和核心的任务之一，目标检测包含分类和回归2种任务，可利用这2种任务完成对目标大小、位置和分类的精确描述，其结果可作为其他视觉任务的基础和辅助。小目标检测属于目标检测领域具有极大挑战性的一部分，随着近年来民用无人机的发展和应用，无人机视角的图像数据集逐渐成为学者们研究小目标检测的热门选择。

在深度学习得到快速发展以前，目标检测常使用传统的图像特征提取方法。主流的传统目标检测算法包括区域选择、特征提取和目标分类3个步骤，这些算法会根据检测的目标选择合适的特征提取算法来提高检测效果。例如，将哈尔特征作为输入，使用Adaboosting算法（一种增强学习算法）框架进行目标检测；或利用梯度直方图（HOG）提取特征，再对特征进行支持向量机（SVM）分类得到目标检测结果；对尺度不变换特征（SIFT）进行提取并应用于目标检测。深度学习在多个领域广泛应用后，随着2012年AlexNet图像分类框架的问世，深度学习神经网络方法在图像领域也展现出其优势。针对目标检测任务，卷积神经网络尤其表现非凡。Faster-RCNN作为2阶段目标检测的经典算法，利用搜索算法对图像中不同位置和大小产生大量候选框，再在特征图上确定候选框的相应位置并对其分类。与此同时，基于密集采样的1阶段目标检测算法也应运而生。在所有的1阶段算法中，最具代表性的是YOLO（You only look once）系列和多取景框单目标检测（SSD）算法。SSD算法可提取不同尺度的特征图进行检测，大尺度特征图可用于检测小物体，而小特征图用于检测大物体，同时采用不同尺度和长宽比的先验框以检测大小不一的目标，并将卷积网络代替最后的全连接层以提取检测结果。YOLO结合了目标检测中分类与回归方法，基于端到端的Darknet网络完成从原始图像到目标位置与类别的输出，并不使用滑框窗或提取候选区域法，而是将整张图片作为输入，从而完整使用其上下文信息，因此该算法在背景检测中有效降低了误检率。此外，1阶段目标检测算法在检测速度上相较于2阶段算法也具有很大优势。本文主要基于YOLO v3算法进行改进。

总体来说，2阶段目标检测算法和1阶段目标检测算法的优缺点显而易见。2阶段目标检测算法的准确率更佳，区域生成网络（RPN）模块的设计可以更好地进行采样，但与此同时速度会相对降低；1阶段目标检测算法在速度上具有很大优势，并且端到端网络更容易简化与训练，尽管他们在精度上表现得不够出色。本文考虑到基于无人机视角的小目标检测任务对于检测速度的要求更高，选择YOLO v3框架为基础，并在此基础上提高该算法对于小目标检测的准确性。

然而，在1阶段目标检测任务中，分类不平衡的现象层出不穷，正负样本不平衡将导致过多的背景样本在采样过程中左右训练结果的精度，使得正样本的分类精度大大降低。这一问题在处理无人机视角的小目标检测时显得尤为突出，因此本文针对无人机视角的目标检测，基于YOLO v3模型的网络结构，对YOLO v3的类特征金字塔网络（FPN）结构进行改良，从而适配无人机视角的小目标检测任务。本文借鉴Boosting算法中的级联加权方式对原框架中2种误差进行加权分析，针对小目标检测任务中正负样本不平衡问题，借鉴焦点损失（Focal Loss）的思想，调整了正负样本的统计方法加权修改以提高采样的可信度，同时对训练过程中的图像误差进行调整以加大负样本的惩罚力度，从而改进网络的学习能力。

1 相关工作

  

   

1.1  YOLO目标检测框架

YOLO系列作为1阶段目标检测算法，基于密集采样的思想将目标检测的分类任务和回归问题的结果进行合并输出。YOLO算法最令人称赞的设计是直接从图像像素获得边界框（bounding boxes）的坐标和分类概率，卷积神经网络将不再对候选区域而是对整张图像进行预测，其优点在于不仅大大利用了上下文信息，降低了背景的误检率，还在很大程度上提高了模型的实时性。为了检测到图像中不同位置的不同目标，YOLO将图像网格化，一旦某个目标的中心点落入某个网格单元，则该网格将负责对该目标进行分类预测。YOLO算法框架如图1所示。

图1  YOLO算法框架

本文基于YOLO v3目标检测框架进行了改进和试验，相比于前几代YOLO算法，YOLO v3设计了新的主干网络Darknet-53对输入的图像进行特征提取，该网络包含53个卷积层，同时增加了多尺度的预测模块，相较之前的YOLO系列单尺度预测方法，提高了对于小目标检测的适应性，进一步降低了背景的误检率，因此适用于本文研究的无人机视角的小目标检测，其主干Darknet-53网络结构如图2所示。

图2  Darknet-53网络结构

1.2  Boosting思想

Boosting（提升）算法是一种经典的机器学习算法，其分类学习是通过先构建弱学习器、再将弱学习器级联成强学习器进行学习。弱学习器指比随机预测效果略好的预测模型，其预测精度略超50%；强学习器指预测的准确率很高且可在多项式时间内完成的机器学习算法。Boosting算法通过在多个样本子集上训练生成多种弱分类器，再利用加权方式将这些弱分类器进行融合得到强分类器。这些弱分类器可以分属于不同分类算法，能获得更优的强分类效果。Boosting弱分类器级联框架如图3所示。

图3  Boosting弱分类器级联框架

除了利用Boosting思想进行弱分类器级联，Boosting算法中更重要且值得关注的一点是利用分类器更新各个样本点的训练权重，将分类错误的样本认为是难例样本，即如果某个样本点在当前训练迭代中的分类结果较精确，那么在下一次的训练迭代中应降低该样本的权值；如果样本点的分类结果不够准确，则应增加该样本学习效果。这种做法可将注意力集中在难分的样本上，使得本文模型对样本的噪声较敏感。此外，在本文研究的无人机视角的小目标检测中，使用的YOLO v3框架在训练中产生的密集样本采样会包含大量背景负样本，虽然本文模型能够很好识别背景样本，但对于真正想要检测到的小目标样本却不够敏感，即对应上文所说的难例样本。因此，本文借鉴Boosting思想对训练过程中的样本迭代训练进行加权处理，加大负样本惩罚力度，提升正样本的学习效果，得到适用于小目标检测的改进的YOLO v3算法。基于Boosting思想的图像误差与正负样本不平衡的小目标检测加权算法训练流程如图4所示。

图4  小目标检测加权算法训练流程

2 基于图像误差与正负样本不平衡损失加权的小目标检测算法

  

   

本文针对无人机视角的小目标检测问题，在YOLO v3框架基础上对模型中类FPN结构进行改良，用于无人机视角的小目标检测。在Boosting思想的基础上对训练过程中的图像误差进行级联加权，同时分析无人机数据集中小目标检测时出现的正负样本不平衡问题，借鉴常用的Focal Loss思想，改进了统计正负样本方法并设计损失加权算法。

2.1  改进的YOLO v3框架类FPN结构

为了从网络特征层角度修改YOLO v3的主干网络，本文对数据集进行了尺度分布的分析。首先，对无人机混合训练集中所有目标进行尺度统计绘图，训练集中目标尺度与数量分布关系如图5所示。观察该图可清楚发现，绝大多数目标尺度位于0~0.01，在输入大小为416的特征提取网络中，大部分目标在输入层的尺度集中在0~42像素之间，可知该无人机混合数据集的尺度相对较小。而在本文使用的深度卷积神经网络中，卷积层越深，特征的感受野越大，具有的语义信息则越多，为了提高小目标检测效果，更需要包含较多细节信息的浅层特征，过深的卷积特征层对于提高检测效果没有太大意义。

图5  训练集中目标尺度与数量的分布关系

YOLO v3的特征提取主干网络采用Darknet-53，原始的Darknet-53网络进行了5次下采样操作，分别为2倍、4倍、8倍、16倍和32倍下采样，不同下采样获得的特征层语义信息和细节信息不同，希望能针对前文分析的无人机视角小目标检测任务对该网络进行合理的结构调整，本节网络改进具体方式如表1所示。

表1  本节网络改进具体方式

修改前后网络结构如图6所示。由于小目标检测任务中目标位置的范围较大，因此本文采用双层密集采样，这表明每一组特征图谱会通过2次不同的预测层进行以不同位置为中心的位置回归，采样的数据越多，更加精准地找到小目标位置的可能性就越大。

以上改进使得本文网络更好地适配无人机视角的小目标检测，并在这种改进型网络结构基础上，提出了基于图像误差的加权算法和基于正负样本不平衡的加权算法。

图6  修改前后网络结构

2.2  基于图像误差的加权算法

在完成目标检测任务过程中，如图像检测结果的误差较大，则反映了图像预测效果不佳。如利用图像检测误差对图像损失进行加权，运用Boosting思想可在很大程度上提高模型的训练效果。因此，本文选择对分类结构准确的目标降低权重的方式进行加权处理。

在训练过程中采用检测误差反馈方法，在基于深度学习的目标检测模型训练时，既可选择最近一次的迭代结果进行继续训练，也可选择使用之前所有的迭代结果。这2种思想在很多优化算法中有体现，如动量梯度下降法（Momentum）和均方根传递（RMSprop）等方法基于前一次迭代结果进行加权训练，而类似自适应梯度（Adagrad）等方法会使用之前所有迭代产生的结果对当前迭代进行加权。

本文提出的基于图像误差的加权算法仅使用上一次迭代误差来构建邻近迭代的加权系数，算法流程如图7所示。

图7  基于图像误差的加权算法流程

本文选择利用YOLO v3中的置信误差和回归误差作为图像训练权重的来源，并对产生的对应权重进行归一化处理（如式(1)和式(2)所示），置信误差和回归误差的统计方法参见式(3)和式(4)。

2.3  基于正负样本不平衡的加权算法

在本文改进的YOLO v3目标检测框架中，采用3层特征图谱和双层密集采样的方法来获得检测结果，由于这3层特征图谱的位置比较靠近输入层，特征图谱的感受野较小，故会获得非常多的样本点。以416×416的输入举例，采样示例如图8所示，候选点数计算示例如表2所示。

图8  输入大小为416×416的采样示例

表2  输入大小为416×416时选点数计算示例 

因每个候选点会经过3个不同尺度的锚框作为回归前提，故会产生共6 919×3=20 757个样本点，而本文使用的数据集中平均目标密度为136个/张图像，即采样点数远远高于正样本个数，因此，在训练过程会出现严重的正负样本不平衡问题。

3 验证试验

  

   

3.1  数据集介绍

本文使用的数据集由公开数据集和自建数据集2部分组成，如表3所示。公开数据集包含CARPK、PUCPR、KIT和UCAS-AOD等公开的数据集。自建数据集包含独立收集和标注的自标数据集，对Github等网站上公开的无人机视角的数据集进行选取和标注，这类数据集可以提高公开数据集的应用价值和复杂度。

表3  试验用数据集

3.2  评价指标

在完成基于无人机视角的小目标检测任务时，本文使用了多种评价指标来衡量模型的优劣，主要有以下3种评价指标：

1) 均交并比（mIoU），用来确定物体检测位置准确度；

2) 平均精度均值（mAP），用来评价总体检测结果的评价精度值；

3) 召回率（Recall），用来衡量模型能检测到的正样本目标数量。

3.3  试验环境

试验环境参数如表4所示。

表4  试验环境参数

3.4  试验结果

3.4.1  综合改进验证试验

针对本文提出的网络结构改进、基于图像误差的加权（简称图像误差加权）算法和基于正负样本不平衡的加权（简称正负样本加权）算法3部分改进，为了验证这3部分的改进效果，本节对这3部分改进开展了验证试验。试验结果如表5所示。

表5  综合改进验证试验结果

试验1作为基础试验使用了YOLO v3的原始框架，并在混合数据集上进行试验。由试验结果可见，试验1和2网络结构的更改在一定程度上提高了原始模型的精度，试验2和3正负样本加权改善了由双密集层带来的正负样本不平衡问题，试验4图像误差加权进一步提高了原始模型的精度，由此证明本文算法的有效性。

3.4.2  图像误差加权方式对比试验

本文提到的图像误差加权思想是利用上一次迭代，训练得到的损失作为下一次训练的加权依据。按表6方法设计了不同的图像加权试验，试验结果如表7所示。

表6  图像误差加权方式对比试验方法

表7  图像误差加权试验结果

由表7可以发现，当置信度损失和回归损失都计入权重时效果最优，因此两者都可用来进行反馈训练；均衡化处理指将一个批次内所有图像经过计算得到的权重进行均值为1的归一化处理，通过方法4，mAP取得了微弱的提升。

3.4.3  基于正负样本超参数调节试验

表8  正负样本超参数调节试验结果

4 结束语

  

   

本文研究了小目标检测中图像误差与正负样本不平衡的加权算法，改进了针对无人机视角的YOLO v3目标检测框架，去除不必要的过深的检测层；提出了基于图像误差的加权算法，借鉴Boosting思想，降低分类准确的样本点的训练权值，从而提高难例的训练效果，并试验验证了该算法的有效性；本文还提出基于正负样本不平衡的加权算法，针对小目标检测中出现过量负样本的问题，统计其样本个数，构建负样本总数与权值的反比关系，将其转变为损失权值，加大对负样本的惩罚力度以提升检测精度，并开展试验验证了该算法的可行性。