泡泡图灵智库,带你精读机器人顶级会议文章
标题: Delving into Localization Errors for Monocular 3D Object Detection
作者:Xinzhu Ma , Yinmin Zhang , Dan Xu , Dongzhan Zhou ,Shuai Yi , Haojie Li , Wanli Ouyang
来源:CVPR2021
编译:cristin
审核: zhh
这是泡泡图灵智库推送的第750篇文章,欢迎个人转发朋友圈;其他机构或自媒体如需转载,后台留言申请授权
摘要
大家好,今天为大家带来的文章Delving into Localization Errors for Monocular 3D Object Detection。
从单目图像估计 3D 边界框是自动驾驶的重要组成部分,而从此类数据中准确检测 3D 对象非常具有挑战性。在这项工作中,通过大量的诊断实验,我们量化了每个子任务引入的影响,发现“定位误差”是限制单目 3D 检测的重要因素。此外,我们还调查了本地化错误背后的根本原因,分析了它们可能带来的问题,并提出了三种策略。首先,我们重新审视 2D 边界框的中心与 3D 对象的投影中心之间的错位,这是导致定位精度低的重要因素。其次,我们观察到用现有技术准确定位远处物体几乎是不可能的,而这些样本会误导学习网络。为此,我们建议从训练集中删除此类样本,以提高检测器的整体性能。最后,我们还提出了一种新的面向 3D IoU 的损失,用于对象的大小估计,它不受“定位误差”的影响。我们在 KITTI 数据集上进行了广泛的实验,所提出的方法实现了实时检测并大大优于以前的方法。
主要工作与贡献
本文的主要贡献如下:
首先,我们对单目 3D 检测进行了密集的诊断实验。除了发现“定位误差”是限制单目 3D 检测的主要问题外,我们还量化了每个子任务的整体影响。
其次,我们调查了本地化错误背后的根本原因,分析了它可能带来的问题。因此,我们提出了三种针对注释、训练样本和优化损失的新策略,以减轻由定位错误引起的问题,从而提高检测能力。
算法流程
1.单目3D 目标检测统计
图1 对 KITTI 验证集进行评估。评估方式是中等设置下汽车类别的AP40。采样间隔为 10 m。例如,水平轴 20 处的对应值代表 15 m 和 25 m 之间所有样本的整体性能
1.1 观察一
图 1 中最显着的特征是使用地面实况定位时性能的飞跃,达到了与最先进的基于 LiDAR 的方法相似的水平,这表明定位误差是限制的关键因素。此外,除了深度估计之外,检测 3D目标的投影中心对于恢复对象的 3D 位置也起着重要作用。为此,我们重新审视了 2D 边界框的中心与 3D 对象的投影中心之间的错位。此外,我们还确认了在单目 3D 检测器中保留 2D 检测相关分支的必要性。这样,2D检测作为相关的辅助任务来帮助学习与3D检测共享的特征,这与[24]中丢弃2D检测的现有工作不同。
1.2 观察二
观察 2:图 1 中反映的一个明显趋势是检测精度相对于距离显着降低(非常近距离物体的低性能将在补充材料中讨论)。更重要的是,所有模型都不能准确预测超出一定距离目标。我们发现,由于不可避免的定位错误,使用现有技术几乎不可能准确地检测到远处的物体。在这种情况下,将这些样本添加到训练集中是否有益成为一个问题。事实上,“坏”样本和“易于检测”样本之间存在明显的领域差距,迫使网络从这些样本中学习会降低其对其他样本的代表能力,从而影响整体性能。基于以上观察,我们提出了两种方案。第一种方案从训练集中移除较远的样本,第二种方案减少这些样本的训练损失权重。
1.3 观察三
除了定位误差外,还有一些其他重要因素,例如尺寸估计、限制单目 3D 检测(即使我们使用 groundtruth 位置,仍有 27.4% 的改进空间)。该范围内的现有方法倾向于独立优化 3D 边界框的每个部分,[36, 37] 中的研究证实了该策略的有效性。然而,未能考虑每个损失项对最终度量(即 3D IoU)的贡献可能会导致次优优化。为进一步解决这个问题,我们提出了一种面向 IoU 的 3D 尺寸估计损失。新的 IoU 导向损失根据其贡献率动态调整样本级别中每一侧的损失权重到 3D IoU。
1.4 总结
总之,本文的主要贡献如下:首先,我们对单目 3D 检测进行了各种角度测试实验。除了发现“定位误差”是限制单目 3D 检测的主要问题外,我们还量化了每个子任务的整体影响。其次,我们调查了定位错误背后的根本原因,分析了它可能带来的问题。因此,我们提出了三种针对注释、训练样本和优化损失的新策略,以减轻由定位错误引起的问题,从而提高检测能力。
2. 方法
给定 RGB 图像和相应的相机参数,我们的目标是在 3D 空间中对感兴趣的对象进行分类和定位。每个对象由其类别、2D 边界框 B2D 和 3D 边界框 B3D 表示。
2.1 网络结构
我们基于anchor-free的one-stage 检测器 CenterNet 构建了我们的基线模型。具体来说,我们使用标准 DLA-34 作为我们的基础网络,以实现更好的速度和准确性权衡。最重要的是,七个轻量级头(由一个 3×3 卷积层和一个 1×1 卷积层实现)用于 2D 检测和 3D 检测。更多设计选择和实现细节可以在补充材料中找到。
2.2 误差分析
在本节中,我们将探讨限制单目 3D 检测性能的因素。受 2D 检测领域的 CenterNet [44] 和 CornerNet [21] 的启发,我们通过用真实值替换每个预测并评估性能,对 KITTI 验证集上的不同预测项进行错误分析。具体来说,我们根据 [21, 44] 的将每个输出预测头替换为其真实标签值。如表 1 所示,如果我们将基线模型预测的投影 3D 中心 c w 替换为 其ground-truth,准确率从11.12%提高到18.97%。另一方面,深度可以将准确率提高到 38.01%。如果我们同时考虑深度和投影中心,即用真实结果替换预测的 3D 位置 [x, y, z]3D,那么最明显的改进是 单目3D检测精度低主要是定位误差造成的。另一方面,根据等式 1,深度估计和中心定位共同确定对象在 3D 世界空间中的位置。与单目图像的病态深度估计相比,提高中心检测的精度是一种更可行的方法。
表1.误差分析。左图:我们用真实值替换 3D 检测相关分支的输出。右:我们用预测结果替换了ground truth的值。在 KITTI val 集的中等设置下,用于 3D 检测的指标是 AP40。'项目。center' 表示图像平面上的投影 3D 中心 c w
表2 图像平面中心偏移(以像素为单位)引起的定位误差(以米为单位)
表2 显示了由不准确的中心检测引入的定位错误。此外,对于 [h, w, l]3D,KITTI 数据集中汽车的平均形状为 [1.53m, 1.63m, 3.53m]。假设所有其他量都是正确的并且定位误差与长度 l 对齐(导致最大容差),IoU 可以通过以下方式计算:
2.3 中心检测校正
为了估计粗中心 c,我们的设计很简单。特别是,我们 1) 使用投影的 3D 中心 c w 作为分支估计粗中心 c 的地面实况和 2) 强制我们的模型同时从 2D 检测中学习特征。这个简单的设计来自我们下面的分析。
分析 1:如图 4 所示,2D 边界框中心 c i 与 3D 边界框的投影中心 c w 之间存在错位。根据公式 1 中的公式,投影的 3D 中心 c w 应该是恢复 3D 对象中心 [x, y, z]3D 的关键。这里的关键问题是粗中心 c 的监督应该是什么。一些作品 [10, 36] 选择使用 2D 框中心 c i 作为其标签,这与 3D 对象中心无关,使得粗中心的 不知道对象的 3D 几何形状。这里我们选择采用投影的 3D 中心 c w 作为粗中心 c 的真实值。这有助于估计粗略中心的分支了解 3D 几何,并且与估计 3D 对象中心的任务更相关,这是定位问题的关键(参见可视化补充材料中的 E 节)。
图2 2D 边界框的中心(蓝色)与图像平面中投影的 3D 中心(红色)之间未对齐的可视化。
分析2:注意SMOKE [24]也使用投影的3D中心c w 作为粗中心c的标签。然而,他们丢弃了与二维检测相关的分支,而我们保留了它们。在我们的设计中,由投影 3D 中心 c w 监督的粗中心 c 也用于估计 2D 边界框中心 ci。通过我们的设计,我们强制一个 2D 检测分支来估计真实 2D 中心和粗 2D 中心之间的偏移 oi = c i - c。这使我们的模型了解对象的几何信息。此外,另一个分支用于估计 2D 边界框的大小,以便共享特征可以学习一些由于透视投影而有利于深度估计的线索。通过这种方式,2D 检测作为辅助任务,有助于学习更好的 3D 感知特征。
2.4IoU 优化
最近,一些基于 LiDAR 的 3D 检测器 [41、43] 应用了面向 IoU 的优化 [32]。然而,确定物体的 3D 中心对于单目 3D 检测来说是一项非常具有挑战性的任务,定位误差通常达到几米(见第 4.4 节)。在这种情况下,如果我们直接应用基于 IoU 的损失函数,与定位相关的子任务(例如深度估计)将压倒其他任务(例如 3D 尺寸估计)。而且,单目图像的深度估计本身就是一个病态问题,这种矛盾会使训练过程崩溃。解开每个损失项并独立优化它们是另一种选择[36],但这忽略了每个组件与最终结果的相关性。为了缓解这个问题,我们提出了一种面向 IoU 的 3D 尺寸估计优化。具体来说,假设除了 3D 尺寸 s = [h, w, l]3D 之外的所有预测项都是完全正确的,那么我们可以得到(推导的细节可以在补充材料中找到):
实验结果
如果你对本文感兴趣,想要下载完整文章进行阅读,可以关注【泡泡机器人SLAM】公众号。
联系客服