【泡泡一分钟】超像素采样：一种用于深度采样和重构的数据驱动方法

每天一分钟，带你读遍机器人顶级会议文章

标题：Super-Pixel Sampler: a Data-driven Approach for Depth Sampling and Reconstruction

作者：Adam Wolff, Shachar Praisler, Ilya Tcenov and Guy Gilboa

来源：2020 IEEE International Conference on Robotics and Automation (ICRA)

编译：林只只

审核：柴毅，王靖淇

这是泡泡一分钟推送的第 633 篇文章，和欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

基于主动照明的深度采集对于自主导航和机器人导航至关重要。具有机械固定采样模板的LiDAR（光检测和测距）在当今的自动驾驶汽车中十分常用。一项基于固态深度传感器且没有机械零件的新兴技术可以实现快速，自适应的扫描。

在本文中，我们提出了一种自适应的，图像驱动的，快速采样和重构策略。首先，我们制定一个分段的平面深度模型，并估计其在室内和室外场景下的有效性。我们的模型和实验预测，在最佳情况下，具有约20至60个分段平面结构的自适应采样策略可以很好地逼近深度图。这意味着每1200个RGB样本（小于0.1％）只需要一个深度样本，这为研究自适应框架提供了强大的动力。其次，我们引入SPS（超级像素采样器），它是一种基于超像素的简单，通用的采样和重构算法。我们的抽样方法不断改进网格和随机抽样方法，适用于多种重建方法。第三，我们为采样器提出了一种极其简单，快速的重建方法。与复杂的图像引导深度完成算法相比，它可达到了目前最佳的效果，将所需的采样率降低了3-4倍。我们实验室内建立的单像素采样器原型证明了这一概念。

图1  自适应（图像驱动）与固定（盲）采样比较。它展示了我们开发的自适应采样及其各自的重构如何改善固定采样。在给定的采样下，我们可以恢复细小物体并达到更高的分辨率。（d）基于66个盲样本（随机模具）的线性重建，RMSE = 0.52m。（f）我们的方法有57个样本，RMSE = 0.31m。（e）固定抽样，（与我们方法相同的RMSE）需要669个样本。

图2 在Synthia数据集（左）和NYU-Depth-v2数据集（右）上的分段平面估计结果示例。

图3 基本符合分段平面深度模型的平面物体示例和不符合分段平面深度模型的非平面/凸状物体。

图4 深度不连续（红色）和RGB边缘（绿色）示例。蓝色表示两种类型都包括。

图5 SPS算法框图

图6 NYU-Depth-v2预处理测试集上的重建变量

图7 重建示例

图8 双线性，双边求解器等方法与我们的方法MTF结果比较

图9 双线性插值等方法与我们的方法在Synthia（左）和 obstacles（右）数据集上的定量比较。

图10 2%密度（5000样本）条件下Synthia和obstacles数据集上的深度补全定量结果

图11 采样方法比较

图12 7%密度（500样本）条件下NYU-Depth-v2数据集上的深度补全定量结果

图13 我们的机械采样设备

图14 在简单和挑战场景下的实验结果

Abstract

Depth acquisition, based on active illumination,is essential for autonomous and robotic navigation. LiDARs (Light Detection And Ranging) with mechanical, fixed, sampling templates are commonly used in today’s autonomous vehicles. An emerging technology, based on solid-state depth sensors, with no mechanical parts, allows fast and adaptive scans. In this paper, we propose an adaptive, image-driven, fast, sampling and reconstruction strategy. First, we formulate a piece-wise planar depth model and estimate its validity for indoor and outdoor scenes. Our model and experiments predict that, in the optimal case, adaptive sampling strategies with about 20-60 piece-wise planar structures can approximate well a depth map. This translates to requiring a single depth sample for every 1200 RGB samples (less than 0.1%), providing strong motivation to investigate an adaptive framework. Second, we introduce SPS (Super-Pixel Sampler), a simple, generic, sampling and reconstruction algorithm, based on super-pixels. Our sampling improves grid and random sampling, consistently, for a wide variety of reconstruction methods. Third, we propose an extremely simple and fast reconstruction for our sampler. It achieves state-of-the-art results, compared to complex imageguided depth completion algorithms, reducing the required sampling rate by a factor of 3-4. A single-pixel prototype sampler built in our lab illustrates the concept.