悉尼大学最新工作：深度学习虚拟数据集，单目VO也能获得绝对尺度

作者单位：悉尼大学

 单目视觉里程计(VO)通过从高性价比的相机图像中提供实时的车辆运动，引起了广泛的研究关注。然而，目前最先进的基于优化的单目VO方法在长期预测时存在尺度不一致的问题。最近，深度学习被引入来解决这个问题，通过在训练数据集中利用双目序列或运动真值。然而，这需要额外的数据成本，而且这样的训练数据可能不是在所有数据集中都可用。在本文中，我们提出了一种新的VRVO框架，该框架可以从现代仿真环境中容易获得的虚拟数据中检索绝对尺度，而在真实领域中，无论是训练阶段还是推理阶段都不需要双目数据或地面运动真值。具体地说，我们首先使用单目真实图像和双目虚拟数据训练一个尺度感知的视差网络。利用对抗训练策略将两个领域的图像映射到一个共享的特征空间，弥合了虚拟和现实领域的差距。然后，通过构建一个虚拟目标来确保长轨迹上的尺度一致性，从而将得到的尺度一致性差异与直接VO系统集成。此外，为了解决优化后端和学习过程分离导致的次优问题，我们进一步提出了一个相互强化的管道，允许学习和优化之间的双向信息流，提高了彼此的鲁棒性和准确性。我们在KITTI数据集上验证了我们的框架的有效性。