这些有什么作用呢,我们知道随着5G技术和千兆宽带的普及,届时的互联网媒介形式势必也会迎来改变,其中以AR/VR体验的三维形态的媒体内容被看作重点方向。
随着场景形态逐渐向三维转变,届时将会迎来一个高度逼真的虚拟世界,而三维内容的理解也将变得更为重要。例如现在的AI技术可以很好的识别2D照片/视频中的物体、动作等等,而到了三维场景中又会迎来新的玩法。
Facebook AI研究院今天发布的一篇博客中,着重提到了其在3D内容理解上的努力。
文章中提到,想要了解周围的世界的前提是,AI必须能够理解三维视觉场景,这种需求不仅仅体现在机器人、导航、AR/VR等方面,甚至在2D照片/视频中也得能够正确识别出其中的一个杯子的三维形状等等。
以下的几项研究,正在以不同但互补的方式来推进三维场景解析技术的发展。
如何更好的解析出3D形状
包括Mask R-CNN在内的很多图像解析AI框架,往往是在2D环境中进行工作,在3D环境下可能并不适用。不过,凭借2D环境中的感知技术作为积累,Facebook重新设计了一个3D对象重建的AI模型。
该模型的特点是可在现实的场景图片中去预测3D对象的形状,而这其中的挑战在于光学部分,例如:是否有遮挡,是否有杂波以及其它拓扑的对象。
为了应对挑战,首先通过网格预测分支加强Mask R-CNN在2D对象分割系统,并构建Totch3d(Pytorch库)从而实现:Mesh R-CNN,其通过Mask R-CNN进行对象的检测和分类。然后通过新型网络预测模型推测3D形状,该预测包含体素预测和网格细化共同构成。
最后通过Detectron2完成整套框架的结构,即:输入RGB图像--检测物体--预测3D形状的过程。
据悉,Facebook的新型方法支持成对图像和网格的完全监督学习预测3D形状,为了进行训练,Facebook还是用10000对图像和网格组成的Pix3D数据集,这个数据集比其它训练数据集(通常10万个图像、需进行标注)要小很多。
最终在两个数据集上进行Mesh R-CNN的评估,效果比较理想。在Pix3D数据集上,能够检测所有类别对象,并能预测出被遮挡的家具的完整形状;而在ShapNet数据集上,体素预测和网格细化的混合法比以前要好7%。
准确预测、并重建现实世界中无约束的场景形状,无疑是增强未来AR\VR等其它类似体验的重要工作。联想到Facebook在今年OC6公布的共享空间和3D重建体验,以及未来面向AR和机器视觉等众多体验的合集LiveMap,这些都是技术的基础。
尽管如此,和2D图像相比,3D图像在收集注释数据的工作上要复杂得多,且更为耗时,这也是3D形状预测数据集比2D对应数据集进展要落后的原因,而接下来Facebook也在探索更多不同的方法,利用监督学习和自我监督学习来重建3D对象。
使用2D关键点重建3D对象类别
对于那些无法使用网格和图像训练、且无需完全重建静态对象/场景的案例,Facebook开发了一种新的代替方案:C3DPO,其通过大量丰富的2D关键节点数据,进行监督学习实现更好的重建结果。而C3DPO以弱监督的方式解析出3D几何形状,且被证明适合大规模部署。
其中特定部分(例如人体关键、鸟翅膀)的2D关键点,成为了该方法中重新构建对象几何形状、变形或视点变化的线索。这些3D关键点利用价值也很高,例如在VR中创建逼真的面部和全身网格模型时。
简单来讲,C3DPO是一种能重建包括数十万具有上千个2D关键点的数据集方法,并且针对三种不同的数据集、14种以上的非刚性物体类别,进行精度重建。另外,和Mesh R-CNN类似,C3DPO同样支持那些有遮挡或部分缺失图像。
而C3DPO模型还具备两个创新,一是,在给定一组单眼2D关键点的情况下,C3DPO将以标准方向预测相机视点的参数和3D关键点位置;二是,Facebook提出一个新的正则化技术,其包括与3D重建网络模型共同学习的第二个辅助深度模型,它解决了因分解3D视点和形状带来的冲突。正是基于这两项创新,才是C3DPO的方法比传统的数据统计模型表现更好。
根据Facebook描述,这种3D模型构建在以前是无法实现的,主要由于此前基于矩阵式分解的方法有很多限制,与C3DPO采用的深度网络模型不同,其能够“小规模”运行。为了解决3D重建带来的变形问题,此前往往通过同一时间多张图像合成解决,这对硬件要求更高,而C3DPO则可以在硬件无法进行3D拍摄(例如飞机等体型特别大的物体)的情况下实现3D重建。
联系客服