【案例】3D视觉混联六轴检测系统的技术解析

并联机器人+3D视觉有哪些难点和技术点？

近年来，伴随着3D传感行业的迅猛发展，机器视觉迎来轰轰烈烈的第四次视觉革命。许多机器人公司也都开始了3D视觉的研究，本次的应用案例来自勃肯特机器人，其采用了结构光相机配合自主研发的串并混联六轴机器人，完成3D视觉相关检测项目，据了解即将投入实际应用阶段。

视觉升维迎来历史性的技术爆发，让其他三次视觉革命都略显黯然失色，第四次视觉革命最大的特点体现在机器直接从之前的2D平面“视界”进化到3D立体“视界”，刷脸支付、Face ID、VR、无人便利店、智能机器人等人工智能产品从实验室走向普罗大众身边，频频以“未来产品”姿态曝光，其背后起到关键作用的黑科技便是3D视觉技术，3D视觉技术也已经成为人工智能界的新宠。

人类利用科技提升机器的视觉能力，模拟人的双眼，这听起来似乎没什么了不起。但是在商业应用中，3D视觉的影响力不亚于在亚马逊森林搅动风暴的蝴蝶，以目前火爆市场的支付宝刷脸支付为例，拿目前出货量最多的3D视觉代表性企业奥比中光来说，搭载了其3D结构光的刷脸支付产品，能够通过点阵投影仪把数万个光点投射到用户的面部，通过3D摄像头找到对应光点，再利用三角测量原理计算出光点的深度信息，从而达到3D面部识别的效果并完成支付。

相比过去2D视觉的人脸识别，3D视觉能轻易识破平面照片或者视频等欺骗，让支付的安全性和便捷性得到革命性升级。同时在机器视觉技术的帮助下，刷脸支付能够带来更好的体验，大大降低安全隐患。

工业机器人领域获取外界物体三维信息的传感器主要有以下三种，传统RGB双目相机、结构光相机、TOF相机。

三种主流三维信息获取设备，图源：勃肯特机器人

应用场景主要集中在三大板块：

（1）通过3D视觉快速准确的对纸箱进行尺寸测量，完成物流行业随机尺寸纸箱的拆垛和码垛；

（2）在生产线上，多种型号的工件往往会被杂乱无章的堆放在料框里，同时这些工件的形状外观差异很大，通过3D视觉可准确获取料框内物体的三维轮廓特征信息，机器人可快速精准的完成多品类工件的分拣；

（3）在轻工行业，通过3D视觉获取物体的三维轮廓信息，使机器人高速高精度完成涂胶、喷涂等相关工作。

三种技术方案对比，图源：勃肯特机器人

与3D视觉的立体成像相得益彰，混联六轴由3P-3R结构组成，即三自由度的并联机构与三自由度的串联机构组成，实现了6自由度更大空间的运行，在保持了原有并联机构特点之外，增加了拾取物品位姿随机、末端摆放自由灵活、理料与分拣双工艺结合的特点。

勃肯特的解决方案中，运用3D相机完成立体物料的视觉信息捕捉后，可实现机器人根据物料在三维空间内的位置与角度判断，解决了以往机器人只能进行平面抓取的弊端，可实现对堆叠来料的快速理料，同时也开拓了对不规则、不平整来料进行涂胶、注塑等工艺，丰富了更多应用场景。

勃肯特串并混联六轴机器人，图源：勃肯特机器人

勃肯特自主研发机器人控制器与结构光3D相机，图源：勃肯特机器人

据了解，，类似于传统2D视觉，勃肯特自主研发机器人控制器与结构光3D相机首先对相机进行标定，采用Eye to hand的安装方式，在完成相机内参标定后，结合棋盘格对相机外参进行标定。外参数标定即确定相机与外界的平移和旋转关系。利用经典的ＡＸ＝ＸＢ齐次坐标求解方法，让机器人末端在棋盘格上移动多个位置，记录其坐标值，求出转换矩阵，完成相机标定。

然后对点云预处理，去除外界干扰产生的噪点后，通过对点云进行平面分割和目标提取，完成场景中目标物体的分割及其特征的提取。并且通过特定算法完成目标物体的位姿估计和优化，最终完成串并混联六轴机器人在3D视觉作用下对不同形状物体快速精准的分拣。

相机采集的原始图像，图源：勃肯特机器人

相机采集的深度图像，图源：勃肯特机器人

感谢勃肯特机器人提供的以上案例内容。勃肯特机器人研究院团队成立于2018年3月份，成员平均年龄26岁，其中硕士占比超过一半，在内部有“最高智商”团队之称。先后成功主导及参与完成“异型烟智能分拣码垛项目”、“并联6轴Stewart平台”、“镇江工厂智能信息化管理系统”、“统筹分拣”、“BeMotion 控制器”多个项目的算法研发。随着该项技术项目的成功落地，可以预见的是，勃肯特将凭借自己的“眼睛”配合串并混联六轴机器人不断探索客户的实际应用领域，提供更多高精度的解决处理方案，练就更符合客户需求的“金睛火眼”。