《测绘学报》
复制链接，关注《测绘学报》抖音！
【测绘学报的个人主页】长按复制此条消息，长按复制打开抖音查看TA的更多作品##7NsBSynuc88##[抖音口令]
李彩林,王志勇,俞路路,郭宝云
山东理工大学建筑工程学院, 山东 淄博 255000
基金项目：国家自然科学基金（41601496；41701525）；山东省重点研发计划项目（2018GGX106002）；山东省自然科学基金资助项目（ZR2017LD002）；山东省艺术科学重点课题（201806353）；山东理工大学齐文化研究专项（2017QWH032）
摘要：提出一种以最邻近曲面为约束的近景光学影像与地面激光点云高精度配准方法。根据光学影像生成三维稀疏点云，以影像三维稀疏点邻近的激光点拟合的曲面为约束，结合共线条件方程建立影像三维稀疏点云与三维激光点云间变换模型，通过平差迭代解算实现光学影像与激光点云的高精度几何配准。该方法只需提供初始配准参数，无需对激光点云数据进行特征提取和分割，并且基于曲面约束有效地解决了两个点集之间难以精确确定同名点的问题。通过实际数据试验表明该方法能获得很好的配准精度。
关键词：最邻近曲面 光学影像 激光点云 几何配准
光学影像和激光点云是用于三维模型重建的两种重要数据源。光学影像能为三维模型提供丰富的纹理信息，激光点云则能提供高精度的位置信息，两种数据具有高度的互补性[1-3]，有效融合两种数据源能获取更为精确、全面的空间信息[4-5]，因此可广泛应用于建筑物三维重建[6-9]、文物三维建模[10-11]、地物分类[12-15]等领域。为实现两种数据的高效融合，需将两种数据统一到同一个空间基准中。因此高精度的几何配准具有十分重要的现实意义。
光学影像与激光点云的配准是二维数据与三维数据的配准问题, 针对这一类配准问题，不少学者开展了大量研究工作。例如文献[16—18]以点、线等特征信息为基准，完成了激光点云与图像的配准，并且在此基础上实现了以曲面作为基元，基于迭代霍夫变换、投票等算法的图像与激光点云配准，获得了较好的配准效果；文献[19]应用一种基于共线方程的改进丹麦法选权迭代法进行降权精确配准，确定配准参数的精确值，其方法稳定性强、配准精度高；文献[20]在激光点云中提取建筑物角特征，以角特征的角点作为控制点，循环迭代配准，达到了较高的配准精度；文献[21]应用点、线相似不变性，将基于强度的配准算法和基于线特征的配准方法相结合，针对城市地区取得较好的配准结果；文献[22]首先基于建筑物的顶面特征进行粗配准，进而利用影像多视立体生成密集点云与激光点云进行3D-3D的精配准，保证配准的精度与稳健性。但以上研究均未考虑由镜头的畸变而产生的非线性变形。
另外，文献[23]根据近景光学影像生成三维点云，以影像三维点到激光点云表面的距离最小和共线条件方程为几何配准基本的约束条件，构建多目标最小优化函数模型进行几何配准，有效地消除了几何配准中由镜头的畸变而产生的非线性变形。文献[24]将上述近景光学影像与激光点云配准的最邻近点和共线方程的方法拓展到机载航空光学影像，使其能够批量处理并适应大数据量。但上述方法将局部邻近点所在的平面作为物体表面的局部逼近，对于激光点云比较稀疏或物体表面曲率变化较大时具有一定局限性。文献[25]以壁画为研究对象，由激光点云数据生成强度影像，将光学影像的兴趣边缘与强度影像的梯度场作为配准基元进行优化配准，以优化后边缘的特征点为控制点构造影像之间的非刚性变换模型，从而纠正了影像的非刚性变形。但该研究只能针对近似平面目标的光学影像和激光扫描强度影像的非刚性配准，而且一次只能实现单幅光学影像和激光点云的配准，因此在实际应用中，特别是在针对非近似平面物体的激光点云与光学影像配准时适用性低。
本文针对以上问题，提出一种基于最邻近曲面和共线条件方程的几何配准方法。该方法首先通过影像匹配和自由网平差把光学影像转化为三维稀疏点云，在影像三维点云和激光点云中手动选取3对近似同名点，得到两个三维点集的初始转换参数；然后利用K-D树[26]搜索影像三维点局部邻近的激光点，由邻近的激光点进行最邻近曲面拟合；最后以影像三维点落在对应的最邻近曲面上为约束条件，结合共线条件方程构建光学影像与三维激光点云几何配准模型，通过循环迭代完成光学影像与激光点云的高精度配准。
1.1 最邻近曲面数学模型
对任一个影像三维点，采用K-D树在三维激光点云中搜索与其最邻近的n个点进行曲面拟合，将该拟合的曲面作为局部真实场景的逼近，即最邻近曲面，每个影像三维点对应激光点云中的同名点应落在该曲面上。本文采用二次曲面作为拟合模型，如式(1)所示
式中，X、Y、Z为三维激光点坐标；A、B、C、D、E、F、G、H、I、J为曲面参数。
1.2 几何配准模型构建
影像点云与激光点云完成配准后，应满足以下两个条件：①影像三维点云中每一个三维点都应落在其对应的最邻近曲面上；②影像三维点坐标、像点坐标、影像的内外方位元素、畸变参数应满足共线条件方程。如图 1所示，P(XP, YP, ZP)为光学影像经过空三平差后生成的三维点云中的任意一个三维点，假设P在影像I1、I2、I3中可见，其投影点分别为p1、p2、p3，对应影像匹配过程中提取的影像特征点分别为p1′、p2′、p3′，则按以上两个条件有：①在激光点云中搜索P点的邻近激光点(如图 1中红色点)，将邻近激光点拟合成一个二次曲面S，则本文提出的最邻近曲面约束条件即要求P落在其最邻近曲面S上；②三维点及其对应的影像特征点、影像的内外方位元素、畸变参数应满足共线条件方程，即要求残差pipi′尽可能小。
|
| 图 1 基于最邻近曲面约束的光学影像与激光点云几何配准 Fig. 1 Geometric registration of optical image and laser point cloud based on the constraint of the nearest neighbor surface |
图选项 |
由此可建立结合最邻近曲面和共线条件方程等多条件约束的几何配准模型，见式(2)
式中
式中，XP、YP、ZP为影像三维点坐标；XS、YS、ZS为影像摄站点坐标；a1、a2、a3、b1、b2、b3、c1、c2、c3为旋转矩阵元素；f为相机焦距；x0、y0为像主点坐标；k1、k2、k3、p1、p2为相机畸变参数。
式(2)可改写为非线性最小二乘问题
式中
式中，PI为像点观测的权；PS为影像三维点偏离二次曲面的虚拟观测的权，其中
2.1 配准的总体方案
两个三维点集之间的配准问题，如果能确定其对应同名点，则可以实现精确配准。而在光学影像与激光点云配准中，影像三维点为影像匹配和自由网平差后生成的稀疏点云，难以确定其在激光点云中的精确同名点，同时在相机未经过精确标定以及没有控制点的情况下，通过自由网平差恢复的三维点集和激光点云除了相差一个尺度因子之外，在形状上与三维激光点云并非完全相似，两者之间存在非线性变形。
本文首先对影像做特征提取与匹配、自由网平差，得到相机内方位元素、自由网坐标系下影像的外方位元素以及三维点坐标；然后从影像三维点集和激光点云中手动选取3对近似同名点做粗略空间相似变换，从而将影像三维点坐标粗略转换到激光点云所在的坐标系中，同时计算影像新的外方位元素。本文以获取的相机内方位元素、新的影像外方位元素和影像三维点为参数初值，利用K-D树在激光点云中搜索与影像三维点最邻近的n个激光点，并由这些激光点构建最邻近曲面，最邻近曲面和共线方程共同组成曲面约束光束法平差模型，通过迭代不断调整影像三维点位置和影像内外参数实现精确配准。几何配准的具体流程如图 2所示。
|
| 图 2 最邻近曲面约束的迭代配准算法流程 Fig. 2 Flowchar of iterative registration algorithm based on nearest surface |
图选项 |
2.2 最邻近曲面的选取
对每一个影像三维点都构建最邻近曲面会造成约束曲面过多，导致计算速度慢，因此本文均匀地选取部分影像三维点构建最邻近曲面，同时选取的最邻近曲面满足以下原则：
(1) 曲面范围足够小。为了保证所拟合的二次曲面为局部较小范围曲面，设置最远距离阈值ε(本文试验中设置ε为3倍激光点云点平均间距)，如果当前影像三维点与其n个邻近激光点的距离最大值大于ε，则不构建该影像三维点的最邻近曲面。
(2) 影像三维点与最邻近曲面偏离要足够小。偏离曲面较大的影像三维点很可能为粗差点或噪声点，会对平差的精度和迭代收敛性产生影响。因此本文在每次迭代中都会重新计算所有影像三维点与其最邻近激光点的距离，并根据距离进行从小到大排序，排在最后εL%的影像三维点不构建对应的最邻近曲面，本文中选取εL=10。
(3) 曲面拟合残差足够小。为了保证所选取的局部邻近激光点满足二次曲面，对所拟合的曲面做精度评定，若拟合残差大，说明曲面拟合精度较低，应舍弃该点，即不构建该影像三维点的最邻近曲面。本文利用式(11)计算拟合中误差
式中，vi为单个曲面拟合的残差；n为曲面个数；舍弃残差大于3σ的曲面。
2.3 模型中多类型观测值权的确定
平差中不同类型观测值权的选取至关重要，权选取的过大或过小可能会使影像反投影误差增大或导致曲面约束影响减小。本文多类型观测值的权依据以下原则进行确定：
(1) 像点观测的初始权为pI=σ02/σI2，其中σ02为单位权方差，σI2为像点方差。像点方差取决于影像匹配的精度，所以可以用像点匹配方差代替像点观测方差。本文经验地直接采用0.5像素作为像点观测值中误差的初始值。选像点观测值中误差为单位权中误差，可得pI=1。
(2) 最邻近曲面虚拟观测初始权为pS=σ02/σS2，其中σS2为影像三维点与最邻近曲面偏离方差，其计算公式为
式中，nS为构建的最邻近曲面的个数；vS通过将初始影像三维点代入式(8)计算得到。
(3) 每次平差迭代过程中，分别计算上次平差后
2.4 精度评定
本文通过计算平差后的总单位权中误差对近景光学影像与激光点云几何配准的效果和精度进行评定，计算公式如式(13)
式中，n为观测方程个数(包括虚拟二次曲面观测方程)；rt表示外方位元素；rP表示三维点坐标；rC表示内方位元素；rk表示畸变参数的个数。
另外本文还采用像点观测值单位权中误差以及与最邻近激光局部曲面偏离值单位权中误差等两类指标进一步评价近景光学影像与激光点云几何配准的精度，该两类中误差计算公式分别见式(14)和式(15)所示
式中，n1表示像点观测方程个数；nS为构建最邻近曲面方程的个数。
3.1 试验数据
本文分别利用数码相机以及地面三维激光扫描仪采集两组数据进行光学影像与激光点云几何配准试验，其中数据Ⅰ为某校园内一处景观石，数据Ⅱ为一座雕像。两组光学影像数据采集所使用的相机均为事先未经检校的非量测普通数码相机，相机型号为Cannon EOS5D MarkⅡ，镜头为50 mm定焦，影像分辨率为2496×1664像素，像素大小为0.014 mm；两组激光点云数据分别采用RIEGL-VZ-400和Z+FIMAGER 5010C三维激光扫描仪采集。光学影像和激光点云数据信息见表 1。
表 1 数据基本信息Tab. 1 Data basic information
| 数据 | 影像数量/幅 | 影像三维点数量/个 | 激光点云数量/个 | 激光点云平均间距/cm |
| Ⅰ | 142 | 23 267 | 150 606 | 0.79 |
| Ⅱ | 95 | 13 566 | 228 388 | 2.12 |
表选项
本文采用软件VisualSFM[27-28]对两组数据进行影像匹配、自由网平差后生成的影像三维稀疏点云如图 3所示。
|
| 图 3 影像三维点云 Fig. 3 Image 3D point cloud |
图选项 |
3.2 最邻近曲面拟合精度
影像三维点数量较多，会导致在配准模型迭代解算过程中计算量较大，从而影响几何配准模型的解算速度。本文试验中，为减小计算量每间隔一个点选取1个影像三维点，最终数据Ⅰ和数据Ⅱ分别选取了11 633和6783个影像三维点；另外选取每个影像三维点的16个邻近激光点拟合曲面，将其作为该影像三维点的最邻近曲面，并基于2.2节最邻近曲面选取原则(1)和(2)，得到初始用于控制约束的曲面，然后计算曲面拟合中误差，根据最邻近曲面选取原则(3)剔除单个曲面拟合残差大于3倍曲面拟合中误差的曲面，得到最终用于平差控制约束的曲面。具体各项试验结果参数见表 2。
表 2 两组数据曲面拟合结果Tab. 2 Two groups of data surface fitting results
| 数据 | 选取的影像三维点数 | 用于曲面拟合的邻近激光点数 | 初始约束曲面数 | 曲面拟合中误差 | 最终用于约束的曲面数 |
| Ⅰ | 11 633 | 16 | 10 018 | 0.046 8 | 9946 |
| Ⅱ | 6783 | 16 | 6024 | 0.054 5 | 5958 |
表选项
由表 2可以看出，曲面拟合精度较高，绝大多数拟合曲面能准确表达真实的物体表面。
3.3 配准结果的单位权中误差
根据式(13)—(15)计算配准后数据Ⅰ和数据Ⅱ的单位权中误差，结果见表 3。
表 3 两组数据配准中误差结果Tab. 3 Mean square error results in registration of two sets of data
| 数据 | σ0 | σI | σS |
| Ⅰ | 0.29 | 0.27 | 0.23 |
| Ⅱ | 0.39 | 0.36 | 0.32 |
表选项
根据表 3，配准后两组数据像点中误差均在0.4像素以内，且σI和σS相差不大，可知模型之间影像三维点的光线实现了较好的交会并且定权方法合理。
3.4 激光点云反投影效果
完成几何配准后，将激光点云按共线方程投影到影像上，通过观察激光点云投影到影像上的轮廓是否与影像吻合可以直观地判断配准结果是否正确。这里分别从两组数据中抽取一张影像，按共线方程将激光点云投影到该幅影像上，结果分别如图 4和图 5所示。
|
| 图 4 数据Ⅰ配准前后激光点云反投影投效果 Fig. 4 Effect of laser point cloud reflection before and after data Ⅰ registration |
图选项 |
|
| 图 5 数据Ⅱ配准前后激光点云反投影效果 Fig. 5 Effect of laser point cloud reflection before and after data Ⅱ registration |
图选项 |
由图 4和图 5可以看出配准前激光点云轮廓与影像轮廓吻合较差，说明配准前影像的外方位元素精度较低，而配准后激光点云投影到影像上得到的轮廓与影像较好地吻合，可以认为经过本文方法完成几何配准后，影像坐标系和激光点云坐标系能较好地对齐，影像到三维点云配准效果直观上有显著提高。
3.5 影像三维点与最邻近激光点间距离中误差
影像三维点与最邻近激光点云点之间的距离的平均值和距离中误差可以描述两个点云吻合程度，因此本文计算了两组数据配准前后点云间平均距离与距离中误差，结果见表 4。
表 4 配准前后影像三维点与最邻近激光点距离的平均值和中误差Tab. 4 Average and mean square error of the distance between image 3D points and nearest laser points before and after registration
| 数据 | 配准前距离平均值 | 配准后距离平均值 | 配准前距离中误差 | 配准后距离中误差 |
| Ⅰ | 7.44 | 0.47 | 8.44 | 0.46 |
| Ⅱ | 6.49 | 1.75 | 7.52 | 2.02 |
表选项
从表 4可以看出，配准后两组数据点云间距离平均值和距离中误差都明显减小，但数据Ⅱ配准后点云间距离平均值和距离中误差都明显比数据Ⅰ大，主要原因是相对于数据Ⅰ激光点云的平均间距0.79 cm来讲，数据Ⅱ激光点云(平均间距为2.12 cm)要稀疏很多；另外两组数据配准后影像三维点与最邻近激光点距离的平均值和距离中误差均小于激光点云密度，可以认为数据Ⅱ中影像三维点云与激光点云吻合得很好，配准结果精度高。
图 6给出了两组数据配准前后影像三维点到最邻近激光点云点距离概率分布图，其中横坐标表示距离区间，纵坐标表示相应距离出现的概率(Hz)。可以看出配准前，点云间距离方差很大，但经过几何配准后，两组数据对应距离分别集中分布1 cm和2 cm附近，这说明了本文配准方法具有较高的配准精度。
|
| 图 6 影像三维点到最邻近激光点云点距离概率分布图 Fig. 6 Probabilistic distribution map of distance from three-dimensional points of image to clouds of neighboring laser points |
图选项 |
另外，本文方法与文献[23]方法进行了对比，配准后影像三维点和最邻近激光点距离的平均值与距离中误差对比结果见表 5，距离概率分布对比结果如图 7所示。
表 5 两种方法配准后影像三维点与最邻近激光点距离的平均值和中误差Tab. 5 Average and mean square error of the distance between image 3D points and nearest laser points after registration by two methods
| 方法 | 数据Ⅰ | 数据Ⅱ | |||
| 距离平均值 | 距离中误差 | 距离平均值 | 距离中误差 | ||
| 本文方法 | 0.47 | 0.46 | 1.75 | 2.02 | |
| 文献[23]方法 | 0.51 | 0.48 | 2.62 | 2.73 | |
表选项
|
| 图 7 两种方法配准后影像三维点到最邻近激光点云点距离概率分布 Fig. 7 Probabilistic distribution map of distance from three-dimensional points to neighboring laser point clouds by two methods |
图选项 |
从表 5和图 7可以看出：对于数据Ⅰ，两种方法配准后结果相差不大，而对于数据Ⅱ，两种方法配准结果有较大差异。考虑到数据Ⅱ为复杂物体，表面曲率变化较大，采用的局部邻近激光点数量会对平面拟合的精度有较大的影响，从而会直接影响到“点—平面”距离约束的几何配准模型解算的稳定性；并且由于数据Ⅱ激光点平均间距较大(即激光点云比较稀疏)，在曲率变化较大的区域没有足够的激光采样点，导致采用局部邻近点拟合的平面不能真实反映物体该局部区域的表面形状，因此精度较低。本文方法在针对表面曲率变化较大和激光点平均间距较大的激光点云与影像非刚性几何配准时具有一定优势。
本文针对光学影像和激光点云数据，以最邻近曲面为约束，结合摄影测量共线方程构建了非线性几何配准数学模型，通过迭代求解，实现了光学影像和激光点云的精确几何配准。该方法解决了两个三维点集配准中难以精确确定同名点的问题，并且通过共线条件方程在解算镜头畸变参数的同时，消除了由镜头畸变引起的非线性变形的影响。通过分析两组试验数据配准结果的中误差、激光点云反投影到影像的直观效果以及配准前后影像点云和激光点云距离平均值、距离中误差及距离概率分布表明，该配准方法具有较高的配准精度，配准结果可靠稳定。然而，本文方法对于背景地物较多(航空数据)的影像与激光点云模型配准效果仍然有待提高。当地物较多时，很多地物点(树木、电线杆、电力塔等)很难满足在一个二次曲面上，造成舍弃点太多、拟合曲面分布不均等问题，导致配准结果不理想。在后续的工作中将进一步对这些问题进行研究。
第一作者简介：李彩林（1985—），男，博士研究生，副教授，研究方向为数字摄影测量与计算机视觉，Email: licailin@sdut.edu.cn
第二作者（通信作者）简介：王志勇（1978—），男，博士研究生，讲师，研究方向为数字摄影测量，Email: @wangzhy63.com
第三作者简介：俞路路（1995—），女，本科，研究方向为多源数据融合处理，Email: 2478777825@qq.com
第四作者简介：郭宝云（1986—），女，博士研究生，讲师，研究方向为近景摄影测量与数字图像处理，Email: guobaoyun@sdut.edu.cn
数字摄影测量科研团队成员共6人，教授1名，副教授1名，讲师4人，5人具有博士学位，目前课题组在读的研究生12人。主要研究多传感器集成的近景、低空、航空数字摄影测量的理论和方法以及数字摄影测量系统的研发，研究领域包括无人机低空摄影测量、工业摄影测量、文化遗产数字化保护、激光雷达数据处理、SAR/InSAR数据处理、图像处理与信息提取、三维重建等。
近五年，团队主持国家自然科学基金2项、省级项目6项，横向课题16项，到账科研总经费800万元；发表SCI/EI期刊检索论文16篇，核心期刊论文30余篇；申请发明专利12项，其中授权发明专利7项，申请软件著作权3项；获淄博市重大科技创新成果二等奖1项，山东理工大学科技进步一等奖1项，教学成果二等奖1项。
创新性贡献、特色：
（1）目前团队共有3项专利进行了成果转化，专利转让费30万元；
（2）团队完成的“光学影像与三维激光扫描数据融合的方法、关键技术开发及应用”等相关科技成果已成功应用到武汉点云科技有限公司的“无人机低空摄影测量系统SkyPhoto-Super”、“三维激光扫描数据后处理软件系统DYScan”以及“文物三维数字化与保护”等系列软件产品中，广泛应用于测绘、国土、智慧城市、古文物三维重建与保护、渣土体积测量等相关工程领域，产生了巨大的经济效益和社会影响力，具有很大的推广应用价值。
（3）围绕团队研发的“无人机高压电力线巡检软件”，目前正在与企业进行合作方式洽谈。
未来研究方向、研究计划和目标：重点在激光雷达（Lidar）影像、光学影像、合成孔径雷达（SAR）影像等多源数据融合处理理论与方法、多源数据融合处理的不确定性分析、SAR/InSAR监测等方面进行深入研究，形成一系列高水平研究成果，同时对研究成果进行成果转化、产品落地，和企业开展实质性的合作，拓展研究成果的应用领域和范围；凝练团队研究成果申报行业、省部级科技进步奖。
论文推荐 | 郭迎钢,李宗春,何华,王志颖：三维坐标转换公共点最优权值的单纯形搜索算法
权威 | 专业 | 学术 | 前沿
联系客服
