杨 勇1 ， 赵维刚2
(1.石家庄铁道大学电气与电子工程学院，河北 石家庄 050043；2.石家庄铁道大学大型结构健康诊断与控制研究所，河北 石家庄 050043)
摘 要：针对高速铁路中桥梁比重大，地质灾害发生后难以及时对桥梁损伤进行检测评估的困难，提出了利用深度图像和彩色图像相结合的桥梁裂缝损伤宽度非接触式检测识别算法。首先，研究了裂缝的彩色图像预处理算法，通过灰度化、图像增强、轮廓提取获得了裂缝在彩色图像中的轮廓；其次研究了不同视场相机的配准问题，搭建了实验室检测环境，提出了联合Harris角点检测和Hough变换的彩色图像和深度图像配准算法，完成了将二维彩色图像点向三维空间坐标的转换，实现了高速铁路桥梁裂缝宽度检测识别。现场测试表明，深度图像和彩色图像结合能够实现高速铁路桥梁裂缝宽度检测识别，识别相对误差在10%以内。
关键词：裂缝宽度检测；图像预处理；图像配准；Harris角点检测；Hough变换
近年来，中国高速铁路快速发展，据统计，截至2014年底，高铁里程达到1.6万km，超过世界高铁运营里程的一半，而在高铁线路中桥梁所占比重很大。我国地域辽阔，地质结构复杂，地震、泥石流、山体滑坡等地质灾害时有发生，如何在地质灾害发生后，及时快速确认高速铁路桥梁的损伤情况，为损伤后期检测和进一步的整治维修提供依据，避免二次灾害和次生灾害的发生,是目前亟需解决的问题。
目前国内外对灾后损伤检测的研究较多，但多集中在灾害发生后以人工上线的方式对灾后建筑的损伤进行检测和安全评估，如清华大学李上明[1]、江苏冯长虹[2]、同济大学陆洲导[3]等人利用不同的传感器对灾后桥梁的动静态响应进行了检测,这种方式不能在保障人员安全的情况下，及时提供灾后结构损伤情况。调查研究表明，裂缝是灾后桥梁损伤的主要表观表现形式。近年来，随着计算机视觉技术的发展，数字图像处理的方法被应用于桥梁裂缝损伤检测[4-6] ，其难点在于如何将图像坐标中像素距离与世界坐标中的物理距离联系起来。华南理工大学许薛军[5]等人在裂缝旁边粘贴棋盘、黑色纸片等作为参考物，利用参考物的已知物理尺寸，计算图像中每个像素所代表的实际宽度，进而求解桥梁裂缝的宽度信息，但是桥梁结构复杂，很多地方人工难以触及，不方便粘贴参考物。北京交通大学张登峰[6]等人设计了检测车，通过检测车上的机械臂将摄像机送至桥梁底部拍摄数字图像，然后运用图像分析的方法进行裂缝宽度识别。这种方法由于缺乏摄像机与裂缝之间的距离信息，估算的距离信息使得裂缝的实际尺寸与计算尺寸存在较大偏差。
基于此，本文提出了将彩色图像和深度图像相结合的裂缝宽度检测算法。通过彩色图像预处理获取裂缝在彩色图像中的轮廓坐标位置；再在深度图像中获取轮廓位置对应的深度信息，进而获得轮廓点对应的世界坐标，求出裂缝轮廓的实际物理尺寸。主要工作包括：研究了包含裂缝的彩色图像预处理算法，获取了裂缝轮廓在彩色图像中的像素位置；研究了深度图像与彩色图像的配准问题，提出了深度图像与彩色图像相结合的裂缝宽度识别算法；最后对石家庄铁道大学实训基地无砟轨道桥梁裂缝检测进行了实地检测，验证算法。
图像的预处理是获取图像中裂缝像素宽度的基础。由于在拍摄过程中受环境光照等条件的影响，拍摄的图像在色相(Hue)、饱和度(Saturation)、明度(Lightness)上都存在明显的差异，同时混凝土本身凹凸不平在彩色图像中也形成了不同大小、不同区域的噪点。为了更准确的获取裂缝的宽度信息，必须对裂缝图像进行预处理。
裂缝的预处理过程主要包括彩色图像灰度化、图像增强、边缘检测。
2.1 图像灰度化
彩色图像中每个像素采用3个或者4个字节表示，如果直接对彩色图像处理，运行速度慢。为加快图像的处理速度，需要将彩色图像转换为灰度图像。
图像灰度化如式(1)所示：
式中：R表示红色分量；G表示绿色分量；B表示蓝色分量。
2.2 图像增强
由于裂缝本身的颜色和周围混凝土的颜色对比不强，如果直接用灰度图像查找裂缝在像素中的轮廓位置，容易造成裂缝轮廓虚报和误报。所以在查找裂缝轮廓之前，需要对图像进行增强处理。
裂缝颜色和周围混凝土颜色对比不强，主要是由于图像灰度值在某个区域。图1(a)为某高速铁路桥梁裂缝灰度图片的直方图。从图中可以看出像素点90%以上的灰度值集中在100～150的区间。为了增加裂缝与周围环境对比度，将裂缝灰度图像从相对集中的灰度值拉伸到整个灰度区域，对图像进行了直方图均衡化处理[7]，图1(b)为均衡化处理后的直方图。
2.3 轮廓检测
轮廓的提取包括边缘检测和边缘点的获取。目前，边缘检测算法很多，如Roberts算子、Prewitt算子、Sobel算子等，这些算子具有噪声敏感和边缘定位精度低的缺点；由于裂缝图片本身受环境因素影响较大，混凝土上的凸点也形成了明显的噪声，所以在本文中采用了Canny算子。利用Canny提出的边缘检测三准则：最优准则、最优定位准则和监测点与边缘点一一对应，检测裂缝边缘。现场测试结果表明，Canny算子能够获取裂缝边缘，抑制噪声效果良好。
获取边缘之后，根据轮廓连通情况和走向，按照Freeman链码，获得裂缝边缘轮廓。
彩色图像预处理流程如图2所示。
图1 裂缝直方图及直方图均衡化
图2 图像预处理流程图
深度信息的获取主要有两种方式，一种是基于双目立体成像的被动获取方案，一种是基于红外或者激光的主动提取方法。基于立体视觉匹配的双(多)目深度摄像系统是利用同一物体在不同摄像系统中成像不同和摄像头的相对固定位置，进而计算出物体所在位置的三维世界坐标。由于双目视觉系统搭建过程中对摄像头的间距、参数要求很高的精度，不方便现场试验，所以本文利用了同时安装了彩色摄像头和深度摄像头的Kinect体感传感器，同时获取裂缝的彩色图像信息和深度图像信息。
由于深度摄像头和彩色摄像头具有不同的坐标原点、不同的图像分辨率、不同的视场，所以在将图像二维坐标转化为空间三维坐标时，需要对深度图像和彩色图像进行配准。经实验得知，Kinect深度摄像头分辨率为512×424，彩色摄像头的分辨率为1 920×1 080，当景深大于0.5 m时，深度摄像头视场完全包含在彩色摄像头视场中。如图3所示，图中白色部分为彩色摄像头视场V1 ，灰色部分为深度摄像头视场V2，黑色圆点为校准点。设校准点在V1中的坐标为{xi,yi,1}，在V2中的坐标为
其中
图3 彩色图像与深度图像视场
实验室利用棋盘纸搭建了深度图像与彩色图像校准测试环境，如图4所示。图4(a)为彩色摄像头采集的图像，图4(b)深度摄像头采集的图像。图4(a)中棋盘纸与背景图像边缘清晰，通过Harris角点识别算法[8]可以得到棋盘纸的四个边缘角如图5(a)所示。图4(b)由于噪声干扰，角点不清晰，如果用角点识别算法，容易造成误识别，但棋盘纸四条边缘由于与背景的深度不同，整体界限比较清晰，此时利用了Hough变换[9]的方法，在一定冗余度下查找了四条边界在极坐标上的投影，得到了四条直线，四条直线之间的交点即棋盘纸四个角在深度图像中的坐标，如图5(b)所示。
同时已知Kinect深度摄像头在水平方向和垂直方向上的视场，如图6所示。其中O为深度摄像头的坐标原点,O(x=0,y=0,z=0)，4条虚线为深度摄像头采集的深度图像范围，O′为深度图像的
图4 深度图像与彩色图像校准
图5 深度图像与彩色图像坐标变换
图6 深度图像视场
坐标原点，OO′=h，α、β为水平和垂直方向上的视场角，分别为α=29.25°，β=22.8°。若已知彩色图像上裂缝的轮廓点X(xi,yi)，通过变换矩阵得到深度图像上对应的点
其中α、β分别为水平和垂直方向上的视场角
假设裂缝为横向走向，上边缘坐标集合为{(xi,yi)},每一点对应的世界坐标为{(xwi,ywi,zwi)},i=1,…,n；下边缘坐标集合为{(xj,yj)},每一点对应的世界坐标为{(xwj,ywj,zwj)},j=1,…,m。以上边缘某一点为原点，设为X1，取下边缘所有点到X1的最短距离为像素距离宽度dpixel，如式(4)所示，设最短距离对应点为X2。此时通过变换得到X1、X2在世界坐标上的映射点Xw1、Xw2，从而得到此点裂缝在世界坐标系下的实际物理尺寸dw，如式(5)所示。
基于上述深度图像与彩色图像相结合的方法，获取了桥梁裂缝的三维空间坐标，实现了高速铁路桥梁裂缝宽度的检测。本文以石家庄铁道大学实训基地无砟轨道桥梁为试验对象，利用Kinect的深度摄像头和彩色摄像头采集了深度图片和彩色图片，如图7、图8所示。
图7 图像采集系统
图8 彩色图像预处理结果
图8显示了包含裂缝的彩色图片局部，在对局部图像进行了灰度化、直方图均衡化和轮廓查找等预处理后，得到了裂缝轮廓，如图8(d)所示。此时，将裂缝轮廓分为上边界和下边界两个轮廓集合，图9(a)为选取了上边缘任一点X1，通过式(4)，得到下边缘集合上所有离X1距离最短的点X2，如图9(b)所示，即为所选择的上边缘点X1处裂缝在彩色图像上的像素宽度，其值为11.70。
图9 彩色图像裂缝宽度
再通过式(2)中得到的变换矩阵A将彩色图像上的坐标点X1、X2映射到深度图像上
本文对6条裂缝进行了宽度检测，并通过游标卡尺进行了实际宽度测量。检测结果如表1所示。
表1 裂缝测量值与实际值
编号像素宽度测量宽度/mm实测宽度/mm绝对误差/mm相对误差/%115.514.03.80.25.26210.623.53.60.12.78312.564.24.00.25.00411.702.52.70.27.41515.684.34.00.37.50
从表1中可以看出，最大绝对误差为0.3 mm、相对误差为7.50%。误差比较大的主要原因在于深度摄像头的精度较低，其投射在图像上的分辨率为512×424，其深度分辨率随着物体离深度摄像头距离的增加而降低。
(1)通过彩色图像预处理，得到高速铁路桥梁裂缝在彩色图像上的轮廓，进而能够求得轮廓的像素宽度。
(2)利用Harris角点检测和Hough变换实现了彩色图像与深度图像的配准问题，得到了彩色图像与深度图像的变换矩阵。
(3)基于深度图像和彩色图像相结合的桥梁裂缝检测识别方法能够完成桥梁裂缝检测，识别裂缝宽度。现场测试表明能够实现裂缝宽度的检测，但是检测精度受深度摄像头精度的限制，有待进一步提高。
参考文献：
[1]李上明,路新瀛.基于静态位移的简支桥梁损伤识别方法[J].甘肃科学学报，2011,23(2):75-78
[2]冯长虹.火灾后桥梁结构的损伤检测及安全性评估[J].现代交通技术，2011,8(1):42-45
[3]陆洲导,柴继锋,余江滔.火灾后钢筋混凝土连续梁力学性能的计算分析[J].同济大学学报：自然科学版，2015,43(1):16-26
[4]李文波,杨保春.基于图像处理技术的混凝土桥梁裂缝宽度检测[J].湖南交通科技，2015, 41(1):119-122
[5]许薛军,张肖宁.基于数字图像的混凝土桥梁裂缝检测技术[J].湖南大学学报：自然科学版，2013,40(7):34-40
[6]张登峰.基于图像处理的铁路混凝土桥梁裂缝探测和信息获取[D].北京：北京交通大学，2014
[7]胡 琼,汪荣贵,胡韦伟，等.基于直方图分割的彩色图像增强算法[J].中国图像图形学报,2009,14(9):1776-1781
[8]Harris C,Stephens M.A combined corner and edge detector[C]//Proceedings of the Fourth Alvey Vision Conference,Manchester,UK,1998: 147-151
[9]Hough V,Paul C.Method and means for recognizing complex patterns：United States Patent，3069654[P].1962
Yang Yong1, Zhao Weigang2
(1.School of Electrical and Electronics Engineering,Shijiazhuang Tiedao University,Shijiazhuang 050043,China;2.Structural Health Monitoring and Control Institution,Shijiazhuang Tiedao University,Shijiazhuang 050043,China)
Abstract：Aiming at solving the problem of there being many bridges in high-speed railways, and being difficult to test and evaluate damaged bridges immediately after geological disasters happen,a new non-contact,depth-image-and-color-image combination based testing and detecting method is put forward in the paper for detecting the commonest crack width of damaged bridges,with some image pre-processing methods studied,which include the graying of color images,image enhancement, contour detection, etc., and with the pixel width for the crack in the color image obtained.Upon the basis of studying the matching of cameras for different vision fields and setting up the lab testing surroundings, a Harris-corner-testing-based and Hough-transformation-based matching calculation method is put forward in the paper for the color image and the depth image.A method of converting two-dimension color images into the three-dimension space coordination of the crack is also suggested,which helps realize the detection of the crack width of high-speed railway bridges.Site tests show that the method of combining the depth image and the color image can realize the crack width detection of high-speed railway bridges,with the relative identification error being less than 10%.
Key words：crack detection;image pre-processing;image matching;Harris corner testing;Hough transformation
收稿日期：2015-10-05
基金项目：中国铁路总公司科技研究开发计划项目(2014G008-A)
作者简介：杨 勇(1979—)，男，讲师，博士研究生，研究方向为智能检测 916962906@qq.com
DOI：10.13219/j.gjgyat.2015.06.004
中图分类号：U446；U448.33
文献标识码：A
文章编号：1672-3953(2015)06-0012-05
联系客服
