基于机器视觉的钢轨表面检测光学模型的研究

吴禄慎,张 丛,万 超,史皓良

(南昌大学机电工程学院,南昌 330100)

摘 要：在机器视觉的检测中,图像是整个系统中最重要的原始数据,其质量决定了后期图像处理的效果和速度。为探讨高质量图像的采集,提出一种基于线阵CCD相机和线阵光源的钢轨表面缺陷检测的光学理论模型,分析线阵CCD采集系统中振动模糊的原因,推导出图像灰度值与系统振动幅度和缺陷深度的关系,研究光源照射角度和相机拍摄角度对图像灰度和缺陷区域对比度的影响,并通过实验验证模型的合理性。结果表明：缺陷区域图像灰度值随着钢轨表面缺陷深度增大而降低,采用较低的光源照射角度可增大缺陷与背景的对比度,突出缺陷特征便于后期图像处理的缺陷识别。

关键词：钢轨检测；机器视觉；光学模型；高质量图像；缺陷对比度

随着我国高速铁路的迅速发展，轨道病害检测逐渐成为铁路发展中一个重要的研究方向[1]。人工视觉检测远不能满足轨道巡检的需求，而具有高精度、高速度和高稳定性的基于机器视觉的自动巡检系统在轨道定期检修中发挥的作用越来越重要。

线阵CCD相机适合做连续、宽幅的产品表面检测，因而广泛用于钢轨表面缺陷的检测中。美国Ensco公司采用Dalsa Piranha2型线阵相机采集钢轨图像，对钢轨性能进行综合评估[2]。德国bvSys公司采用高强度光源照射钢轨、高分辨率的先扫描相机采集轨道图像，对钢轨表面组块、边缘破损等缺陷进行实时监测[3]。北京交通大学设计的在线检测系统可以实时处理钢轨图像并反馈缺陷信息[4]。在钢轨表面缺陷检测中，图像处理部分需要按照异常灰度分布、形状、纹理等信息区分目标缺陷区域与背景区域，因此如何获取高清晰的能够突出缺陷信息的原始图像对于后期图像处理中减少数据运算量、缩短运算时间起着至关重要的作用。

结合理论光学，建立钢轨缺陷检测系统的光学模型，优化光路设计，从硬件结构上增强图像对比度、提高原始图像的质量，对轨道缺陷巡检系统遇到的成像、振动、缺陷等问题进行研究，为钢轨表面缺陷检测提供高质量的原始图像。

1 光学系统模型

建立由光源、被测物、相机组成的几何光学成像模型[567]，如图1所示。

图1 机器视觉系统的光学成像模型

在机器视觉系统中，选用一般光源对被检测物进行照射，通过工业相机进行采集。在此光学模型中选用面光源作为辅助光源照射被检测物，面阵相机作为采集图像。根据微平面[8]和粗糙表面统计理论[9]，设dA1为光源O1处微面的面积，O0为光源法线方向与被测物体表面的交点(理想照射位置)，θ0为光源法线与被测表面的夹角，θ1为实际光线出射方向与光源法线方向的夹角，dA0为光线实际照射的被测表面，

为实际被照射点。以

点作为三坐标原点，建立三维坐标系。

O2为dA0微面反射光线进入相机的方向，α为相机光轴与被测表面的夹角。

设光源表面平均亮度是与波长相关的函数L1(λ)，在θ1方向上的发光强度为Iθ1满足公式

(1)

实际被照射的微面dA0的光通量为

(2)

式中，

为光源微面到实际被照射微面的距离，由三角形

O1比例关系可以得出

，此时

点的照度为

(3)

设被照射表面的反射系数为Kd，则被照射微面dA0上的平均光强为

(4)

假设被测物在dA0面上为朗伯辐射体(即各个方向上辐射亮度相等的辐射体)[10]，光线在

点发生漫反射，满足朗伯余弦定理，在相机接收反射光的

O″方向上的光强为

(5)

相机镜头发孔径角u内的光通量为

(6)

式中，

，设相机镜头的透光率为T，则进入镜头照射在相机感光元件上的光通量为dφ=dφθ2·T，由三角公式可得

[cos(θ2+θ3)+cos(θ2-θ3)]，其中θ2≈θ3，由图中角度关系可得出，光源法线方向与相机镜头轴线的夹角为θ2+θ3=π-θ0-α-θ1，

联立式(1)～式(6)得

(7)

由相机成像原理可得，在一定范围内，相机采集到的图片的灰度值与相机的感光元件上的光通量dφ和相机采集图像的曝光时间t成正比，设其比例系数为B，图像的灰度值为

(8)

(9)

(10)

(11)

式中,R1为微观参数和常数参数的变量；R2为光照距离、相机拍摄距离、镜头特性参数和光源特性参数等变量；R4为光照和相机角度的变量。

可将式(8)推导为在选定相机和光源且二者位置与被测物距离确定的情况下，图像的灰度值与光源法线与被测表面的夹角θ0、实际光线出射方向与光源法线方向的夹角θ1、相机光轴与被测表面的夹角α有关。

2 线阵CCD相机钢轨缺陷检测

在钢轨缺陷检测中，由于钢轨的纵向视野相比横向视野极长，且对轨面图像的质量要求较高，因此采用光电编码器按照采集系统运行长度多次触发线阵CCD相机，将采集到的线阵图像拼接成固定长度的照片[11]。为提高被测物亮度、降低环境光干扰，使用线阵光源对钢轨进行照射，光束中心照射位置与线阵相机扫面线重合。

2.1 系统振动下的模糊图像分析

在线阵光源和线阵相机的成像系统中，采集到的图像经常会出现模糊的情况，一般有以下几点因素：(1)对焦不准确造成的离焦模糊[12]；(2)连续拍摄模式下采集系统运动速度采集帧速率不匹配造成的运动模糊；(3)行触发模式下由于振动出现的图像模糊。本文的钢轨表面缺陷检测系统中由线阵CCD相机的行触发信号采集钢轨图像，既可以避免采集系统运行速度变化对图像的影响，又可以准确记录里程信息[13，14]，且选取拥有一定景深范围的镜头(避免振动幅度过大时钢轨超出景深)，因此前两点不在本文的讨论范围内，在图1的基础上，本文提出图2振动情况下的光学模型。

图2 系统振动下的光学模型

图2中，O为线阵光源出射位置，O0为未振动时光束中心与线阵相机扫描线重合点，在轨道环境下钢轨绝对位置不变，采集系统在不平整轨道上运行时会产生振动。本文将被测轨道与成像系统的相对运动简化成被测轨面的上下振动，O′为轨面向下振动h1时有效光线的照射点，O″为轨面向上振动h2时有效光线的照射点。采集系统与被测钢轨距离增大时拍摄的线阵图像相对前移，前移距离为x1=h1/tanα，距离减小时拍摄的线阵图像相对后移，后移距离为x2=h2/tanα，在系统振动情况下采集到的线阵图像根据位移拼接时会出现前后错位的图像模糊，且前后错位的距离与相机拍摄的角度有关。为减少由于振动导致的图像错位，应当选取高角度拍摄被测钢轨的图像。

2.2 系统振动导致的图像灰度变化

在采集系统振动的状态下拍摄的图像会出现模糊的情况，并且不同深度或高度的振动会影响图像的灰度值。本文选取采集系统与被测钢轨距离增大为例进行公式推导。光线照射至O′位置时，OO′的距离为

+l0，镜头至实际被照射点的距离为

+l2，在ΔOO0O1中

，可得出此时光线出射方向与光源法线的夹角θ′与光源、相机安装位置和角度的关系

(12)

将

代入式(11)中，得出钢轨向下振动时CCD相机采集到的轨面图像灰度值为

(13)

在相机和光源位置及角度固定的情况下(即α、θ0、l0、l2均为常数)，图像的灰度值与h1成反比，即采集系统与被测钢轨距离增大的数值越大，图像灰度值越低，更呈现灰黑色。同理，当振动导致采集系统与被测钢轨距离减小的数值越大，图像灰度值越大，更呈现为亮白色。

2.3 钢轨缺陷检测

由此结论可推广为：在采集系统平稳运行的情况下，当钢轨表面存在凹坑、裂纹、剥离、掉块等缺陷时图像表现为灰度值下降，当钢轨表面存在道砟印痕、异物凸起等缺陷时图像表现为灰度值增加，并且图像灰度值会随着某个缺陷不同位置深度或高度的不同而变化。基于机器视觉的轨面缺陷检测是线性CCD相机采集钢轨的黑白图像传输至电脑做图像处理，包括了图像增强、阈值分割、目标识别等，其中阈值分割是根据图像灰度，将图像分割为目标图像和背景图像[15]。那么采集到的原始图像在缺陷位置与非缺陷位置的对比度越大，则越容易进行分割和识别。因此，提高原始图像具体位置的对比度能够很大程度地减少后期图像处理的难度和运算量。

本文的钢轨缺陷采集系统中选用具有光照度高、汇聚性好等优点的线光源作为照明光源，将式(13)中l0、l2设为固定值，h1一般为毫米级别，因此θ′角度很小，在线光源的系统中可以认为照射在相同距离的被测物上的光强θ′的范围内不发生变化，即I(θ′)为固定值。因此，为突出钢轨缺陷的特征，本文将α和θ0设为变量，研究光源照射角度和相机拍摄角度对图像灰度和对比度的影响。本文将缺陷区域与背景区域在图像上表现出的灰度值做差值，表示二者的对比度：ΔM=M0-M1。图像灰度M0中h1=0(表示没有缺陷的背景图像灰度)，M1中h1取3 mm(假设钢轨缺陷为凹陷3 mm)。在Matlab中计算图像灰度值M和灰度值差值ΔM分别与α、θ0的关系。函数图形如图3所示。

图3 光学模型中的灰度与灰度差值函数图形

图3中，X轴、Y轴和分别表示相机光轴与被测轨面的夹角α、线光源与被测轨面的夹角θ0，图3(a)中Z轴表示图像灰度值，图3(b)中Z轴表示缺陷区域与正常区域的灰度差值。由图3可以看出图像灰度值与α、θ0成正比，二者为90°(即采用同轴光源)时灰度值最大、图像最亮；灰度差值与α、θ0成反比，随二者减小缺陷区域与非缺陷区域灰度差值增大、图像对比度越大。

综合上文中的理论结果和实际采集设备安装等因素，本文采用相机光轴与钢轨轨面垂直的设计，即α=90°，实验设备使用大功率线光源(乐视光源公司的LTS-LIN23242-W线光源)，微视公司的MVC2048DLM-GE19型黑白线阵相机和宾得YF3528镜头，镜头离钢轨的距离l0=400 mm，相机的像元分辨率ωcd=14 μm，采集图像时选择的光圈为F=2.8，镜头焦距f=35 mm，成像系统放大率为

=0.095 9，文献[16]从理论上分析了机器视觉系统中相机景深的极限值为：Δ=ωcd·F·(1+β)·sinα/β2，可得出系统极限景深为46.71 mm。而在此系统中钢轨缺陷的深度或高度和系统运行的振幅远小于系统极限景深，即采集系统能够在不失焦的情况下获取钢轨表面的图像。

本文针对相同轨面区域不同的角度进行对比实验，分别选择30°、45°、60°三个角度对轨道上同一缺陷区域进行照射并采集图像。实验参数对比见表1，轨道图像见图4。

表1 实验参数对比

实验光源角度/(°)光源距离/mm相机距离/mm光圈数130310400282453104002836031040028

图4 不同光源角度θ0的轨道图像

分析图4的3张图片可以得出以下结论：(1)图片符合本文建立的光学模型中光源照射角度对图像灰度值的影响，即光源出射方向与被测钢轨夹角越小，进入相机的反射光越少，图像整体灰度值越低；(2)在钢轨裂纹处，线光源照射角度θ0越小，裂纹处的灰度值与正常钢轨的灰度值的差值越大，在后期图像处理过程中更容易识别该缺陷。

3 结论

(1)建立了一个机器视觉采集系统通用光学模型，并由模型推导出图像灰度值与采集系统结构的关系。

(2)将通用光学模型简化为基于线阵CCD相机和线阵光源的采集系统，将图像中钢轨表面缺陷灰度值与缺陷深度或高度关联。钢轨上的缺陷的深度变化会表现为图像灰度的变化，缺陷深度越大，则缺陷区域的图像颜色越深。对于凹坑、塌陷、凸起等深度非突变型的缺陷，在图像灰度上呈现渐变，边缘具有一定范围的模糊；对于裂纹等深度突变型的缺陷，图像灰度值也呈现一定范围的突变。这两者的差异可以作为图像识别和分类中区分缺陷类型的一个重要特征。

(3)通过建立模型和理论推导，模拟了采集系统在不同光照和拍摄角度下的图像灰度值和灰度差值，且实验结果与理论模型相同。本文提出的光学模型和理论方法可以为高质量图像采集提供理论依据。

参考文献：

[1] 袁小翠,吴禄慎,陈华伟.钢轨表面缺陷检测的图像预处理改进算法[J].计算机辅助设计与图形学学报，2014(5):800-805.

[2] Visual inspection systems for track maintenance[J]. IEEE Transactions on. Systems, Man, and Cybernetics, Part C: Applications and Reviews, 2012:13-16.

[3] R.Mork, M.Nolle, A.Oberhauser. Statistical Rail Surface Class-ification Based on 2D and 2.5D Image Analysis[J]. IEEE Transaction on Instrumentation and Measurement, 2010:6-9.

[4] 刘蕴辉,刘铁,王权良，等.基于图像处理的铁轨表面缺陷检测算法[J].计算机工程,2007,33(11):236-238.

[5] 胡亮,段发阶,丁克勤.钢板表面缺陷检测光学系统的设计[J].传感技术学报,2005,18(4):726-728.

[6] 韩芳芳,段发阶,张宝峰,等.单线阵CCD系统的表面凹坑缺陷检测方法[J].哈尔滨工业大学学报，2012(4):116-120.

[7] 张洪涛,段发阶,丁克勤.带钢表面缺陷视觉检测系统关键技术研究[J].计量学报,2007,28(3):216-219.

[8] Donald Hearn, M Pauline Baker. Computer Graphics with OpenGL[M]. Third Edition.北京:电子工业出版社，2004.

[9] 刘源泂.基于图像处理的钢板表面缺陷成像优化与深度信息提取方法研究[D].武汉：武汉科技大学，2011.

[10]张可.飞行器蒙皮红外辐射图像生成技术研究[D].南京：南京航空航天大学，2010.

[11]朱磊. 基于线阵CCD相机的轨道图像采集系统设计[D].南昌：南昌大学,2014.

[12]Liu Zhi, Li Weiwei, Shen Liquan, et al. Automatic Segmentation of Focused Objects From Images with Low Depth of Field[J]. Pat-tern Recognition Letters, 2010,31(7):572-581.

[13]吴禄慎，朱磊，陈华伟.基于线阵CCD相机的轨道图像采集系统设计[J].铁道标准设计，2014，58(8):55-59.

[14]吴禄慎,冯伟,陈华伟,等.基于编码器的轨道里程记录系统设计[J].铁道标准设计，2015,59(4):45-48.

[15]周鲜成.图像分割方法及其应用研究综述[J].信息技术，2010(12)：11-14.

[16]韩芳芳,段发阶,王凯,张宝峰.机器视觉检测系统中相机景深问题的研究与建模[J].传感技术学报，2010(12)：1745-1747.

Study on Optical Model for Rail Surface Detection Based on Machine Vision

WU Lu-shen, ZHANG Cong, WAN Chao, SHI Hao-liang

(School of Mechanical & Electrical Engineering, Nanchang University, Nanchang 330031, China)

Abstract：In the rail surface defect detection, images are the most important and original data of the entire system, their quality determines the effectiveness and speed of post-image processing. To investigate the gathering of high-quality images, this paper proposes a optical theory model based on the linear CCD camera and the linear light source to detect the defects on rail surface, analyze the causes of the vibration vague in the linear CCD system, deduce the relationship between the amplitude of system, the depth of the defect and the image gray level and to study the influence of the illumination angle and the camera angle on the image gray level and the contrast of defect area. The rationality of the proposed model is proved by experiment. The results show that the image gray level of the defect area decreases with the increasing of the defect depth and a lower illumination angle can highlight the contrast between defects and backgrounds, which facilitates the image identification in late image processing.

Key words：Rail detection； Machine vision; Optical model; High-quality images; Contrast of defects

收稿日期：2016-06-03；

修回日期：2016-06-16

基金项目：南昌大学研究生创新专项基金(cx2015059)

作者简介：吴禄慎(1953—)，男，教授，1990年毕业于清华大学，工学硕士，主要从事虚拟现实、三维光学图像测量与逆向工程的研究，E-mail：[e-mail]。

文章编号：1004-2954(2017)05-0050-04

中图分类号：TP23

文献标识码：A

DOI：10.13238/j.issn.1004-2954.2017.05.011