我国公路建设飞速发展，为人民交通出行提供了很大便利，但随之而来繁重的养护任务又给道路养护部门带来了不小的挑战。路面在运营时间内不可避免会发生开裂，随着车辆对路面的反复摩擦和碾压，路面的开裂会不断加深，若一直不加以修复，会导致道路结构层的破坏[1-2]。因此，对道路进行规律性的巡检，及时发现路表的开裂情况并采取相应措施能够有效延缓路面裂缝的发展，延长道路的使用寿命。目前较为常见的道路检测工作，多为人工走查。这种检测方式不仅效率低，且对于车流量较大的道路，检测人员只能坐在车上去观察路表状况，检测的准确性无法得到保证。
目前较为先进的路面检测方法为利用道路检测车来进行路面数据的采集，先进的路面自动检测装备及其配套技术可为路面养护工程维修决策、设计与施工提供大量的基础数据支撑[3]。但道路检测车往往设备成本昂贵，对技术要求很高。基于以上原因，利用拍摄设备采集路面图像，再结合计算机视觉和机器学习技术对图像中的裂缝病害进行提取，能够在兼顾检测成本的同时有效改善传统检测方式费时费力、效率低下的状况。由于路面开裂图片具有裂缝与背景相似度大、裂缝面积小、裂缝形状不规则等特点，如何通过相关技术提高图像裂缝识别的准确率，提高识别速度成为了裂缝识别中的研究重点。
假定上述方案的技术创新之处就在于深度学习算法的改进，其通过算法的改进能够明显提升模型的训练速度以及模型输出的准确度。那么基于上述方案撰写专利申请时，就可以撰写出方法、软硬结合的装置、程序模块构架以及存储介质共计四种类型的权利要求主题。为表述简洁，对其简化并示例如下。
早期借助计算机视觉的图像识别方法一般是利用裂缝区域与完好路面区域灰度及像素值的差别，通过阈值分割、边缘检测、种子识别、纹理分析等手段对图片中的裂缝区域进行检测。英国的S.Mathavan，M.Rahman和K.Kamal[4]等利用CCD相机采集高质量的路面裂缝图像，并将图像分割成矩形单元，基于无监督算法Kohoene映射对裂缝图像的纹理和颜色等属性进行学习，从而达到检测裂缝的目的。姜吉荣[5]利用数学形态学结合进行裂缝特征提取，再利用Otsu算法对裂缝区域进行分割。
近年来，随着机器学习、深度学习等人工智能技术的飞速发展，深度学习模型由于其模型结构的特点，能够自动提取原始图像的特征并进行抽象表达，不需要人为设计特征提取器。这为路面裂缝的自动化检测提供了新途径，各类深度学习模型开始应用于裂缝识别领域。Cha等[6]利用图像处理技术对路面图片进行滤波处理，再结合深度学习中CNN(卷积神经网络)检测图片中是否有裂缝存在以及裂缝的种类，证明了CNN应用于裂缝分类的准确性。沙爱民[7]等将2个CNN组合在一起，使其先进行路表病害的识别再进行病害特征的提取，从而实现路表病害的识别与测量。
裂缝识别模型的数据集采用CRACK500数据集[8-9]，此数据集的来源是Lei Zhang,Fan Yang等人在天普大学使用手机拍摄了500张大小为200×1 500的路面裂缝图片，并对裂缝图片进行逐像素地标注。为了适配网络模型输入图像像素要求，且方便模型的训练，每张原始图片被裁剪为16个不重叠的图像区域，每张图片上裂缝区域均超过1 000个像素。CRACK500数据集由训练集、验证集和测试集组成，部分原始训练图片及标签见图1，训练图片与标签图片名字相同，但训练图片为jpg格式，标签图片为png格式。训练集包含了3 792张图片，验证集包含696张图片，测试集包含2 248张图片，其中一半是原始图片，一半是标签图片。CRACK500中的标签图片对应着原始图被划分为2种颜色，背景为黑色，裂缝区域为白色。
图1 部分裂缝图片及图片标签
根据模型输入的要求，需要对训练集中的原始图片与标签图片分离成2个文件夹，并根据图像分割的需求，建立图像分割的类别字典，指定不同类别在标签图片中所呈现的像素值，方便模型进行图像的读取与训练。
第二，在水产养殖过程中，为了加快生物的生长速度，很多养殖企业都会在水中投放肥料，如果不能合理控制肥料的投放量，会增加水体中氮、磷等元素的含量，使水体产生富营养化现象，破坏养殖生物的生长环境。
有着“广东小周庄”之称的顺德逢简水乡，在珠三角乡村旅游发展中具有一定的代表性，已有数百年的建村历史，现尚存明清两代古屋数百间，拥有原汁原味的古桥、河道、宗祠和石板街。近几年，为了更好地发展乡村旅游，该地村镇政府也有意改善水乡内的基础设施和环境，如新增停车场，由原来的4个增至5个；建设分段式农村污水处理系统和4个污水站，并采用地埋式一体化污水处理技术④，所有这些都为乡村旅游的发展提供相应的基础设施。
在深度学习中，为了提高识别模型的鲁棒性，以及防止训练过程中出现过拟合现象，通常需要对训练的数据集进行数据增强操作，以便提高模型的泛化能力。常用的数据增强方法有旋转变换、翻转变换、平移变换、对比度变换等。由于路面实际拍摄的裂缝图片具有裂缝方向多变，图片亮度不高、噪音较多等特点，因此本文选取的数据增强方法为旋转变换、反转变换、对比度变换与噪声扰动，以使训练集的图片更加贴合车辆行驶中拍摄的路面图片特征。
PSPNet是在ResNet的基础上改进的语义分割网络，其整体架构分为2部分，用于提取不同尺度特征的卷积模块和用于对局部和全局的特征图进行池化与卷积得到最终预测图的金字塔池化模块。其中，卷积模块是通过使用预训练的ResNet模型实现的，它能够同时提取包含更多细节的底部特征和包含较多语义信息的高层特征，实现从底层到高层特征的逐步抽象提取，最终输出特征图为原图的1/8大小。金字塔池化模块使用4层金字塔结构来收集图像的上下文信息，每层的池化内核分别覆盖了图像的全部、一半、小部分和最小尺度，最后将得到的特征图采用双线性插值进行上采样，使特征图缩放到原始特征图尺寸，接着将不同尺度的特征图进行反卷积，融合为全局先验信息，最后判定每一个像素的分割类型，得到最终预测的分割图。
在模型训练过程中，经分类器softmax计算出的loss会向前传播，不断调整卷积模块与金字塔池化模块中的参数来达到loss降低的效果。由于网络层数过多，为了方便模型快速收敛，选用了Adadelta优化算法。在loss的计算上，由于神经网络的层数过多会导致离网络末端softmax分类器较远的层无法得到充分训练，本网络模型借鉴了GoogLeNet Inception V1中辅助分类器的思想，将loss的计算分为辅助损失和主要损失，辅助损失在卷积模块后经过卷积，将特征图恢复为原始图片大小，利用softmax分类器计算损失。主要损失项则是在金字塔池化模块后，利用最后的分类器softmax计算总的损失。通过辅助分类器的引入，能够避免离最终分类器较远的卷积层参数无法得到充分训练的问题。
在环境评方面，虽然中国已经制定了相关的法律法规，但还没有普及。有些单位没有足够的环保意识，只是追求经济利益，不重视环境影响保护，为了避免影响环境评估去采取某些非正式的方式，特别是一些乡镇的小企业，他们的生产方式是更广泛，未采取有效措施防治污染造成严重环境污染。同时，中国目前的环境影响评价法律法规尚不完善，环境影响评价管理相对落后，基层环境影响评价制度不能有效实施，远未达到环境影响评价系统设计的初衷。因此，我国环境保护工作者需要重视推广环境影响评价制度。
最终进行路面裂缝识别的裂缝分割网络模型结构见图2，在网络的训练阶段先利用ResNet的预训练模型对数据集中的训练图片进行特征提取。然后将提取的特征一方面输入金字塔池化模块进行多尺度的全局特征学习，另一方面反卷积后恢复原图尺寸利用softmax辅助分类器计算辅助loss。最终将学习到的全局图像上下文特征双线性插值进行尺寸缩放后与经过ResNet模型所学习到的特征进行联合，最后反卷积后输入softmax分类器与原图进行对比计算loss。将主分类器所计算出的loss反向传播，并利用Adadelta优化算法进行模型参数调整，其中在对卷积模块进行参数调整时，同时考虑主loss与辅助loss。
图2 增加了辅助分类器的PSPNet网络模型
模型的最终分割效果的评定采用2个指标：分割区域的IOU及像素分类的准确度acc。交并比(intersection over union，IOU)是目标检测中的常用衡量指标，能够衡量某个类别分割的准确性。对于某个类别的IOU而言，其值为模型识别出的此类别区域与训练标签中此类别区域的重叠率，即标记区域和预测区域交集与并集的比值。一般而言，IOU大于0.5即可视作识别准确。在像素级别的图片分割中，类别区域的大小用此类别所包含的像素个数表述，第i类的IOU计算方法为
(1)
式中：pij为标签分类为i类，模型预测值为j类的像素数量，pii为预测正确的像素数量。
像素分类的准确度则是针对预测出的分割图，逐像素地与训练标签图进行比较，分类正确的像素数量与图片总体像素数量的比值，计算方法为
(2)
式中：
分割网络模型的搭建平台是深度学习TensorFlow框架，在GTX1070GPU上进行模型的训练与验证。所有训练与最终的验证初始学习率均设为0.01，衰减系数0.99，动量为0.9。
2.4.1 网络模型对分割效果的影响
为了更为全面地对本文所提出模型的分割效果进行评估，同时在其他的主流语义分割模型上对CRACK500的训练集进行训练，最后利用测试集对模型的分割效果进行测试，评定指标采用像素判断的准确率与裂缝区域的IOU。用来进行对比的语义分割模型为全卷积网络(fully convolutional networks,FCN)与UNet神经网络。3种语义分割网络模型的识别像素准确度与3种语义分割网络模型的IOU(交并比)分别见图3、图4。
图3 3种语义分割网络模型的识别像素准确度
图4 3种语义分割网络模型的IOU
由图3可见，3个模型的分割准确率均为85%以上。由于对路面裂缝图片而言，裂缝区域所占区域较小，如果只考虑分割的准确率会受到背景区域的影响，无法正确评定，因此还需要综合考虑裂缝区域的IOU。而在裂缝区域的IOU上，一般而言，IOU大于0.5则可以视作识别成功。从图4中可以看出，随着模型的不断训练迭代,在训练了60次之后，PSPNet已基本能够成功识别出裂缝，而UNet与FCN网络的识别效果则不是十分理想。因此，综合考虑像素准确度与裂缝区域的IOU，PSPNet的识别效果普遍优于UNet与FCN语义分割网络，说明在路面裂缝的分割上，PSPNet确实能够更好地将裂缝区域从整张图片中识别出来。
现代物流不仅指原材料、产品等从生产到消费的全程实物流动，还包括伴随物流活动过程中的物流信息交流，而且，现代物流在使用信息技术以及网络技术，将以往分离的物流、商流、信息流和运输、采购、代理、仓储、配送等环节紧密联系起来，成为了一条完整的供应链。因此可以讲，现代物流又是信息流、货物流、资金流和人才流的统一。
2.3 两组患者术后性生活质量比较 研究组患者术后6个维度的性生活质量显著高于对照组患者，差异有统计学意义(P<0.05)。见表4。
2.4.2 网络结构对分割效果的影响
分割模型由卷积模块与金字塔池化模块构成，本实验中我们对卷积模块的结构进行调整，分别采用ResNet-18、ResNet-50和ResNet-101预训练模型来构建卷积模块。3个预训练模型之间的差别除了网络深度不同，卷积核的选取也不一样。
ResNet模型的主要思想是利用残差块来解决网络层数的增加导致的反向传播时梯度衰减无法对靠前的网络层的参数进行有效调整的问题。残差块能够将输入通过shortcut connections(捷径连接)直接传到输出，使模型每一层的学习目标变成使此层的输出与输入保持一致，即残差接近于0。经过测试，3种网络结构的PSPNet的识别像素准确度与3种网络结构的PSPNet的IOU(交并比)分别见图5、图6。
图5 3种网络结构PSPNet的识别像素准确度
图6 3种网络结构PSPNet的IOU
由图5可见，在PSPNet模型的基础上，改变卷积模块所选择的预训练模型，识别的准确率基本都在93%以上。但ResNet-50预训练模型与ResNet-101预训练模型均出现了随着训练轮数的增加准确性逐渐下降的现象，这是因为训练图片与测试图片不同，训练轮数过多，模型出现了过拟合的现象。而对于裂缝识别的IOU而言，3种模型的裂缝IOU基本都大于0.4，最大值基本都在0.55左右。
本文针对依据路面图像的裂缝检测，提出利用金字塔场景解析网络PSPNet实现路面图片中的裂缝区域检测，实现像素级的裂缝区域识别。通过对不同语义分割网络模型之间的对比，不仅证实了语义分割网络模型可用于道路路面裂缝的像素级识别，且通过对比可发现不同语义分割模型中，PSPNet对裂缝的识别程度较高、鲁棒性较强，对实现路面裂缝像素级识别的模型选取有一定的借鉴作用。在对不同网络结构的PSPNet模型进行训练后，发现模型层数的增加对识别准确度的提高效果并不是特别明显，反而会由于训练轮数过多，相对层数少的模型更快出现了过拟合现象。同时本文的训练结果可作为路面裂缝识别的预训练模型，结合路面实拍图片样本，可针对不同检测路面进行下一步更有针对性的训练。
参考文献
[1] 张磊.基于图像处理的公路路面裂缝检测技术研究[J].机械设计与制造工程，2017(2):87-90.
[2] 孙波成.基于数字图像处理的沥青路面裂缝识别技术研究[D].成都:西南交通大学，2015.
[3] 丁世海,阳恩慧,代先星,等.三维激光路面多功能检测系统的技术研究[J].交通科技,2019(6):1-4,25.
[4] MATHAVAN S, RAHMAN M, KAMAL K. Use of a self-organizing map for crack detection in highly textured pavement images[J].Journal of Infrastructure Systems,2015,21(3):1076-1082.
[5] 姜吉荣.基于图像分析的路面裂缝检测方法与识别研究[D].南京：南京邮电大学,2016.
[6] CHA Y J, CHOI W, BUYUKOZTURA O. Deep learning-based crack damage detection using convolutional neural networks[J].Computer-Aided Civil and Infrastructure Engineering, 2017, 32(5):361-378.
[7] 沙爱民，童峥，高杰.基于卷积神经网络的路表病害识别与测量[J].中国公路学报,2018,31(1):1-10.
[8] ZHANG L, YANG F, ZHANG Y D, et al. Road crack detection using deep convolutional neural network[C]. Phoenix:IEEE International Conference on Image Processing, 2016.
[9] YANG F, ZHANG L, YU S J, et al. Feature pyramid and hierarchical boosting network for pavement crack detection[J].IEEE Transactions on Intelligent Transportation Systems,2020(4):1525-1535.
联系客服
