留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

Gabor滤波融合卷积神经网络的路面裂缝检测方法

陈晓冬 艾大航 张佳琛 蔡怀宇 崔克让

陈晓冬, 艾大航, 张佳琛, 蔡怀宇, 崔克让. Gabor滤波融合卷积神经网络的路面裂缝检测方法[J]. 中国光学. doi: 10.37188/CO.2020-0041
引用本文: 陈晓冬, 艾大航, 张佳琛, 蔡怀宇, 崔克让. Gabor滤波融合卷积神经网络的路面裂缝检测方法[J]. 中国光学. doi: 10.37188/CO.2020-0041
CHEN Xiao-Dong, AI Da-Hang, ZHANG Jia-Chen, CAI Huai-Yu, CUI Ke-Rang. Gabor filter fusion network for pavement crack detection[J]. Chinese Optics. doi: 10.37188/CO.2020-0041
Citation: CHEN Xiao-Dong, AI Da-Hang, ZHANG Jia-Chen, CAI Huai-Yu, CUI Ke-Rang. Gabor filter fusion network for pavement crack detection[J]. Chinese Optics. doi: 10.37188/CO.2020-0041

Gabor滤波融合卷积神经网络的路面裂缝检测方法

doi: 10.37188/CO.2020-0041
基金项目: 天津市交通运输科技发展项目(No. 2019-03)
详细信息
    作者简介:

    陈晓冬(1975—),男,浙江人,博士,教授,博士生导师,1996年、2002年于天津大学分别获得硕士、博士学位,主要从事光电成像与检测技术方向的研究。E-mail:xdchen@tju.edu.cn

    艾大航(1996—),男,山西人,硕士研究生,2017年于天津大学获得学士学位,主要从事智能交通图像处理技术的研究。E-mail:aidh@tju.edu.cn

  • 中图分类号: TP391.4

Gabor filter fusion network for pavement crack detection

Funds: Transportation Technology Development Project of Tianjin(No. 2019-03)
More Information
  • 摘要: 针对神经网络难以从数据量较少、较单一的路面裂缝图像中提取有效特征的局限性,设计了一种融合Gabor滤波器的卷积神经网络模型(Gabor Filter Convolutional Neural Network,GF-CNN)以进行路面裂缝检测。GF-CNN模型首先将路面图像输入小型参数预测网络中,依据输入图像自适应地选取Gabor滤波器组的参数,并根据所预测参数构建滤波器组对初始路面图像进行滤波,得到Gabor纹理特征图。将纹理特征图输入至基于残差网络构建的特征分类网络中提取深层特征,并进行是否包含裂缝的判断。在GAPs路面图像数据集上的测试结果表明,GF-CNN模型的F1分数达到0.7137,优于其他路面图像检测方法。该模型通过融合纹理特征改善CNN特征提取能力,同时降低Gabor滤波器参数敏感性以提高模型泛化能力,对于路面裂缝图像具有良好的适用性。
  • 图  1  CNN卷积核与Gabor滤波器

    Figure  1.  CNN filters and Gabor filters

    图  2  GF-CNN网络结构图

    Figure  2.  GF-CNN network structure

    图  3  特征分类子网络结构

    Figure  3.  Classification module network structure

    图  4  完整路面图像检测结果

    Figure  4.  Detection results of the complete road image

    图  5  路面图像块检测结果

    Figure  5.  Detection results of the road image blocks

    表  1  Gabor参数预测网络结构

    Table  1.   Parameter prediction network structure

    名称类型步长/像素输出特征图尺寸特征图通道数
    输入层64×641
    卷积层Conv 7×7164×648
    激活层ReLU64×648
    最大池化层2×2232×328
    卷积层Conv 3×3132×3216
    激活层ReLU32×3216
    最大池化层2×2216×1616
    卷积层Conv 3×3116×1632
    激活层ReLU16×1632
    最大池化层2×228×832
    全连接层96
    激活层Sigmoid96
    下载: 导出CSV

    表  2  裂缝检测模型对比实验结果

    Table  2.   Comparison of crack detection models

    精度召回率F1
    CrackIT0.46940.53940.4882
    ASINVOS0.61130.49940.5497
    ResNet0.68370.57500.6246
    GF-CNN0.80030.64410.7137
    下载: 导出CSV
  • [1] SHAO CH, CHEN Y H, XU F H, et al.. A kind of pavement crack detection method based on digital image processing[C]. Proceedings of 2019 IEEE 4th Advanced Information Technology, Electronic and Automation Control Conference, IEEE, 2019: 397-401.
    [2] MANDAL V, UONG L, ADU-GYAMFI Y. Automated road crack detection using deep convolutional neural networks[C]. Proceedings of 2018 IEEE International Conference on Big Data, IEEE, 2018: 5212-5215.
    [3] CHRISTODOULOU S E, HADJIDEMETRIOU G M, KYRIAKOU C. Pavement defects detection and classification using smartphone-based vibration and video signals[M]//SMITH I F C, DOMER B. Advanced Computing Strategies for Engineering. Cham: Springer, 2018: 125-138.
    [4] KOMORI T, MATSUSHIMA K, TAKAHASHI O. Automatic pavement crack detection using multi-scale image & neighborhoods information[C]. Proceedings of 2019 International Conference on Mechatronics, Robotics and Systems Engineering, IEEE, 2019: 227-232.
    [5] 杨会玲, 崔洪恩, 孙慧婷, 等. 多尺度矩阵滤波的路面裂缝检测方法研究[J]. 液晶与显示,2016,31(8):778-783. doi:  10.3788/YJYXS20163108.0778

    YANG H L, CUI H E, SUN H T, <italic>et al</italic>. Method for pavement cracks detection based on multi-scale matrix filtering[J]. <italic>Chinese Journal of Liquid Crystals and Displays</italic>, 2016, 31(8): 778-783. (in Chinese) doi:  10.3788/YJYXS20163108.0778
    [6] CHEN C, SEO H S, ZHAO Y, et al.. Automatic pavement crack detection based on image recognition[C]. Proceedings of International Conference on Smart Infrastructure and Construction 2019, ICE, 2019: 361-369.
    [7] 陈建立. 基于图像处理方法的混凝土检测方法[J]. 液晶与显示,2020,35(4):395-401. doi:  10.3788/YJYXS20203504.0395

    CHEN J L. Concrete detection method based on image processing[J]. <italic>Chinese Journal of Liquid Crystals and Displays</italic>, 2020, 35(4): 395-401. (in Chinese) doi:  10.3788/YJYXS20203504.0395
    [8] OLIVEIRA H, CORREIA P L. Automatic road crack segmentation using entropy and image dynamic thresholding[C]. Proceedings of 2009 17th European Signal Processing Conference, IEEE, 2009: 622-626.
    [9] KIM H, KIM H, HONG Y W, <italic>et al</italic>. Detecting construction equipment using a region-based fully convolutional network and transfer learning[J]. <italic>Journal of Computing in Civil Engineering</italic>, 2018, 32(2): 04017082. doi:  10.1061/(ASCE)CP.1943-5487.0000731
    [10] 马浩鹏, 朱春媚, 周文辉, 等. 基于深度学习的乳液泵缺陷检测算法[J]. 液晶与显示,2019,34(1):81-89. doi:  10.3788/YJYXS20193401.0081

    MA H P, ZHU CH M, ZHOU W H, <italic>et al</italic>. Defect detection algorithm of lotion pump based on deep learning[J]. <italic>Chinese Journal of Liquid Crystals and Displays</italic>, 2019, 34(1): 81-89. (in Chinese) doi:  10.3788/YJYXS20193401.0081
    [11] 周筑博, 高佼, 张巍, 等. 基于深度卷积神经网络的输电线路可见光图像目标检测[J]. 液晶与显示,2018,33(4):317-325. doi:  10.3788/YJYXS20183304.0317

    ZHOU ZH B, GAO J, ZHANG W, <italic>et al</italic>. Object detection of transmission line visual images based on deep convolutional neural network[J]. <italic>Chinese Journal of Liquid Crystals and Displays</italic>, 2018, 33(4): 317-325. (in Chinese) doi:  10.3788/YJYXS20183304.0317
    [12] ZHANG L, YANG F, ZHANG Y D, et al.. Road crack detection using deep convolutional neural network[C]. Proceedings of 2016 IEEE International Conference on Image Processing, IEEE, 2016: 3708-3712.
    [13] PARK S, BANG S, KIM H, <italic>et al</italic>. Patch-based crack detection in black box images using convolutional neural networks[J]. <italic>Journal of Computing in Civil Engineering</italic>, 2019, 33(3): 04019017. doi:  10.1061/(ASCE)CP.1943-5487.0000831
    [14] MAEDA H, SEKIMOTO Y, SETO T, <italic>et al</italic>. Road damage detection and classification using deep neural networks with smartphone images[J]. <italic>Computer-Aided Civil and Infrastructure Engineering</italic>, 2018, 33(12): 1127-1141. doi:  10.1111/mice.12387
    [15] 刘康, 陈小林, 刘岩俊, 等. 基于Gabor和灰度共生矩阵混合特征叶片泵装配质量检测[J]. 液晶与显示,2018,33(11):936-942. doi:  10.3788/YJYXS20183311.0936

    LIU K, CHEN X L, LIU Y J, <italic>et al</italic>. Vane pump assembly quality detection based on Gabor and gray level co-occurrence matrix hybrid characteristics[J]. <italic>Chinese Journal of Liquid Crystals and Displays</italic>, 2018, 33(11): 936-942. (in Chinese) doi:  10.3788/YJYXS20183311.0936
    [16] ISAVAND RAHMANI A, AKBARI H, ESMAILI S S. Retinal blood vessel segmentation using Gabor filter and morphological reconstruction[J]. <italic>Signal Processing and Renewable Energy</italic>, 2020, 4(1): 77-88.
    [17] MEDINA R, LLAMAS J, GÓMEZ-GARCÍA-BERMEJO J, <italic>et al</italic>. Crack detection in concrete tunnels using a gabor filter invariant to rotation[J]. <italic>Sensors</italic>, 2017, 17(7): 1670. doi:  10.3390/s17071670
    [18] SALMAN M, MATHAVAN S, KAMAL K, et al.. Pavement crack detection using the Gabor filter[C]. Proceedings of 16th International IEEE Conference on Intelligent Transportation Systems, IEEE, 2013: 2039-2044.
    [19] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. arXiv: 1409.1556, 2014. (请联系作者确认文献类型)
    [20] DAGHER I, ABUJAMRA S. Combined wavelet and Gabor convolution neural networks[J]. <italic>International Journal of Wavelets</italic>,<italic>Multiresolution and Information Processing</italic>, 2019, 17(6): 1950046. doi:  10.1142/S0219691319500462
    [21] 孔锐, 张冰. Gabor滤波器参数设置[J]. 控制与决策,2012,27(8):1277-1280.

    KONG R, ZHANG B. Design of Gabor filters’ parameter[J]. <italic>Control and Decision</italic>, 2012, 27(8): 1277-1280. (in Chinese)
    [22] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[C]. Proceedings of the 25th International Conference on Neural Information Processing Systems, ACM, 2012: 1097-1105.
    [23] DENG J, DONG W, SOCHER R, et al.. ImageNet: a large-scale hierarchical image database[C]. Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition, IEEE, 2009: 248-255.
    [24] LUAN SH ZH, CHEN CH, ZHANG B CH, <italic>et al</italic>. Gabor convolutional networks[J]. <italic>IEEE Transactions on Image Processing</italic>, 2018, 27(9): 4357-4366. doi:  10.1109/TIP.2018.2835143
    [25] 李良福, 马卫飞, 李丽, 等. 基于深度学习的桥梁裂缝检测算法研究[J]. 自动化学报,2019,45(9):1727-1742.

    LI L F, MA W F, LI L, <italic>et al</italic>. Research on detection algorithm for bridge cracks based on deep learning[J]. <italic>Acta Automatica Sinica</italic>, 2019, 45(9): 1727-1742. (in Chinese)
    [26] IOFFE S, SZEGEDY C. Batch normalization: accelerating deep network training by reducing internal covariate shift[C]. Proceedings of the 32nd International Conference on International Conference on Machine Learning, ACM, 2015: 448-456.
    [27] HE K M, ZHANG X Y, REN SH Q, et al.. Deep residual learning for image recognition[C]. Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition, IEEE, 2016: 770-778.
    [28] EISENBACH M, STRICKER R, SEICHTER D, et al.. How to get pavement distress detection ready for deep learning? A systematic approach[C]. Proceedings of 2017 International Joint Conference on Neural Networks, IEEE, 2017: 2039-2047.
    [29] OLIVEIRA H, CORREIA P L. CrackIT—An image processing toolbox for crack detection and characterization[C]. Proceedings of 2014 IEEE International Conference on Image Processing, IEEE, 2014: 798-802.
  • [1] 杜瑞建, 葛宝臻, 陈雷.  多视高分辨率纹理图像与双目三维点云的映射方法 . 中国光学, doi: 10.37188/CO.2020-0034
    [2] 钟笠, 宋迪, 焦月, 李晗, 李国林, 季文海.  具有复杂光谱特征的丙烯气体的TDLAS检测技术研究 . 中国光学, doi: 10.37188/CO.2019-0203
    [3] 陈晓冬, 盛婧, 杨晋, 蔡怀宇, 金浩.  多参数Gabor预处理融合多尺度局部水平集的超声图像分割 . 中国光学, doi: 10.37188/CO.2020-0025
    [4] 刘波, 许廷发, 李相民, 史国凯, 黄博.  自适应上下文感知相关滤波跟踪 . 中国光学, doi: 10.3788/CO.20191202.0265
    [5] 王军, 何昕, 魏仲慧, 穆治亚, 吕游, 何家维.  基于区域滤波的模糊星图复原方法 . 中国光学, doi: 10.3788/CO.20191202.0321
    [6] 王春哲, 安军社, 姜秀杰, 邢笑雪.  基于卷积神经网络的候选区域优化算法 . 中国光学, doi: 10.3788/CO.20191206.1348
    [7] 耿庆田, 赵浩宇, 于繁华, 王宇婷, 赵宏伟.  基于改进HOG特征提取的车型识别算法 . 中国光学, doi: 10.3788/CO.20181102.0174
    [8] 骞微著, 杨立保.  基于小波神经网络的光纤陀螺误差补偿方法 . 中国光学, doi: 10.3788/CO.20181106.1024
    [9] 江山, 张锐, 韩广良, 孙海江.  复杂背景灰度图像下的多特征融合运动目标跟踪 . 中国光学, doi: 10.3788/CO.20160903.0320
    [10] 王力, 贾平, 张叶, 马天翔.  复杂地物条件下基于线特征的异源景象匹配 . 中国光学, doi: 10.3788/CO.20160901.0081
    [11] 郝志成, 吴川, 杨航, 朱明.  基于双边纹理滤波的图像细节增强方法 . 中国光学, doi: 10.3788/CO.20160904.0423
    [12] 王丽.  融合底层和中层字典特征的行人重识别 . 中国光学, doi: 10.3788/CO.20160905.0540
    [13] 王灿进, 孙涛, 李正炜.  基于快速轮廓转动力矩特征的激光主动成像目标识别 . 中国光学, doi: 10.3788/CO.20150805.0775
    [14] 王延东, 杨春雷, 董文辉.  SINS初始对准中光纤陀螺EMD滤波 . 中国光学, doi: 10.3788/CO.20150806.0933
    [15] 陈燕芹, 段锦, 祝勇, 钱小飞, 肖博.  基于纹理特征的图像复杂度研究 . 中国光学, doi: 10.3788/CO.20150803.0407
    [16] 王永红, 李骏睿, 孙建飞, 刘佩, 杨连祥.  散斑干涉相位条纹图的频域滤波处理 . 中国光学, doi: 10.3788/CO.20140703.0389
    [17] 吉淑娇, 朱明, 胡汉平.  基于特征点匹配的电子稳像技术 . 中国光学, doi: 10.3788/CO.20130606.841
    [18] 闫辉, 许廷发, 吴青青, 徐磊, 吴威.  多特征融合匹配的多目标跟踪 . 中国光学, doi: 10.3788/CO.20130602.0163
    [19] 刘伟宁.  基于小波域扩散滤波的弱小目标检测 . 中国光学,
    [20] 续志军, 洪喜, 于欣.  利用神经网络提高编码器精度的方法 . 中国光学,
  • 加载中
图(5) / 表 (2)
计量
  • 文章访问数:  17
  • HTML全文浏览量:  21
  • PDF下载量:  2
  • 被引次数: 0
出版历程

Gabor滤波融合卷积神经网络的路面裂缝检测方法

doi: 10.37188/CO.2020-0041
    基金项目:  天津市交通运输科技发展项目(No. 2019-03)
    作者简介:

    陈晓冬(1975—),男,浙江人,博士,教授,博士生导师,1996年、2002年于天津大学分别获得硕士、博士学位,主要从事光电成像与检测技术方向的研究。E-mail:xdchen@tju.edu.cn

    艾大航(1996—),男,山西人,硕士研究生,2017年于天津大学获得学士学位,主要从事智能交通图像处理技术的研究。E-mail:aidh@tju.edu.cn

  • 中图分类号: TP391.4

摘要: 针对神经网络难以从数据量较少、较单一的路面裂缝图像中提取有效特征的局限性,设计了一种融合Gabor滤波器的卷积神经网络模型(Gabor Filter Convolutional Neural Network,GF-CNN)以进行路面裂缝检测。GF-CNN模型首先将路面图像输入小型参数预测网络中,依据输入图像自适应地选取Gabor滤波器组的参数,并根据所预测参数构建滤波器组对初始路面图像进行滤波,得到Gabor纹理特征图。将纹理特征图输入至基于残差网络构建的特征分类网络中提取深层特征,并进行是否包含裂缝的判断。在GAPs路面图像数据集上的测试结果表明,GF-CNN模型的F1分数达到0.7137,优于其他路面图像检测方法。该模型通过融合纹理特征改善CNN特征提取能力,同时降低Gabor滤波器参数敏感性以提高模型泛化能力,对于路面裂缝图像具有良好的适用性。

English Abstract

陈晓冬, 艾大航, 张佳琛, 蔡怀宇, 崔克让. Gabor滤波融合卷积神经网络的路面裂缝检测方法[J]. 中国光学. doi: 10.37188/CO.2020-0041
引用本文: 陈晓冬, 艾大航, 张佳琛, 蔡怀宇, 崔克让. Gabor滤波融合卷积神经网络的路面裂缝检测方法[J]. 中国光学. doi: 10.37188/CO.2020-0041
CHEN Xiao-Dong, AI Da-Hang, ZHANG Jia-Chen, CAI Huai-Yu, CUI Ke-Rang. Gabor filter fusion network for pavement crack detection[J]. Chinese Optics. doi: 10.37188/CO.2020-0041
Citation: CHEN Xiao-Dong, AI Da-Hang, ZHANG Jia-Chen, CAI Huai-Yu, CUI Ke-Rang. Gabor filter fusion network for pavement crack detection[J]. Chinese Optics. doi: 10.37188/CO.2020-0041
    • 路面裂缝作为道路路面病害的主要形式之一,不仅直接对道路安全构成威胁,同时可能成为其他道路病害的诱因。对路面裂缝进行及时检测与修复是道路养护的重要内容[1]。传统的人工检测方法[2]受主观因素影响较大,且劳动成本高,效率低,难以满足信息时效性的需求。基于图像的路面裂缝自动检测技术凭借其检测快速、成本低廉的特点成为主流的检测方法[3][4]。典型的裂缝检测方法包含阈值分割法、形态学方法和统计滤波方法等[5]。阈值分割法依据裂缝像素相对较暗的特征进行裂缝区域的提取,提取效果受阈值选取影响较大[6][7]。Oliveira等采用形态学滤波对裂缝图像进行预处理,依据图像的熵进行动态阈值分割,从而实现裂缝的识别,难以精确选取阈值的缺点使得该方法对复杂环境下路面处理效果较差[8]。路面图像阴影、光照不一致等多种因素的限制使得传统方法难以获得较高的检测精度。

      深度学习技术以其高效的学习能力在工程应用中受到了广泛关注[9-11]。全面、丰富的数据集是神经网络检测精度的重要保证,在训练样本数据充足的情况下,采用深度学习技术可有效提升复杂环境下的识别效果。Zhang等首次将卷积神经网络(Convolutional Neural Network,CNN)应用于路面裂缝自动检测,设计网络对路面图像进行分类,取得了高于SVM与Boosting算法的识别性能,但由于样本数据不足使得模型复杂度较低时仍易发生过拟合,影响检测效果[12]。Park等利用行车记录仪采集路面裂缝图像,降低路面检测成本的同时可获得更丰富的路面数据,采用全卷积神经网络提取采集图像中的路面区域,将路面区域裁切后输入至CNN进行裂缝区域的检测,但由于行车记录仪视野有限导致该方法检测精度相对较低[13]。Hiroya采用智能手机获取路面图像,并采用单阶段目标检测方法对多种路面病害进行识别,实现了移动设备上单帧图像处理时间1.5秒的检测速度,但同样由于设备视野限制,只能实现病害初步定位,精度有限[14]。为获取更高的检测精度,需采用专业路检设备进行数据采集,然而其高昂的成本导致难以获得丰富的数据,在数据量较少、数据较单一时,神经网络无法学习到有效的特征表示,泛化能力不足。相比于 CNN从数据中学习特征表示的方法,经典的视觉特征提取方法不依赖于数据且具有更明确的物理意义。Gabor滤波器是一种有效的图像纹理信息提取方法[15],在医学影像分割中具有广泛应用[16],路面图像与医学影像相似,同样具有高噪声、颜色单一及纹理丰富的特点,因此,Gabor滤波器也逐步应用至路面检测中。Medina等采用Gabor滤波器对混凝土隧道表面裂缝进行检测,采用遗传算法确定滤波器参数,但为获得具有方向一致性的特征图像将多方向滤波图像叠加,易导致不同方向信息混叠与丢失,降低识别精度[17]。Salman等将Gabor滤波器用于路面裂缝检测,通过试验确定滤波器参数并组合不同方向构建多个滤波器以提取道路裂缝特征,但采用由经验值确定的固定参数导致该方法鲁棒性较低[18]。Gabor滤波器使用涉及大量参数的选取,恰当的参数设置是有效提取纹理信息的关键。

      基于上述研究,为解决路面图像数据量不足的情况下,CNN难以学习有效特征表示的问题,综合利用Gabor滤波器纹理特征提取能力以及CNN高效的学习能力,先通过CNN自适应进行Gabor滤波器参数预测,从而构建Gabor滤波器组以提取Gabor纹理特征,再将Gabor特征经特征转换后与深度残差网络相连接,构造出一种融合Gabor滤波器的路面裂缝检测神经网络模型(Gabor Filter Convolutional Neural Network, GF-CNN)。采用GAPs数据集对GF-CNN模型进行端对端训练,实验分析自适应参数选取对识别效果的影响,并验证GF-CNN模型的有效性。

    • 深度学习(Deep Learning, DL)使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象,具有优异的特征学习能力,在各个领域中有着广泛应用。CNN是典型的DL模型,常被用于图像识别任务中。CNN常利用卷积层和池化层的组合进行特征提取,通过构建深层的卷积网络获得图像的抽象特征,Karen等提出的VGGNet模型验证了网络结构深度的增加可以提升模型性能[19]。而网络深度增加也使得模型参数量显著上升,复杂度提高,消耗更多计算资源,同时也导致训练模型时更易出现过拟合问题。在路面病害检测问题中,通常采用专业路检设备进行图像数据采集,受成本因素限制,难以获取丰富的路面图像数据,同时路面图像高噪声的特点,均使得具有深层结构的CNN过度拟合了噪声等不具有代表性的特征,不易学习训练样例中的有效特征。

    • 与CNN从数据中学习特征表示的方法不同,经典的人工视觉特征提取方法不依赖于数据且具有更明确的物理意义。由于路面图像具有颜色单一,路面病害形状、大小不规则,噪声高等特点,难以利用颜色、几何特征等进行检测,纹理特征是识别路面病害的主要判别依据,因此主要提取图像纹理特征进行检测。

      Gabor滤波器[20]是一种有效的空间局部纹理特征提取工具,其实质是一种窗函数为高斯函数的短时傅里叶变换。在空域中,二维Gabor滤波器为一个由高斯包络调制的正弦平面波,可以对二维信息进行局部、定向的频率分析,从而实现纹理信息的提取。Gabor核函数的复数形式定义如下式:

      $$G\left( {x,y} \right) = {g_{\sigma ,\gamma }}\left( {x,y} \right)\exp \left[ {i\left( {2\pi \frac{{x'}}{\lambda } + \psi } \right)} \right],$$ (1)
      $${g_{\sigma ,\gamma }}\left( {x,y} \right) = \exp \left[ { - \frac{1}{2}\left( {\frac{{x{'^2} + {\gamma ^2}y{'^2}}}{{{\sigma ^2}}}} \right)} \right],$$ (2)
      $$x' = x\cos \theta + y\sin \theta ,$$ (3)
      $$y' = - x\sin \theta + y\cos \theta ,$$ (4)

      式中,x,y是空域中像素坐标,λ为正弦函数的波长,θ为正弦函数方向与x轴夹角,即为Gabor核函数方向,ψ为正弦函数相位偏移,σ为高斯函数标准差,γ代表Gabor核函数的椭圆度,γ越接近于1,Gabor核函数越接近圆形。

      5个参数中,调整λ可改变 Gabor滤波器平面波波长以实现多尺度检测,调整θ可改变滤波器正弦波方向以实现多方向检测。为得到对图像更为全面的纹理表示,通常将多个不同参数的Gabor滤波器组合成一个滤波器组,分别提取不同尺度、不同方向的纹理特征[21],Gabor滤波器组各个参数的设置会对其特征提取能力产生重要影响两条直线间的夹角、圆的直径、面积,矩形的面积等。

    • CNN优势之一在于其可以通过训练的方式学习卷积核中参数的具体值,采用大量数据训练时可获得高效的特征提取能力。对比CNN所学习卷积核参数与Gabor核函数,以经典卷积神经网络AlexNet[22]在ImageNet[23]数据集上训练结果为例,AlexNet所学习的第一层卷积层参数可视化如图1(a)所示,图1(b)为一组典型Gabor滤波器,直观对比可以发现,AlexNet通过训练所学习的第一层卷积核中部分卷积核与Gabor滤波器卷积核相似[24],为进一步分析二者卷积核相似性,构建与AlexNet首层卷积核尺寸相同的Gabor滤波器组,并将二者卷积核矩阵转化为一维向量进行相似性分析,采用余弦相似度作为相似性度量方式,余弦相似度计算方法如下式:

      $$C = \frac{{{{A}} \cdot {{G}}}}{{\left| {{A}} \right| \cdot \left| {{G}} \right|}} = \frac{{\displaystyle\sum\nolimits_n^{i = 1} {\left( {{a_i} \times {g_i}} \right)} }}{{\sqrt {\displaystyle\sum\nolimits_n^{i = 1} {a_i^2} } \times \sqrt {\displaystyle\sum\nolimits_n^{i = 1} {g_i^2} } }},$$ (5)

      式中,A为AlexNet卷积核参数向量,G为Gabor滤波器卷积核参数向量,n为参数数目,aigi分别为二者的第i个元素。将192个AlexNet卷积核参数向量与40个Gabor滤波器卷积核参数向量进行组合计算余弦相似度,最终所得余弦相似度均值为0.853,说明二者具有较高的相似性,表明神经网络具有学习相似特征的趋势。因此可采用Gabor滤波器作为CNN初始特征提取层,针对性提取图像纹理信息。

      图  1  CNN卷积核与Gabor滤波器

      Figure 1.  CNN filters and Gabor filters

      将Gabor滤波器与CNN相融合,同时可利用CNN的高效学习能力,依据图像数据自适应选取Gabor滤波器参数,提高鲁棒性。人为选取参数时,通常选取多个参数λθ构成滤波器组进行特征提取,以尽可能全面地覆盖不同尺度、方向的纹理信息。通过神经网络自适应选取滤波器参数,可结合数据集图像纹理特性选取参数,但针对性选取参数会使得滤波器组检测尺度、方向的覆盖范围减少,导致对特殊样本的检测能力降低,需对自适应参数的选取进行合理选择。

      Gabor滤波器所包含的λθψσγ五个参数中。λ、σ分别调整核函数波长与方差,属于尺度类参数,θψγ分别调整核函数方向、相位与椭圆度,属于方向类参数。分析路面图像数据,由沥青路面颗粒引起的背景噪声等与裂缝等路面病害尺度相近,网络自适应选取尺度类参数难以进行有效区分,反而会引起Gabor滤波器提取路面裂缝纹理特征能力降低,进而导致模型识别精度降低。而相比于背景噪声,路面裂缝具有明显的方向性,自适应选取方向类参数可以获得更高的识别精度。经实验分析,参数λσ依据经验选取,参数θψγ通过CNN进行选取,多参数协同自适应以提取更为鲁棒的Gabor纹理特征。

    • 本文设计一种Gabor滤波融合卷积神经网络模型GF-CNN进行路面裂缝检测。算法流程如图2所示。该网络主要包含Gabor特征提取子网络与特征分类子网络两部分:首先,将路面图像输入Gabor特征提取子网络中,通过参数预测网络进行自适应参数选取,根据所预测参数构建Gabor滤波器组并对初始路面图像进行滤波,得到多通道Gabor纹理特征,将纹理特征输入至特征分类子网络中,经过特征转换后进入残差网络,针对是否包含裂缝进行分类并输出识别结果。

      图  2  GF-CNN网络结构图

      Figure 2.  GF-CNN network structure

    • Gabor特征提取子网络融合Gabor滤波器与神经网络提取自适应纹理特征,其关键在于Gabor滤波器参数的预测和基于参数进行滤波器构建。首先将原始图像输入Gabor参数预测网络以获取自适应的滤波器参数,Gabor参数预测网络由3个卷积层、3个池化层、4个激活层以及1个全连接层组成,各层特征图尺寸等参数由输入图像大小及所预测Gabor滤波器数量及参数量决定。以输入图像大小64×64像素,输出32个Gabor滤波器的3个参数为例,网络结构详细参数见表1

      表 1  Gabor参数预测网络结构

      Table 1.  Parameter prediction network structure

      名称类型步长/像素输出特征图尺寸特征图通道数
      输入层64×641
      卷积层Conv 7×7164×648
      激活层ReLU64×648
      最大池化层2×2232×328
      卷积层Conv 3×3132×3216
      激活层ReLU32×3216
      最大池化层2×2216×1616
      卷积层Conv 3×3116×1632
      激活层ReLU16×1632
      最大池化层2×228×832
      全连接层96
      激活层Sigmoid96

      研究表明,采用较大的卷积核有利于网络提取路面图像中裂缝的结构信息并降低其他噪声的影响[25],因此第一层卷积层采用7×7卷积核。在Gabor参数预测网络中,每个卷积层后均加入Batch Normalization(BN)层[26]以提高网络泛化能力,加快训练速度,并采用ReLU作为激活函数。最后全连接层输出特征维度为96,并采用Sigmoid作为激活函数,减弱输出值波动的影响,同时限制输出值范围在(0,1)内,将96个特征值划分为3组,每组32个,分别对应于32个Gabor滤波器的3个参数,并将各个特征值映射至相应参数的合理范围内,得到参数值。

      根据参数预测网络所获取的多组自适应参数进行Gabor滤波器的构建。由96个参数共构建32个不同的Gabor滤波器,滤波器大小设置为15×15像素,对64×64路面图像进行滤波以提取纹理特征,得到与原图像大小相同的32通道的纹理特征图。

    • 特征分类子网络将Gabor纹理特征图作为输入,依据路面图像是否包含裂缝进行分类。基于Gabor纹理特征进行分类存在两点问题:首先,由于Gabor纹理特征通道数与所构建滤波器数目有关,通道数目过多将导致后续网络计算量增加,其次,由于路面裂缝方向具有随机性,有限数目的Gabor滤波器难以覆盖各个方向,导致相关裂缝信息丢失。本文算法通过1×1卷积层进行特征转换以解决上述问题。Gabor纹理特征通过1×1卷积层将输出特征统一至16通道,可避免通道数目过多引起的计算量增加。同时由于Gabor滤波器组具有方向可调特性,即任意方向的Gabor滤波器可由一组基滤波器的线性组合表示,通过1×1卷积层将已提取的多方向Gabor特征进行线性组合,可得到任意方向的Gabor纹理特征,弥补由滤波器覆盖方向不足引起的裂缝信息丢失。Gabor纹理特征经过特征转换后输入至后续网络进行分类。

      后续特征分类子网络是基于残差网络ResNet[27]进行构建的。ResNet主要思想是通过跳跃连接将前一层输出与当前层输出相叠加,使网络学习二者间的残差映射,残差映射相比原始映射更易优化,可以有效减轻梯度消失或爆炸的问题,同时跳跃连接也将浅层特征信息传递至更深层网络中,可解决深层网络退化的问题,使得模型准确率有效提升。

      特征分类子网络由2个卷积层,1个池化层,6个残差模块以及2个全连接层组成,网络结构如图3所示。其中,第3、5个残差模块中首个卷积层采用步长为2的卷积实现下采样。同样,每个卷积层后连接BN层以加快网络训练速度。全连接层输出为2,用以对图像进行二分类。最后通过SoftMax层输出图像块是否包含裂缝的预测概率。

      图  3  特征分类子网络结构

      Figure 3.  Classification module network structure

    • 为评价本文方法的路面裂缝检测性能,本节在GAPs数据集[28]上进行实验测试,并将GF-CNN模型与多种裂缝检测方法进行对比分析。本文实验程序使用Python语言,基于Pytorch深度学习框架开发,程序运行环境为Intel I9-7980xe处理器,NVIDIA GeForce RTX 2080Ti显卡,RAM 32 GB。

    • 实验采用数据集为德国伊尔梅瑙科技大学所提供的GAPs数据集,该数据集的路面图像通过道路检测系统所搭载的配有同步高性能照明单元的两台单色相机捕获,图像分别来自三条不同的德国联邦道路,采集图像分辨率为1920×1080像素,共采集1969幅灰度图像,划分为1418幅训练集图像、51幅验证集图像和500幅测试集图像。将所采集图像划分为64×64图像块后,通过人工对路面病害进行标注,病害类型包含裂缝、坑槽、路面修补等,其中裂缝为主要的病害类型。依据是否包含路面病害将图像块分为两类,作为数据标签。

      训练过程采用批次训练,每个样本批次包含256个路面图像块,损失函数为交叉熵,采用Adam优化器进行训练,参数设置为β1为0.9,β2为0.999,ε为10-8,初始学习率为0.001,每迭代2个周期,学习率衰减至50%,模型中卷积层使用MSRA初始化方法,同时使用L2正则化防止模型过拟合,衰减系数为0.002。

    • 为评估GF-CNN模型有效性,对路面图像测试结果进行分析。将GAPs测试集中完整路面图像样例分块检测,测试结果如图4所示,图中红色边框表示该图像块包含裂缝的预测概率高于50%,可以看出,GF-CNN模型对裂缝区域具有良好的检测效果,但也存在少数无缺陷路面图像块误检的情况。

      图5显示了测试图像块样例及其包含裂缝的预测概率。其中,第一、二行为包含裂缝图像块,第三、四行为不含裂缝图像块,分析检测结果,GF-CNN模型对于照明良好,视野居中的裂缝具有优异的识别性能,预测概率在90%左右,当裂缝位置偏移,仅出现在图像块边缘时,预测概率降低,但仍能有效识别,但处理照明极差、模糊的图像块时则出现漏检的可能性。对于无缺陷图像块,误检主要由路面斑块、车道线接缝等原因导致。上述结果表明GF-CNN模型具有良好的路面裂缝检测性能。

      图  4  完整路面图像检测结果

      Figure 4.  Detection results of the complete road image

      图  5  路面图像块检测结果

      Figure 5.  Detection results of the road image blocks

    • 将GF-CNN模型与多种裂缝检测方法进行比较。其中包含基于传统图像处理方法的CrackIT[29]、基于经典CNN的路面裂缝检测模型ASINVOS[28]以及残差网络模型ResNet[27]进行比较。采用精度、召回率及F1分数对模型性能进行评估,实验结果见表2。由于路面图像样本中,包含路面裂缝的图像块数量远远少于无病害路面图像块数量,正负样本分布不均衡,导致不同模型准确率指标差异较小,F1分数更能有效的体现模型性能差异。分析实验结果可知,ASINVOS、ResNet及GF-CNN等基于神经网络的检测模型,多项指标均显著优于CrackIT,且CrackIT对参数选择十分敏感,导致该方法泛化能力较差。基于神经网络的检测模型中,ASINVOS参数量较小,较浅层的网络对裂缝特征的表达能力较低,因此模型性能相对较低,与本文所提出模型的参数量相接近的ResNet模型通过残差结构提取更深层特征,模型性能高于ASINVOS,本文所提出的GF-CNN通过增强模型对纹理信息的敏感度,取得了更好的识别效果,对路面检测问题具有良好的适用性。

      表 2  裂缝检测模型对比实验结果

      Table 2.  Comparison of crack detection models

      精度召回率F1
      CrackIT0.46940.53940.4882
      ASINVOS0.61130.49940.5497
      ResNet0.68370.57500.6246
      GF-CNN0.80030.64410.7137
    • 针对路面裂缝数据较少、较单一时神经网络特征提取能力有限的问题,本文提出了一种Gabor滤波器融合卷积神经网络的路面裂缝检测模型GF-CNN。该算法通过神经网络自适应学习Gabor滤波器参数,改善由固定参数引起的泛化能力不足的问题,同时利用Gabor滤波器的特征提取能力增强模型对纹理信息的敏感度,实现对路面裂缝的识别。在GAPs数据集上的评估结果表明,GF-CNN模型F1分数达到0.71,具有更高的识别性能,对于以纹理特征为主的路面图像具有更好的适用性。目前算法仅实现对路面病害图像块的判别与定位,后续可通过结合全卷积神经网络进行裂缝像素级分割方法的研究。

参考文献 (29)

目录

    /

    返回文章
    返回