留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

多尺度窗口的自适应透射率修复交通图像去雾方法

黄鹤 李昕芮 宋京 王会峰 茹锋 盛广峰

黄鹤, 李昕芮, 宋京, 王会峰, 茹锋, 盛广峰. 多尺度窗口的自适应透射率修复交通图像去雾方法[J]. 中国光学, 2019, 12(6): 1311-1320. doi: 10.3788/CO.20191206.1311
引用本文: 黄鹤, 李昕芮, 宋京, 王会峰, 茹锋, 盛广峰. 多尺度窗口的自适应透射率修复交通图像去雾方法[J]. 中国光学, 2019, 12(6): 1311-1320. doi: 10.3788/CO.20191206.1311
HUANG He, LI Xin-rui, SONG Jing, WANG Hui-feng, RU Feng, SHENG Guang-feng. A traffic image dehaze method based on adaptive transmittance estimation with multi-scale window[J]. Chinese Optics, 2019, 12(6): 1311-1320. doi: 10.3788/CO.20191206.1311
Citation: HUANG He, LI Xin-rui, SONG Jing, WANG Hui-feng, RU Feng, SHENG Guang-feng. A traffic image dehaze method based on adaptive transmittance estimation with multi-scale window[J]. Chinese Optics, 2019, 12(6): 1311-1320. doi: 10.3788/CO.20191206.1311

多尺度窗口的自适应透射率修复交通图像去雾方法

doi: 10.3788/CO.20191206.1311
基金项目: 

国家重点研发计划项目 2018YFB1600600

"十三五"装备预研领域基金 61403120105

陕西省自然科学基础研究计划面上项目 2019JM-611

陕西省创新人才推进计划-青年科技新星项目 2019KJXX-028

陕西省交通运输厅科技项目 17-33T

陕西省交通运输厅科技项目 17-16K

长安大学中央高校基本科研业务费专项资金项目 300102328204

长安大学中央高校基本科研业务费专项资金项目 300102329401

长安大学中央高校基本科研业务费专项资金项目 300102329502

详细信息
    作者简介:

    黄鹤(1979—), 男, 河南南阳人, 副教授, 2002年、2006年、2010年于西北工业大学分别获得学士、硕士和博士学位, 2010-2012年在西北工业大学自动化学院从事博士后工作, 专业为控制科学与工程, 现为长安大学电子与控制与工程学院教师, E-mail:8793141@qq.com

    李昕芮(1993—), 女, 甘肃庆阳人, 硕士研究生, 2017年于南京工程学院获得学士学位, 主要从事图像处理、机器视觉方面的研究。E-mail:1076359350@qq.com

  • 中图分类号: TP391.41

A traffic image dehaze method based on adaptive transmittance estimation with multi-scale window

Funds: 

National Key Research and Development Program of China 2018YFB1600600

"13th Five-Year" Equipment Pre-research Fund 61403120105

Natural Science Basic Research Plan in Shaanxi Province 2019JM-611

Shaanxi Province Innovative Talent Promotion Plan-Youth Science and Technology New Star Project 2019KJXX-028

Science and Technology Projects of Shaanxi Transportation Department 17-33T

Science and Technology Projects of Shaanxi Transportation Department 17-16K

the Fundamental Research Funds for the Central Universities in Chang′an University 300102328204

the Fundamental Research Funds for the Central Universities in Chang′an University 300102329401

the Fundamental Research Funds for the Central Universities in Chang′an University 300102329502

More Information
  • 摘要: 基于传统暗原色先验原理的图像去雾算法存在的"halo"效应,且图像中明亮区域存在颜色失真现象,针对此问题,本文提出了多尺度窗口的自适应透射率修复交通图像去雾方法。首先,利用新的8方向边缘检测算子求取图像中景深突变区域,根据暗通道先验理论和前一步求得的景深突变区域,在景深变化较大区域使用5×5的窗口,景深变化较小区域则使用15×15的窗口得到暗原色估计图。同时,针对暗通道先验原理对近景部分存在白色区域时透射率估计不准确的问题,引入了自适应透射率修复方法,通过引导滤波器得到边缘增强后的暗原色图像,并利用其与原暗原色图像的纹理差对近景区域的透射率进行修正,完成图像去雾。实验结果表明:双边滤波和梯度双边滤波两种算法均存在halo现象,并且在包含白色物体的明亮区域色彩失真严重,客观评价指标失去意义;相比于引导滤波,本文去雾算法的各项指标均有所提高,其中平均梯度平均提高了8.305%,PSNR平均提高了12.455%,边缘强度因子平均提高了7.77%。本文算法有效解决了复原图像中"halo"效应现象和明亮区域颜色失真现象,去雾效果最优。
  • 图  1  雾霾颗粒对成像影响示意图

    Figure  1.  Schematic diagram of effects of haze particles on imaging

    图  2  传统暗原色估计去雾前后图像

    Figure  2.  Images before and after defogging by traditional dark priori image defogging algorithm

    图  3  新的8方向边缘检测算子图

    Figure  3.  Diagram of new 8-direction edge detection operator

    图  4  4种边缘算子的检测结果

    Figure  4.  Detection results of 4 kinds of edge operators

    图  5  基于多尺度窗口的自适应暗原色估计算法的实验结果

    Figure  5.  Experimental results of adaptive dark estimation algorithm with multi-scale window

    图  6  本文算法流程图

    Figure  6.  Flowchart of proposed algorithm

    图  7  4种方法对第一组图像处理结果

    Figure  7.  Defogging results of the first set of image by 4 kinds of algorithms

    图  8  4种方法对第二组图像的处理结果

    Figure  8.  Defogging effects of the second set of image by 4 kinds of algorithms

    表  1  两种算法的时间复杂度

    Table  1.   Consuming times of two kinds of algorithms

    算法名称 时间(s)
    插值抠图算法 10.732
    多尺度算法 0.304
    下载: 导出CSV

    表  2  第一组实验结果的定量评价结果

    Table  2.   Evaluation indexes of the first set of experimental results

    算法 图片 平均梯度 信息熵 边缘强度因子 PSNR 模糊系数
    双边滤波 图 7(c) 5.474 13.780 54.224 26.006 1.594
    梯度双边滤波 图 7(d) 4.584 13.014 45.395 26.511 1.359
    引导滤波 图 7(e) 3.818 12.013 37.704 24.274 1.181
    本文算法 图 7(f) 4.251 12.858 42.553 29.151 1.225
    下载: 导出CSV

    表  3  第二组实验结果的定量评价结果

    Table  3.   Evaluation indexes of the second set of experimental results

    算法 图片 平均梯度 信息熵 边缘强度因子 PSNR 模糊系数
    双边滤波 图 8(c) 2.592 10.272 24.779 24.126 1.155
    梯度双边滤波 图 8(d) 3.913 12.355 38.262 24.415 1.587
    引导滤波 图 8(e) 3.717 12.083 36.390 24.378 1.524
    本文算法 图 8(f) 3.913 12.719 37.364 25.554 1.554
    下载: 导出CSV
  • [1] SINGH D, KUMAR V. Single image haze removal using integrated dark and bright channel prior[J]. Modern Physics Letters B, 2018, 32(4):1850051. doi:  10.1142/S0217984918500513
    [2] FATTAL R. Single image dehazing[J]. ACM Transactions on Graphics, 2008, 27(3):72. http://d.old.wanfangdata.com.cn/Periodical/jsjyjyfz201012013
    [3] ZHANG Z, FENG W, WANG T, et al.. An improved aerial remote sensing image defogging method based on dark channel prior information[C]. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, ISPRS, 2017.
    [4] TAN K, OAKLEY J P. Enhancement of color images in poor visibility conditions[C]. Proceedings 2000 International Conference on Image Processing, IEEE, 2000: 788-791.
    [5] NARASIMHAN S G, NAYAR S K. Contrast restoration of weather degraded images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(6):720-724. http://d.old.wanfangdata.com.cn/OAPaper/oai_doaj-articles_429f21ea83a55d2761e1aa45a29e1537
    [6] LI Z G, ZHENG J H, YAO W, et al.. Single image haze removal via a simplified dark channel[C]. 2015 IEEE International Conference on Acoustics, Speech and Signal Processing, IEEE, 2015.
    [7] HE K M, SUN J, TANG X O. Single image haze removal using dark channel prior[C]. 2009 IEEE Conference on Computer Vision and Pattern Recognition, 2009: 1956-1963.
    [8] 黄大荣, 方周, 赵玲.一种改进的结合边缘检测的去雾新方法[J].上海交通大学学报, 2015, 49(6):861-867. http://d.old.wanfangdata.com.cn/Periodical/shjtdxxb201506021

    HUANG D R, FANG ZH, ZHAO L. An improved defogging algorithm combined with edge detection[J]. Journal of Shanghai Jiaotong University, 2015, 49(6):861-867.(in Chinese) http://d.old.wanfangdata.com.cn/Periodical/shjtdxxb201506021
    [9] 石文轩, 詹诗萦, 李婕.一种边缘优化的暗通道去雾算法[J].计算机应用研究, 2013, 30(12):3854-3856, 3862. doi:  10.3969/j.issn.1001-3695.2013.12.088

    SHI W X, ZHAN SH Y, LI J. Dark channel prior dehazing algorithm based on edge optimization[J]. Application Research of Computers, 2013, 30(12):3854-3856, 3862.(in Chinese) doi:  10.3969/j.issn.1001-3695.2013.12.088
    [10] 杨红, 崔艳.基于开运算暗通道和优化边界约束的图像去雾算法[J].光子学报, 2018, 47(6):238-244. http://d.old.wanfangdata.com.cn/Periodical/gzxb201806028

    YANG H, CUI Y. Image defogging algorithm based on opening dark channel and improved boundary constraint[J]. Acta Photonica Sinica, 2018, 47(6):238-244.(in Chinese) http://d.old.wanfangdata.com.cn/Periodical/gzxb201806028
    [11] VERMA O P, PARIHAR A S. An optimal fuzzy system for edge detection in color images using bacterial foraging algorithm[J]. IEEE Transactions on Fuzzy Systems, 2017, 25(1):114-127. doi:  10.1109/TFUZZ.2016.2551289
    [12] SIDOR K, SZLACHTA A. The impact of the implementation of edge detection methods on the accuracy of automatic voltage reading[J]. Measurement Science Review, 2017, 17(2):93-99. doi:  10.1515/msr-2017-0012
    [13] LIU Y, CHENG M M, HU X W, et al.. Richer convolutional features for edge detection[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition, IEEE, 2017.
    [14] 汪贵平, 宋京, 杜晶晶, 等.基于改进梯度相似度核的交通图像去雾算法[J].中国公路学报, 2018, 31(6):264-271, 280. doi:  10.3969/j.issn.1001-7372.2018.06.013

    WANG G P, SONG J, DU J J, et al.. Haze defogging algorithm for traffic images based on improved gradient similarity kernel[J]. China Journal of Highway and Transport, 2018, 31(6):264-271, 280.(in Chinese) doi:  10.3969/j.issn.1001-7372.2018.06.013
    [15] 黄鹤, 宋京, 郭璐, 等.基于新的中值引导滤波的交通视频去雾算法[J].西北工业大学学报, 2018, 36(3):414-419. doi:  10.3969/j.issn.1000-2758.2018.03.002

    HUANG H, SONG J, GUO L, et al.. A novel dehazing algorithm based on median guide filter for traffic video[J]. Journal of Northwestern Polytechnical University, 2018, 36(3):414-419.(in Chinese) doi:  10.3969/j.issn.1000-2758.2018.03.002
    [16] 邓莉.针对明亮区域的自适应全局暗原色先验去雾[J].光学 精密工程, 2016, 24(4):892-901. http://d.old.wanfangdata.com.cn/Periodical/gxjmgc201604026

    DENG L. Adaptive image dehazing for bright areas based on global dark channel prior[J]. Opt. Precision Eng., 2016, 24(4):892-901.(in Chinese) http://d.old.wanfangdata.com.cn/Periodical/gxjmgc201604026
    [17] 徐伟, 陈彦彤, 朴永杰, 等.基于吉林一号遥感图像的星载目标快速识别系统[J].光学 精密工程, 2017, 25(1):255-262. http://d.old.wanfangdata.com.cn/Periodical/gxjmgc201701032

    XU W, CHEN Y T, PIAO Y J, et al.. Target fast matching recognition of on-board system based on Jilin-1 satellite image[J]. Opt. Precision Eng., 2017, 25(1):255-262. (in Chinese) http://d.old.wanfangdata.com.cn/Periodical/gxjmgc201701032
    [18] 李佳童, 章毓晋.图像去雾算法的改进和主客观性能评价[J].光学 精密工程, 2017, 25(3):735-741. http://d.old.wanfangdata.com.cn/Periodical/gxjmgc201703025

    LI J T, ZHANG Y J. Improvements of image haze removal algorithm and its subjective and objective performance evaluation[J]. Opt. Precision Eng., 2017, 25(3):735-741.(in Chinese) http://d.old.wanfangdata.com.cn/Periodical/gxjmgc201703025
  • [1] 朱枫, 张葆, 李贤涛, 晋超琼, 申帅.  跟踪微分器在陀螺信号去噪方面的应用 . 中国光学, 2017, 10(3): 355-362. doi: 10.3788/CO.20171003.0355
    [2] 王浩, 张叶, 沈宏海, 张景忠.  图像增强算法综述 . 中国光学, 2017, 10(4): 438-448. doi: 10.3788/CO.20171004.0438
    [3] 李枫, 赵岩, 王世刚, 陈贺新.  结合SIFT算法的视频场景突变检测 . 中国光学, 2016, 9(1): 74-80. doi: 10.3788/CO.20160901.0074
    [4] 许廷发, 苏畅, 罗璇, 卞紫阳.  基于梯度和小波变换的水下距离选通图像去噪 . 中国光学, 2016, 9(3): 301-311. doi: 10.3788/CO.20160903.0301
    [5] 郝建坤, 黄玮, 刘军, 何阳.  空间变化PSF非盲去卷积图像复原法综述 . 中国光学, 2016, 9(1): 41-50. doi: 10.3788/CO.20160901.0041
    [6] 许佳佳.  结合Harris与SIFT算子的图像快速配准算法 . 中国光学, 2015, 8(4): 574-581. doi: 10.3788/CO.20150804.0574
    [7] 柯洪昌, 孙宏彬.  图像序列的显著性目标区域检测方法 . 中国光学, 2015, 8(5): 768-774. doi: 10.3788/CO.20150805.0768
    [8] 阎春生, 廖延彪, 田芊.  层析成像图像重建算法综述 . 中国光学, 2013, 6(5): 617-632. doi: 10.3788/CO.20130605.0617
    [9] 阎雪飞, 许廷发, 白廷柱.  改进的固定点图像复原算法 . 中国光学, 2013, 6(3): 318-324. doi: 10.3788/CO.20130603.0318
    [10] 吴笑天, 鲁剑锋, 贺柏根, 吴川, 朱明.  雾天降质图像的快速复原 . 中国光学, 2013, 6(6): 892-899. doi: 10.3788/CO.20130606.892
    [11] 杜小平, 刘明, 夏鲁瑞, 陈杭.  基于光谱角累加的高光谱图像异常检测算法 . 中国光学, 2013, 6(3): 325-331. doi: 10.3788/CO.20130603.0325
    [12] 刘希佳, 陈宇, 王文生, 刘柱.  小目标识别的小波阈值去噪方法 . 中国光学, 2012, 5(3): 248-256. doi: 10.3788/CO.20120503.0248
    [13] 陶李, 王珏, 邹永宁, 伍立芬, 王慧倩.  改进的Zernike矩工业CT图像边缘检测 . 中国光学, 2012, 5(1): 48-56. doi: 10.3788/CO.20120501.0048
    [14] 朱明, 高文, 郭立强.  压缩感知理论在图像处理领域的应用 . 中国光学, 2011, 4(5): 441-447.
    [15] 袁理, 叶露, 贾建禄.  基于Hough变换的椭圆检测算法 . 中国光学, 2010, 3(4): 379-384.
    [16] 李渊渊, 孟伟.  一种用硬件实现的Bayer格式图像恢复算法 . 中国光学, 2009, 2(6): 538-542.
    [17] 王德俊, 王建立, 阴玉梅, 王鸣浩.  基于FPGA的近红外实时透雾成像方法 . 中国光学, 2009, 2(5): 445-451.
    [18] 沈洪亮, 刘金国, 吕世良.  基于PCI总线的多通道图像数据高速采集 . 中国光学, 2009, 2(5): 438-444.
    [19] 刘春香, 李洪祚.  实时图像增强算法研究 . 中国光学, 2009, 2(5): 395-401.
    [20] 陈 娟, 陈乾辉, 师路欢, 吴建军.  图像跟踪中的边缘检测技术 . 中国光学, 2009, 2(1): 46-53.
  • 加载中
图(8) / 表 (3)
计量
  • 文章访问数:  256
  • HTML全文浏览量:  64
  • PDF下载量:  4
  • 被引次数: 0
出版历程
  • 收稿日期:  2018-12-17
  • 修回日期:  2019-02-07
  • 刊出日期:  2019-12-01

多尺度窗口的自适应透射率修复交通图像去雾方法

doi: 10.3788/CO.20191206.1311
    基金项目:

    国家重点研发计划项目 2018YFB1600600

    "十三五"装备预研领域基金 61403120105

    陕西省自然科学基础研究计划面上项目 2019JM-611

    陕西省创新人才推进计划-青年科技新星项目 2019KJXX-028

    陕西省交通运输厅科技项目 17-33T

    陕西省交通运输厅科技项目 17-16K

    长安大学中央高校基本科研业务费专项资金项目 300102328204

    长安大学中央高校基本科研业务费专项资金项目 300102329401

    长安大学中央高校基本科研业务费专项资金项目 300102329502

    作者简介:

    黄鹤(1979—), 男, 河南南阳人, 副教授, 2002年、2006年、2010年于西北工业大学分别获得学士、硕士和博士学位, 2010-2012年在西北工业大学自动化学院从事博士后工作, 专业为控制科学与工程, 现为长安大学电子与控制与工程学院教师, E-mail:8793141@qq.com

    李昕芮(1993—), 女, 甘肃庆阳人, 硕士研究生, 2017年于南京工程学院获得学士学位, 主要从事图像处理、机器视觉方面的研究。E-mail:1076359350@qq.com

  • 中图分类号: TP391.41

摘要: 基于传统暗原色先验原理的图像去雾算法存在的"halo"效应,且图像中明亮区域存在颜色失真现象,针对此问题,本文提出了多尺度窗口的自适应透射率修复交通图像去雾方法。首先,利用新的8方向边缘检测算子求取图像中景深突变区域,根据暗通道先验理论和前一步求得的景深突变区域,在景深变化较大区域使用5×5的窗口,景深变化较小区域则使用15×15的窗口得到暗原色估计图。同时,针对暗通道先验原理对近景部分存在白色区域时透射率估计不准确的问题,引入了自适应透射率修复方法,通过引导滤波器得到边缘增强后的暗原色图像,并利用其与原暗原色图像的纹理差对近景区域的透射率进行修正,完成图像去雾。实验结果表明:双边滤波和梯度双边滤波两种算法均存在halo现象,并且在包含白色物体的明亮区域色彩失真严重,客观评价指标失去意义;相比于引导滤波,本文去雾算法的各项指标均有所提高,其中平均梯度平均提高了8.305%,PSNR平均提高了12.455%,边缘强度因子平均提高了7.77%。本文算法有效解决了复原图像中"halo"效应现象和明亮区域颜色失真现象,去雾效果最优。

English Abstract

黄鹤, 李昕芮, 宋京, 王会峰, 茹锋, 盛广峰. 多尺度窗口的自适应透射率修复交通图像去雾方法[J]. 中国光学, 2019, 12(6): 1311-1320. doi: 10.3788/CO.20191206.1311
引用本文: 黄鹤, 李昕芮, 宋京, 王会峰, 茹锋, 盛广峰. 多尺度窗口的自适应透射率修复交通图像去雾方法[J]. 中国光学, 2019, 12(6): 1311-1320. doi: 10.3788/CO.20191206.1311
HUANG He, LI Xin-rui, SONG Jing, WANG Hui-feng, RU Feng, SHENG Guang-feng. A traffic image dehaze method based on adaptive transmittance estimation with multi-scale window[J]. Chinese Optics, 2019, 12(6): 1311-1320. doi: 10.3788/CO.20191206.1311
Citation: HUANG He, LI Xin-rui, SONG Jing, WANG Hui-feng, RU Feng, SHENG Guang-feng. A traffic image dehaze method based on adaptive transmittance estimation with multi-scale window[J]. Chinese Optics, 2019, 12(6): 1311-1320. doi: 10.3788/CO.20191206.1311
    • 雾霾天气下,受大气中悬浮微粒对光线散射折射作用的影响,获取的图像信息有一定衰减,严重影响了交通监控设备的可靠性[1-2]。因此,对于图像去雾算法的研究是一项非常有意义且具有挑战性的工作。

      目前,主流的图像去雾方法是基于物理模型的图像复原算法[3]。其中,Oakley和Tan[4]提出的方法都是建立在已知图像场景深度的基础上,含雾图像的详细深度信息都要依靠高精度测距设备获得,因此应用环境受到限制。Nayar和Narasimhan等人利用同一场景在不同天气下拍摄的图像来作为辅助信息获得复原图像[5],具有局限性。近年来,很多学者提出了依托先验知识或者单幅图像的去雾方法[6]。其中,He提出了暗原色先验理论,并结合软抠图算法,成功复原出清晰图像[7],但仍有不足:(1)由于图像中湖面、白色物体等明亮区域不满足暗原色先验条件,得到的大气光可能会存在误差,透射率偏小,复原图像中相应区域存在明显的光晕效应,即“halo”效应,导致目标和场景色彩失真;(2)使用软抠图算法修复透射图,时间复杂度和空间复杂度大幅提高,实时性较差。此后,诸多学者在此基础上提出了一些改进的去雾算法,如黄大荣等人[8]在求取暗原色图时将每个“块区域”的RGB 3个通道最小值替换为每个像素点3个通道的最小值,去除了最小值滤波,能有效消除光晕效应、降低时间复杂度,但复原图像清晰度较低。石文轩等人通过插值抠图法[9]对透射率进行优化,但计算稀疏矩阵导致运算量大大增加,比较耗时。此外,还有学者提出基于双阈值的明亮区域识别方法和透射率修正机制,然而明亮区域的判定条件需要人为设定参数,对于不同的图像鲁棒性较差。

      针对上述问题,本文对暗原色先验去雾方法进行改进,提出了一种基于多尺度窗口的透射率自适应的图像去雾算法。该算法可以保证计算时间和复原图像的质量,较好地解决了暗原色先验原理在明亮区域失效的问题,适用于处理各类不同场景的雾化图像。

    • 建立雾天图像降质模型,如图 1所示[10],包括:(1)由大气微粒对散射和吸收作用导致的衰减的场景目标反射光;(2)由悬浮微粒散射作用而参与成像的环境光。分析该模型可知雾霾颗粒对光线的作用以及对成像的影响。含雾图像的模型如下所示:

      (1)

      图  1  雾霾颗粒对成像影响示意图

      Figure 1.  Schematic diagram of effects of haze particles on imaging

      公式(1)包含入射光衰减模型和大气光成像模型,其中,可见光镜头采集得到的图像为L(x, y),即雾天降质图像,L0(x, y)e-kd(x, y)为入射光衰减模型,Ls为环境光亮度,e-kd(x, y)为透射分步率,Ls(1-e-kd(x, y))为大气光成像模型。

      大气微粒的散射致使一部分入射光不能到达镜头,造成了入射光衰减,L0(x, y)代表该点的场景反射光强度,入射光衰减率与场景点到接受装置的距离有关,式中d(x, y)表示场景深度,k为大气散射系数,其与波长λ及大气中微粒大小γ关系如公式(2)所示:

      (2)

      分析模型可知图像降质原因如下:由于雾霾颗粒尺寸(1~10 μm)远大于纯空气中的微粒尺寸(10-4 μm左右),而公式(2)中的大气散射系数又由微粒大小决定,又由于大气与不同颜色可见光的散射系数近似,导致可见光等量散射使雾霾呈灰白色,含雾图像也变得灰白不清。此外,由于雾霾微粒对光线散射影响较大,从入射光衰减模型L0(x, y)e-kd(x, y)可知,固有亮度受景深影响成指数衰减,导致图像亮度降低,同时雾霾微粒的散射和折射还会造成成像离焦模糊,故图像质量较差。

    • 雾天图像成像物理模型如下所示:

      (3)

      式中,I(x)表示含雾图像,J(x)表示场景反射光强度,t(x)为透射率,J(x)t(x)表示入射光衰减,A(1-t(x))表示大气光成像。其中t(x)与A均是未知项,故该方程求解是病态的,需给出先验条件才可求解。

      雾天图像复原即由雾化的降质图像反演得到清晰图像,式(3)经过变形可得到:

      (4)

      其中,c为{R, G, B}某一颜色通道,根据暗通道先验理论,估计透射率时,假设图像中局部区域的透射率是相同的,即在区域Ω内透射率取值相同,对等式两边取最小值,可得

      (5)

      根据不含雾图像的暗原色统计规律可知[7],即:

      (6)

      而大气光的值Ac相对大很多,即

      (7)

      得到透射率

      (8)

      可视为大气光Ac对含雾图像归一化后的暗通道图像,透射率取值为[0, 1]。由实际情况可知,即使在晴空下观察无穷远处的场景仍然会觉得有雾存在,这是由于距离远,光线发生散射、折射。添加控制去雾程度系数w可使透射率估计公式与实际相符,即:

      (9)

      根据经验取w=0.8。

      公式(9)仅完成了对透射率的粗估计,此时估计值存在块状效应,不够精确,需进行精细化处理,得到透射率的精确估计值:

      (10)

      式中,I(x, y)为含雾图像像素点,A为大气光值,J(x, y)为去雾后的像素点,t_d为精准透射率。图像中某些像素对应的透射率t(x)非常小,几乎为零,其衰减项J(x)t(x)也趋于零。这种情况下,若仍根据式(10)直接计算,透射率过小时,噪声信息将会被过度增强,且图像局部区域对比度会下降,导致图像偏白,故设透射率下限为t0,得到最终复原图像为

      (11)

      根据经验取t0=0.1。

    • 利用公式(9)进行透射率粗估计计算,图像斑块比较明显,即出现halo效应,复原图像目标和场景出现色彩失真,如图 2所示,图 2(b)天空与树木相交的边缘区域透射率(景深)变化大时产生光晕,导致失真。

      图  2  传统暗原色估计去雾前后图像

      Figure 2.  Images before and after defogging by traditional dark priori image defogging algorithm

    • 传统图像边缘检测算子采用的模板大都为两方向,其只能检测特定方向的边缘,当图像纹理较复杂时,边缘检测效果欠佳[11-13],因此本文设计了一种新的8方向边缘检测算子,以获取含雾图像的边缘。

      建立极坐标系,定义极轴方向为0方向,逆时针旋转45°为1方向,逆时针旋转90°为2方向,逆时针旋转135°为3方向,逆时针旋转180°为4方向,逆时针旋转225°为5方向,逆时针旋转270°为6方向,逆时针旋转315°为7方向。8方向边缘算子图如图 3所示。

      图  3  新的8方向边缘检测算子图

      Figure 3.  Diagram of new 8-direction edge detection operator

      针对图 2(a)进行边缘检测,比较Roberts算子、Sobel算子、Prewitt算子和本文边缘检测算子得到的含雾图像边缘,如图 4所示。

      图  4  4种边缘算子的检测结果

      Figure 4.  Detection results of 4 kinds of edge operators

      实验结果表明,相对于传统算子,8方向边缘检测算子能够提取更多的含雾图像边缘细节,获得比较细的图像边缘信息,区分度更好,边缘定位更准。

    • 若采用15×15固定模板求取暗通道时,当局部块区域内透射率值差异较大时,会形成明显斑块,导致复原图像中的目标和场景色彩失真。若采用5×5的固定模板求取暗通道时,因其模板小使得窗口时间复杂度更高,实时性较差。针对这一问题,本文提出了一种新的多尺度窗口,可以提高透射率估计的准确性,同时减少计算量。首先用8方向算子检测含雾图像的边缘细节,根据所在区域是否为景深突变区域来判断采用较大还是较小的窗口,然后对景深突变较大的区域采用较小的窗口计算其暗原色,对变换较小的区域采用较大的窗口计算其暗原色。本文根据大量的实验测试结果,取较小窗口为5×5,较大窗口为15×15。

      本文提出的基于多尺度窗口的自适应暗原色估计算法能够克服暗原色图在透射率突变区域的halo现象,且实时性较好,综合效果优于单独使用5×5模板或15×15模板的暗原色估计算法。

      图 5(b)可以看出,基于多尺度窗口的自适应暗原色估计算法能够有效消除halo效应,去雾效果优于传统暗原色估计方法。从表 1可知,该算法相对于插值抠图算法[9],效率提升了35倍。

      图  5  基于多尺度窗口的自适应暗原色估计算法的实验结果

      Figure 5.  Experimental results of adaptive dark estimation algorithm with multi-scale window

      表 1  两种算法的时间复杂度

      Table 1.  Consuming times of two kinds of algorithms

      算法名称 时间(s)
      插值抠图算法 10.732
      多尺度算法 0.304
    • 经过大量实验发现,在某些特殊情况下,基于暗通道先验去雾算法失效,主要表现为颜色过饱和或者某个颜色通道溢出[14-18]。通过统计观察可以发现失真区域常常包含一些明亮的近景区域,这些区域的透射率估计有一定偏差。基于暗原色先验去雾算法在这些区域失效,无论如何调整参数(滤波窗口大小等),得到的去雾图像失真均较为严重。根据透射率的估计方法将方程(9)变形为:

      (12)

      由于这些区域的像素值较高,不趋近于零,分母小于1,因此透射率的实际值要大于根据暗通道先验估计得到的数值。特别是当图像近景中存在较大的白色物体时,物体上的像素很有可能被选作整幅图像的光强,这时白色物体附近由于没有暗通道存在,滤波后Ic(y)的值将与Ac非常接近,如果仍然采用式(9)计算,那么得到的透射率估计值将接近于零,显然结果偏离实际,从而导致去雾图像失真。

    • 图像去雾算法的关键是估计透射率。估计方法通常是将归一化后的暗通道图像作为景深信息,将其进一步处理后用作透射率。但是如果近景场景中包含白色物体等明亮区域时,使用上述方法对这些区域进行透射率估计,则会发生偏差,从而导致复原图像失真。

      为此,本文提出了自适应透射率修复的图像去雾算法,即构造一个大气耗散函数,其能够自适应估计和修改透射率,从而有效解决了暗原色先验原理在图像明亮区域失效的问题,扩大了暗原色先验原理的适用范围,可以处理不同场景的雾化图像。

      首先,定义大气耗散函数:

      (13)

      对上式变形可得到透射率为:

      (14)

      由暗通道先验原理可知,暗原色图像中含有雾的浓度信息,即雾浓度较大的图像区域,所对应的暗原色图较亮;而雾的浓度与光线耗散程度相关,故可以认为暗原色图像中的明暗亮度与大气耗散程度相关。分别以含雾图像I的灰度图和暗原色图Jdark作为引导图像及待滤波图像,理论上就可以得到边缘增强后的暗原色图像V′:

      (15)

      假设原始图像近景区域较明亮,则其在暗原色图中得到的像素点也较明亮,相应地具有较大的散射函数值,因此会误以为该近景是有浓雾且景深较大的远景区域。因此要对式(15)进行修正,定义:

      (16)

      其中,Δc代表原暗原色图Jdark与边缘增强后的暗原色图像V′相差的纹理信息。由于近景区域纹理信息明显,所以相应的Δc值较大。定义修正后的大气散射函数为:

      (17)

      由公式(17)可以看出,修正后的大气散射函数对近景区域的散射函数值进行了一定程度的削弱,得到的散射函数值更为准确,更加符合实际情况。故可以通过公式(14)自适应估计和修改透射率。

    • 本文算法流程如图 6所示。

      图  6  本文算法流程图

      Figure 6.  Flowchart of proposed algorithm

      多尺度窗口的自适应透射率修复交通图像去雾方法的具体步骤如下:首先,利用8方向边缘检测算子检测输入含雾图像边缘;根据检测的边缘信息,判断图像中的景深突变区域。对景深突变区域使用5×5的窗口进行暗原色估计,对非景深突变区域使用15×15的窗口进行暗原色估计;其次,使用引导滤波器,将含雾图像I的灰度图作为引导图像;将暗原色图Jdark作为待滤波图像,根据公式(15)得到边缘增强的暗原色图像V′;利用式(16)、式(17)对得到的V′进行修正,得到修正后的大气散射函数V″;最后,将修正后的大气散射函数V″及大气光值A带入公式(14)中,得到透射率t(x),并将其带入公式(11)得到最终去雾图像。

    • 实验硬件采用GPU硬件平台—NVIDIA GeForce GTX1080TI,对含雾图像依次采用双边滤波算法、梯度双边滤波算法及引导滤波去雾算法及本文算法进行去雾处理,实验结果如图 7(彩图见期刊电子版)和图 8(彩图见期刊电子版)所示。

      图  7  4种方法对第一组图像处理结果

      Figure 7.  Defogging results of the first set of image by 4 kinds of algorithms

      引入了客观评价指标(平均梯度、信息熵、边缘强度因子、PSNR、模糊系数)对去雾效果进行客观评价(表 2表 3)。

      表 2  第一组实验结果的定量评价结果

      Table 2.  Evaluation indexes of the first set of experimental results

      算法 图片 平均梯度 信息熵 边缘强度因子 PSNR 模糊系数
      双边滤波 图 7(c) 5.474 13.780 54.224 26.006 1.594
      梯度双边滤波 图 7(d) 4.584 13.014 45.395 26.511 1.359
      引导滤波 图 7(e) 3.818 12.013 37.704 24.274 1.181
      本文算法 图 7(f) 4.251 12.858 42.553 29.151 1.225

      表 3  第二组实验结果的定量评价结果

      Table 3.  Evaluation indexes of the second set of experimental results

      算法 图片 平均梯度 信息熵 边缘强度因子 PSNR 模糊系数
      双边滤波 图 8(c) 2.592 10.272 24.779 24.126 1.155
      梯度双边滤波 图 8(d) 3.913 12.355 38.262 24.415 1.587
      引导滤波 图 8(e) 3.717 12.083 36.390 24.378 1.524
      本文算法 图 8(f) 3.913 12.719 37.364 25.554 1.554

      从主观上来看,图 7(c)7(d)虽对含雾图像有一定的复原效果,但在明亮区域处发生了较为严重的色彩失真;相比之下,图 7(e)7(f)在明亮区域则没有发生色彩失真,且图 7(f)色彩更为明亮,去雾效果更好。从图 8实验结果中也可以得到上述结论,相较于双边滤波去雾、梯度双边滤波去雾、引导滤波去雾,本文算法的去雾效果最好。

      图  8  4种方法对第二组图像的处理结果

      Figure 8.  Defogging effects of the second set of image by 4 kinds of algorithms

      表 2表 3的客观评价指标来看,本文算法优于引导滤波算法,虽然在一些指标上,双边滤波算法和梯度双边滤波算法优于本文算法,这可能是由于图 7图 8中包含白色物体的明亮区域色彩失真严重,导致双边滤波算法和梯度双边滤波算法的客观评价指标失效。综上所述,本文算法能够较好地解决halo效应,而且在景深边缘处提取了更多的边缘细节,去雾效果最优。

    • 本文设计了基于多尺度窗口和透射率自适应修复的图像去雾算法,有效消除了halo效应,同时解决了暗原色原理在近景区域存在白色物体时失效的问题,扩大了暗原色先验原理的适用范围,使其能够处理不同场景的雾化图像。实验结果表明,本文去雾算法的各项指标均优于引导滤波去雾算法,其中平均梯度平均提高了8.305%,PSNR平均提高了12.455%,边缘强度因子平均提高了7.77%,且可以克服双边滤波和梯度双边滤波算法的halo效应以及明亮区域色彩失真严重的问题,应用价值明显。

参考文献 (18)

目录

    /

    返回文章
    返回