留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

面向地物混杂背景的偏振光谱图像融合方法

李英超 赵喆浩 王祺 刘嘉楠 史浩东 付强 孙洪宇

李英超, 赵喆浩, 王祺, 刘嘉楠, 史浩东, 付强, 孙洪宇. 面向地物混杂背景的偏振光谱图像融合方法[J]. 中国光学(中英文). doi: 10.37188/CO.2023-0185
引用本文: 李英超, 赵喆浩, 王祺, 刘嘉楠, 史浩东, 付强, 孙洪宇. 面向地物混杂背景的偏振光谱图像融合方法[J]. 中国光学(中英文). doi: 10.37188/CO.2023-0185
LI Ying-chao, ZHAO Zhe-hao, WANG Qi, LIU Jia-nan, SHI Hao-dong, FU Qiang, SUN Hong-yu. Polarization spectral image fusion method for hybrid backgrounds of ground objects[J]. Chinese Optics. doi: 10.37188/CO.2023-0185
Citation: LI Ying-chao, ZHAO Zhe-hao, WANG Qi, LIU Jia-nan, SHI Hao-dong, FU Qiang, SUN Hong-yu. Polarization spectral image fusion method for hybrid backgrounds of ground objects[J]. Chinese Optics. doi: 10.37188/CO.2023-0185

面向地物混杂背景的偏振光谱图像融合方法

doi: 10.37188/CO.2023-0185
基金项目: 国家自然科学基金(No. 61890960)
详细信息
    作者简介:

    李英超(1966—),男,吉林长春人,工学博士,教授,博士生导师,主要从事多维度光学特性测试与探测技术,先进光学成像测试技术。E-mail:hsjlyc@163.com

    赵喆浩(1995—),男,内蒙古通辽人,硕士研究生,2017年于中北大学获得学士学位,主要从事光学设计,偏振成像等方面的研究。E-mail:2937428267@qq.com

  • 中图分类号: TP394.1;TH691.9

Polarization spectral image fusion method for hybrid backgrounds of ground objects

Funds: Supported by National Natural Science Foundation of China (No. 61890960)
More Information
  • 摘要:

    针对偏振光谱图像融合方法在地物混杂背景遥感探测中多尺度变换融合图像边缘轮廓细节模糊、对比度不佳的问题,采用一种基于非下采样轮廓波变换的稀疏表示与引导滤波器相结合的图像融合方法,以改善融合图像的质量和视觉效果。首先,该方法通过非下采样轮廓波变换对光谱图像和偏振图像进行多尺度多方向分解,进而将图像分解成不同子带内的特征信息。其次,低频子带采用稀疏表示融合,从而降低融合图像中物体对比度损失。此外,采用引导滤波器融合高频子带,达到增强图像轮廓细节信息的效果。最后,对低频与高频融合系数进行非下采样轮廓波逆变换最终得出融合图像。分析表明融合图像对比度相对于原始光谱图像与偏振度图像分别提升了54.5%和15.4%,更容易区分混杂背景下阴影中的物体。基于此方法对偏振光谱成像仪所采集的不同波长下的光谱与偏振图像进行融合,并实现真彩还原。真彩还原图像证明此融合方法在保留混杂背景下的环境信息的同时实现物体和背景区分,有效提高了偏振光谱遥感探测成像的图像质量,有助于提升偏振光谱遥感探测成像中图像信息的完整性和真实性,扩大其在复杂环境遥感探测和图像识别中的应用范围。

     

  • 图 1  NSCT分解示意图

    Figure 1.  Schematic diagram of NSCT decomposition

    图 2  基于NSCT的稀疏表示与引导滤波器的图像融合方法流程图

    Figure 2.  Flowchart of the fusion method discussed in this paper

    图 3  低频融合结果对比图

    Figure 3.  Comparison of low-frequency fusion results

    图 4  高频融合结果对比图

    Figure 4.  Comparison chart of high-frequency fusion results

    图 5  最终融合结果${{\boldsymbol{I}}_F}$

    Figure 5.  Final fusion result ${{\boldsymbol{I}}_F}$

    图 6  偏振光谱成像仪

    Figure 6.  Polarization spectral imaging system

    图 7  不同参数下的客观评价

    Figure 7.  Objective evaluation under different parameters

    图 8  参考方法与本文方法对比图

    Figure 8.  Comparison of the reference method and the proposed method

    图 9  四种波长下的不同融合方法的客观评价指标

    Figure 9.  Objective evaluation indexes of different fusion methods at four wavelengths

    图 10  不同融合方法对比图

    Figure 10.  Comparison of different fusion methods

    图 11  真彩图像对比图

    Figure 11.  True colour image comparison chart

    表  1  互信息MI与加权融合质量指数Qw两种客观评价指标评价结果

    Table  1.   Results of two objective evaluations of mutual information MI and weighted fusion quality index Qw

    评价
    指标
    融合规则
    区域方差匹配度 取平均 权重融合 稀疏表示
    MI 1.6685 1.4523 1.6238 1.9777
    Qw 0.6408 0.6324 0.7241 0.7822
    下载: 导出CSV

    表  2  结构信息相似度SSIM和边缘保持度Qab/f客观指标评价指标结果

    Table  2.   Evaluation metric results for structural information similarity SSIM and edge retention Qab/f objective metrics

    评价
    指标
    融合规则
    PCNN 边缘探测 绝对值取大 引导滤波
    SSIM 0.7354 0.6821 0.6378 0.7562
    Qab/f 0.5916 0.4481 0.4507 0.5988
    下载: 导出CSV

    表  3  系统指标

    Table  3.   System indicators

    性能指标 参数值
    波长范围 400 nm−900 nm
    光谱分辨率 优于2 nm
    F/# 3
    视场角 ±4.1°
    分辨率 2448*2048
    像元尺寸 3.45 μm*3.45 μm
    光学尺寸 2/3 inch
    帧率 36 fps@2448*2048
    下载: 导出CSV

    表  4  参考方法与本文方法的各分量融合图像评价指标

    Table  4.   The evaluation indexes of image fusion for each component of the reference method and the proposed method

    融合图像 评价指标
    MI SSIM Qab/f Qw
    参考方法I融合结果 2.7623 0.7182 0.6147 0.8367
    本文I融合结果 2.8031 0.7387 0.6393 0.8625
    参考方法DoLP融合结果 1.9765 0.6376 0.5733 0.7615
    本文DoLP融合结果 2.7342 0.7023 0.6142 0.8222
    参考方法AoP融合结果 1.6681 0.5679 0.4935 0.6138
    本文AoP融合结果 1.7437 0.6755 0.5883 0.7004
    下载: 导出CSV

    表  5  参考方法与本文方法的HSI伪彩色图像评价指标

    Table  5.   The evaluation indexes of HSI pseudo-colored images for the reference method and the proposed method

    融合图像 评价指标
    PSNR SSIM
    参考方法HSI融合结果 22.81dB 0.6431
    本文方法HSI融合结果 28.52dB 0.6947
    下载: 导出CSV

    表  6  不同融合方法结果评价指标

    Table  6.   Result evaluation indexes of different fusion methods

    融合方法 评价指标
    MI SSIM Qab/f Qw
    CNN 2.2343 0.6434 0.5662 0.7787
    GFF 1.7685 0.5862 0.5137 0.7507
    LP-SR 2.1132 0.6361 0.5354 0.7427
    CVT-SR 2.2356 0.6053 0.5833 0.7706
    NSCT-SR 2.5835 0.5965 0.5350 0.7582
    本文方法 2.7342 0.7023 0.6142 0.8222
    下载: 导出CSV

    表  7  PSNR\SSIM评价指标

    Table  7.   PSNR\SSIM evaluation index

    评价
    指标
    真彩图像
    原始真彩图像 融合后的真彩图像
    PSNR 33.72 dB 36.87 dB
    SSIM 0.8672 0.9104
    下载: 导出CSV
  • [1] HE Z J, ZHANG Z Z, GUO M Q, et al. Adaptive unsupervised-shadow-detection approach for remote-sensing image based on multichannel features[J]. Remote Sensing, 2022, 14(12): 2756. doi: 10.3390/rs14122756
    [2] LI J X, HONG D F, GAO L R, et al. Deep learning in multimodal remote sensing data fusion: a comprehensive review[J]. International Journal of Applied Earth Observation and Geoinformation, 2022, 112: 102926. doi: 10.1016/j.jag.2022.102926
    [3] 张璐, 李博, 李寒霜, 等. 超光谱分辨率紫外双通道共光路成像光谱仪设计[J]. 中国光学(中英文),2022,15(5):1029-1037. doi: 10.37188/CO.2022-0125

    ZHANG L, LI B, LI H SH, et al. Hyperspectral resolution ultraviolet dual channel common optical path imaging spectrometer[J]. Chinese Optics, 2022, 15(5): 1029-1037. (in Chinese). doi: 10.37188/CO.2022-0125
    [4] 周俊焯, 郝佳, 余晓畅, 等. 面向偏振成像的超构表面研究进展[J]. 中国光学(中英文),2023,16(5):973-995. doi: 10.37188/CO.2022-0234

    ZHOU J ZH, HAO J, YU X CH, et al. Recent advances in metasurfaces for polarization imaging[J]. Chinese Optics, 2023, 16(5): 973-995. (in Chinese). doi: 10.37188/CO.2022-0234
    [5] WANG J Y, SHI H D, LIU J N, et al. Compressive space-dimensional dual-coded hyperspectral polarimeter (CSDHP) and interactive design method[J]. Optics Express, 2023, 31(6): 9886-9903. (查阅网上资料, 未能确认标黄作者信息, 请确认) .

    WANG J Y, SHI H D, LIU J N, et al. . Compressive space-dimensional dual-coded hyperspectral polarimeter (CSDHP) and interactive design method[J]. Optics Express, 2023, 31(6): 9886-9903. (查阅网上资料, 未能确认标黄作者信息, 请确认).
    [6] MA J Y, MA Y, LI CH. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178. doi: 10.1016/j.inffus.2018.02.004
    [7] KAUR H, KOUNDAL D, KADYAN V. Image fusion techniques: a survey[J]. Archives of Computational Methods in Engineering, 2021, 28(7): 4425-4447. doi: 10.1007/s11831-021-09540-7
    [8] ZHAO Y, ZHANG L, ZHANG D, et al. Object separation by polarimetric and spectral imagery fusion[J]. Computer Vision and Image Understanding, 2009, 113(8): 855-866. doi: 10.1016/j.cviu.2009.03.002
    [9] 于洵, 杨烨, 姜旭, 等. 基于偏振光谱成像的目标识别方法研究[J]. 应用光学,2016,37(4):537-541. doi: 10.5768/JAO201637.0402001

    YU X, YANG Y, JIANG X, et al. Recognition of camouflage targets by polarization spectral imaging system[J]. Journal of Applied Optics, 2016, 37(4): 537-541. (in Chinese). doi: 10.5768/JAO201637.0402001
    [10] 牛思聪. 基于生成对抗网络的偏振高光谱图像处理与分类算法研究[D]. 哈尔滨: 哈尔滨工业大学, 2021.

    NIU S C. Research on polarization hyperspectral image processing and classification algorithm based on generative countermeasure network[D]. Harbin: Harbin Institute of Technology, 2021. (in Chinese).
    [11] 钟菁菁, 刘骁, 王雪霁, 等. 偏振光谱多维信息的重构融合算法[J]. 光谱学与光谱分析,2023,43(4):1254-1261.

    ZHONG J J, LIU X, WANG X J, et al. A multidimensional information fusion algorithm for polarization spectrum reconstruction based on nonsubsampled contourlet transform[J]. Spectroscopy and Spectral Analysis, 2023, 43(4): 1254-1261. (in Chinese).
    [12] LIU Y, YAN B Y, ZHANG R Z, et al. Multi-scale mixed attention network for CT and MRI image fusion[J]. Entropy, 2022, 24(6): 843. doi: 10.3390/e24060843
    [13] 朱攀, 刘泽阳, 黄战华. 基于DTCWT和稀疏表示的红外偏振与光强图像融合[J]. 光子学报,2017,46(12):1210002. doi: 10.3788/gzxb20174612.1210002

    ZHU P, LIU Z Y, HUANG ZH H. Infrared polarization and intensity image fusion based on dual-tree complex wavelet transform and sparse representation[J]. Acta Photonica Sinica, 2017, 46(12): 1210002. (in Chinese). doi: 10.3788/gzxb20174612.1210002
    [14] DONG L M, YANG Q X, WU H Y, et al. High quality multi-spectral and panchromatic image fusion technologies based on curvelet transform[J]. Neurocomputing, 2015, 159: 268-274. doi: 10.1016/j.neucom.2015.01.050
    [15] HUANG Y, BI D Y, WU D P. Infrared and visible image fusion based on different constraints in the non-subsampled shearlet transform domain[J]. Sensors, 2018, 18(4): 1169. doi: 10.3390/s18041169
    [16] WANG Z Y, LI X F, DUAN H R, et al. Medical image fusion based on convolutional neural networks and non-subsampled contourlet transform[J]. Expert Systems with Applications, 2021, 171: 114574. doi: 10.1016/j.eswa.2021.114574
    [17] CH M M I, GHAFOOR A, BAKHSHI A D, et al. Medical image fusion using non subsampled contourlet transform and iterative joint filter[J]. Multimedia Tools and Applications, 2022, 81(3): 4495-4509. doi: 10.1007/s11042-021-11753-8
    [18] 李文, 叶坤涛, 李晟. 基于优化PCNN与区域特征引导法则的图像融合[J]. 激光与红外,2021,51(8):1104-1112.

    LI W, YE K T, LI SH. Image fusion based on optimized PCNN and region feature guided rule[J]. Laser & Infrared, 2021, 51(8): 1104-1112. (in Chinese).
    [19] 杨艳春, 李永萍, 党建武, 等. 基于快速交替引导滤波和CNN的红外与可见光图像融合[J]. 光学 精密工程,2023,31(10):1548-1562. doi: 10.37188/OPE.20233110.1548

    YANG Y CH, LI Y P, DANG J W, et al. Infrared and visible image fusion based on fast alternating guided filtering and CNN[J]. Optics and Precision Engineering, 2023, 31(10): 1548-1562. (in Chinese). doi: 10.37188/OPE.20233110.1548
    [20] WANG K P, QI G Q, ZHU ZH Q, et al. A novel geometric dictionary construction approach for sparse representation based image fusion[J]. Entropy, 2017, 19(7): 306. doi: 10.3390/e19070306
    [21] LV X B, LI Y W, ZHU SH SH, et al. Snapshot spectral polarimetric light field imaging using a single detector[J]. Optics Letters, 2020, 45(23): 6522-6525. doi: 10.1364/OL.409476
    [22] LI X B, HU H F, GOUDAIL F, et al. Fundamental precision limits of full Stokes polarimeters based on DoFP polarization cameras for an arbitrary number of acquisitions[J]. Optics Express, 2019, 27(22): 31261-31272. doi: 10.1364/OE.27.031261
    [23] 杨之文, 高胜钢, 王培纲. 几种地物反射光的偏振特性[J]. 光学学报,2005,25(2):241-245. doi: 10.3321/j.issn:0253-2239.2005.02.022

    YANG ZH W, GAO SH J, WANG P G. Polarization of reflected light by earth objects[J]. Acta Optica Sinica, 2005, 25(2): 241-245. (in Chinese). doi: 10.3321/j.issn:0253-2239.2005.02.022
    [24] DA CUNHA A L, ZHOU J, DO M N. The nonsubsampled contourlet transform: theory, design, and applications[J]. IEEE Transactions on Image Processing, 2006, 15(10): 3089-3101. doi: 10.1109/TIP.2006.877507
    [25] OLSHAUSEN B A, FIELD D J. Emergence of simple-cell receptive field properties by learning a sparse code for natural images[J]. Nature, 1996, 381(6583): 607-609. doi: 10.1038/381607a0
    [26] 丁贵鹏, 陶钢, 李英超, 等. 基于非下采样轮廓波变换与引导滤波器的红外及可见光图像融合[J]. 兵工学报,2021,42(9):1911-1922.

    DING G P, TAO G, LI Y CH, et al. Infrared and visible images fusion based on non-subsampled contourlet transform and guided filter[J]. Acta Armamentarii, 2021, 42(9): 1911-1922. (in Chinese).
    [27] 许廷发, 李俊涛, 张一舟, 等. 真彩色传递双波段图像融合[J]. 中国光学,2014,7(3):402-410.

    XU T F, LI J T, ZHANG Y ZH, et al. True color transfer for dual band image fusion[J]. Chinese Optics, 2014, 7(3): 402-410. (in Chinese).
  • 加载中
图(11) / 表(7)
计量
  • 文章访问数:  79
  • HTML全文浏览量:  40
  • PDF下载量:  15
  • 被引次数: 0
出版历程
  • 网络出版日期:  2024-02-02

目录

    /

    返回文章
    返回

    重要通知

    2024年2月16日科睿唯安通过Blog宣布,2024年将要发布的JCR2023中,229个自然科学和社会科学学科将SCI/SSCI和ESCI期刊一起进行排名!《中国光学(中英文)》作为ESCI期刊将与全球SCI期刊共同排名!