留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

面向地物混杂背景的偏振光谱图像融合方法

李英超 赵喆浩 王祺 刘嘉楠 史浩东 付强 孙洪宇

李英超, 赵喆浩, 王祺, 刘嘉楠, 史浩东, 付强, 孙洪宇. 面向地物混杂背景的偏振光谱图像融合方法[J]. 中国光学(中英文), 2024, 17(5): 1098-1111. doi: 10.37188/CO.2023-0185
引用本文: 李英超, 赵喆浩, 王祺, 刘嘉楠, 史浩东, 付强, 孙洪宇. 面向地物混杂背景的偏振光谱图像融合方法[J]. 中国光学(中英文), 2024, 17(5): 1098-1111. doi: 10.37188/CO.2023-0185
LI Ying-chao, ZHAO Zhe-hao, WANG Qi, LIU Jia-nan, SHI Hao-dong, FU Qiang, SUN Hong-yu. Polarization spectral image fusion method for hybrid backgrounds of ground objects[J]. Chinese Optics, 2024, 17(5): 1098-1111. doi: 10.37188/CO.2023-0185
Citation: LI Ying-chao, ZHAO Zhe-hao, WANG Qi, LIU Jia-nan, SHI Hao-dong, FU Qiang, SUN Hong-yu. Polarization spectral image fusion method for hybrid backgrounds of ground objects[J]. Chinese Optics, 2024, 17(5): 1098-1111. doi: 10.37188/CO.2023-0185

面向地物混杂背景的偏振光谱图像融合方法

基金项目: 国家自然科学基金(No. 61890960)
详细信息
    作者简介:

    李英超(1966—),男,吉林长春人,工学博士,教授,博士生导师,2012年于长春理工大学获得博士学位,主要从事多维度光学特性测试与探测技术,先进光学成像测试技术。E-mail:hsjlyc@163.com

    赵喆浩(1995—),男,内蒙古通辽人,硕士研究生,2017年于中北大学获得学士学位,主要从事光学设计,偏振成像等方面的研究。E-mail:2937428267@qq.com

  • 中图分类号: TP394.1;TH691.9

Polarization spectral image fusion method for hybrid backgrounds of ground objects

Funds: Supported by the National Natural Science Foundation of China (No. 61890960)
More Information
  • 摘要:

    针对偏振光谱图像融合方法在地物混杂背景遥感探测中多尺度变换融合图像存在边缘轮廓细节模糊、对比度不佳的问题,提出一种基于非下采样轮廓波变换的稀疏表示与引导滤波器相结合的图像融合方法,以改善融合图像的质量和视觉效果。首先,该方法通过非下采样轮廓波变换对光谱图像和偏振图像进行多尺度多方向分解,进而将图像分解成不同子带内的特征信息。其次,低频子带采用稀疏表示融合,从而降低融合图像中物体对比度损失。此外,采用引导滤波器融合高频子带,以增强图像轮廓细节信息。最后,对低频与高频融合系数进行非下采样轮廓波逆变换,最终得出融合图像。分析表明融合图像对比度相对于原始光谱图像与偏振度图像分别提升了54.5%和15.4%,更容易区分混杂背景下阴影中的物体。基于此方法对偏振光谱成像仪所采集的不同波长下的光谱与偏振图像进行融合,并实现真彩还原。真彩还原图像证明此融合方法在保留混杂背景下的环境信息的同时实现了物体和背景的有效区分,有效提高了偏振光谱遥感探测成像的图像质量,有助于提升偏振光谱遥感探测成像中图像信息的完整性和真实性,扩大其在复杂环境遥感探测和图像识别中的应用范围。

     

  • 地物混杂背景中光照条件与地物几何形状引起的阴影问题容易导致物体边界模糊或产生误判,从而影响遥感探测成像的准确性[1]。为了提高遥感探测的图像精确度,一般需要在遥感探测过程中结合多种光学遥感数据,并进行图像数据融合[2]。在复杂背景下常用的可见光遥感探测成像方法主要包括光谱探测成像和偏振探测成像。其中:光谱探测通过分析物体反射、吸收或发射的特定光谱特征以区分不同种类的物体与背景信息;偏振成像探测则是通过探测物体对光的反射、散射、透射和辐射后所产生的固有偏振信息,获取物体的形状、材料和粗糙度等多维信息,提高复杂环境中物体与背景的对比度,凸显物体表面与轮廓,增加物体的探测和识别概率[3-5]。通过图像融合的方法,将偏振与光谱图像的优势相结合,实现两种图像的特征信息互补,可提升偏振光谱遥感探测成像的成像效果[6]

    当前国内外相关学者对于偏振与光谱图像之间的融合研究处于初期阶段,陆续提出了几种偏振光谱图像融合方法。例如:通过HSI颜色空间映射融合方法,从镜反射光和漫反射光中分别提取光谱信息和偏振信息,实现目标物体的偏振光谱融合[7-8]。还有利用主成分分析法对各偏振方向的物体光谱图像进行波长选择,得到光谱融合图像后再进行偏振度计算,从而获得被测物体的偏振光谱融合图像[9];也有通过生成对抗网络对偏振高光谱数据集进行特征提取,将特征之间进行加权融合,从而取得较好的偏振光谱图像融合结果[10];对偏振特征图像、光谱图像以及偏振度图像进行非下采样轮廓波分解,对分解后的低通子带和高通子带分别进行基于区域能量与局部二值模式算子的加权融合以得到融合图像[11]。虽然上述偏振光谱图像融合方法得到了较好的图像融合结果,但低频区域能量在融合规则下容易产生信息冗余,使得融合图像的对比度不佳,而高频细节融合过程中引入了源图像中的噪声信息,在融合结果中表现为伪影现象,影响最终的融合图像质量。因此,采用正确的融合规则有助于保留图像轮廓细节并提高源图像中物体与背景之间的对比度[12]

    当前图像融合规则中,多尺度变换(multi-scale transform,MST)因其出色的视觉感知效果逐渐在偏振光谱图像融合中得到广泛应用。MST融合方法采用图像滤波器作为辅助工具,通过多级滤波处理以获得不同分辨率和不同尺度的子带分量图像。目前常用的MST工具主要有双树复小波变换(dual-tree complex wavelet transform,DTCWT)[13],曲波变换(curvelet transform,CVT) [14],非下采样剪切波变换(non-subsampled shearlet transform,NSST) [15],非下采样轮廓波变换(non-subsampled contourlet transform,NSCT) [16]等。其中,DTCWT方法对图像边缘的捕捉和还原能力较差,融合后的图像易出现变形。CVT的基函数在捕捉图像边缘和直线奇异性方面相较DTCWT表现得更为快捷,但仍无法消除伪吉布斯现象。NSCT与NSST均采用非下采样塔式滤波器(non-subsampled pyramid,NSP)作为尺度分解工具,在增加平移不变性的同时还消除了伪吉布斯现象。相比之下,NSCT由于具有独特的“Contourlet波基函数”,能够更精确地拟合图像的边缘曲线,此外,NSCT还具有稀疏性和多方向性,非常适合处理高维图像信息中的多方向性[17]。NSCT利用NSP对源图像进行多尺度分解,将其分解为一个低通子图像和一个带通子图像,然后采用非下采样方向滤波器组(non-subsampled filter banks, NSDFB)进一步将带通子带分解成多个不同方向的高频分量子图像,进而获得不同尺度、不同方向下的子带图像。其中,低频子带表现了图像的主体能量特征,而高频子带则凸显图像的边缘细节与梯度特征。采用符合两类不同源图像本质的子带融合规则,可以生成视觉效果更佳的融合图像。

    经过多尺度变换后的低通子带分量图像通常采用区域方差匹配度、取平均融合、权重融合等融合规则,而对于偏振与光谱图像融合,由于两者的图像特性差异较大,这些融合规则均会使融合图像的对比度降低,并且引入一定的伪影噪声[18]。因此,本文采用稀疏表示(sparse representation,SR)方法融合低频子图像,通过选择最少数量的基函数来表示偏振与光谱图像信息,进而在保持关键特征的同时减少冗余信息,极大程度地保留了源图像中的低频区域能量信息,有效地避免了图像亮度和对比度下降的情况。此外,对于NSP与NSDFB分解后的高频子带,常用的融合规则包括PCNN (pulse coupled neural network)融合、边缘探测融合与绝对值取大融合等,但在这些融合规则下,源图像中不相干的噪声信息容易影响最终融合图像。故高频融合规则采用的引导滤波器(guided filter-GF)在融合高频子带的过程中可根据参考图像的结构信息,调整融合过程中的权重分配,避免引入过多的模糊或失真,从而抑制高频噪声,保留源图像的细节纹理信息[19]。因此,本文选择GF作为高频融合规则。

    为了提升遥感图像的整体视觉效果,克服偏振光谱图像融合方法中存在的融合图像对比度低、边缘轮廓细节模糊的问题,本文提出了面向地物混杂背景的偏振光谱图像融合方法。该方法使用非下采样轮廓波变换将待融合的光谱图像和偏振图像进行分解,得到相应的低通子带和高通子带。对于低通子带利用稀疏表示通过“Max-Ll”[20]规则融合稀疏向量;利用引导滤波器对高通子带进行邻域像素间的权重优化,最后将高低频子带逆变换得到融合图像。利用本文方法对偏振光谱成像仪所采集的不同波长光谱与偏振图像进行融合与真彩还原。本文研究为改善遥感探测图像总体视觉感知效果、降低遥感探测图像中阴影的影响提供有效解决方案。

    在遥感探测成像中,普遍使用偏振光谱成像仪对偏振和光谱图像进行同源获取。利用偏振图像中物体的偏振特性,以及光谱图像里丰富的环境信息,实现两者特征信息互补,同时可防止异源图像融合结果出现图像失真的问题。物体反射的不同波长的光谱能量信息可表示为[21]

    $$ {{\boldsymbol{E}}_{\mathrm{r}}}({n_{\mathrm{i}}},\eta ,{\theta _{\mathrm{i}}},{\theta _{\mathrm{r}}},\lambda ) = {{\boldsymbol{E}}_{\mathrm{i}}}(\lambda )r({n_{\mathrm{i}}},\eta ,{\theta _{\mathrm{i}}},{\theta _{\mathrm{r}}},\lambda )\quad, $$ (1)

    式中,$ {n_{{i}}} $为空气折射率,$ \eta $为物体表面折射率,$ {\theta _i} $$ {\theta _r} $分别为入射角与折射角,$ \lambda $为波长,$ r({n_i},\eta ,{\theta _i},{\theta _r},\lambda ) $代表光谱反射率,$ {{\boldsymbol{E}}_{\mathrm{i}}} $$ {{\boldsymbol{E}}_{\mathrm{r}}} $则分别代表了不同波长的入射光能量与出射光能量,物体反射光强可由$I = E_{\mathrm{r}}^2$表示,反映不同波长光谱图像的强度变化。同时,偏振光谱成像仪对物体反射的0°,45°,90°,135°四个线偏振方向的偏振强度进行采集,然后通过Stokes矢量法[22]对物体偏振信息的进行解算,如式(2)所示:

    $$ {\boldsymbol{S}} = \left[ {\begin{array}{*{20}{c}} I \\ Q \\ U \\ V \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{I_{90}} + {I_0}} \\ {{I_{90}} - {I_0}} \\ {{I_{45}} - {I_{135}}} \\ {{I_{\mathrm{R}}} - {I_{\mathrm{L}}}} \end{array}} \right]\quad, $$ (2)

    其中,S为Stokes矢量(斯托克斯矢量),I为总偏振光强,I0I45I90I135分别表示0°,45°,90°,135°四个线偏振方向的偏振强度,ILIR分别为左、右旋圆偏振分量,Q为0°和90°偏振强度分量之差,U为45°和135°偏振强度分量的差值,V表示光的圆偏振分量,其为光的左、右旋圆偏振分量的强度差。由于圆偏振光在传播过程中具有一些特殊性质,对于偏振度较大的人造物体,圆偏振光的影响可以忽略[23]。线偏振度(DoLP)可表示为:

    $$ DoLP = \frac{{\sqrt {{Q^2} + {U^2}} }}{I}\quad. $$ (3)

    偏振角(AoP)代表的是偏振椭圆的取向,可表示为:

    $$ AoP = \frac{1}{2}\arctan \left(\frac{Q}{U}\right)\quad. $$ (4)

    由式(2)~式(4)可知偏振信息可表达物体反射的光在不同振动方向上的能量比变化。因此通过光的偏振性质可以获取物体表面、结构组成信息,用于区分不同类型的物体,改善辨识能力。将偏振图像和光谱图像在不同尺度下包含的细节和对比度特征信息进行互补和融合,可以获得更好的遥感探测成像效果,这一般需要进行多尺度变换的图像融合。

    2.2.1   非下采样轮廓波变换

    偏振图像与光谱图像经过非下采样金字塔滤波器组进行多尺度分解,得到一个低通子带和多个高通子带,然后将高通子带输送至双通道NSDFB进行方向分解,可得到多个方向子带[24]J层后会得到$\displaystyle\sum\limits_{l = 1}^J {{2^{{h_l}}}} $(l为当前分解层,h为最大分解层数,hll尺度下的分解方向数)个高通子带和1个低通子带,且分解图像尺寸大小与原图像相同,如图1所示。

    图  1  (a) NSCT分解流程图及(b) NSCT理想频域分割图
    Figure  1.  (a) Flowchart of NSCT decomposition and (b) ideal frequency domain segmentation for NSCT

    对于NSCT分解后的低通子带和高通子带,既要保证低频子带中物体对比度能量信息不丢失,同时还需要增强高频子带的图像边缘轮廓信息。本文采用基于非下采样轮廓波变换的稀疏表示与引导滤波器相结合的偏振光谱图像融合方法,从而保留偏振图像与光谱图像中的对比度信息,并使得融合图像中的物体边缘更加清晰锐利,融合规则如图2所示。

    图  2  基于NSCT的稀疏表示与引导滤波器的图像融合方法流程图
    Figure  2.  Flowchart of the fusion method discussed in this paper

    图2中,基于NSCT的稀疏表示与引导滤波器的图像融合方法分别对两张原始图像$\left\{ {{{\boldsymbol{I}}_A},{{\boldsymbol{I}}_B}} \right\}$执行分解尺度数为l的NSCT分解,得到低通子带和高通子带。再通过K-SVD (K-singular value decomposition)法得到稀疏表示字典。然后,使用OMP (orthogonal matching pursuit)算法得到的稀疏系数向量$\left\{ {{\boldsymbol{\beta }}_A^i,{\boldsymbol{\beta }}_B^i} \right\}$,利用“Max-Ll”规则迭代生成融合后的稀疏向量,得到低通融合结果${{\boldsymbol{L}}_F}$。对于高通子带,采用取大策略得到初始权重图,再利用引导滤波修正高频信息权重,得到高通融合结果${\boldsymbol{H}}_F^{l,k}$。对${{\boldsymbol{L}}_F}$${\boldsymbol{H}}_F^{l,k}$进行NSCT逆变换,从而完成图像${{\boldsymbol{I}}_F}$的融合。

    2.2.2   基于稀疏表示的低通子带融合

    源图像经过分解后的低通子带$\left\{ {{{\boldsymbol{L}}_A},{{\boldsymbol{L}}_B}} \right\}$需要按照“滑动窗口”划分为图像块,每个图像块大小为$n \times n$,得到图像块的个数为$\left( {N + n - 1} \right) \times \left( {M + n - 1} \right)$。源图像块的列向量可以表示为${{\boldsymbol{L}}_A},{{\boldsymbol{L}}_B}$中的训练样例$ {{\boldsymbol{V}}_A},{{\boldsymbol{V}}_B} $$ {{\boldsymbol{\hat V}}_A},{{\boldsymbol{\hat V}}_B} $分别为$ {{\boldsymbol{V}}_A},{{\boldsymbol{V}}_B} $中所有元素的平均值,$ {{\boldsymbol{V'}}_A},{{\boldsymbol{V'}}_B} $分别为$ {{\boldsymbol{V}}_A},{{\boldsymbol{V}}_B} $$ {{\boldsymbol{\hat V}}_A},{{\boldsymbol{\hat V}}_B} $的差值。通过K-SVD算法对$\left\{ {{{\boldsymbol{L}}_A},{{\boldsymbol{L}}_B}} \right\}$进行训练,用尽量少的样本得到低频子带的稀疏字典D[25]。对于第i个图像块,使用正交匹配追踪算法,利用式(5)中的稀疏模型计算$ \left\{ {{{{\boldsymbol{V'}}}_A},{{{\boldsymbol{V'}}}_B}} \right\} $中的稀疏系数向量$\left\{ {{\boldsymbol{\beta }}_A^i,{\boldsymbol{\beta }}_B^i} \right\}$

    $$ \arg \mathop {\min }\limits_\alpha {\left\| {\boldsymbol{\alpha }} \right\|_0},s.t.\left\| {{\boldsymbol{X}} - {\boldsymbol{D\alpha }}} \right\|_2^2 \leqslant \varepsilon \quad,$$ (5)

    式中:$ \arg \mathop {\min }\limits_\alpha {\left\| {\boldsymbol{\alpha }} \right\|_0} $表示低频分量中第i个图像块的稀疏表示系数,X表示低频分量,表示低频图像过完备字典,$\varepsilon $表示允许误差值($\varepsilon $>0)。此时$ {{\boldsymbol{V'}}_A},{{\boldsymbol{V'}}_B} $的融合结果为:

    $$ {\boldsymbol{V}}_F^i = {\boldsymbol{D\beta }}_F^i + {\boldsymbol{\bar v}}_F^i \cdot 1 \quad,$$ (6)

    其中${\boldsymbol{\bar v}}_F^i$为融合后的均值向量,${\boldsymbol{\beta }}_F^i$${\boldsymbol{\beta }}_A^i,{\boldsymbol{\beta }}_B^i$通过“Max-Ll”规则归并所得到的融合稀疏向量。

    最后将${\boldsymbol{V}}_F^i$插入其在${{\boldsymbol{L}}_F}$中的原始位置。通过对${{\boldsymbol{L}}_F}$中每个像素值的累积次数进行平均,得到低通融合结果${{\boldsymbol{L}}_F}$。低通融合结果${{\boldsymbol{L}}_F}$与其它3种常见低频子带融合结果如图3所示。

    图  3  低频融合结果对比图
    Figure  3.  Comparison of low-frequency fusion results

    利用互信息MI与加权融合质量指数Qw对低频子带的融合结果进行分析,低频子带融合评价结果如表1所示。

    表  1  低频子带融合的客观评价结果
    Table  1.  Objective evaluation metric results of low-frequency sub-band fusion
    评价
    指标
    融合规则
    区域方差匹配度 取平均 权重融合 稀疏表示
    MI 1.6685 1.4523 1.6238 1.9777
    Qw 0.6408 0.6324 0.7241 0.7822
    下载: 导出CSV 
    | 显示表格

    通过对比以上4种融合结果可知,图3(a)~3(c)中3种常见低频子带融合方法的融合图像存在块效应且图像较为模糊,互信息指标较低,未能准确表达原始图像的低频能量信息,而基于稀疏表示的低频子带融合规则(图3(d))则完整地保留了偏振图像的对比度信息,以及光谱图像中的环境信息,融合图像质量较其他方法有明显提升,有助于后续的图像处理与识别分析。此外,高频子带中轮廓细节的融合同样不可忽略,其对于进一步提升物体边界的准确性及改善最终图像的真实性与完整性至关重要。

    2.2.3   基于引导滤波的高通子带融合

    对经过NSP分解后的高频分量$\{ {{\boldsymbol{H}}_A}, {{\boldsymbol{H}}_B} \}$再进行NSDFB分解,可得到$(i,j)$l尺度k方向系数${\boldsymbol{I}}_A^{l,k}(i,j)$${\boldsymbol{I}}_B^{l,k}(i,j)$,将相应的高频系数利用取大策略逐一进行比较[26],得到初始权值图$\{ {\boldsymbol{D}}_A^{l,k}(i,j), {\boldsymbol{D}}_B^{l,k}(i,j) \}$

    $$ {\boldsymbol{D}}_A^{l,k}(i,j) = \left\{ {\begin{split} & {1,\quad {\mathrm{if}}\;{\boldsymbol{I}}_A^{l,k}(i,j) \geqslant {\boldsymbol{I}}_B^{l,k}(i,j)} \\ & {0,\quad {\mathrm{otherwise}}} \end{split}} \right.\quad, $$ (7)
    $$ {\boldsymbol{D}}_B^{l,k}(i,j) = 1 - {\boldsymbol{D}}_A^{l,k}(i,j)\quad, $$ (8)

    对高频信息的初始权值图进行引导滤波操作,令输入的源图像${{\boldsymbol{I}}_X}$为引导图像,${\boldsymbol{D}}_X^{l,k}$为输入图像,引导滤波器的输出为:

    $$ {\boldsymbol{W}}_A^{l,k} = {G_{a,\tau }}({\boldsymbol{D}}_A^{l,k},{{\boldsymbol{I}}_A}),{\boldsymbol{W}}_B^{l,k} = {G_{a,\tau }}({\boldsymbol{D}}_B^{l,k},{{\boldsymbol{I}}_B})\quad, $$ (9)

    式中,${G_{a,\tau }}$为引导滤波器,a为窗口半径,$\tau $为滤波器模糊度。将上述结果进行归一化处理,得到权重值:

    $$ {\boldsymbol{\hat W}}_A^{l,k} = \frac{{{\boldsymbol{W}}_A^{l,k}}}{{{\boldsymbol{W}}_A^{l,k} + {\boldsymbol{W}}_B^{l,k}}},{\boldsymbol{\hat W}}_B^{l,k} = 1 - {\boldsymbol{\hat W}}_A^{l,k}\quad, $$ (10)

    以及高频方向细节图像的融合系数${\boldsymbol{H}}_F^{l,k}(i,j)$

    $$ {\boldsymbol{H}}_F^{l,k}(i,j) = {\boldsymbol{\hat W}}_A^{l,k}(i,j) \cdot {\boldsymbol{I}}_A^{l,k}(i,j) + {\boldsymbol{\hat W}}_B^{l,k}(i,j) \cdot {\boldsymbol{I}}_B^{l,k}(i,j) \quad,$$ (11)

    然后,根据引导图像信息调整高频子带的融合系数,合成最终高频融合图像。高通融合结果${\boldsymbol{H}}_F^{l,k}$与其它3种常见高频子带融合结果对比图如图4所示。

    图  4  高频融合结果对比图
    Figure  4.  Comparison of high-frequency fusion results

    对于高频图中的轮廓细节信息,利用结构信息相似度SSIM和边缘保持度Qab/f作为客观指标进行评价。这2个指标可以更好地反映融合图像的边界保留程度,结果如表2所示。

    表  2  高频轮廓信息的客观评价结果
    Table  2.  Evaluation metric results of high-frequency contour information
    评价指标 PCNN 边缘探测 绝对值取大 引导滤波
    SSIM 0.7354 0.6821 0.6378 0.7562
    Qab/f 0.5916 0.4481 0.4507 0.5988
    下载: 导出CSV 
    | 显示表格

    可见,图4(b)、图4(c)中楼顶左上角处细节轮廓信息无法清晰表现出来,与表2中的客观评价结果一致,图4(a)、4(d)主观视觉上较为相近,客观评价结果也较为一致。4种融合规则均极大程度地保留了源图像中的轮廓细节,但PCNN算法资源占用更多、运行时间较长,容易导致效率低下。由上述结果可知引导滤波在高频子带融合中保留了更多的边界细节,具有极大的优越性。

    最后将2.2.2中的${{\boldsymbol{L}}_F}$与式(11)中的${\boldsymbol{H}}_F^{l,k}$通过NSCT逆变换进行图像重构,从而得到最终的融合图像${{\boldsymbol{I}}_F}$,如图5所示。

    图  5  最终融合结果${{\boldsymbol{I}}_F}$
    Figure  5.  Final fusion result ${{\boldsymbol{I}}_F}$

    本文通过线扫偏振光谱成像仪,同步获取4个不同线偏振方向(0°,45°,90°,135°)的光谱图像,利用式(2)~式(4)获取IQUAoP,DoLP等偏振图像。采集具有城市建筑混杂背景的实测图像进行融合实验,以验证本文融合方法的有效性与优越性。偏振光谱成像仪如图6所示,系统指标参数如表3所示。

    图  6  偏振光谱成像仪
    Figure  6.  Polarization spectral imager
    表  3  偏振光谱成像仪的指标
    Table  3.  Indicators of polarization spectral imager
    性能指标 参数值
    波长范围/nm 400~900
    光谱分辨率 优于2 nm
    F/# 3
    视场角/(°) ±4.1
    分辨率 2448×2048
    像元尺寸/μm 3.45×3.45
    光学尺寸/inch 2/3
    帧率 36 fps@2448×2048
    下载: 导出CSV 
    | 显示表格

    本文融合方法存在4种自由参数,分别为NSCT分解尺度数l、稀疏重构误差e,引导滤波器窗口半径a和模糊度$\tau $。为了确定这4个自由参数值对融合性能的影响,利用加权融合质量指数Qw,结构信息相似度SSIM,边缘相关融合质量指数Qe及边缘保持度Qab/f,对测试图像在不同参数组合下的融合结果进行客观评价。采用控制变量法进行研究,将每种评价指标的均值作为评价结果,最优结果所使用的参数值即为本文采用的参数值。图7为不同参数的融合性能客观评价值。

    图  7  不同参数下的客观评价曲线
    Figure  7.  Objective evaluation curves of different parameters

    图7(a)可知:当l<5时,4种客观评价指标值均随着l的增加递增;当l>5时,各个评价指标数值开始逐渐下降。造成此结果的原因是当分解尺度较少时,显著特征不能很好地从源图像中分离出来,而当尺度过多时,低频图像中只有很少的细节区域,致使权重值在融合细节系数时不能达到最好的效果。通过综合考量,本文参数值l取5。由图7(b)可知:当稀疏重构误差e取0.3时4种客观评价指标均达到峰值,故e值取0.3。由图7(c)可知:Qw和SSIM两种评价指标值变化较小;Qab/fQea值为8时达最优,因此a值取8最合适。由图7(d)可知:SSIMQab/fQe 3种评价指标值随$\tau $值的变化基本保持不变;Qw$\tau $值为10−4时达到最优,因此$\tau $值取10−4为最合适。基于上述讨论,最后的实验参数设定为l=5、e=0.3、a=8和$\tau $=10−4

    为了验证所提出融合方法的有效性,本文采用具有城市建筑混杂背景的实测图像数据对提出的融合方法进行验证与分析,并使用Zhao等人[8]提出的偏振光谱图像融合方法作为参考方法,比较两者的客观评价指标。参考方法使用基于区域能量的小波变换进行偏振强度图I与440 nm光谱图像融合,并运用平均加权法分别对偏振度DoLP、偏振角AoP图像与550 nm、710 nm光谱图像进行融合,进而得到3幅融合图像,随后将它们投影至HSI空间实现物体与混杂背景分离,结果如图8(a)~8(d)所示。然后,基于非下采样轮廓波变换的稀疏表示与引导滤波器相结合的偏振光谱图像融合方法,分别对偏振强度I与440 nm光谱图像、偏振度DoLP与550 nm光谱图像以及偏振角AoP与710 nm光谱图像进行融合,同样也将3幅融合后的图像投影至HSI空间将物体与混杂背景分离,所得到结果如图8(e)~8(h)所示。

    图  8  参考方法与本文方法对比图
    Figure  8.  Comparison of the reference method and the proposed method

    图8(a)、8(e)为偏振强度I的融合结果,I融合图像主要增强了光强信息,包含物体与背景的主要信息,提升被观察物体或场景的光强反射特性。图8中偏振度DoLP的融合结果则需要保留物体清晰的对比度信息,能够凸显物体表面与混杂背景边界。图8(f)在满足这两点要求的同时显示出了更清晰的物体形状轮廓,并且其互信息(MI)、结构信息相似度(SSIM)、边缘保持度(Qab/f)和加权融合质量指数(Qw)等评价指标相比图8(b)分别提升了27.7%、9.2%、6.6%、7.4%,其各项评价指标均优于参考方法的偏振度融合结果,如表4所示。通过对比图8(c)、8(g)中的偏振角AoP融合图像结果,可以看出本文融合方法的结果图像呈现出更多轮廓细节,其偏振纹理特征与物体的边际线相匹配,使得融合图像中物体边缘清晰锐利。由于偏振角AoP图像存在大量的随机噪声,评价指标相较于强度I与偏振度DoLP的融合结果略有下降,但总体仍优于图8(c)的评价结果。

    表  4  参考方法与本文方法各分量融合图像评价指标
    Table  4.  The evaluation indexes of image fusion of each component for the reference method and the proposed method
    融合图像 评价指标
    MI SSIM Qab/f Qw
    参考方法I融合结果 2.7623 0.7182 0.6147 0.8367
    本文I融合结果 2.8031 0.7387 0.6393 0.8625
    参考方法DoLP融合结果 1.9765 0.6376 0.5733 0.7615
    本文DoLP融合结果 2.7342 0.7023 0.6142 0.8222
    参考方法AoP融合结果 1.6681 0.5679 0.4935 0.6138
    本文AoP融合结果 1.7437 0.6755 0.5883 0.7004
    下载: 导出CSV 
    | 显示表格

    通过比对图8(d)、图8(h)可知,本文融合方法得到的HSI伪彩色图像较充分地融合了偏振信息与光谱信息的优点,与参考方法相比,阴影背景中车窗的对比度提升了210%,在突显物体的同时也能较大程度地保存周围景物的细节。HSI图像的PSNR/SSIM的评价指标分别提高了20.0%与7.4%,如表5所示。图8(h)突现了源图像中的光谱信息与偏振信息,色彩对比度较为鲜明,故可以更准确地获取混杂背景下的物体信息。

    表  5  参考方法与本文方法的HSI伪彩色图像评价指标
    Table  5.  The evaluation indexes of HSI pseudo-colored images for the reference method and the proposed method
    不同方法 评价指标
    PSNR SSIM
    参考方法HSI融合结果 22.81 dB 0.6431
    本文方法HSI融合结果 28.52 dB 0.6947
    下载: 导出CSV 
    | 显示表格

    为了进一步分析融合结果,通过偏振光谱成像仪获取混杂背景下的带有偏振信息的高光谱图像。由于图8(f)中偏振度图像与光谱图像的融合在凸显物体对比度信息的同时也能够更清楚地分辨出物体与背景之间的边界结构,故使用偏振度与光谱融合图像与现有基于引导滤波的图像融合(GFF)方法、NSCT域内稀疏表示融合(NSCT-SR)方法、基于稀疏表示的拉普拉斯金字塔融合(LP-SR)方法、基于卷积神经网络融合(CNN)方法、基于稀疏表示的曲波变换融合(CVT-SR)方法进行分析比较。融合规则中选取了具有蓝、绿、黄、红4种波段特征中的440 nm,550 nm,610 nm,710 nm的光谱图像与对应波长的偏振度图像进行图像融合实验,4种客观评价指标如图9(彩图见期刊电子版)所示。

    图  9  4种波长下不同融合方法的客观评价指标
    Figure  9.  Objective evaluation indexes of different fusion methods at four wavelengths

    图9(a)~9(d)可知,本文方法对各波长下的融合结果均有明显提升,其中550 nm波长下的光谱偏振融合图像相较于其它波长的融合图像的评价结果更为优异,且此波段下的物体偏振度信息较为丰富。因此,本文以偏振度信息较好的550 nm波长为例,对其光谱图像与偏振度图像进行融合和详细评价分析,融合结果如图10所示。详细评价结果采用互信息MI、结构信息相似度SSIM、边缘保持度Qab/f和加权融合质量指数Qw等客观指标评价指标进行评价,如表6所示。

    图  10  不同融合方法对比图
    Figure  10.  Comparison of different fusion methods
    表  6  不同融合方法评价结果
    Table  6.  Evaluation results of different fusion methods
    融合方法 评价指标
    MI SSIM Qab/f Qw
    CNN 2.2343 0.6434 0.5662 0.7787
    GFF 1.7685 0.5862 0.5137 0.7507
    LP-SR 2.1132 0.6361 0.5354 0.7427
    CVT-SR 2.2356 0.6053 0.5833 0.7706
    NSCT-SR 2.5835 0.5965 0.5350 0.7582
    本文方法 2.7342 0.7023 0.6142 0.8222
    下载: 导出CSV 
    | 显示表格

    图10(c)、10(d)、10(e)可以发现,CNN、LP-SR、GFF三种融合方法得到的融合图像整体亮度较暗,其中CNN方法采用孪生卷积神经网络获得特征图,得到的融合图像保留了源图像中楼体边缘细节且锐化程度较高,但融合图像未能完全地展现车窗反射的偏振信息,整体图像缺乏准确性,容易产生虚假信息,且实际操作中需要大量的实验数据以及频繁地调整融合参数,资源和时间消耗较大。GFF方法采用了平均值滤波器,导致权重值并不总是最优,融合结果中引入了源图像的噪点,使整体图像变得模糊,降低了图像的清晰度,在互信息、结构信息相似度与边缘保持度等评价指标上表现较差,没能表达出源图像中的偏振度信息,造成了信息缺失。LP-SR方法的融合结果在加权融合质量指数Qw上表现较差,图像质量较差且背景楼顶处出现了伪影与块效应问题,导致融合图像的边缘部分呈现锯齿状,图像轮廓不平滑不自然。图10(f)、10(g)为CVT-SR与NSCT-SR方法得到的融合图像,可见图像亮度较高,具有更好的可见性,整体融合图像鲜明突出。但是CVT-SR融合图像中后方楼宇窗户没有保留偏振度图像的偏振信息,结果缺乏完整性,互信息的评价结果也相对较低且融合图像中的树枝等高频细节性背景较为模糊。NSCT-SR融合结果的互信息评价结果较好,图像中表现出了源图像的光谱与偏振信息,可是高频子带采用系数绝对值取大规则,容易丢失细节信息,从而产生区域性模糊,导致融合图像失真,损失了部分高频细节信息使得图像质量下降。

    图10(h)可知,本文融合方法所得到的融合图像质量较高,融合图像的亮度、对比度以及边缘轮廓细节保留能力相对较好,既保留了光谱图像中周围景物的细节信息,使得整个场景呈现出更真实、更清晰的效果,同时突出了车窗、金属板等物体表面与周围墙体的偏振信息,有助于更好地区分物体与背景。图10(a)、10(b)所示的光谱图像与偏振度图像中车窗与周围景物对比度分别为0.521和0.697,融合后提升至0.805,对比度分别提高了54.5%与15.4%,物体边缘与表面结构更加清晰,呈现出更好的视觉效果,有利于遥感探测在混杂背景下对物体的分辨与定位。由表6数据可知,本文方法融合结果的各项客观评价指标均较好,融合图像保留了光谱图像和偏振度图像的互补低频信息以及偏振度图像的边缘轮廓信息,互信息较其他融合方法提升了12.3%,结构信息相似度提高了9.1%,包含了源图像中更多的物体与背景信息,大幅度提高了融合图像中物体信息的完整性与准确性。边缘保持度和加权融合质量指数则分别提升了8.5%和5.6%,更加凸显了融合图像中的细节信息,物体的轮廓边缘模糊度与失真减少,图像的清晰度与真实感得到提高,优化了物体与背景的辨别能力,与上述主观分析结果一致。

    为了使图像更符合人眼的视觉特性,将其还原为真实的彩色,以呈现更准确和逼真的视觉效果。利用本文方法再对偏振强度与光谱图像以及偏振角与光谱图像进行融合。但是试验发现,远距离的偏振成像所获取的偏振角图像易受大气干扰而产生随机噪声,使用图像去噪则会出现偏振信息丢失的情况。故采用偏振图像S与光谱图像进行融合,偏振图像S为偏振信息UQ加权融合的结果,较好地保留了物体边缘轮廓信息且噪声干扰比偏振角图像小,具有较好的偏振特征纹理。通过本文融合方法,分别将440 nm的光谱图像与其偏振强度I图像、550 nm光谱图像与其偏振度DoLP图像,以及710 nm光谱图像与其偏振特征S图像进行融合,进而得到3幅融合图像,然后建立一幅大小与融合图像一致的空白图像,并赋予此图像R、G、B 3个通道[27],随后将3幅融合图像依次分配至B、G、R通道,最终得到含有偏振信息的真彩图像,如图11(彩图见期刊电子版)所示。由图11可知,真彩图像的每个像素可以包含3个颜色通道的信息,相比于HSI伪色彩图像具有更高的空间分辨率,提供了更准确的颜色信息,从而减少了伪彩色图像的失真偏差。相比于伪色彩图像,真彩图像中远处玻璃窗与楼体的对比度提升了66.7%,更易于区分阴影下的物体与混杂背景。

    图  11  真彩图像对比图
    Figure  11.  True color image comparison chart

    图11(b)可以看到周围景物信息得到了很好的保留。相较于图11(a)的原始真彩图像,融合后的真彩图像对具有强烈偏振信息的车窗、楼窗与金属板,得到了更明显的突出效果,对比度与轮廓细节更为鲜明,物体位置和形状更加明确,具有良好的辨识度。图11(b)中由于左下角的车窗以及后方高楼窗户具有与周围景物不同的偏振特性,视觉对比效果更加明显,相比于原始真彩图像可见性得到了大幅度提升,有效解决了光照条件与地物几何形状引起的阴影问题,有助于物体的识别和分析。使得整个场景呈现出自然真实的色彩和纹理,能够更好地了解周围整体环境。利用PSNR和SSIM对两幅图像进行客观评价,如表7所示。

    表  7  原始真彩图像及融合后的真彩图像的客观评价结果
    Table  7.  Evaluation indexes of original true color image and fused true color image
    真彩图像 评价指标
    PSNR SSIM
    原始真彩图像 33.72 dB 0.8672
    融合后的真彩图像 36.87 dB 0.9104
    下载: 导出CSV 
    | 显示表格

    表7可知,PSNR/SSIM分别提升了9.3%和4.9%,这表示融合后的真彩图像噪声影响更小,对比度显著提升。这说明本文方法在保留光谱信息的同时融合了偏振信息,使得物体表面特征信息更加丰富,背景环境更为真实,减少了图像中的阴影问题。综上所述,本文所采用的3种融合规则相结合的融合方法,在偏振图像与光谱图像的融合中,相对于现有融合方法可以取得更为优越的融合效果,为地物混杂背景下的偏振光谱探测成像提供更有效的识别分析手段。

    本文针对现有地物混杂背景下的偏振光谱图像融合方法存在的融合后图像边缘轮廓细节模糊、对比度不佳的问题,提出了一种基于非下采样轮廓波变换的稀疏表示与引导滤波器相结合的偏振光谱图像融合方法,设计了基于引导滤波的高通子带融合规则以及基于稀疏表示的低通子带融合规则,并使用偏振光谱成像仪获取了图像数据,利用互信息、结构信息相似度、边缘保持度和加权融合质量指数等4种客观评价指标对融合结果进行客观评价,结果表明本文方法较其他融合方法分别提升了12.3%、9.1%、8.5%和5.6%,物体对比度提升至0.805。利用本文融合方法对光谱图像与偏振强度、偏振度以及偏振特征S图像进行融合,并将3幅图像进行真彩还原。结果表明与原始真彩图像相比,本文方法极大地提升了物体与背景的对比度,PSNR/SSIM评价结果分别提升了9.3%和4.9%,融合图像清晰鲜明,有效减少了遥感图像中的阴影问题,增加了物体在混杂背景中的可辨识性。本文融合方法为地物混杂环境下的遥感探测成像提供了新的思路,展现了广阔的应用前景。

  • 图 1  (a) NSCT分解流程图及(b) NSCT理想频域分割图

    Figure 1.  (a) Flowchart of NSCT decomposition and (b) ideal frequency domain segmentation for NSCT

    图 2  基于NSCT的稀疏表示与引导滤波器的图像融合方法流程图

    Figure 2.  Flowchart of the fusion method discussed in this paper

    图 3  低频融合结果对比图

    Figure 3.  Comparison of low-frequency fusion results

    图 4  高频融合结果对比图

    Figure 4.  Comparison of high-frequency fusion results

    图 5  最终融合结果${{\boldsymbol{I}}_F}$

    Figure 5.  Final fusion result ${{\boldsymbol{I}}_F}$

    图 6  偏振光谱成像仪

    Figure 6.  Polarization spectral imager

    图 7  不同参数下的客观评价曲线

    Figure 7.  Objective evaluation curves of different parameters

    图 8  参考方法与本文方法对比图

    Figure 8.  Comparison of the reference method and the proposed method

    图 9  4种波长下不同融合方法的客观评价指标

    Figure 9.  Objective evaluation indexes of different fusion methods at four wavelengths

    图 10  不同融合方法对比图

    Figure 10.  Comparison of different fusion methods

    图 11  真彩图像对比图

    Figure 11.  True color image comparison chart

    表  1  低频子带融合的客观评价结果

    Table  1.   Objective evaluation metric results of low-frequency sub-band fusion

    评价
    指标
    融合规则
    区域方差匹配度 取平均 权重融合 稀疏表示
    MI 1.6685 1.4523 1.6238 1.9777
    Qw 0.6408 0.6324 0.7241 0.7822
    下载: 导出CSV

    表  2  高频轮廓信息的客观评价结果

    Table  2.   Evaluation metric results of high-frequency contour information

    评价指标 PCNN 边缘探测 绝对值取大 引导滤波
    SSIM 0.7354 0.6821 0.6378 0.7562
    Qab/f 0.5916 0.4481 0.4507 0.5988
    下载: 导出CSV

    表  3  偏振光谱成像仪的指标

    Table  3.   Indicators of polarization spectral imager

    性能指标 参数值
    波长范围/nm 400~900
    光谱分辨率 优于2 nm
    F/# 3
    视场角/(°) ±4.1
    分辨率 2448×2048
    像元尺寸/μm 3.45×3.45
    光学尺寸/inch 2/3
    帧率 36 fps@2448×2048
    下载: 导出CSV

    表  4  参考方法与本文方法各分量融合图像评价指标

    Table  4.   The evaluation indexes of image fusion of each component for the reference method and the proposed method

    融合图像 评价指标
    MI SSIM Qab/f Qw
    参考方法I融合结果 2.7623 0.7182 0.6147 0.8367
    本文I融合结果 2.8031 0.7387 0.6393 0.8625
    参考方法DoLP融合结果 1.9765 0.6376 0.5733 0.7615
    本文DoLP融合结果 2.7342 0.7023 0.6142 0.8222
    参考方法AoP融合结果 1.6681 0.5679 0.4935 0.6138
    本文AoP融合结果 1.7437 0.6755 0.5883 0.7004
    下载: 导出CSV

    表  5  参考方法与本文方法的HSI伪彩色图像评价指标

    Table  5.   The evaluation indexes of HSI pseudo-colored images for the reference method and the proposed method

    不同方法 评价指标
    PSNR SSIM
    参考方法HSI融合结果 22.81 dB 0.6431
    本文方法HSI融合结果 28.52 dB 0.6947
    下载: 导出CSV

    表  6  不同融合方法评价结果

    Table  6.   Evaluation results of different fusion methods

    融合方法 评价指标
    MI SSIM Qab/f Qw
    CNN 2.2343 0.6434 0.5662 0.7787
    GFF 1.7685 0.5862 0.5137 0.7507
    LP-SR 2.1132 0.6361 0.5354 0.7427
    CVT-SR 2.2356 0.6053 0.5833 0.7706
    NSCT-SR 2.5835 0.5965 0.5350 0.7582
    本文方法 2.7342 0.7023 0.6142 0.8222
    下载: 导出CSV

    表  7  原始真彩图像及融合后的真彩图像的客观评价结果

    Table  7.   Evaluation indexes of original true color image and fused true color image

    真彩图像 评价指标
    PSNR SSIM
    原始真彩图像 33.72 dB 0.8672
    融合后的真彩图像 36.87 dB 0.9104
    下载: 导出CSV
  • [1] HE Z J, ZHANG Z Z, GUO M Q, et al. Adaptive unsupervised-shadow-detection approach for remote-sensing image based on multichannel features[J]. Remote Sensing, 2022, 14(12): 2756. doi: 10.3390/rs14122756
    [2] LI J X, HONG D F, GAO L R, et al. Deep learning in multimodal remote sensing data fusion: a comprehensive review[J]. International Journal of Applied Earth Observation and Geoinformation, 2022, 112: 102926. doi: 10.1016/j.jag.2022.102926
    [3] 张璐, 李博, 李寒霜, 等. 超光谱分辨率紫外双通道共光路成像光谱仪设计[J]. 中国光学(中英文),2022,15(5):1029-1037. doi: 10.37188/CO.2022-0125

    ZHANG L, LI B, LI H SH, et al. Hyperspectral resolution ultraviolet dual channel common optical path imaging spectrometer[J]. Chinese Optics, 2022, 15(5): 1029-1037. (in Chinese). doi: 10.37188/CO.2022-0125
    [4] 周俊焯, 郝佳, 余晓畅, 等. 面向偏振成像的超构表面研究进展[J]. 中国光学(中英文),2023,16(5):973-995. doi: 10.37188/CO.2022-0234

    ZHOU J ZH, HAO J, YU X CH, et al. Recent advances in metasurfaces for polarization imaging[J]. Chinese Optics, 2023, 16(5): 973-995. (in Chinese). doi: 10.37188/CO.2022-0234
    [5] WANG J Y, SHI H D, LIU J N, et al. Compressive space-dimensional dual-coded hyperspectral polarimeter (CSDHP) and interactive design method[J]. Optics Express, 2023, 31(6): 9886-9903.
    [6] MA J Y, MA Y, LI CH. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178. doi: 10.1016/j.inffus.2018.02.004
    [7] KAUR H, KOUNDAL D, KADYAN V. Image fusion techniques: a survey[J]. Archives of Computational Methods in Engineering, 2021, 28(7): 4425-4447. doi: 10.1007/s11831-021-09540-7
    [8] ZHAO Y, ZHANG L, ZHANG D, et al. Object separation by polarimetric and spectral imagery fusion[J]. Computer Vision and Image Understanding, 2009, 113(8): 855-866. doi: 10.1016/j.cviu.2009.03.002
    [9] 于洵, 杨烨, 姜旭, 等. 基于偏振光谱成像的目标识别方法研究[J]. 应用光学,2016,37(4):537-541. doi: 10.5768/JAO201637.0402001

    YU X, YANG Y, JIANG X, et al. Recognition of camouflage targets by polarization spectral imaging system[J]. Journal of Applied Optics, 2016, 37(4): 537-541. (in Chinese). doi: 10.5768/JAO201637.0402001
    [10] 牛思聪. 基于生成对抗网络的偏振高光谱图像处理与分类算法研究[D]. 哈尔滨: 哈尔滨工业大学, 2021, doi: 10.27061/d.cnki.ghgdu.2021.002257.

    NIU S C. Research on polarization hyperspectral image processing and classification algorithm based on generative countermeasure network[D]. Harbin: Harbin Institute of Technology, 2021, doi: 10.27061/d.cnki.ghgdu.2021.002257. (in Chinese).
    [11] 钟菁菁, 刘骁, 王雪霁, 等. 偏振光谱多维信息的重构融合算法[J]. 光谱学与光谱分析,2023,43(4):1254-1261.

    ZHONG J J, LIU X, WANG X J, et al. A multidimensional information fusion algorithm for polarization spectrum reconstruction based on nonsubsampled contourlet transform[J]. Spectroscopy and Spectral Analysis, 2023, 43(4): 1254-1261. (in Chinese).
    [12] LIU Y, YAN B Y, ZHANG R Z, et al. Multi-scale mixed attention network for CT and MRI image fusion[J]. Entropy, 2022, 24(6): 843. doi: 10.3390/e24060843
    [13] 朱攀, 刘泽阳, 黄战华. 基于DTCWT和稀疏表示的红外偏振与光强图像融合[J]. 光子学报,2017,46(12):1210002. doi: 10.3788/gzxb20174612.1210002

    ZHU P, LIU Z Y, HUANG ZH H. Infrared polarization and intensity image fusion based on dual-tree complex wavelet transform and sparse representation[J]. Acta Photonica Sinica, 2017, 46(12): 1210002. (in Chinese). doi: 10.3788/gzxb20174612.1210002
    [14] DONG L M, YANG Q X, WU H Y, et al. High quality multi-spectral and panchromatic image fusion technologies based on curvelet transform[J]. Neurocomputing, 2015, 159: 268-274. doi: 10.1016/j.neucom.2015.01.050
    [15] HUANG Y, BI D Y, WU D P. Infrared and visible image fusion based on different constraints in the non-subsampled shearlet transform domain[J]. Sensors, 2018, 18(4): 1169. doi: 10.3390/s18041169
    [16] WANG Z Y, LI X F, DUAN H R, et al. Medical image fusion based on convolutional neural networks and non-subsampled contourlet transform[J]. Expert Systems with Applications, 2021, 171: 114574. doi: 10.1016/j.eswa.2021.114574
    [17] CH M M I, GHAFOOR A, BAKHSHI A D, et al. Medical image fusion using non subsampled contourlet transform and iterative joint filter[J]. Multimedia Tools and Applications, 2022, 81(3): 4495-4509. doi: 10.1007/s11042-021-11753-8
    [18] 李文, 叶坤涛, 李晟. 基于优化PCNN与区域特征引导法则的图像融合[J]. 激光与红外,2021,51(8):1104-1112.

    LI W, YE K T, LI SH. Image fusion based on optimized PCNN and region feature guided rule[J]. Laser & Infrared, 2021, 51(8): 1104-1112. (in Chinese).
    [19] 杨艳春, 李永萍, 党建武, 等. 基于快速交替引导滤波和CNN的红外与可见光图像融合[J]. 光学 精密工程,2023,31(10):1548-1562. doi: 10.37188/OPE.20233110.1548

    YANG Y CH, LI Y P, DANG J W, et al. Infrared and visible image fusion based on fast alternating guided filtering and CNN[J]. Optics and Precision Engineering, 2023, 31(10): 1548-1562. (in Chinese). doi: 10.37188/OPE.20233110.1548
    [20] WANG K P, QI G Q, ZHU ZH Q, et al. A novel geometric dictionary construction approach for sparse representation based image fusion[J]. Entropy, 2017, 19(7): 306. doi: 10.3390/e19070306
    [21] LV X B, LI Y W, ZHU SH SH, et al. Snapshot spectral polarimetric light field imaging using a single detector[J]. Optics Letters, 2020, 45(23): 6522-6525. doi: 10.1364/OL.409476
    [22] LI X B, HU H F, GOUDAIL F, et al. Fundamental precision limits of full Stokes polarimeters based on DoFP polarization cameras for an arbitrary number of acquisitions[J]. Optics Express, 2019, 27(22): 31261-31272. doi: 10.1364/OE.27.031261
    [23] 杨之文, 高胜钢, 王培纲. 几种地物反射光的偏振特性[J]. 光学学报,2005,25(2):241-245. doi: 10.3321/j.issn:0253-2239.2005.02.022

    YANG ZH W, GAO SH J, WANG P G. Polarization of reflected light by earth objects[J]. Acta Optica Sinica, 2005, 25(2): 241-245. (in Chinese). doi: 10.3321/j.issn:0253-2239.2005.02.022
    [24] DA CUNHA A L, ZHOU J, DO M N. The nonsubsampled contourlet transform: theory, design, and applications[J]. IEEE Transactions on Image Processing, 2006, 15(10): 3089-3101. doi: 10.1109/TIP.2006.877507
    [25] OLSHAUSEN B A, FIELD D J. Emergence of simple-cell receptive field properties by learning a sparse code for natural images[J]. Nature, 1996, 381(6583): 607-609. doi: 10.1038/381607a0
    [26] 丁贵鹏, 陶钢, 李英超, 等. 基于非下采样轮廓波变换与引导滤波器的红外及可见光图像融合[J]. 兵工学报,2021,42(9):1911-1922.

    DING G P, TAO G, LI Y CH, et al. Infrared and visible images fusion based on non-subsampled contourlet transform and guided filter[J]. Acta Armamentarii, 2021, 42(9): 1911-1922. (in Chinese).
    [27] 许廷发, 李俊涛, 张一舟, 等. 真彩色传递双波段图像融合[J]. 中国光学,2014,7(3):402-410.

    XU T F, LI J T, ZHANG Y ZH, et al. True color transfer for dual band image fusion[J]. Chinese Optics, 2014, 7(3): 402-410. (in Chinese).
  • 加载中
图(11) / 表(7)
计量
  • 文章访问数:  257
  • HTML全文浏览量:  195
  • PDF下载量:  159
  • 被引次数: 0
出版历程
  • 收稿日期:  2023-10-08
  • 修回日期:  2023-11-17
  • 网络出版日期:  2024-02-02

目录

/

返回文章
返回