留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

有限离散剪切波域的红外可见光图像融合

陈清江 张彦博 柴昱洲 魏冰蔗

陈清江, 张彦博, 柴昱洲, 魏冰蔗. 有限离散剪切波域的红外可见光图像融合[J]. 中国光学, 2016, 9(5): 523-531. doi: 10.3788/CO.20160905.0523
引用本文: 陈清江, 张彦博, 柴昱洲, 魏冰蔗. 有限离散剪切波域的红外可见光图像融合[J]. 中国光学, 2016, 9(5): 523-531. doi: 10.3788/CO.20160905.0523
CHEN Qing-jiang, ZHANG Yan-bo, CHAI Yu-zhou, WEI Bing-zhe. Fusion of infrared and visible images based on finite discrete shearlet domain[J]. Chinese Optics, 2016, 9(5): 523-531. doi: 10.3788/CO.20160905.0523
Citation: CHEN Qing-jiang, ZHANG Yan-bo, CHAI Yu-zhou, WEI Bing-zhe. Fusion of infrared and visible images based on finite discrete shearlet domain[J]. Chinese Optics, 2016, 9(5): 523-531. doi: 10.3788/CO.20160905.0523

有限离散剪切波域的红外可见光图像融合

doi: 10.3788/CO.20160905.0523
基金项目: 

陕西省自然科学基金资助项目 2015JM1024

陕西省自然科学基金资助项目 2013JK0568

详细信息
    通讯作者: 陈清江(1966-), 男, 河南信阳人, 博士, 教授, 主要从事小波分析、图像处理与信号处理方面的研究.E-mail:qjchen66xytu@126.com
  • 中图分类号: TP391.4

Fusion of infrared and visible images based on finite discrete shearlet domain

Funds: 

Shaanxi Provincial Natural Science Foundation of China 2015JM1024

Shaanxi Provincial Natural Science Foundation of China 2013JK0568

More Information
图(7) / 表 (2)
计量
  • 文章访问数:  502
  • HTML全文浏览量:  107
  • PDF下载量:  771
  • 被引次数: 0
出版历程
  • 收稿日期:  2016-04-18
  • 修回日期:  2016-05-11
  • 刊出日期:  2016-10-01

有限离散剪切波域的红外可见光图像融合

doi: 10.3788/CO.20160905.0523
    基金项目:

    陕西省自然科学基金资助项目 2015JM1024

    陕西省自然科学基金资助项目 2013JK0568

    通讯作者: 陈清江(1966-), 男, 河南信阳人, 博士, 教授, 主要从事小波分析、图像处理与信号处理方面的研究.E-mail:qjchen66xytu@126.com
  • 中图分类号: TP391.4

摘要: 针对目前图像融合过程中的不足之处,结合有限离散剪切波具有高的方向敏感性和抛物尺度化特性,提出了一种有限离散剪切波变换下的图像融合算法。首先对严格配准的多传感器图像进行有限离散剪切波变换,得到低频子带系数和不同尺度不同方向的高频子带系数;然后对低频子带系数采用全局特征值和像素点之间的差异性与区域空间频率匹配度相结合的融合算法,高频方向子带系数采用方向权重对比度与相对区域平均梯度和相对区域方差相结合的方案;最后通过有限离散剪切波逆变换得到融合图像。实验结果表明,与其他的融合算法相比较,本文算法不但有良好的主观视觉效果,而且3幅图像的客观评价指标分别平均提高了0.9%、3.8%、3.1%,2.6%、3.8%、2.9%和1.5%、125%、59%,充分说明了本文融合算法的优越性。

English Abstract

陈清江, 张彦博, 柴昱洲, 魏冰蔗. 有限离散剪切波域的红外可见光图像融合[J]. 中国光学, 2016, 9(5): 523-531. doi: 10.3788/CO.20160905.0523
引用本文: 陈清江, 张彦博, 柴昱洲, 魏冰蔗. 有限离散剪切波域的红外可见光图像融合[J]. 中国光学, 2016, 9(5): 523-531. doi: 10.3788/CO.20160905.0523
CHEN Qing-jiang, ZHANG Yan-bo, CHAI Yu-zhou, WEI Bing-zhe. Fusion of infrared and visible images based on finite discrete shearlet domain[J]. Chinese Optics, 2016, 9(5): 523-531. doi: 10.3788/CO.20160905.0523
Citation: CHEN Qing-jiang, ZHANG Yan-bo, CHAI Yu-zhou, WEI Bing-zhe. Fusion of infrared and visible images based on finite discrete shearlet domain[J]. Chinese Optics, 2016, 9(5): 523-531. doi: 10.3788/CO.20160905.0523
    • 图像融合是指采用特定的算法将两幅或多幅图像合成为一幅更精准、更具可靠性图像的过程。通过图像融合技术可以最大限度地获取对目标或场景信息的完整描述,更适合人的视觉及计算机检测、分类、识别及处理。这种技术已广泛应用于医学、智能机器人、遥感等领域。

      多尺度变换是将待融合图像分解为不同尺度、不同方向上的一系列代表不同特征的子图像,然后选取合适的融合规则,对子图像进行运算选取,最后将处理后的系数进行逆变换得到重构图像。它与人眼视觉系统对事物的认知过程非常相似,因此将多尺度变换的思想应用于图像融合领域将得到符合人类视觉特征的融合图像。1987年,Mallat将多尺度分析思想引入小波分析的研究中,提出了多分辨率分析[1]的概念。因此用小波变换[2-4]来处理图像信号,可以较好地提取图像边缘轮廓等细节信息。然而,传统的小波变换只能捕捉水平、垂直和对角3个方向的信息,并不能很好地表示图像的“线奇异性”,在处理二维信号时有一定的局限性。为此,人们先后提出了DWT[5]、CT[6-7]、NSCT[8-9]、 DTCW T[10] 、NSST[11]等变换,从移变性到平移不变性的发展,使得它们具有更好的方向选择性,可以更稀疏地表达图像的细节纹理信息,在图像融合中取得了较好的主观视觉效果;但其缺点是计算复杂度较高,且分解的方向数有限。随后,S.Häuser和G.Steidl[12]证明并构造了有限维欧式空间中parseval框架的离散剪切波,简称有限离散剪切波(FDST), 它不仅满足平移不变性,同时保持了DWT及NSCT的良好特性, 并且由于FDST在分解、重构过程中采用快速Fourier变换算法,因此也具备了较好的运算效率。

      多尺度变换将源图像分解成低频信息和不同尺度不同方向上的高频信息,低频子带是源图像的近似,包含了图像的主要信息;高频子带包含了源图像的细节信息。传统的融合策略不能有效地提取图像的边缘轮廓等细节图像,模糊了源图像的清晰部分,容易引入虚假信息,导致融合结果失真。为改善图像融合后的质量,本文对于低频采用全局特征值和像素点之间的差异性与区域空间频率匹配度相结合的融合算法;对于高频采用将相对区域平均梯度和相对区域方差与方向权重对比度[13]相结合算法。实验结果表明,该融合算法能有效地提取图像的互补信息,保留多幅图像的共同特征及边缘纹理等细节信息,融合效果优于其他算法。

    • 设剪切型矩阵和抛物型矩阵分别为:

      (1)

      式中,pR+, sR。∀ψL2(R2),对ψ进行膨胀、剪切及平移得到ψp, s, t,并且:

      (2)

      通过对ψp, s, t进行二维傅里叶变换,得到L2(R2)中任意f的连续剪切波变换及对应parseval等式,通过定义小波函数和冲击函数可将频域平面分成不同的区域,包括水平锥面、垂直锥面、锥面交叉线和低频部分。如图 1所示。

      图  1  不同区域的频域平面

      Figure 1.  Frequency domain plane in different regions

      其重叠区域,定义特征函数,其中,τ∈{h, v, x}, 由此构造锥面Ch, Cv, Cx上的剪切波:

      (3)

      对低频部分上的剪切波,使用加细函数ϕ可使得ϕ(x)的平移变换为Ttϕ(x)=ϕ(x-t)。

    • 中的伸缩参数、剪切参数以及平均参数离散化有:

      (4)

      式中:I={(m1, m2):mi=0, …, N-1, i=1, 2}, 表示分解尺度, 得到离散剪切波ψi, k, m,为得到整个频域上的剪切波,在锥面交叉处定义|k|=2j,得到剪切波的和式为:

      (5)

      因此离散剪切波就可表示为:

      (6)

      式中,j=0, …, j0-1, -2j+1≤k≤2j-1, mI。该离散剪切波已被证明可以构成有限维欧式空间的Parseval框架。对图像I,通过有限离散剪切波分解可以得到低频子带系数和不同尺度不同方向的高频子带系数,图像I经过L层FDST分解,可得到1个低频子带和方向子带系数,图 2图 3为测试图像的源图像、重构图像以及二层FDST分解图。

      图  2  测试图像及重构图像

      Figure 2.  Test image and reconstructed image

      图  3  第一层和第二层分解的方向子带

      Figure 3.  Directional subband of the first level and second level decomposition

    • FDST的分解融合过程:首先对源图像进行FDST分解, 得到不同尺度不同方向的低频和高频子带系数; 其次对低频和各高频系数分别选取不同的的融合规则以及对各系数进行运算选取, 最后应用有限离散剪切波逆变换得到重构图像。以两幅图像为例, 算法主要步骤如下:

      (1) 先对两幅源图像IA, IB分别进行FDST分解, 得到不同尺度不同方向的低频和高频子带系数{LJA, Gl, kA}、{LJB, Gl, kB}, 其中,LJA, LJB分别表示图像IA, IB的低频子带系数, Gl, kA, Gl, kB分别表示图像IA, IB的第l层第k个高频子带系数。

      (2) 对上述步骤分解得到的低频子带系数和各高频方向子带系数分别进行融合选取, 得到融合后图像IF各尺度各方向上的FDST系数{LJF, Gl, kF}。

      (3) 对步骤2中得到的系数{LJF, Gl, kF}进行FDST逆变换, 即得到融合后的清晰图像IF

    • 低频图像是源图像的近似,在原始图像中所占能量比例较大, 包含了源图像的主要信息。以往的低频融合策略如区域能量忽略了黑暗部分,区域方差只增强了边缘效果,并没有提高整体的融合效果。为改善图像融合后的质量,受文献[14]启发,低频部分采用全局特征值和像素点之间的差异性与区域空间频率匹配度相结合的融过算法。具体融合规则如下:

      (1) 设A、B为低频图像,区域窗口大小为N×N, 为了提高融合图像的对比度,低频不再采用简单的加权平均或区域能量的方法,这里给出了一种自适应的加权融合方法,权重参量计算如下:

      (8)

      式中,λA、λB表示图像A、B的全局特征值,全局特征值反映图像的一般背景亮度,比灰度均值和中位数更能反映图像的整体特性,计算如下:

      (9)

      式中,Q1A, Q2A, Q3A, Q1B, Q2B, Q3B表示A, B的四分位值(把一幅图像中的所有灰度值由小到大排列并分成4等分,处于3个分割点位置的数值为四分位值)。四分位值是图像灰度值的分段刻画。其中r为控制权重的参数(取r=5),这里用自然指数函数是为了避免零点。

      (2) 区域空间频率反映图像的局部特征,往往区域信息丰富、有效信息多的区域空间频率大,这里结合区域空间频率构造了一种区域空间频率匹配度融合方法。首先计算A、B在(i, j)点的区域空间频率:

      (10)
      (11)

      式中,A(i+m, j+n), A(i+m-1, j+n), A(i+m, j+n-1), B(i+m, j+n), B(i+m-1, j+n), B(i+m, j+n-1)为A, B在(i+m, j+n), (i+m-1, j+n), (i+m, j+n-1)点的灰度值,定义与A、B相关的区域空间频率匹配度:

      (12)

      式中,N(i, j)为以(i, j)点为中心的N×N区域。当AB相接近时,MA, B(i, j)接近于1;当AB相差较大时,MA, B(i, j)接近于0。令I(0.5<T<1)为匹配度阈值。选取融合后的低频系数:当匹配度值大于T时,采用自适应加权融合算法对低频系数进行融合,当匹配度值小于或者等于T时,低频采用区域空间频率的融合方法,具体如下:

      (13)

      式中,F为融合后的低频系数,

    • 高频图像包含了源图像的边缘细节信息,对高频系数的选取直接影响融合后图像的清晰度,以往采用区域方差、区域平均梯度、空间频率等方法能用不同的方式反映图像的详细信息,并且可以区分图像的清晰和模糊区域,上述3种方法均能全面反映图像特征,不同的方法也有不同的融合效果。但是在大多数现有的融合算法中通常只采用其中一种融合算法,这样会丢失源图像的细节信息,在主观视觉效果和客观评价指标之间不能达到最佳的折衷。本文将方向权重对比度与相对区域方差和相对平均梯度结合起来,克服了单一融合算法的缺点,有效地改善了融合后图像的质量。具体步骤如下:

      (1) 对比度是评价图像质量的标准之一。本文采用一种带方向的对比度作为高频系数选取方法的主要部分,首先计算带方向的权重矩阵。设Gl, kA、Gl, kB为源图像经过有限离散剪切波分解后的第l层第k个高频方向子带,其方向角度为al, kMN×N(区域窗口)的全零矩阵, 将M位于y1=tan(al, k)x(n)+1和y2=tan(al, k)x(n)-1(其中n从1到N, x(n)从-N-12到N-12)之间的元素赋值为1,其他元素不变,得到变换后的矩阵Ml, k, 则源图像分解后的第l层第k个方向子带对应的方向权重为:

      (14)

      式中: , …, 2, 1],(其中表示取整)。则方向权重对比度定义为:

      (15)
      (16)

      式中,(n为分解层数)是高频方向子带总个数,LJA、LJB为低频系数。

      (2) 区域方差也可以反应图像的边缘、轮廓等细节信息,对图像灰度变化迅速的部分采用区域方差可以准确的捕获到源图像的有用信息,下面计算Gl, kA、Gl, kB的区域方差[15]Vl, kA、Vl, kB:

      (17)
      (18)

      式中,Gl, kA(i+u, j+v), Gl, kB(i+u, j+v)为Gl, kAGl, kB在(i+u, j+v)点的灰度值,μ1μ2为区域平均灰度值。

      (3) 选取融合后的高频系数,为改善融合效果引入参量r(0<r<1),可以控制融合方案的融合范围,取r=3。当CA(i, j)在CB(i, j)-rCB(i, j)+r之间的时候,选用区域方差作为高频系数选取的标准。若CA(i, j)在区间之外,选用对比度对高频系数进行选取,具体如下:

      (19)
    • 为说明有限离散剪切波变换的优越性,在不同的变换域下采用同一种本文提出的融合策略,对红外与可见光图(图 4(a)4(b))进行融合比较。具体分别对传统融合策略下采用平稳小波变换(SWT)、离散小波变换(DWT)、非下采样轮廓波变换(NSCT)、双树复小波变换(DTCWT)、非下采样剪切波变化(NSST)、有限离散剪切波变换(FDST)进行比较。仿真的实验机器为Thinkpad E420,软件是Matlab2014a, 对主观视觉效果及对相应的客观评价指标(信息熵EN, 互信息量MI, 边缘相似度QAB/F)和运行时间进行比较说明。融合结果依次为图 4(c)~4(h)所示。

      图  4  不同小波域在文章融合策略下对红外与可见光图的融合结果

      Figure 4.  Infrared and visible image fusion results using fusion strategy of this paper in different wavelet domain

      图 4是红外与可见光图像的融合结果, 从融合结果及细节放大效果中可以看出:图 4(c)4(d)4(e)4(f)4(g)都不同程度地提取了源图像的互补信息,视觉效果较源图像都有所改善,但是图像整体昏暗,模糊了源图像的清晰部分;而4(h)中船的轮廓清晰可见,对比度适中,细节纹理特征突出,提取到了目标的主要信息,有更好的视觉效果。这说明FDST在图像融合过程中比其他变换域具有更大的优越性。相应的客观指标评价结果如表 1

      表 1  不同小波域下对红外与可见光图的融合结果比较

      Table 1.  Fusion results comparison of infrared and visible image in different wavelet domain

      Fusion evaluationInfrared and visible imageAverage running time/s
      ENMIQAB/F
      SWT5.648 11.618 80.389 42.246 5
      DWT5.412 31.521 50.501 82.487 4
      NSCT5.216 51.741 10.391 12.798 1
      DTCWT5.348 91.815 60.384 12.741 6
      NSST5.481 41.815 40.377 53.146 7
      FDST6.841 23.924 80.661 42.194 5

      表 1可以看出,在Infrared and visible图的6种融合结果中,DWT边缘相似度高于SWT, 但SWT的熵值和互信息量却优于DWT。NSCT、DTCWT和NSST的熵值、互信息量和边缘相似度相互接近。而FDST的各项客观评价指标均优于其他变换域下的融合结果。其中熵值、互信息量和边缘相似度分别平均提升了26.3%、131.6%和63.6%。从运行时间来看,有限离散剪切波变换在视觉效果和客观指标大大提升的同时,又有相对较高的运算效率,这充分说明了FDST在图像融合中的优越性。

    • 不同的融合策略应用于不同的变换域会有不同的融合效果。这部分主要用4种不同的融合算法对3幅红外与可见光图(图 5(a)5(b)6(a)6(b)7(a)7(b))进行了融合比较。具体包括:非下采样剪切波变换下低频采用空间频率与平均梯度自适应加权,高频采用区域方差取大的融合算法[16](NSST_HSGLRV);下采样分数阶小波变换下低频采用区域能量取大法,高频采用区域方差匹配度的融合算法[17](FRWT_HRELV);有限离散剪切波变换下低频采用梯度加权,高频采用区域标准差取大的融合算法[18](FDST_LGHRS); 有限离散剪切波变换下低频采用全局特征值和像素点之间的差异性与区域空间频率匹配度相结合,高频采用方向权重对比度与相对区域平均梯度和相对区域方差相结合的融合算法(FDST_LGVHC)。融合结果依次为图 5(c)~5(g)6(c)~6(g)7(c)~7(g)所示。

      图  5  不同小波域在不同融合策略下对红外与可见光图(5)的融合结果

      Figure 5.  Infrared and visible image(5) fusion results using different fusion strategies in different wavelet domains

      图  6  不同小波域在不同融合策略下对红外与可见光图(6)的融合结果

      Figure 6.  Infrared and visible image(6) fusion results using different fusion strategies in different wavelet domains

      图  7  不同小波域在不同融合策略下对红外与可见光图(7)的融合结果

      Figure 7.  Infrared and visible image(7) fusion results using different fusion strategies in different wavelet domains

      从融合结果及细节放大效果可以看出,图 5(c)~5(f)6(c)~6(f)7(c)~7(f)都提取到了目标的互补信息,但图像的细节反差和明暗保持各有不同。如图 5(f)在整体色度和饱和度方面比图 5(c)5(d)5(e)表现更充分,草木中的细节纹理信息更为精确,充分保持了源图像的主要信息。图 6(c)图像色度发生改变,图 6(d)图像整体模糊,而图 6(e)6(f)效果明显改善,尤其是图 6(f)中的电脑、瓶子、柜子等都清晰可见,对比度适中,细节纹理突出,视觉效果良好。图 7(c)7(d)虽然能够将目标信息融入到融合图像中,但都模糊了源图像的清晰部分。图 7(e)融合效果有所改善,与图 7(e)相比,图 7(f)更加清晰自然,区域特征明显,边缘轮廓保持完整。这说明在有限离散剪切波变换下低频采用全局特征值和像素点之间的差异性与区域空间频率匹配度相结合,高频采用方向权重对比度与相对区域平均梯度和相对区域方差相结合的融合算法是可取的。相应的客观评价指标见下表 2

      表 2  不同小波域在不同融合策略下对红外与可见光图的融合结果比较

      Table 2.  Fusion results comparison of infrared and visible by using different fusion strategies in different wavelet domain

      Fusion evaluationInfrared and visible image(5)Infrared and visible image(6)Infrared and visible image(7)Averagerunning time/s
      ENMIQAB/FENMIQAB/FENMIQAB/F
      NSST_ HSGLRV6.825 83.038 80.447 97.231 73.152 20.605 37.432 12.439 20.548 810.457 9
      FRWT_HRELV6.732 33.749 10.417 87.132 72.828 20.423 47.287 82.686 10.353 98.407 3
      FDST_LGHRS6.924 72.123 00.474 37.490 12.511 00.646 97.413 03.746 40.686 49.432 7
      FDST_LGVHC7.000 83.870 40.573 27.349 23.868 50.708 07.487 26.460 00.781 76.228 8

      表 2可以看出:在Infrared and visible image(6)的融合结果中,FDST_LGVHC除了熵值略低于FDST_LGHRS,其它指标均优于NSST_ HSGLRV,FRWT_HRELV,FDST_LGHRS。其中熵值、互信息量和边缘相似度分别平均提升了0.9%、3.8%和3.1%。而在Infrared and visible image(5)和Infrared and visible image(7)的融合结果中,FDST_LGVHC的熵值、互信息量和边缘相似度均是最优的。并且Infrared and visible image(5)的各项客观评价指标分别平均提升了2.6%、3.8%和2.9%;Infrared and visible image(7)的各项客观评价指标分别平均提升了1.5%、125%和59%。从运行时间来看,在有限离散剪切波变换下采用本文的融合策略不但客观指标均有所提高,而且具有很好的时效性,进一步说明了本文算法的可取性。

    • 结合有限离散剪切波具有平移不变性和抛物尺度化特性,提出了利用有限离散剪切波对源图像进行多尺度变换,并对低频子带系数和各方向高频子带系数采用不同的融合策略,最后应用有限离散剪切波逆变换重构得到融合图像。实验结果表明:与其它融合算法相比,本文提出的融合算法能够有效提取图像的边缘、轮廓等细节纹理信息,具有良好的主观视觉效果。在客观评价指标上,除了个别指标不是最优,其它指标均优于其它算法,而且图像的客观评价指标整体分别平均提高了0.9%、3.8%、3.1%,2.6%、3.8%、2.9%和1.5%、125%、59%。总体而言,本文融合算法能够得到较好的融合效果,具有较高的运算效率。

参考文献 (18)

目录

    /

    返回文章
    返回