-
近几年,红外成像探测器已广泛应用于图像采集、目标跟踪、安全监控以及工业测量等领域。受探测单元间响应的不一致性以及材料、工艺水平、外界输入等综合因素的限制,其固有的非均匀性会严重影响成像质量[1,2,3]。非均匀性条带是红外成像系统中最常见的一种特殊的固定图案噪声(Fixed Pattern Noise,FPN)[4,5],条带的存在掩盖了图像中真正的辐射信息,严重影响了图像质量及后续的定量计算,因此去除非均匀性条带在红外图像的预处理中非常关键。
在消除非均匀性条带时,要最大限度地保持图像细节信息,尽量恢复图像的原始辐射信息。鉴于此,国内外学者提出了许多关于去除条带的方法。M.Wegener[6]、P.Rakwatin[7]和Y.Tendero[8]等人提出了基于直方图匹配及其改进的方法来去除非均匀性条带噪声。F.L.Gadallah[9]等人提出了基于矩匹配去除条带噪声的方法,在此基础上,刘正军[10]等人提出一种结合均值补偿法、傅里叶变换法和相关系数法的改进矩匹配方法。Qian[11]等人利用灰度边缘共生矩阵理论,通过构造梯度能量非线性方程实现非均匀性条带的校正。石光明[12]等人提出了一种基于二维方向滤波器抑制孤立条带噪声的方法。Ren[13]等人基于相邻两列红外图像的相关性,提出一种利用相邻列误差函数校正图像非均匀条带的方法。N.Acito[14]等人提出一种基于非均匀条带特性的正交子空间估计的条带去除方法。基于变换域的非均匀性条带去除方法主要有傅里叶变换法和小波变换法。Chen[15]等人提出的基于小波尺度变换和主成分分析的非均匀性条带校正方法,弥补了无法分析局部时域信号的频率特征的不足。
本文提出的直方图加权和Savitzky-Golay滤波拟合迭代去除非均匀性条带的方法,在对非均匀性条带图像进行直方图加权平滑的基础上,结合Savitzky-Golay滤波器对图像的列均值和列方差数据进行拟合,最后通过可调节参数的迭代重建得出校正后的图像。算法不需要任何运动补偿运算,能够在单帧内有效地去除图像中的非均匀性条带,并且适用于场景较复杂、灰度分布不均匀的红外图像,计算复杂度低,适合工程应用。
-
灰度级范围为[0,G]的数字图像的直方图离散函数可表示为:
对于灰度图像,G的值为255,rk是区间[0,G]内的第k级灰度值,nk是灰度级为rk的图像中的像素数。在实践中,经常使用归一化后的直方图由式(2)给出:
式中,k=0,1,…,G,p(rk)是灰度级rk在图像中出现的概率的一个估计,归一化直方图的所有分量之和应等于1。
设f(i, j)、r(i, j)和g(i, j),i=1,2,…,M,j=1,2,…,N分别是输入的带有非均匀性条带的图像、真实场景图像和经过非均匀性条带校正后的输出图像在(i, j)处的灰度级,M和N分别为图像的行、列数。由于非均匀性条带具有沿扫描方向分布,沿列方向贯穿于整幅图像,并且具有一定的明暗度等特点,本文对图像进行分列处理(假设条带沿列方向分布),计算当前列每个像元的直方图加权权值。设第j列图像灰度级rk出现的频数为pj(rk),则有:
式中,w(i, j)为图像在(i, j)处的直方图加权权值。
在理想情况下探测器单元在达到饱和之前被假设为线性响应模型[16],可表示为:
因此,当已知增益系数G(i, j)和偏置系数O(i, j)时,就能对含有非均匀性条带的图像进行恢复,获得真实场景图像的灰度值。所以说,如何得到增益系数和偏置系数,成为消除图像非均匀性条带的一个关键。对式(4)的两边分别按列取均值和方差得:
式中,μpj和σ2pj分别表示估计出的真实图像r(i, j)的列均值和列方差,μj和σ2j分别表示含有非均匀性条带图像f(i, j)经过直方图加权的列均值和列方差。可得:
将列增益系数Gj和偏执系数Oj带回到原探测器响应式(4)中可得到图像中第j列经过校正后的灰度值gj:
式中:
-
Savitzky-Golay滤波器是一种时域内的低通滤波器,它的基本思路是基于多项式,通过移动窗口及平滑的多项式对数据进行最佳拟合,并且它提供了一种利用多项式卷积的计算方法来计算滤波系数,这种方法简单易懂,可操作性非常强。采用Savitzky-Golay滤波拟合算法对直方图加权后得到的各列均值μj和方差σ2j进行平滑滤波处理,消除非均匀性条带的影响。
设x(n)中的一组以n=0为中心的2p+1个数据为x(i),i=-p,…,0,…p,现在构造一个q阶多项式(q≤2p+1)来拟合这一组数据,其拟合公式可表示为:
设点的误差平方和为E,有:
为使拟合误差最小,令E对各系数的导数为0,即:
解方程可得到相应的拟合系数。然后将中间点的横坐标带回到拟合后的方程中,用这个点代替原来的点,这个过程中,获得的该点值的大小是在观察数据点基础上的最佳拟合,得到图像各列新的均值μpj和方差σ2pj。可表示为:
式中,s为Savitzky-Golay滤波拟合函数。则式(9)可表示为:
式(17)为基于Savitzky-Golay加权拟合去除图像非均匀性条带的校正公式,其中h为直方图加权和Savitzky-Golay滤波拟合(HWSG)法校正函数。
图 1和图 2为运用不同的拟合方法处理图像列均值和列方差效果图,图中实线给出了采用Savitzky-Golay滤波拟合算法对各列均值μj和方差σ2j进行数字滤波平滑处理的结果,可以看出其数字滤波器拟合信号中低频成分,平滑高频成分,在平滑非均匀性起伏的基础上尽量保证原始数据(图 1、图 2中点线)的不失真。相对于其他拟合方法(图 1、图 2中虚线)而言,这种方法能保留数据的极大值、极小值和宽度等分布特性。
-
当图像被非均匀性条带污染程度很高时,经上述HWSG算法校正后,易形成明暗相间的条带,如图 3(a)、3(b)所示。如果只通过一次或两次处理,就不能完全消除条带解决这个问题。通常有两种方法,第一种方法是高非均匀性图像在Savitzky-Golay滤波拟合过程中使用较大的滤波窗口,即选取较大的p值(p≥7),但窗口大容易丢失细节信息,使恢复结果模糊;本文使用第二种方法,即通过迭代调节的方法来解决。图像迭代重建公式可以写成如下形式:
式中,λ为调节参数,平衡迭代过程中两项的权重,h为本文提出的去除非均匀性条带的HWSG法校正函数,初始值f0为输入的带有非均匀性条带的图像,由λ<1可知重建图像迭代序列{fn}是收敛的,有迭代误差:
当βn→0(或βn足够小)时,结束迭代,最后一次迭代结果fn即为所求校正图像。图 3(c)为利用本文提出的HWSG方法经过10次迭代后的校正图像,可以看出在原有算法的基础上进行可调参数的迭代取得了良好的效果。
-
为了比较和评价各种已有方法和本文方法在非均匀性条带噪声消除方面的表现,分别选用模拟图像和真实的含有非均匀性条带的红外图像来进行实验。
-
下面利用本文算法对添加了模拟非均匀性条带的图像进行校正效果验证,实验结果如图 4所示。其中图 4(a)为真实场景图像,图 4(b)为添加模拟非均匀性条带的图像,图 4(f)为利用HWSG方法校正后的结果图。可见,本文算法可以有效地抑制非均匀性条带噪声。为了进一步表明本文算法的有效性,本节中将其与其它几种典型的非均匀性条带校正方法进行对比,包括矩匹配法(图 4(c)所示)、傅里叶低通滤波法(图 4(d)所示)和直方图匹配法(图 4(e)所示)。
由实验结果图像可以看出,利用直方图匹配、傅里叶低通滤波法处理后的图像效果较差,直方图匹配法虽然消除了条带噪声但产生了列方向的带状效应,而傅里叶低通滤波法并没有完全消除条带影响,使图像整体呈现一种模糊的效果;矩匹配法在条带消除效果上要明显优于前两种方法,提升了图像的对比度,但其保持纹理细节等信息的效果并不好,在灰度变化较大的区域出现人为噪声;本文提出的HWSG方法基本上完全消除了非均匀性条带的影响,并且较好地保留了图像纹理细节和非条带位置的图像原始信息,并没有造成图像的模糊或条带所在位置图像信息较大地改变,且优于已有方法,具有良好的条带消除能力。
本文通过对原始图像、非均匀性条带图像与去条带后图像列均值分布的对比来进一步评价条带去除方法对原始图像信息的保留能力。如图 5所示,真实场景图像中没有条带噪声,其图像列均值曲线用虚线表示,含有非均匀性条带图像列均值曲线用点线表示,去条带后图像的列均值曲线和原始图像的列均值曲线拟合得越好,表示原始图像信息得到了越好的保留。由图 5可见,矩匹配法校正后图像列均值曲线近似于一条直线,无法很好地反映图像灰度的真实均值分布。傅里叶低通滤波法在非均匀性条带与邻域灰度分布差异较大时,其并不能很好的平滑高频信号。用直方图匹配法处理的图像其列均值曲线能与原始图像列均值曲线较好的拟合,但在图像边缘处有较大的突变,不能准确地反映图像的真实情况。利用本文提出的HWSG算法去除条带后的图像列均值曲线用实线表示,其与原始真实场景图像列均值曲线变化趋势基本一致,且较为贴近,使非均匀性条带图像列方向的均值分布得到一定恢复,拟合程度优于已有的方法(矩匹配法、傅里叶变换法、直方图匹配法)。
-
针对影响图像质量的主要因素,本文通过计算一定的参数来评价校正方法在非均匀性条带去除及原始图像信息保留等方面的能力,选取以下评价指标进行对比研究。
(1)峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)。图像的PSNR值越大,图像质量越好,其计算公式为:
式中,M和N分别是图像高度和宽度上的像素个数,r(i,j)和g(i,j)分别是参考图像和经过校正后图像在点(i,j)处的灰度值。
(2)通用质量评价指数UIQI(Universal Image Quality Index)。若两幅图像完全相同,则UIQI值为1,重建图像越接近原始图像,UIQI值越接近1,重建效果越好,其计算公式为:
式中,μr,μg分别为参考图像和重建图像的均值,σ2r,σ2g分别为其方差,σrg为两幅图像的协方差。
(3)图像粗糙度(Coarseness)。粗糙度数值越小,表明非均匀性校正的效果越好。其定义如下:
式中:f表示数字图像;h1=[1,-1]为水平模板;h2=[1,-1]T为垂直模板;*代表离散卷积;‖‖代表1范数。
(4)条带质量评价函数IQ。条带质量评价函数是专门针对条带噪声提出的图像质量评价函数,反映了图像条带消除前后在条带分布方向上的变化,其值越大,说明条带去除效果越好,反之,则说明条带消除的能力较差。其计算公式如下:
式中:μn[j]、 μp[j]、 μr[j]分别为条带图像、校正后图像及参考图像中的各列均值(假设条带噪声沿图像的列方向分布)。
图 6为利用本文算法对图 4(b)含有非均匀性条带的图像进行迭代重建过程中各项图像客观评价指标的变化。可以看出,随着迭代次数的增加,图像质量评价指标单调变化,当β(n)收敛时达到稳定,评价指标不再随迭代次数的增加而变化。应用不同算法的图像客观评价对比结果如表 1所示,可以看出与之前主观评价指标得出的结果一致,本文方法与传统的矩匹配法、傅里叶低通滤波法以及直方图匹配法相比去除非均匀性条带的效果更好。
表 1 不同处理方法客观评价指标数据
Table 1. Comparisons of image evaluation criteria by different algorithms
方法 PSNR IQ UIQI ρ 带非均匀性条带图片 25.307 3 0 0.881 9 67.159 1 矩匹配法 25.856 5 1.820 9 0.902 8 71.268 6 傅里叶低通滤波法 25.362 5 2.392 9 0.912 4 47.561 2 直方图匹配法 26.792 6 2.207 3 0.962 9 65.268 1 本文方法 29.570 5 4.809 7 0.977 3 54.295 1 -
下面将采用图 7(a)中所示真实的含有非均匀性条带的红外图像测试文中算法的校正性能。应用本文算法进行真实红外图像条带消除的结果如图 7(b)所示,可以看出,经处理几乎完全消除了非均匀性条带的影响,并且较好地保持了图像的细节纹理,非均匀性条带的消除效果比较理想,具有一定的实用价值。
-
如何去除红外图像的非均匀性条带并保留图像的细节信息和良好的视觉效果是红外图像预处理技术研究中的重点和难点之一。为了验证本文提出的基于直方图加权和Savitzky-Golay滤波拟合的迭代去除算法的有效性,将其与已有的校正方法进行对比、评价,从处理结果和评价参数可以看出,本文方法较其他方法更好地保留了原图像的细节特征,峰值信噪比、通用质量评价指数等评价参数均有10%以上的提升,对于高非均匀性条带图像,其优越性能更加突出。本算法基于单帧图像处理,不依赖图像序列信息,图像的每一列都可以进行独立处理,便于硬件实现,在红外成像系统特别是非制冷凝视型红外焦平面阵列和线扫红外焦平面阵列中有着广阔的应用前景。
Correction method for stripe nonuniformity in infrared images based on Savitzky-Golay weighted fitting algorithm
-
摘要: 针对红外成像探测器单元响应不一致等因素导致的图像非均匀性条带问题, 提出了基于直方图加权和Savitzky-Golay拟合的非均匀性条带校正方法。首先, 计算每列的归一化直方图函数并将其作为权值对图像进行加权运算;然后, 利用Savitzky-Golay滤波器对加权后的图像列均值和列方差进行拟合, 并将结果带入校正公式, 通过可调参数的迭代完成校正。实验结果表明:该方法能有效地去除非均匀性条带, 保留图像的光谱辐射信息和纹理细节, 各项评价指标均提高10%。
-
关键词:
- 非均匀性条带校正 /
- 红外成像探测器 /
- 直方图加权 /
- Savitzky-Golay滤波器拟合
Abstract: With factors such as the nonuniform response of infrared detector units, stripe nonuniformity in images is observed. To solve this problem, a novel correction method to use histogram weighting and Savitzky-Golay filter fitting(HWSG) together is developed. Firstly, the normalized histogram functions of each column are calculated and taken as weights of the stripe image. Secondly, the Savitzky-Golay filter is used to fit the weighted column mean values and variances. The fitting result is put into the correction formula, and then the corrected image is obtained after adjustable parameter iterations. The experimental results demonstrate that the proposed approach is efficient and retains the image spectrum and texture information excellently. A 10% improvement of each evaluation index has been achieved. -
表 1 不同处理方法客观评价指标数据
Table 1. Comparisons of image evaluation criteria by different algorithms
方法 PSNR IQ UIQI ρ 带非均匀性条带图片 25.307 3 0 0.881 9 67.159 1 矩匹配法 25.856 5 1.820 9 0.902 8 71.268 6 傅里叶低通滤波法 25.362 5 2.392 9 0.912 4 47.561 2 直方图匹配法 26.792 6 2.207 3 0.962 9 65.268 1 本文方法 29.570 5 4.809 7 0.977 3 54.295 1 -
[1] [1] DUAN Y N, CHEN W, WANG M Z, et al.. A relative radiometric correction method for airborne image using outdoor calibration and image statistics[J]. IEEE, 2014, 52(8):5164-5174.
[2] 任建伟, 张艳琪, 叶钊, 等. 全CCD辐射响应函数矩阵的建立与应用[J]. 光学 精密工程, 2012, 20(5):957-962. REN J W, ZHANG Y Q, YE ZH, et al.. Establishment and application of CCD radiation response function matrix[J]. Opt. Precision Eng., 2012, 20(5):957-962.(in Chinese)
[3] 宁永慧, 郭永飞. TDICCD拼接相机的像元响应非均匀性校正方法[J]. 中国光学, 2013, 6(3):386-394. NING Y H, GUO Y F. Correction of pixel response non-uniformity in TDICCD mosaic camera[J]. Chinese Optics, 2013, 6(3):386-394.(in Chinese)
[4] ZHAO J F, ZHOU Q, CHEN Y T, et al.. Single image stripe nonuniformity correction with gradient-constrained optimization model for infrared focal plane arrays[J]. Optics Communications, 2013, 296:47-52.
[5] RIHANI S, FAULKS R, BEERE H, et al.. Effect of defect saturation on terahertz emission and detection properties of low temperature GaAs photoconductive switches[J]. Applied Physics Letters, 2009, 95(5):051106.
[6] WEGENER M.Destriping multiple sensor imagery by improved histogram matching[J]. International J. Remote Sensing, 1990, 11(5):859-875.
[7] RAKWATIN P, TAKEUCHI W, YASUOKA Y. Stripe noise reduction in MODIS data by combining histogram matching with facet filter[J]. IEEE, 2007, 45(6):1844-1856.
[8] TENDERO Y, GILLES J, LANDEAU S, et al... Efficient single image non-uniformity correction algorithm[J]. Electro-Optical and Infrared Systems:Technology And Applications Vii, 2010, 7834:78340E.
[9] GADALLAH F L, CSILLAG F, SMITH E J M. Destriping multisensor imagery with moment matching[J]. International J. Remote Sensing, 2000, 21(12):2505-2511.
[10] 刘正军, 王长耀, 王成. 成像光谱仪图像条带噪声去除的改进矩匹配方法[J]. 遥感学报, 2002, 6(4):279-284. LIU ZH J, WANG CH Y, WANG CH. Destriping imaging spectrometer data by an improved moment matching method[J]. J. REMOTE Sensing-Beijing, 2002, 6(4):279-284.(in Chinese)
[11] QIAN W X, CHEN Q A, BAI J Q, et al.. Adaptive convergence nonuniformity correction algorithm[J]. Applied Optics, 2011, 50(1):1-10.
[12] 石光明, 王晓甜, 张犁, 等. 基于方向滤波器消除遥感图像孤立条带噪声的方法[J]. 红外与毫米波学报, 2008, 27(3):214-218. SHI G M, WANG X T, ZHANG L, et al.. Removal of random stripe noises in remote sensing image by directional filter[J]. J. Infrared and Millimeter Waves, 2008, 27(3):214-218.
[13] REN J L, CHEN Q, QIAN W X, et al.. Efficient single image stripe nonuniformity correction method for infrared focal plane arrays[J]. Optical Review, 2012, 19(6):355-357.
[14] ACITO N, DIANI M, CORSINI G. Subspace-based striping noise reduction in hyperspectral images[J]. IEEE, 2011, 49(4):1325-1342.
[15] CHEN G Y, QIAN S E. Denoising of hyperspectral imagery using principal component analysis and wavelet shrinkage[J]. IEEE, 2011, 49(3):973-980.
[16] 张晓龙, 刘英, 王健, 等. 不同非均匀性校正温度的红外测温技术[J]. 中国光学, 2014, 7(1):150-155. ZHANG XL, LIU Y, WANG J, et al. Infrared thermometry technology with different nonuniformity correction temperatures[J]. Chinese Optics, 2014, 7(1):150-155.(in Chinese) -