-
红外焦平面阵列(Infraed Focal Plane Array,IRFPA)在相同辐射下探测单元响应度不完全一致，导致了叠加在红外图像上的非均匀性空间噪声，其噪声形式主要表现为列向条纹，给红外图像的后续处理带来很大影响，因此实际应用中必须进行非均匀性校正[1, 2]。 红外图像非均匀性校正算法主要分为两大类：基于标定的校正算法和基于场景的自适应校正算法。定标法原理简单，但是需要在非工作状态下标定，且需要标准辐射源；场景法由于不依赖于定标源，可以自适应在线校正，成为目前该研究领域的重点方向[3, 4]。基于场景的非均匀性校正算法又分为很多种，其中以恒定统计(CS-NUC)和神经网络(NN-NUC)两类算法相对比较成熟。Harris等人[5]提出了基于恒定统计约束的非均匀性校正算法，Scribner 等人[6]提出了基于神经网络的非均匀性校正算法。这些算法都依赖场景运动，并受到目标退化(fade-out)和鬼影(ghosting artifact)等问题困扰，影响了应用范围[7]。针对条纹非均匀性噪声，钱惟贤等人[8]提出了基于最小均方误差校正法(Minimum Mean Square Error,MMSE)，这种校正方法对于平坦区域效果较好，但对于灰度变化剧烈的边缘区域在抑制噪声的同时也损失了边缘细节信息。针对图像边缘保留能力较差的问题，赵明等人[9]提出了基于转向核估计的校正算法(Least Square Fitting Steering Kernel,LSF-SK)，采用各向异性的转向核作为扩散系数来保护图像的边缘信息，但算法的校正效果依赖于平滑因子的选择。张天序等人[10]通过深入分析神经网络校正算法出现鬼影现象的成因，提出了基于偏微分方程的自适应校正方法(PDE-based NUC)，利用具有各向异性的非线性滤波来保持图像的边缘细节特征，但是这种方法采用经验值作为扩散阈值，校正效果并不稳定。LSF-SK和PDE-based NUC都属于基于非线性滤波的神经网络非均匀性校正算法，因未能实现自适应扩散阈值，校正过程中仍然可能出现目标退化和鬼影现象。
据此，本文将PM模型引入单帧红外图像的列向条纹非均匀性校正中，针对PM模型扩散阈值的选取问题，通过分析扩散阈值对图像平滑过程的影响，综合利用图像梯度信息和局部灰度统计信息，实现了扩散阈值的自适应计算。采用实际航拍和仿真红外图像序列进行对比实验，结果表明，本文采用的基于自适应PM扩散模型的非均匀校正方法(the nonuniformity correction based the PM of adaptive diffusion,PM-AD-NUC)在有效去除红外条纹非均匀性噪声的同时，还较好地解决了图像的鬼影现象。
-
在非均匀性校正算法中，一般将红外焦平面像元的响应模型近似为线性模型，即 式中， Yi,jn 是实际输出的带有非均匀性噪声的图像，ai,jn 和bi,jn 是像元(i,j) 响应的增益和偏移量，Xi,jn 是真实的输入图像。为了计算方便，式(1)可变换为： 式中，Gi,jn 和Oi,jn 是像元(i,j) 的增益和偏置校正系数，Xi,jn 是真实输入图像的估计值。针对红外列向条纹非均匀性特点，同列像素可视为相同探测元在不同辐照度下的响应结果。根据式(2)，列向条纹非均匀性校正过程可表示为： 式中， Gjn 和Ojn 分别是增益和偏置校正系数，Xi,jn 是真实输入图像的估计值。神经网络校正方法本质是模拟人眼视觉中低层处理的机制，利用像元( i,j )与其四邻域空间的加权平均值来获得期望图像fi,jn 。 式中，ωN,ωS,ωW,ωE 代表四邻域空间的加权系数。定义误差函数为： 代入式(3)得： 然后采用最陡下降法得到Gjn和Ojn的迭代更新公式。
该算法是一种标准的自适应滤波算法，误差主要来源于对真实值的估计。由于四邻域加权平均本身是一种各向同性的扩散模型，不能有效保护图像边缘细节信息，会导致边缘像素的模糊和退化。因此，对于边缘上的像素，这种估计方法并不准确。从式(6)可以看出，边缘的估计误差将导致异常的增益和偏置校正系数，最终导致边缘像素的过度校正，表现在图像上即是鬼影。
-
通过分析，采用各向同性的线性空间滤波模型对边缘像素进行估计是造成“鬼影”现象的主要原因，因此文中引入Perona-Malik模型(简称PM模型)[11]对期望图像fi,jn进行估计。与线性滤波模型相比较，PM模型是一种具有各向异性的非线性滤波模型，它能够准确估计边缘像素的期望值，从而达到消除噪声保护边缘的目的[12]。
Perona和Malik 提出的经典各向异性扩散模型方程如下式： 其离散形式可表示成： 式中， t 为扩散次数，N表示四邻域，Δkyi,jt，ck 为k 方向上的扩散系数。利用非线性保边缘的PM模型取代四邻域加权平均模型来获得期望图像，则：由于PM模型的具体形式用偏微分方程(PDE)表示，所以这类算法又被称为基于偏微分方程的非均匀性校正方法(PDE-based NUC)。
在PM模型中，扩散系数 ck 是关于图像梯度的非负递减函数，当梯度值较小时，模型的扩散作用较强，起到平滑效果；当梯度值较大时，模型的扩散作用较弱，甚至不扩散，从而保护了图像的边界。Perona和Malik推荐了一个常用扩散函数： 式中，λ 为扩散阈值。扩散阈值λ的取值对扩散过程影响巨大，λ取值过大，对边缘的保留越少；λ取值过小，扩散被抑制，达不到去噪效果。因此，在实际应用中，需要选择合适的λ值适应图像边缘强弱和噪声水平，否则难以达到保边缘、去噪声、抑制鬼影的目的。
为了说明扩散阈值对校正效果的影响，本文采用实际航拍地面建筑物目标红外图像进行非均匀校正实验。迭代步长为10-6，Gjn=1，Ojn=0。图 1中(a)、(b)、(c)、(d)给出了原始图像和采用不同扩散阈值的PDE-based NUC算法校正后图像。从图 1可以看出:扩散阈值为1时，条纹噪声几乎没有变化；扩散阈值为200时，校正后的图像上27列处明显存在鬼影；扩散阈值取30时，取得了较好的校正效果。图 2分别给出了扩散阈值为200和30时图像27列处得到的偏移校正系数和误差函数。能够看出：扩散阈值取200时，偏移校正系数和误差函数在第250次迭代处发生了明显的跳变；扩散阈值为30时偏移校正系数和误差函数并没有发生任何的异常。
图 1 不同扩散阈值对应PDE-based NUC校正前后的图像
Figure 1. Images before and after using PDE-based NUC algorithm correction with different thresholds
图 2 PDE-based NUC算法中对图像27列偏移校正系数和误差函数的估计
Figure 2. Estimations of the offset coefficients and the error signal using the PDE-based NUC algorithm
对于常见的红外非均匀性图像而言，条纹噪声的边缘梯度相对较小，采用较小的扩散阈值，即可以有效的保护边缘平滑噪声。如文献[10]就采用经验值30作为扩散阈值，取得了较好的效果。但是，在实际使用过程中，条纹噪声的边缘梯度具有一定的随机性，经验扩散阈值并不能适用所有情况。为说明这个问题，对某仿真红外非均匀性图像，采用PDE-based NUC算法进行校正实验，结果扩散阈值取200时的校正效果要好于扩散阈值取经验值30时的校正效果，如图 1(e)、1(f)、1(g)、1(h)所示。
为了实现扩散阈值自适应的选取，文中用行像素的梯度均值作为条纹噪声边缘梯度的估计值，并使此时的扩散系数趋近于1，从而求得扩散阈值，如式(11)所示。这样每次迭代后都能自适应的更新扩散阈值。 式中 ，取0.95。 文中算法根据图像的行向梯度信息自适应确定扩散阈值，将PM模型估计作为误差函数中每列像素的期望值，按最陡下降法迭代更新Gjn和Ojn的值；每次校正后可以自适应更新扩散阈值，因此可将第n次校正后的像素重新进行PM模型估计，直至误差函数达到预定要求。图 1(i)为针对仿真红外条纹非均匀性图像采用PM-AD-NUC算法循环校正3次的结果，效果与手工选取阈值的最好结果基本一致。新算法的扩散阈值可以根据图像的灰度梯度信息自适应调整，因此，可以采用重复循环校正的策略进一步提高校正效果。算法流程如图 3所示。
图 3 基于自适应扩散阈值的非均匀性校正算法流程
Figure 3. Block diagram of the NUC algorithm based the proliferation of adaptive threshold
-
为了客观评价新算法的校正性能，参考文献[13, 14, 15, 16]采用如下校正效果评价标准：
第一种评价标准是均方根误差(Root Mean Square Error,RSME)： 式中， Yi,j 和Yi,j 分别表示校正输出图像和无非均匀干扰的原始图像。RSME越小，效果越好。第二种评价标准是平整度 ρ (Roughness)，平整度是从图像平滑角度来衡量图像的像素灰度波动。 式中，Y 为校正后输出图像；h =[1,-1]为水平模板，hT 为垂直模板；‖·‖1表示矩阵1范数。ρ 值越小，图像的效果越好。为了有效验证新算法的性能，将PM-AD-NUC新算法与NN-NUC，MMSE，LSF-SK以及固定阈值PDE-based NUC等算法进行比较，采用实际航空拍摄红外视频序列进行实验，如图 4所示。软件环境为Windows 8.0 Matlab R2014，硬件环境为Intel双核，主频1.7 GHz。实际红外图像是由法国SOFRADIR公司的生产的320×256中波制冷型凝视焦平面探测器白天航拍的600帧地面建筑物目标红外视频序列。图 4为第430帧红外图像的单帧校正结果，NN-NUC和MMSE算法校正结果右半部分出现了明显的“鬼影”现象，且残留部分列向条纹；PDE-based NUC和LSF-SK算法，整体校正效果要优于前两种算法，但仍然能看到一些残留列向条纹噪声。本文提出的PM-AD-NUC算法是在固定阈值PDE-based NUC算法的基础上采用自适应扩散阈值，更大程度保留边缘细节，使图像更加清晰。
图 4 5种算法用于实拍外红外图像的单帧校正效果比较
Figure 4. Comparison of five NUC algorithms for signal infrared real images
图 5为针对600帧红外图像序列进行校正实验后不同算法得出的校正性能曲线，实验过程中，用两点定标法的校正结果作为均方根误差计算中的理想图像。从图中曲线趋势可以看出，本文提出的PM-AD-NUC算法在均方根误差和平整度两个指标上都优于其它算法。表 1给出了5种算法对于600帧图像的平均校正效果。从两种评价指标的方差(var)统计结果可以看出PM-AD-NUC算法的稳定性要优于其它算法。但是，新算法的实时性并不是最好的，这是因为新算法采用了多次循环校正的策略，因此需要进一步提高新算法的实时性。
图 5 5种算法的校正性能曲线
Figure 5. Performance curves of five NUC algorithms
表 1 5种算法的平均校正效果比较
Table 1. Average correction performance comparison of five NUC algorithms
Performance NN-NUC MMSE LSK-SK PDE-based NUC PM-AD-NUC RMSE 24.670 3 24.749 1 18.580 5 18.510 2 16.248 9 ρ 0.165 6 0.167 1 0.152 5 0.157 5 0.144 9 RMSE(var) 1.784 2 1.846 1 1.057 5 1.006 5 0.728 4 ρ(var) 4.845 2×10-4 9.031 7×10-4 2.088 7×10-4 2.842 7×10-4 1.989 2×10-4 Time/s 5.88 3.76 4.09 4.71 7.45 -
在基于非线性滤波的神经网络非均匀性校正算法中，用经验阈值约束扩散过程，影响了校正效果。新算法分析了扩散阈值影响扩散过程的原因，建立了自适应扩散阈值模型，并将基于自适应PM扩散模型应用到单帧红外图像的条纹非均匀性校正中，以达到保边缘去噪声抑制鬼影的目的。实验中用真实航拍得到的条纹非均匀性红外视频序列进行对比验证，新算法与其它算法相比在保护图像边缘的同时，能够更好地抑制条纹噪声的干扰。但是，新算法的实时性有待提高，这将是下一步工作研究的重点。
Single infrared stripe nonuniformity correction algorithm based on adaptive diffusion models
-
摘要: 针对红外焦平面成像系统存在列向条纹非均匀性的现象,采用了一种基于自适应PM扩散模型的非均匀校正新算法。首先,综合利用图像梯度信息和局部灰度统计信息,自适应计算PM模型的扩散阈值;然后将每列像素的PM模型估计值作为该列像素的期望值;最后采用最陡下降法迭代计算得到每列像元的校正参数,并对结果进行循环校正以提高校正效果。实验结果表明:该算法可以保护图像边缘信息,与同类算法相比,能够更有效地抑制条纹非均匀性,并且能够防止图像产生鬼影。Abstract: In order to correct the stripe nonuniformity for infrared images captured by infraed focal plane array(IRFPA), a novel stripe nonuniformity correction algorithm based on adaptive PM diffusion models for single infrared image is adopted.Firstly, the adaptive diffusion threshold of PM model is calculated by gradient information and local gray level statistics of infrared images.Then, the estimate values of each column pixel are treated as expectations, which are in constraint of PM models.Finally, correction parameters in iteration are obtained by method of steepest descent, and the image is corrected repeatedly to improve correction performance.Experimental results indicate that the adopted algorithm can preserve edge information.Compared with other four algorithms, the proposed algorithm has advantage of reducing stripe nonuniformity and removing ghosting artifact.
-
图 1 不同扩散阈值对应PDE-based NUC校正前后的图像
Figure 1. Images before and after using PDE-based NUC algorithm correction with different thresholds
图 2 PDE-based NUC算法中对图像27列偏移校正系数和误差函数的估计
Figure 2. Estimations of the offset coefficients and the error signal using the PDE-based NUC algorithm
图 3 基于自适应扩散阈值的非均匀性校正算法流程
Figure 3. Block diagram of the NUC algorithm based the proliferation of adaptive threshold
图 4 5种算法用于实拍外红外图像的单帧校正效果比较
Figure 4. Comparison of five NUC algorithms for signal infrared real images
表 1 5种算法的平均校正效果比较
Table 1. Average correction performance comparison of five NUC algorithms
Performance NN-NUC MMSE LSK-SK PDE-based NUC PM-AD-NUC RMSE 24.670 3 24.749 1 18.580 5 18.510 2 16.248 9 ρ 0.165 6 0.167 1 0.152 5 0.157 5 0.144 9 RMSE(var) 1.784 2 1.846 1 1.057 5 1.006 5 0.728 4 ρ(var) 4.845 2×10-4 9.031 7×10-4 2.088 7×10-4 2.842 7×10-4 1.989 2×10-4 Time/s 5.88 3.76 4.09 4.71 7.45 
下载: 导出CSV
-
[1] [1] PIPA D,DA SILVA E,PAGLIARI C,et al..Recursive algorithms for bias and gain nonuniformity correction in infrared videos[J].IEEE Transactions on Image Procession,2012,21(12):4758-4769.
[2] 任建乐,陈钱,钱惟贤.基于配准的红外焦平面阵列条纹非均匀性校正[J].红外与毫米波学报,2011,30(6):499-506.REN J L,CHEN Q,QIAN W X.Stripe nonuniformity correction based on registration for infrared focal plane arrays[J].J.Infrared and Millimeter Waves,2011,30(6):499-506.(in Chinese)
[3] 余毅,常松涛,王旻,等.宽动态范围红外测量系统的快速非均匀性校正[J].光学精密工程,2015,23(7):1932-1938.YU Y,CHANG S T,WANG M,et al..Fast non-uniformity correction for high dynamic infrared radiometric system[J].Opt.Precision Eng.,2015,23(7):1932-1938.(in Chinese)
[4] 张晓龙,刘英,王健,等.不同非均匀性校正温度的红外测温技术[J].中国光学,2014,7(1):150-155.ZHANG X L,LIU Y,WANG J,et al..Infrared thermometry technology with different nonuniformity correction temperatures[J].Chinese Optics,2014,7(1):150-155.(in Chinese)
[5] HARRIS J G,CHIANG Y M.Nonuniformity correction of infra-red image sequences using the constant-statistics constraint[J].IEEE Trans.Image Proc.,1999,8(8):1148-1151.
[6] SCRIBNER D A,SARKADY K A,CAULFIELD J T,et al..Adaptive retina-like preprocessing for imaging detector arrays[J].Proc.IEEE,1993,3:1955-1960.
[7] 杨硕,赵保军,毛二可,等.基于PM扩散的红外焦平面阵列神经网络非均匀校正算法[J].电子与信息学报,2013,35(11):2744-2750.YANG S,ZHAO B J,MAO E K,et al..Neural network nonuniformity correction for infrared foacl plane array based on perona malik Diffusion[J].J.Electrions & Information Technology,2013,35(11):2744-2750.(in Chinese)
[8] QIAN W X,CHEN Q,GU G H,et al..Minimum mean square error method for stripe nonuniformity correction[J].Chinese Optics Letters,2011,9(5):051003-1-3.
[9] 赵明,安博文,林长青,等.基于转向核的单帧红外条纹非均匀性拟合校正算法[J].红外激光工程,2013,43(3):766-771.ZHAO M,AN B W,LIN CH Q,et al..Stripe nonuniformity correction algorithm based on steering kernel fitting for single infrared images[J].Infrared and Laser Engineering,2013,43(3):766-771.(in Chinese)
[10] 张天序,袁雅婧,桑红石,等.基于PDE去鬼影的自适应非均校正算法研究[J].红外与毫米波学报,2012,31(2):177-182.ZHANG T X,YUAN Y J,SANGF H SH,et al..PDE-based deghosting algorithm for correction of nonunformity in infrared focal plane array[J].J Infrared and Millimeter Waves,2012,31(2):177-182.(in Chinese)
[11] PERONA P,MALIK J.Scale-space and edge detection using anisotropic diffusion[J].IEEE Transactions Patten Analysis and Machine Intelligence,1990,12(7):629-639.
[12] SONG G,TIEN D B.Image segmentation and selective smoothing by using Mumford-Shah model[J].IEEE Transactions on Image Processing,2005,14(10):1537-1549.
[13] VERA E,MEZA P,AND TORRES S.Total variation approach for adaptive nonuniformity correction in focal-plane array[J].Optics Letters,2011,36(2):172-174.
[14] ZUO C,ZHANG Y Z,CHEN Q,et al..A two-frame approach for sensors-based nonuniformity correction in array sensors[J].Infrared Physics & Technology,2013,60(5):190-196.
[15] 宁永慧,郭永飞.TDICCD拼接相机的像元响应非均匀性校正方法[J].中国光学,2013,6(3):386-394.NING Y H,GUO Y F.Correction of pixel response non-uniformity in TDICCD mosaic camera[J].Chinese Optics,2013,6(3):386-394.(in Chinese)
[16] 谢蓄芬,张伟,智喜洋,等.基于场景的红外焦平面阵列非均匀性评价方法[J].光学学报,2012,32(6):0604001.XIE X F,ZHANG W,ZHI X Y,et al..Scene-based assessment method for nonuniformity of infrared focal plane array[J].Acta Optica Sinica,2012,32(6):0604001.(in Chinese) -
点击查看大图
计量
- 文章访问数: 456
- HTML全文浏览量: 41
- PDF下载量: 904
- 被引次数: 0
