留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于配准的机载红外非均匀性校正技术应用

吕宝林 佟首峰 徐伟 冯钦评 王德江

吕宝林, 佟首峰, 徐伟, 冯钦评, 王德江. 基于配准的机载红外非均匀性校正技术应用[J]. 中国光学, 2020, 13(5): 1124-1137. doi: 10.37188/CO.2020-0109
引用本文: 吕宝林, 佟首峰, 徐伟, 冯钦评, 王德江. 基于配准的机载红外非均匀性校正技术应用[J]. 中国光学, 2020, 13(5): 1124-1137. doi: 10.37188/CO.2020-0109
LV Bao-lin, TONG Shou-feng, XU Wei, FENG Qin-ping, WANG De-jiang. Non-uniformity correction of airborne infrared detection system based on inter-frame registration[J]. Chinese Optics, 2020, 13(5): 1124-1137. doi: 10.37188/CO.2020-0109
Citation: LV Bao-lin, TONG Shou-feng, XU Wei, FENG Qin-ping, WANG De-jiang. Non-uniformity correction of airborne infrared detection system based on inter-frame registration[J]. Chinese Optics, 2020, 13(5): 1124-1137. doi: 10.37188/CO.2020-0109

基于配准的机载红外非均匀性校正技术应用

doi: 10.37188/CO.2020-0109
基金项目: 国家自然科学基金项目(No. 61675202)
详细信息
    作者简介:

    吕宝林(1982—),男,吉林长春人,副研究员,2007年于吉林大学获得硕士学位,主要从事光学遥感、图像处理技术的研究。E-mail:lvbl@ciomp.ac.cn

    佟首峰(1972—),男,吉林白城人,教授,2000年于中国科学院长春光学精密机械与物理研究所获得博士学位,主要从事光学遥感,空间激光通信等领域的研究。E-mai:tsf1998@sina.com

    徐 伟,(1981—),男,黑龙江大庆人,研究员,2008 年于中国科学院长春光学精密机械与物理研究所获得博士学位,主要从事航天光学遥感、新体制成像技术研究。E-mail: xwciomp@126.com

    冯钦评,(1994—),男,吉林四平人,2016 年于长春理工大学获得学士学位,自2017年始至今在长春光机所硕博连读,主要研究方向为数字图像处理与分析。E-mai: lvictor.2008.happy@163.com

    王德江(1981—),男,黑龙江双鸭山人,研究员,2013年于中国科学院长春光学精密机械与物理研究所获得博士学位,主要从事伺服控制系统和红外探测技术等方面的研究。E-mail:wangdj04@ciomp.ac.cn

  • 中图分类号: TP394.1;TH691.9

Non-uniformity correction of airborne infrared detection system based on inter-frame registration

Funds: Supported by National Natural Science Foundation of China (No. 61675202)
More Information
  • 摘要: 机载红外点目标探测系统在搭载飞机飞行中探测系统的环境参数会发生变化,导致通过传统地面标定方法获取的非均匀性校正参数的准确性有所降低,故有必要进行机上基于场景的非均匀性校正。本文提出了一种基于帧间配准的机上非均匀性校正算法,首先对图像进行预处理,滤除探测器坏点影响,然后用两帧邻近图像计算互功率谱,求出互相关函数,确定配准位移。两帧连续图像完成配准后,通过误差函数最小化来实现校正参数的更新,最后对整个图像序列进行上述迭代计算,获取最终校正参数。本文模拟了一组非均匀性场景图像序列作为实验图像序列,通过实验分析,提出了帧间图像变化(平移、旋转、缩放)对本算法校正效果的影响,然后采用两个具有代表性的算法与本文提出的算法分别对该图像序列进行处理,并从图像质量和收敛速度两方面比较算法性能。结果表明:与其他两种算法相比,本文提出的算法非均匀性校正效果较好,峰值信噪比提高了20 dB以上,结构相似性则突破了0.99。本文提出的算法虽然比较复杂,但校正参数收敛速度较快,易于在硬件平台上实现,具有一定的工程应用前景。
  • 图  1  两帧图像之间相对于场景的位移示意图,两帧图像大小均为512×384

    Figure  1.  Illustration of the relative displacement between two continuous frames. The size of the two images are both 512 × 384

    图  2  该两帧图像之间的互功率谱(实部),图中峰值对应的坐标(x0, y0) = (−58,94)即为两帧图像之间的位移

    Figure  2.  A cross-power spectrum between two frames of images (real part). The relative displacement (x0, y0) = (−58,94) is determined by the coordinate of the peak shown in the figure

    图  3  较明显的非均匀噪声产生的互功率谱响应示意图。(a)和(b)是两帧参与计算互功率谱的图,(c)为计算结果

    Figure  3.  Illustration of a cross-power spectrum response caused by the significant non-uniformity. (a) and (b) are the two frames used to calculate the cross-power spectrum and (c) is the calculation result

    图  4  图3(c)掩模过滤非均匀背景噪声响应后的互功率谱响应

    Figure  4.  Cross-power spectrum in Fig. 3(c) after filtering the non-uniformity background response by mask filter

    图  5  IRLMS算法流程图

    Figure  5.  Flow chart of IRLMS

    图  6  图像变换对配准的影响。(a)原图;(b)(c)(d)分别相对于(a)平移(120,120)、旋转2°、放大1.03倍,(e)(f)(g)分别是(b)(c)(d)与(a)计算的互功率谱

    Figure  6.  Registering accuracy affected by geometry transformation. (a) Original image; (b)(c)(d) are respectively translated by (120,120), rotated by 2 degrees, enlarged by 1.03 X relative to (a); (e)(f)(g) are the cross-power spectrum of (b)(c)(d) and (a), respectively.

    图  7  添加增益非均匀性示意图。(a)真值图像;(b)模拟增益非均匀性背景(增益范围为0.5~1.5);(c)将(a)进行非均匀性增益,模拟非均匀场景图像

    Figure  7.  Illustration of adding non-uniformity gain. (a) A ground-truth image; (b) simulated non-uniformity gain (range: 0.5~1.5); (c) non-uniformity scene after adding non-uniformity gain

    图  8  增益非均匀性真值与估计值的对比。 (a)真值;(b)估计值(MSE:0.0028)

    Figure  8.  Comparison between ground-truth and estimated non-uniformity gains. (a) Ground-truth; (b) estimated by IRLMS (MSE: 0.0028)

    图  9  引入不同范围的随机旋转角度时估计增益系数的准确性

    Figure  9.  Estimation correctness of gain coefficient by inducing various ranges of random rotation

    图  10  引入不同范围的随机缩放时估计增益系数的准确性

    Figure  10.  Estimation correctness of gain coefficient by inducing various ranges of random scaling

    图  11  几种算法非均匀性增益迭代估计比较(从上到下:THPF、CS、IRLMS;从左到右:第10、20、50、100、200帧迭代估计)

    Figure  11.  Iterative estimated non-uniformity gain comparisons of different algorithms (from top to bottom: THPF, CS, IRLMS; from left to right: the 10th, 20th, 50th, 100th, 200th frame).

    图  12  各算法的去非均匀性效果比较(从左到右分别是原图、THPF、CS、IRLMS、真值图像;从上到下行分别是该系列图像的第10、20、50、100帧)

    Figure  12.  Performance comparisons of different algorithms, from left to right: Original, THPF, CS, IRLMS, Ground-truth images; from top to bottom: the 10th, 20th, 50th, 100th frame in the series of images.

    表  1  不同旋转或缩放范围对增益估计准确性的影响

    Table  1.   Influence of various ranges of random rotation or scaling on estimation correctness of gain coefficient

    随机旋转范围±1°±2°±3°±4°
    MSE0.94241.24221.58482.1789
    随机缩放范围1±0.011±0.021±0.031±0.04
    MSE0.03570.59160.89111.0302
    下载: 导出CSV

    表  2  各种算法处理后图像的平均对比度(全局标准差)

    Table  2.   Average contrasts (global standard deviation) of the image processed by various algorithms

    算法OriginalTHPFCSIRLMS真值
    GSTD0.15240.14960.16060.16740.1684
    下载: 导出CSV

    表  3  各种算法处理后图像的平均峰值信噪比

    Table  3.   Average PSNRs of the images processed by various algorithms (dB)

    算法OriginalTHPFCSIRLMS
    PSNR20.194915.282615.187138.1842
    下载: 导出CSV

    表  4  各种算法处理后图像的平均结构相似性

    Table  4.   Average SSIMs of the images processed by various algorithms

    算法OriginalTHPFCSIRLMS
    SSIM0.94310.30420.30020.9974
    下载: 导出CSV
  • [1] CHEN C L P, LI H, WEI Y T, et al. A local contrast method for small infrared target detection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(1): 574-581. doi:  10.1109/TGRS.2013.2242477
    [2] 杨会玲, 吴玉宏, 孙慧婷, 等. 基于杂波抑制的海平线红外弱小目标检测[J]. 液晶与显示,2017,32(4):316-324. doi:  10.3788/YJYXS20173204.0316

    YANG H L, WU Y H, SUN H T, et al. Small dim infrared target detection of horizon region based on clutter rejection[J]. Chinese Journal of Liquid Crystals and Displays, 2017, 32(4): 316-324. (in Chinese) doi:  10.3788/YJYXS20173204.0316
    [3] QIN Y, LI B. Effective infrared small target detection utilizing a novel local contrast method[J]. IEEE Geoscience and Remote Sensing Letters, 2016, 13(12): 1890-1894. doi:  10.1109/LGRS.2016.2616416
    [4] HU J, XU ZH ZH, WAN Q Q. Non-uniformity correction of infrared focal plane array in point target surveillance systems[J]. Infrared Physics &Technology, 2014, 66: 56-69. doi:  10.1016/j.infrared.2014.05.012
    [5] 韩亚君, 杨德东, 李勇, 等. 基于多特征融合相关滤波的红外目标跟踪[J]. 液晶与显示,2019,34(2):177-187. doi:  10.3788/YJYXS20193402.0177

    HAN Y J, YANG D D, LI Y, et al. Infrared target tracking based on correlation filter with multi-features fusion[J]. Chinese Journal of Liquid Crystals and Displays, 2019, 34(2): 177-187. (in Chinese) doi:  10.3788/YJYXS20193402.0177
    [6] 李一芒, 何昕, 魏仲慧. 红外预警实时图像处理系统设计与实现[J]. 液晶与显示,2013,28(1):110-114. doi:  10.3788/YJYXS20132801.0110

    LI Y M, HE X, WEI ZH H, et al. Design and implement of real-time image processing system for IR warning system based on multi-passage[J]. Chinese Journal of Liquid Crystals and Displays, 2013, 28(1): 110-114. (in Chinese) doi:  10.3788/YJYXS20132801.0110
    [7] 宁永慧, 郭永飞, 曲利新, 等. 多通道时间延迟积分CCD辐射标定和像元实时处理[J]. 光学 精密工程,2015,23(10):2952-2961. doi:  10.3788/OPE.20152310.2952

    NING Y H, GUO Y F, QU L X, et al. Radiometric calibration and pixel data real-time processing of multi-tip TDICCD[J]. Optics and Precision Engineering, 2015, 23(10): 2952-2961. (in Chinese) doi:  10.3788/OPE.20152310.2952
    [8] ZHANG T X, SHI CH CH, LI J J, et al. Overview of research on the adaptive algorithms for nonuniformity correction of infrared focal plane array[J]. Journal of Infrared and Millimeter Waves, 2007, 26(6): 409-413.
    [9] 王文华, 何斌, 韩双丽, 等. 星上CCD成像非均匀性的实时校正[J]. 光学 精密工程,2010,18(6):1420-1428.

    WANG W H, HE B, HAN SH L, et al. Real-time correction of nonuniformity in CCD imaging for remote sensing[J]. Optics and Precision Engineering, 2010, 18(6): 1420-1428. (in Chinese)
    [10] ZHOU B, MA Y, LI H, et al. A study of two-point multi-section non-uniformity correction auto division algorithm for infrared images[J]. Proceedings of SPIE, 2010, 7658: 76583X. doi:  10.1117/12.866403
    [11] 李赓飞, 李桂菊, 韩广良, 等. 红外成像系统的非均匀性实时校正[J]. 光学 精密工程,2016,24(11):2841-2847. doi:  10.3788/OPE.20162411.2841

    LI G F, LI G J, HAN G L, et al. Real-time non-uniformity correction of infrared imaging system[J]. Optics and Precision Engineering, 2016, 24(11): 2841-2847. (in Chinese) doi:  10.3788/OPE.20162411.2841
    [12] QIAN W X, CHEN Q, GU G H. Space low-pass and temporal high-pass nonuniformity correction algorithm[J]. Optical Review, 2010, 17(1): 24-29. doi:  10.1007/s10043-010-0005-8
    [13] HARRIS J G, CHIANG Y M. Nonuniformity correction using the constant-statistics constraint: analog and digital implementations[J]. Proceedings of SPIE, 1997, 3061: 895-905. doi:  10.1117/12.280308
    [14] ZUO CH, CHEN Q, GU G H, et al. Scene-based nonuniformity correction algorithm based on interframe registration[J]. Journal of the Optical Society of America A, 2011, 28(6): 1164-1176. doi:  10.1364/josaa.28.001164
    [15] OKORIE A, MAKROGIANNIS S. Region-based image registration for remote sensing imagery[J]. Computer Vision and Image Understanding, 2019, 189: 102825. doi:  10.1016/j.cviu.2019.102825
    [16] ZUO CH, CHEN Q, GU G H, et al. Improved interframe registration based nonuniformity correction for focal plane arrays[J]. Infrared Physics &Technology, 2012, 55(4): 263-269. doi:  10.1016/j.infrared.2012.04.002
    [17] PELI E. Contrast in complex images[J]. Journal of the Optical Society of America A, 1990, 7(10): 2032-2040. doi:  10.1364/josaa.7.002032
    [18] DAOUD A O, TSEHAYAE A A, FAYEK A R. A guided evaluation of the impact of research and development partnerships on university, industry, and government[J]. Canadian Journal of Civil Engineering, 2017, 44(4): 253-263. doi:  10.1139/cjce-2016-0381
  • [1] 蔡怀宇, 韩晓艳, 娄世良, 汪毅, 陈文光, 陈晓冬.  扫频光学相干层析视网膜图像配准去噪算法 . 中国光学, 2020, 13(6): 1-10. doi: 10.37188/CO.2020-0130
    [2] 许廷发, 罗璇, 苏畅, 卞紫阳.  多帧距离选通图像点扩散函数估计的超分辨率重建 . 中国光学, 2016, 9(2): 226-233. doi: 10.3788/CO.20160902.0226
    [3] 穆治亚, 艾华, 樊孝贺, 何昕, 何丁龙, 韩冬松, 于国栋.  采用整体最小二乘法的条纹图配准方法 . 中国光学, 2016, 9(6): 625-632. doi: 10.3788/CO.20160906.0625
    [4] 梁超, 马天翔.  基于黑体标定的红外图像非均匀性校正系统设计 . 中国光学, 2016, 9(3): 385-393. doi: 10.3788/CO.20160903.0385
    [5] 陈世伟, 杨小冈, 张胜修, 刘云峰.  基于自适应扩散模型的单帧红外条纹非均匀性校正算法 . 中国光学, 2016, 9(1): 106-113. doi: 10.3788/CO.20160901.0106
    [6] 王新华, 黄玮, 欧阳继红.  多探测器拼接成像系统实时图像配准 . 中国光学, 2015, 8(2): 211-219. doi: 10.3788/CO.20150802.0211
    [7] 朱瑞飞, 魏群, 王超, 贾宏光, 吴海龙.  基于随机点扩散函数的多帧湍流退化图像自适应复原方法 . 中国光学, 2015, 8(3): 368-377. doi: 10.3788/CO.20150803.0368
    [8] 张一舟, 许廷发, 刘子伟, 申子宜, 郭巳秋.  基于Savitzky-Golay加权拟合的红外图像非均匀性条带校正方法 . 中国光学, 2015, 8(1): 51-59. doi: 10.3788/CO.20150801.0051
    [9] 施建华, 伏思华, 谢文科.  光栅光谱仪光谱响应误差校正 . 中国光学, 2014, 7(3): 483-490. doi: 10.3788/CO.20140703.0483
    [10] 张晓龙, 刘英, 王健, 周昊, 孙强.  不同非均匀性校正温度的红外测温技术 . 中国光学, 2014, 7(1): 150-155. doi: 10.3788/CO.20140701.0150
    [11] 刘炳强, 张帆, 李景林, 许艳军, 孙斌.  空间相机调焦机构运动同步性误差分析 . 中国光学, 2013, 6(6): 946-951. doi: 10.3788/CO.20130606.946
    [12] 王军.  基于谱间和帧内差分脉冲编码调制的超光谱图像无损压缩 . 中国光学, 2013, 6(6): 863-867. doi: 10.3788/CO.20130606.863
    [13] 张春雷, 向阳.  超光谱成像仪图像均匀性校正 . 中国光学, 2013, 6(4): 584-590. doi: 10.3788/CO.20130604.0584
    [14] 宁永慧, 郭永飞.  TDICCD拼接相机的像元响应非均匀性校正方法 . 中国光学, 2013, 6(3): 386-394. doi: 10.3788/CO.20130603.0386
    [15] 孙辉, 李志强, 孙丽娜, 郎小龙.  一种空域和频域相结合的运动图像亚像素配准技术 . 中国光学, 2011, 4(2): 154-160.
    [16] 韩广良.  高频信息矢量匹配实现异源图像配准 . 中国光学, 2011, 4(5): 468-473.
    [17] 武治国, 韩广良, 王明佳.  运动背景下的帧间稳像技术 . 中国光学, 2011, 4(5): 519-524.
    [18] 孙辉, 李志强, 孙丽娜, 郎小龙.  基于相位相关的亚像素配准技术及其在电子稳像中的应用 . 中国光学, 2010, 3(5): 480-485.
    [19] 王宗友, 付承毓, 王芳.  基于数据配准提高光电经纬仪的测量精度 . 中国光学, 2010, 3(6): 586-590.
    [20] 张国玉, 吕文华, 贺晓雷, 徐 亮, 徐熙平.  太阳模拟器辐照均匀性分析 . 中国光学, 2009, 2(1): 41-45.
  • 加载中
图(13) / 表 (4)
计量
  • 文章访问数:  129
  • HTML全文浏览量:  68
  • PDF下载量:  22
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-06-22
  • 修回日期:  2020-07-15
  • 网络出版日期:  2020-08-27
  • 刊出日期:  2020-10-05

基于配准的机载红外非均匀性校正技术应用

doi: 10.37188/CO.2020-0109
    基金项目:  国家自然科学基金项目(No. 61675202)
    作者简介:

    吕宝林(1982—),男,吉林长春人,副研究员,2007年于吉林大学获得硕士学位,主要从事光学遥感、图像处理技术的研究。E-mail:lvbl@ciomp.ac.cn

    佟首峰(1972—),男,吉林白城人,教授,2000年于中国科学院长春光学精密机械与物理研究所获得博士学位,主要从事光学遥感,空间激光通信等领域的研究。E-mai:tsf1998@sina.com

    徐 伟,(1981—),男,黑龙江大庆人,研究员,2008 年于中国科学院长春光学精密机械与物理研究所获得博士学位,主要从事航天光学遥感、新体制成像技术研究。E-mail: xwciomp@126.com

    冯钦评,(1994—),男,吉林四平人,2016 年于长春理工大学获得学士学位,自2017年始至今在长春光机所硕博连读,主要研究方向为数字图像处理与分析。E-mai: lvictor.2008.happy@163.com

    王德江(1981—),男,黑龙江双鸭山人,研究员,2013年于中国科学院长春光学精密机械与物理研究所获得博士学位,主要从事伺服控制系统和红外探测技术等方面的研究。E-mail:wangdj04@ciomp.ac.cn

  • 中图分类号: TP394.1;TH691.9

摘要: 机载红外点目标探测系统在搭载飞机飞行中探测系统的环境参数会发生变化,导致通过传统地面标定方法获取的非均匀性校正参数的准确性有所降低,故有必要进行机上基于场景的非均匀性校正。本文提出了一种基于帧间配准的机上非均匀性校正算法,首先对图像进行预处理,滤除探测器坏点影响,然后用两帧邻近图像计算互功率谱,求出互相关函数,确定配准位移。两帧连续图像完成配准后,通过误差函数最小化来实现校正参数的更新,最后对整个图像序列进行上述迭代计算,获取最终校正参数。本文模拟了一组非均匀性场景图像序列作为实验图像序列,通过实验分析,提出了帧间图像变化(平移、旋转、缩放)对本算法校正效果的影响,然后采用两个具有代表性的算法与本文提出的算法分别对该图像序列进行处理,并从图像质量和收敛速度两方面比较算法性能。结果表明:与其他两种算法相比,本文提出的算法非均匀性校正效果较好,峰值信噪比提高了20 dB以上,结构相似性则突破了0.99。本文提出的算法虽然比较复杂,但校正参数收敛速度较快,易于在硬件平台上实现,具有一定的工程应用前景。

English Abstract

吕宝林, 佟首峰, 徐伟, 冯钦评, 王德江. 基于配准的机载红外非均匀性校正技术应用[J]. 中国光学, 2020, 13(5): 1124-1137. doi: 10.37188/CO.2020-0109
引用本文: 吕宝林, 佟首峰, 徐伟, 冯钦评, 王德江. 基于配准的机载红外非均匀性校正技术应用[J]. 中国光学, 2020, 13(5): 1124-1137. doi: 10.37188/CO.2020-0109
LV Bao-lin, TONG Shou-feng, XU Wei, FENG Qin-ping, WANG De-jiang. Non-uniformity correction of airborne infrared detection system based on inter-frame registration[J]. Chinese Optics, 2020, 13(5): 1124-1137. doi: 10.37188/CO.2020-0109
Citation: LV Bao-lin, TONG Shou-feng, XU Wei, FENG Qin-ping, WANG De-jiang. Non-uniformity correction of airborne infrared detection system based on inter-frame registration[J]. Chinese Optics, 2020, 13(5): 1124-1137. doi: 10.37188/CO.2020-0109
    • 机载红外点目标探测系统是一种基于红外成像机理实现的准全天候、被动式无源探测系统,可快速对远距离点目标进行探测及预警。远距离目标(飞机、导弹)在红外探测系统焦平面上的成像面积通常只占几个像元甚至只有一个像元,在大气辐射、成像场景复杂、探测器自身非均匀性噪声等综合因素影响下,系统会存在低探测概率或高虚警率[1-2]。其中,非均匀性噪声作为主要噪声在红外探测系统工作中会直接影响成像质量,其在图像上多以乘性噪声、加性噪声或二者混合的形式表现为明暗不均的固定图案噪声,这会掩盖目标的边缘和细节信息,使图像中的目标模糊不清。尤其在微弱点目标探测预警中,在非均匀噪声的影响下,红外探测器盲元,噪声等孤立像素点常会被误判为点目标[3-4],给后续的应用带来很大的影响[5]

      导致红外探测器产生非均匀性噪声的原因有多种,主要包括红外焦平面阵列中各探测单元的响应特性不一致、红外光学系统加工装调误差、红外焦平面阵列输入驱动误差、无效探测单元、工作温度变化、读出电路本身非均匀性以及读出电路与探测器耦合的非均匀性等。其中,最主要的原因是红外焦平面阵列中各探测单元的响应输出存在非均匀性。要彻底解决这一问题,必须从探测器的原材料、设计、加工工艺等方面入手,涉及电子学、物理学、材料学等学科[6]。就目前各学科研究现状还很难保证红外焦平面阵列各个探测单元响应输出的均匀性。因此,机载红外探测系统在工作前一定要进行非均匀性校正。

      上世纪90年代开始,国内外研究人员对红外非均匀性校正开展了大量研究,大体可分为两大类,基于标定的非均匀性校正方法[7]和基于场景的非均匀性校正方法[8]。无论是哪种校正方法,目前都只能是在某些特定的条件下得到良好的校正效果。

      目前我国机载红外探测系统的非均匀性校正主要采用地面标定法,但由于机载系统工作环境复杂,同时随着近年来成像系统的焦距增长,口径增大,地面标定法的准确性在一定程度上受到影响,国外已采用基于场景的非均匀性校正方法或二者相结合进行非均匀性校正。国内基于场景的非均匀性校正方法研究多停留在实验室仿真阶段,缺少工程化应用。为解决此问题,本文在第2节阐述了典型的机载红外非均匀校正技术,指明它们的问题所在;在第3节中提出基于帧间配准的算法,规避了传统方法所遇到的问题;第4节描述了实验比较过程,验证了算法的有效性;最后总结本文算法的应用条件,以及在工程应用的可行性。

    • 基于标定的非均匀性校正算法是建立在探测像元输出响应特性为非时变的前提条件下的。利用标准黑体辐射源在不同的已知温度下对红外焦平面阵列的非均匀性进行标定,按照一定的公式计算红外焦平面各个探测单元在均匀黑体辐射下的响应输出值与标准探测单元响应输出值,以获得各个探测元在特定温度下的校正系数(增益和偏置),然后使用校正系数再对各个探测单元的原始响应输出数据进行校正运算,使得探测器所有像元在同一温度下输出一致。基于标定的非均匀性校正算法原理简单、所需计算量小,目前使用的基于标定的机载红外非均匀性校正方法有地面两点法非均匀性校正、机载嵌入式低温黑体非均匀性校正、基于双黑体切换标定的机上非均匀校正[9]

    • 地面两点法校正是将机载红外探测系统在实验室通过辐射定标计算校正系数[10]。该方法建立在两个前提假设的基础上:一是假设每个探测单元响应都是线性的;二是假设探测单元的响应具有时间稳定性。根据两点确定一条直线的原理,对直线上任意两点进行定标测量获取该直线参数。对于规格为MN列的红外探测器而言,只需进行M×N次乘法运算和M×N次加法运算即可获取各像元的校正参数。这种方法虽然简单易行,但对探测器随时间偏移引起的非均匀性无法进行实时校正;并且地面标定过程中,由于无法模拟真实机载设备的复杂工作环境,因此,复杂热交换过程引起的光学系统产生的非均匀性无法进行校正。

    • 机载嵌入式低温黑体校正法是为了补偿红外探测器非均匀性随时间漂移所提出的校正方法,具体是将一个嵌入式低温黑体插入到系统成像光路中,每次机载红外探测系统在有效成像前对探测器进行在线实时标定。这种方法的优点是可以解决辐射响应漂移和光学镜头微形变等现象带来的问题,但受限于整个系统的结构尺寸、重量和嵌入式黑体的研制水平等因素制约,难以实现对口径较大的主镜进行标定,且在标定过程中需要中断系统正常成像,降低了工作效率。目前的机载红外成像系统中还无法广泛应用该方法实现自标定。为获取更准确的校正参数,需要考虑探测器非线性响应的影响,而在采取线性模型模拟探测器非线性的辐射响应时,会产生一定的近似误差。尤其是当被标定温度点距离参考温度点较远时,校正误差会迅速增大。

    • 机上黑体标定对于中长波红外来说一般可采用中温面源黑体作为内定标光源,双黑体切换标定装置可将其置于测量头部的整流罩上方,当需要进行机上非均匀校正时通过机械位移机构在成像光路中实现通光孔与黑体切换,通过两点法等标定方法获取红外探测系统非均匀校正参数。

      标定类校正方法容易受到红外焦平面阵列探测单元响应特性漂移的影响,随着工作时间和温度的变化,红外焦平面阵列探测单元的响应特性漂移越来越大,因此在实际应用中需要周期性地定标,以减少漂移带来的误差。在周期性反复定标时需要暂停红外成像系统的工作,这在实时应用场合受到限制。尤其在机载红外载荷系统应用中,红外成像载荷随机快速起飞至巡航,温度,气压等外界条件在短时间发生急剧变化,环境温度多在−50 ℃~70 ℃,载荷工作温度在−10 ℃~−30 ℃,在此工况下光学系统多会发生微弱形变,地面标定系数很难直接满足机载点目标探测系统的高精度要求。

    • 基于场景的校正方法利用场景的统计特性来完成图像的非均匀性校正,不需要拍摄黑体的辐射图像,直接通过拍摄场景图像来实现非均匀性校正,可以回避机载红外探测系统机上黑体标定需要中断拍摄的问题,已成为近年来的研究热点[11]。这类方法大多需要目标和红外探测器之间发生相对运动,需要大量图像数据帧参与运算,通常采取迭代计算图像序列的场景信息来获取红外探测器的校正系数,校正参数的更新依赖于场景信息的变化,具有场景自适应校正的优点。但计算方法比标定法更复杂,对系统硬件条件要求较高。

      对于机载红外探测系统常用的基于场景的非均匀性校正方法主要有时域高通滤波方法、常数统计量方法。

    • 时域高通滤波算法(Temporal High-Pass Filtering,THPF)是一种基于统计的算法[12],它采用了原始信号与时域低通滤波信号的差。人眼信号处理系统中接收器在传输信号时存在一种现象:即当人眼长期观察有干扰背景的事物后,人眼会逐渐适应此干扰背景,可在有干扰背景的情况下观察有用的信号,也就是它会自动“滤除”背景干扰。对于一种相机获取的图像,假设只含非均匀性背景,即原始图像为干净图像与非均匀背景的叠加,并且非均匀背景随着时间的推移而缓慢变化。受人眼视觉系统的启发,可以设计一种机制以模拟人眼强大的适应能力,即人眼观察非均匀性背景一段时间后会降低对其敏感度,以获取“干净的”图像。该机制可用下式来表示:

      $$\hat E(i) = \frac{{O(i) + (i - 1) \cdot \hat E(i - 1)}}{i},$$ (1)
      $$\hat C(i) = O(i) - \hat E(i),$$ (2)

      式中,$O(i)$为原始图像,当帧数i很大时,当前估计的非均匀性背景$\hat E(i)$将接近非均匀性背景的真值。即$\hat E(i) \approx N(i)$,此时干净图像$C(i) \approx \hat C(i) = O(i) - \hat E(i)$

    • 常数统计量算法(Constant-Statistics,CS)的提出背景与THPF算法相同,都是模拟人眼的适应能力的机制[13]。区别在于THPF算法假设增益为1,仅仅是在偏置上做文章。而常数统计量算法则考虑了不同像元增益的差别所带来的影响。假设干净图像序列为$X(x,y,k)$,它的沿时域的均值定义为在一段时间内所获取帧内的任意像元的亮度平均值:

      $${m_X}(x,y) = \frac{1}{N}\sum\limits_{k = 1}^N {X(x,y,k)} ,$$ (3)

      其沿时域标准差为:

      $${s_X}(x,y) = \frac{1}{N}\sqrt {\sum\limits_{k = 1}^N {{{\left[ {X(x,y,k) - {m_X}(x,y)} \right]}^2}} } .$$ (4)

      由于计算沿时域的均值和标准差时,像元坐标$(x,y)$是常量,故后续的记号将坐标省略。假设实际图像为$Y(k)$。则它与$X(k)$有如下的关系:

      $$Y(k) = A \otimes X(k) + B,$$ (5)

      式中$ \otimes $表示元素乘,A表示增益,B表示加性非均匀背景,则$Y(k)$的沿时域的均值可按下式估计:

      $${m_Y} = \frac{1}{n}\sum\limits_{k = 1}^n {Y(k)} = A \otimes {m_X} + B.$$ (6)

      该算法采用${L_1}$模计算标准差以提高计算速度,即

      $${s_Y} = \frac{1}{n}\sum\limits_{k = 1}^n {\left| {Y(k) - {m_Y}(k)} \right|} = A \otimes {s_X},$$ (7)

      因此,未知的增益可由$A = {s_Y}/{s_X}$得出。最后,估计的干净图像可由下式得到:

      $$\hat X(n) = \frac{{Y(n) - {m_Y}(n)}}{{{s_Y}(n)}}.$$ (8)

      基于统计的算法处理结果非常依赖统计数据,并且校正参数的收敛速度较慢。由于统计的特性,它倾向于把场景内的不动或移动缓慢的目标当做是非均匀性的一部分来处理掉,因此容易产生残影,严重影响图像质量。它的应用条件要求相机相对场景有较快的运动。为了避免由于统计特性带来的缺陷,本文提出一种通过帧间配准并使得误差函数最小化来更新校正参数的算法(IRLMS)。

    • 假设相邻一个时间间隔的两帧场景之间没有变化,而相机相对于场景的位置发生了一定的变化,此时所获取的两张图像可视为存在平移。因此可以考虑在配准之后采用最小化均方差值来求得像元的增益和偏移参数。根据此原理,构建了3个子模型,来求得像元的增益和偏移参数[14]

      首先,假设焦平面上每个像元$(i,j)$所接收的辐照度(干净图像)${X_n}(i,j)$与它的输出(实际图像)${Y_n}(i,j)$存在以下关系:

      $${Y_n}(i,j) = {g_n}(i,j) \cdot {X_n}(i,j) + {o_n}(i,j),$$ (9)

      式中,n表示帧数,${g_n}(i,j)$${o_n}(i,j)$分别表示增益和偏移。为了得到干净图像,需要对实际图像进行逆运算,即

      $${X_n}(i,j) = {w_n}(i,j) \cdot {Y_n}(i,j) + {b_n}(i,j),$$ (10)

      其中${w_n}(i,j) = \dfrac{1}{{{g_n}(i,j)}}$${b_n}(i,j) = - \dfrac{{{o_n}(i,j)}}{{{g_n}(i,j)}}$。因此,仅需要估计${w_n}(i,j)$${b_n}(i,j)$

    • 为了保证计算速度,考虑采用互功率谱的方法来计算配准位移[15],即求出用于配准所需的平移参数。假设相机在场景内获取的两帧图像之间存在一定的平移${{d}} = ({x_0},{y_0})$,相对旋转和缩放可忽略。同时假设场景内的目标物运动缓慢,连续两帧图像之间有较大的重叠部分,如图1所示。

      图  1  两帧图像之间相对于场景的位移示意图,两帧图像大小均为512×384

      Figure 1.  Illustration of the relative displacement between two continuous frames. The size of the two images are both 512 × 384

      连续两帧图像之间有如下的关系:

      $${Y_n}(x,y) = {Y_{n - 1}}(x - {x_0},y - {y_0}).$$ (11)

      为计算两帧图像间的相对位移,根据傅立叶变换的位移定理,通过计算归一化的互功率谱(12)可得到两帧之间的相对位移(13):

      $$\hat c(u,v|x,y) = \frac{{{{\bar Y}_n}(u,v)\bar Y_{n - 1}^*(u,v)}}{{\left| {{{\bar Y}_n}(u,v)\bar Y_{n - 1}^*(u,v)} \right|}},$$ (12)
      $${{d}} = ({x_0},{y_0}) = \mathop {\rm{{argmax}}}\limits_{x,y} \;{\rm{Re}}\left\{ {{\cal{F}}^{ - 1}\left[ {\hat c(u,v|x,y)} \right]} \right\},$$ (13)

      式(12)中,${\bar Y_n}(u,v)$表示图像${Y_n}(u,v)$的傅立叶变换,$\bar Y_{n - 1}^*(u,v)$表示$Y_{n - 1}^{}(u,v)$的傅立叶变换的共轭。式(13)的含义为互功率谱的傅立叶逆变换后取实部,再取使其达到最大值时对应的$(x,y)$作为两帧图像之间相对于场景的位移$({x_0},{y_0})$。如图2(彩图见期刊电子版)所示。

      图  2  该两帧图像之间的互功率谱(实部),图中峰值对应的坐标(x0, y0) = (−58,94)即为两帧图像之间的位移

      Figure 2.  A cross-power spectrum between two frames of images (real part). The relative displacement (x0, y0) = (−58,94) is determined by the coordinate of the peak shown in the figure

      实际上,互功率谱的精度很容易受到其他噪声的影响,因此,需要先对原始图像进行预处理,将坏点剔除掉。当非均匀性噪声非常明显时,它会在互功率谱的(0,0)处产生较大的响应幅度。如图3所示,非均匀噪声的位置几乎没有变化,在互功率谱的(0,0)处产生最大的响应为264.4,足以淹没场景位移在(8,0)处产生的次大响应(77.92)。这将会干扰后续配准,因此有必要进行掩模处理,将非均匀噪声所产生的响应过滤掉,如图4所示。

      经上述计算后,还需验证这两帧待配准图像是否有效[16],即两帧图像之间的互功率谱中,最大响应幅值是否显著高于其他响应的均值。若是,则认为最大响应对应的坐标为两帧图像之间相对于场景的位移,否则视为干扰,将其忽略掉,不参与后续校正参数的计算,该过程由下式表示:

      $$V({I_1},{I_2}) = \left\{ {\begin{aligned} & {1},\quad {\max \left( {\left| {\hat c} \right|} \right) > k \times {\rm{mean}}\left( {\left| {\hat c} \right|} \right)} \\ &{0}, \quad\quad\quad\quad{{\rm{otherwise}}} \end{aligned}} \right.,$$ (14)

      式中k表示要求的显著程度,可根据不同的场景进行调整,一般取20。

      图  3  较明显的非均匀噪声产生的互功率谱响应示意图。(a)和(b)是两帧参与计算互功率谱的图,(c)为计算结果

      Figure 3.  Illustration of a cross-power spectrum response caused by the significant non-uniformity. (a) and (b) are the two frames used to calculate the cross-power spectrum and (c) is the calculation result

      图  4  图3(c)掩模过滤非均匀背景噪声响应后的互功率谱响应

      Figure 4.  Cross-power spectrum in Fig. 3(c) after filtering the non-uniformity background response by mask filter

    • 在理想情况下,配准误差是可以忽略的,因此,配准位移可直接由式(13)计算得出。若有非均匀噪声的干扰,经过掩模处理后,也可得到配准位移。经平移配准后,可结合两帧图像间的像素差异计算亮度误差。因此需要定义误差函数:

      $${e_n}(i,j) = {\hat X_{n - 1}}(i - {x_0},j - {y_0}) - {\hat X_n}(i,j),$$ (15)

      式中,${\hat X_{n - 1}}(i - {x_0},j - {y_0})$表示由前一帧图像估计的当前帧图像:根据傅立叶变换位移定理,首先计算前一帧估计图像${\hat X_{n - 1}}(i,j)$的傅立叶变换${\bar {\hat X}_{n - 1}}(u,v)$,再利用位移定理计算出当前帧的傅立叶谱${\bar {\hat X}_n}(u,v)$,之后进行傅立叶逆变换,得到下一帧图像的初始估计,即

      $$\begin{split} &{{\hat X}_{n - 1}}(i - {x_0},j - {y_0}) \\ = \; &{\cal{F}}^{ - 1}\left\{ {{{\bar X}_{n - 1}}(u,v)\exp \left[ { - 2{\text{π j}}(u{x_0} + v{y_0})} \right]} \right\} \\ =\; & {T_n}(i,j), \end{split} $$ (16)

      式(15)中的${\hat X_n}(i,j)$表示由实际的当前帧图像${Y_n}(i,j)$结合当前估计的校正参数${w_n}(i,j)$${b_n}(i,j)$估计的图像,即:

      $${\hat X_n} = {w_n}(i,j) \cdot {Y_n}(i,j) + {b_n}(i,j),$$ (17)

      结合式(16)、式(17)和式(15)可改写为:

      $$\begin{split} {e_n}(i,j) \; &= {{\hat X}_{n - 1}}(i - {x_0},j - {y_0}) - {{\hat X}_n}(i,j) \\ & = {T_n}(i,j) - \left[ {{w_n}(i,j) \cdot {Y_n}(i,j) + {b_n}(i,j)} \right] \end{split} .$$ (18)

      由此,误差函数就被定义为相邻两帧中重叠部分的差。

      本文的目的是估计出增益${w_n}(i,j)$和偏移${b_n}(i,j)$,由于数字图像的离散性质,上式可写为

      $$\begin{split} {e_n}(i,j) =\;& [{w_n}(i - {x_0},j - {y_0}) \cdot {Y_{n - 1}}(i - {x_0},j - {y_0})\\ & + b(i - {x_0},j - {y_0})] \\ &- \left[ {{w_n}(i,j) \cdot {Y_{n - 1}}(i,j) + b(i,j)} \right] . \end{split} $$ (19)

      为使整体误差最小化,定义目标函数:

      $$\begin{split} & J(i,j) = \sum\limits_{n = 1}^N {{e_n}{{(i,j)}^2}} \\ =\; & \sum\limits_{n = 1}^N {{{\left\{ {{T_n}(i,j) - \left[ {{w_n}(i,j) \cdot {Y_n}(i,j) + {b_n}(i,j)} \right]} \right\}}^2}} . \end{split} $$ (20)

      由式(20)可知,增益${w_n}(i,j)$和偏移${b_n}(i,j)$需要不断地进行迭代更新。对$J(i,j)$$w(i,j)$$b(i,j)$的偏导,并令其等于零,得

      $${w_{n + 1}}(i,j) = \left\{ \begin{aligned} &{w_n}(i,j) + a \cdot {e_n}(i,j) \cdot {Y_n}(i,j),\\ &\quad\quad\quad(i,j){\text{为重叠区域}}\\ &{w_n}(i,j),\;\;\;{\text{其他}} \end{aligned} \right.,$$ (21)
      $${b_{n + 1}}(i,j) = \left\{ \begin{aligned} &{b_n}(i,j) + a \cdot {e_n}(i,j),\;\\ &\quad\quad\quad(i,j){\text{为重叠区域}}\\ &{b_n}(i,j),\;{\text{其他}}\; \end{aligned} \right.,$$ (22)

      式中a为学习率,它的大小对$w(i,j)$$b(i,j)$的更新估计速度和准确性起决定作用。将式(19)代入式(21)、式(22),使其达到最小值时,有

      $$\begin{split} &{w_n}(i - {x_0},j - {y_0}) \cdot {g_{n - 1}}(i - {x_0},j - {y_0}) \\ =\; & {w_n}(i,j) \cdot {g_n}(i,j) , \end{split}$$ (23)
      $$\begin{split} &{w_n}(i - {x_0},j - {y_0}) \cdot {o_{n - 1}}(i - {x_0},j - {y_0}) \\ & + {b_n}(i - {x_0},j - {y_0}) \\ =\;& {w_n}(i,j) \cdot {o_n}(i,j) + {b_n}(i,j) . \end{split} $$ (24)

      图5为该算法的流程图。

      图  5  IRLMS算法流程图

      Figure 5.  Flow chart of IRLMS

    • IRLMS算法的核心部分是图像配准,因此互功率谱确定出的配准位移成为非均匀性校正能否成功的关键,第3.2节介绍的互功率谱只能反映相对平移,不能反映相对旋转和缩放。而实际获取图像过程中,由于相机的抖动等原因不可避免地会引入相对旋转和缩放。因此,本实验在与其他算法比较之前,首先确定IRLMS算法的适用条件及其有效性。为此本文从一组干净图像入手,比较并分析了对配准精度有影响的因素,如图6(彩图见期刊电子版)所示。可以看出:较大的相对平移对配准精度几乎没有影响;微小的旋转和尺寸缩放则会引入误差,表现为指示峰值发生钝化,因此,有必要观察不同范围的随机旋转或缩放对估计的校正系数准确性的影响。

      图  6  图像变换对配准的影响。(a)原图;(b)(c)(d)分别相对于(a)平移(120,120)、旋转2°、放大1.03倍,(e)(f)(g)分别是(b)(c)(d)与(a)计算的互功率谱

      Figure 6.  Registering accuracy affected by geometry transformation. (a) Original image; (b)(c)(d) are respectively translated by (120,120), rotated by 2 degrees, enlarged by 1.03 X relative to (a); (e)(f)(g) are the cross-power spectrum of (b)(c)(d) and (a), respectively.

    • 为了比较不同程度旋转与缩放对校正参数估计的影响,本实验首先生成非均匀性的增益,并利用此增益生成模拟的非均匀性场景图像。图7给出了某一张图像加入非均匀性增益的效果。

      下面对一系列这样的图像进行实验,若相邻的两帧图像之间没有相对旋转或缩放,则IRLMS算法估计的非均匀性增益系数如图8所示。可以看到,估计增益系数比较接近真值;本节采用均方误差来量化差异,即

      $$MSE = \sqrt {\frac{{\displaystyle\sum\limits_{i = 1}^M {\displaystyle\sum\limits_{j = 1}^N {{{\left[ {{g_{gt}}(i,j) - {g_{et}}(i,j)} \right]}^2}} } }}{{M \times N}}} $$ (25)

      式中,${g_{gt}}(i,j)$表示增益的真值,${g_{et}}(i,j)$表示增益的估计值。由上式可计算出图8(b)所示的估计增益的均方误差为0.0028。

      图  7  添加增益非均匀性示意图。(a)真值图像;(b)模拟增益非均匀性背景(增益范围为0.5~1.5);(c)将(a)进行非均匀性增益,模拟非均匀场景图像

      Figure 7.  Illustration of adding non-uniformity gain. (a) A ground-truth image; (b) simulated non-uniformity gain (range: 0.5~1.5); (c) non-uniformity scene after adding non-uniformity gain

      图  8  增益非均匀性真值与估计值的对比。 (a)真值;(b)估计值(MSE:0.0028)

      Figure 8.  Comparison between ground-truth and estimated non-uniformity gains. (a) Ground-truth; (b) estimated by IRLMS (MSE: 0.0028)

      若引入不同范围的随机相对旋转或缩放,则会导致估计准确性大大降低。如图9图10表1所示。可以看到,随着随机旋转或缩放范围的增大,估计效果越来越差,例如,当图像序列里含有±1°范围内的随机旋转,IRLMS估计的增益范围大致在1.2~3之间,与真值差异较大。

      图  9  引入不同范围的随机旋转角度时估计增益系数的准确性

      Figure 9.  Estimation correctness of gain coefficient by inducing various ranges of random rotation

      图  10  引入不同范围的随机缩放时估计增益系数的准确性

      Figure 10.  Estimation correctness of gain coefficient by inducing various ranges of random scaling

      表 1  不同旋转或缩放范围对增益估计准确性的影响

      Table 1.  Influence of various ranges of random rotation or scaling on estimation correctness of gain coefficient

      随机旋转范围±1°±2°±3°±4°
      MSE0.94241.24221.58482.1789
      随机缩放范围1±0.011±0.021±0.031±0.04
      MSE0.03570.59160.89111.0302
    • 为了比较算法之间的性能,采用本文提出的IRLMS与THPF和CS分别处理一系列图像,对非均匀性增益的估计进行比较,如图11所示。此外,还比较了去非均匀性效果,如图12所示。可以看到:THPF算法约在第100帧时就能得到稳定的估计,但只能估计偏移非均匀性,容易受增益非均匀性的影响而导致估计不准确,因此,依然能看到残余的非均匀性,在较早的帧内,还能够发现前一帧的“残影”;CS算法由于兼顾了增益和偏移非均匀性,因此从估计准确性来看,较THPF强,但收敛速度较慢,稳定性较差。而本文提出的算法在较少的帧数内就能得到准确且稳定的估计,能够较好地校正图像非均匀性。

      图  11  几种算法非均匀性增益迭代估计比较(从上到下:THPF、CS、IRLMS;从左到右:第10、20、50、100、200帧迭代估计)

      Figure 11.  Iterative estimated non-uniformity gain comparisons of different algorithms (from top to bottom: THPF, CS, IRLMS; from left to right: the 10th, 20th, 50th, 100th, 200th frame).

      图  12  各算法的去非均匀性效果比较(从左到右分别是原图、THPF、CS、IRLMS、真值图像;从上到下行分别是该系列图像的第10、20、50、100帧)

      Figure 12.  Performance comparisons of different algorithms, from left to right: Original, THPF, CS, IRLMS, Ground-truth images; from top to bottom: the 10th, 20th, 50th, 100th frame in the series of images.

    • 为了客观评价图像质量,本实验采用3个评价指标进行评价,分别是对比度(全局标准差)、峰值信噪比、结构相似度。

    • 对比度主要有3种:韦伯对比度、迈克尔逊对比度和标准差对比度。对于图像,一般采用标准差来代表对比度[17],即

      $$GSTD = \sqrt {\frac{1}{{MN}}\sum\limits_{i = 0}^{N - 1} {\sum\limits_{j = 0}^{M - 1} {{{({I_{ij}} - \bar I)}^2}} } } ,$$ (26)

      式中,Iij表示在M×N大小的图像中位于ij列的像素亮度,$\bar I$表示整张图像的均值。这里的Iij已转换为0~1内的浮点型。下面将采用最后200帧图像计算对比度的平均值,如表2所示。

      表 2  各种算法处理后图像的平均对比度(全局标准差)

      Table 2.  Average contrasts (global standard deviation) of the image processed by various algorithms

      算法OriginalTHPFCSIRLMS真值
      GSTD0.15240.14960.16060.16740.1684
    • 峰值信噪比(Peak Signal-Noise Ratio,PSNR)常常用于评价处理后的图像对未退化图像的忠实度指标。给定一个参考图像和测试图像,则PSNR的计算公式如下:

      $$PSNR \!\!=\!\! 10\log \left( {\frac{{{{\left( {{2^b} - 1} \right)}^2}}}{{\sqrt {\dfrac{1}{{M \times N}}\displaystyle\sum\limits_{i = 0}^{M - 1} {\displaystyle\sum\limits_{j = 0}^{N - 1} {{{\left[ {{I_{{\rm{test}}}}(i,j) \!-\! {I_{{\rm{ref}}}}(i,j)} \right]}^2}} } } }}} \right),$$ (27)

      式中,b表示比特位,例如对于8位图像,$b = 8$ItestIref分别是大小为M×N的测试图像和参考图像。

      在本实验中,用模拟非均匀性场景图像进行处理,下面将采用最后的200帧图像计算PSNR的平均值,如表3所示。

      表 3  各种算法处理后图像的平均峰值信噪比

      Table 3.  Average PSNRs of the images processed by various algorithms (dB)

      算法OriginalTHPFCSIRLMS
      PSNR20.194915.282615.187138.1842
    • 结构相似指数(Structural Similarity,SSIM)是根据亮度、对比度、结构特征这3个指标来评价图像质量的,计算公式如下[18]

      $$SSIM = \frac{{\left( {2{\mu _{{\rm{test}}}} \cdot {\mu _{{\rm{ref}}}} + {C_1}} \right)\left( {2{\sigma _{{\rm{test,ref}}}} + {C_2}} \right)}}{{\left( {\mu _{{\rm{test}}}^2 + \mu _{{\rm{ref}}}^2 + {C_1}} \right)\left( {\sigma _{{\rm{test}}}^2 + \sigma _{{\rm{ref}}}^2 + {C_2}} \right)}},$$ (28)

      式中,${\mu _{{\rm{test}}}},{\mu _{{\rm{ref}}}}$分别是测试图像和参考图像的均值,${\sigma _{{\rm{test}}}},{\sigma _{{\rm{ref}}}}$分别是测试图像和参考图像的标准差,${\sigma _{{\rm{test,ref}}}}$是两张图象的互相关系数,${C_1},{C_2}$是正常数,避免了出现分母为零的情况。下面按所示的办法计算SSIM的平均值,如表4所示。

      表 4  各种算法处理后图像的平均结构相似性

      Table 4.  Average SSIMs of the images processed by various algorithms

      算法OriginalTHPFCSIRLMS
      SSIM0.94310.30420.30020.9974
    • 经过实验比较可以发现,THPF算法和CS算法比较简单,易于实现,但它的参数极少,其校正结果非常依赖于统计,校正参数收敛速度较慢,它要求所拍摄的景物有持续的全局性变化,若存在运动速度较慢的目标,它容易在校正图像上留下“残影”,因此,不能够反映出真实的辐照度。IRLMS算法通过计算帧间位移信息进行配准,然后求出使得帧间误差最小的校正参数。在配准过程中,它采用互功率谱的方法来确定配准位移,避免了基于统计的算法带来的缺陷。因此,IRLMS对非均匀性校正效果更好。但互功率谱是一种归一化的相位谱,其结果非常依赖于高频信息,相邻两帧之间的相对旋转与缩放不能太大,否则,将会导致配准失败,进而导致非均匀性校正参数错误更新。由于该算法可调整的参数更多,可以在不同场景灵活调整,虽然该算法较为复杂,但校正参数收敛速度较快,可以抵消由于算法复杂度较高带来的不利影响,仍然容易在硬件中实现,能够实现在工程上的应用。

参考文献 (18)

目录

    /

    返回文章
    返回