留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于联合变换相关的机载航空相机像移测量

李刚 杨名宇

李刚, 杨名宇. 基于联合变换相关的机载航空相机像移测量[J]. 中国光学, 2015, 8(3): 401-406. doi: 10.3788/CO.20150803.0401
引用本文: 李刚, 杨名宇. 基于联合变换相关的机载航空相机像移测量[J]. 中国光学, 2015, 8(3): 401-406. doi: 10.3788/CO.20150803.0401
LI Gang, YANG Ming-yu. Image motion measurement for airborne camera based on joint transform correlation[J]. Chinese Optics, 2015, 8(3): 401-406. doi: 10.3788/CO.20150803.0401
Citation: LI Gang, YANG Ming-yu. Image motion measurement for airborne camera based on joint transform correlation[J]. Chinese Optics, 2015, 8(3): 401-406. doi: 10.3788/CO.20150803.0401

基于联合变换相关的机载航空相机像移测量

doi: 10.3788/CO.20150803.0401
基金项目: 吉林省重大科技攻关资助项目(No.11ZDGG001)
详细信息
    通讯作者: 李 刚(1982-),男,河南新郑人,博士,助理研究员,主要从事机载光电图像处理方面的研究。E-mail:ligang0431@gmail.com杨名宇(1983-),男,吉林松原人,博士,助理研究员,主要从事图像处理等方面的研究。E-mail:mingyu.yang@ia.ac.cn
  • 中图分类号: TP391

Image motion measurement for airborne camera based on joint transform correlation

  • 摘要: 为了提高像移测量精度,针对机载航空摆扫相机提出一种坐标变换法和图像相关法相结合的像移测量方法。利用坐标变换法得到初始像移速度,利用图像联合变换相关法对像移速度残差进行补偿。联合图像通过一个面阵CCD获得,该面阵CCD放置在相机焦平面上并与成像线阵TDI CCD平行,其输出的当前图像与参考图像合并构成联合图像进行二维空间联合变换相关运算,得到像移修正矢量。对该矢量分别在相机摆扫方向和载机飞行方向进行分解,从而得到摆扫像移和前向像移的修正量。仿真实验结果表明,在输入图像信噪比为4 dB时,像移测量误差在0.1 pixel以内。
  • 图  1  航空摆扫相机成像原理

    Figure  1.  Imaging principles of aerial pendulum-swing camera

    图  2  相机焦平面CCD放置

    Figure  2.  CCDs location in the focal plane

    图  3  联合图像

    Figure  3.  Joint image

    图  4  像移测量原理

    Figure  4.  Principle of image motion measurement

    图  5  测试图像

    Figure  5.  Test image

    图  6  联合图像

    Figure  6.  Joint input image

    图  7  仿真结果

    Figure  7.  Simulation results

  • [1]

    [1] 程晓薇, 车英, 薛常喜.CCD数字航空相机高分辨力成像关键技术与发展[J].电光与控制, 2009, 16(4):7-10-14. CHENG X W, CHE Y, XUE CH X. Critical technologies and development on high-resolution aerial CCD digital airborne camera[J]. Electronics Optics & Control, 2009, 16(4):7-10-14.(in Chinese)
    [2] 颜昌翔, 王家琪.航相机像移补偿计算的坐标变换方法[J].光学 精密工程, 2000, 8(3):203-207. YAN CH X, WANG J Q. Method of coordinate transformation for IM & IMC calculation in aerospace camera system[J]. Opt. Precision Eng., 2000, 8(3):203-207.(in Chinese)
    [3] 王运, 颜昌翔.基于差分法的空间相机像移速度矢量计算[J].光学 精密工程, 2011, 19(5):1054-1060. WANG Y, YAN CH X. Computation of image motion velocity vector for space camera based on difference method[J]. Opt. Precision Eng., 2011, 19(5):1054-1060.(in Chinese)
    [4] 吴宏圣, 潘凝, 翟林培.TDI CCD全景式航空相机的像移补偿误差分析[J].光学 精密工程, 2003, 11(6):545-548. WU H SH, PAN N, ZHAI L P. Image motion compensation error analysis for TDI CCD panoramic aerial camera[J]. Opt. Precision Eng., 2003, 11(6):545-548.(in Chinese)
    [5] 李广泽, 孔德柱, 刘金国.宽覆盖型光学遥感相机侧摆像移速度计算[J].中国光学, 2013, 6(5):750-758. LI G Z, KONG D ZH, LIU J G. Computation of scroll image motion velocity of wide coverage optical remote camera[J]. Chines Optics, 2013, 6(5):750-758.(in Chinese)
    [6] 许永森, 丁亚林, 田海英, 等.推扫式航空遥感器像移补偿精度的分析[J].光学 精密工程, 2009, 17(2):453-458. XU Y S, DING Y L, TIAN H Y, et al.. Analysis of image motion compensation accuracy for aerial push-broom sensor[J]. Opt. Precision Eng., 2009, 17(2):453-458.(in Chinese)
    [7] 李延伟, 远国勤.面阵彩色航空遥感相机前向像移补偿机构精度分析[J].光学 精密工程, 2012, 20(11):2439-2443. LI Y W, YUAN G Q. Accuracy analysis of forward image displacement compensation device for aerial scan color CCD camera[J]. Opt. Precision Eng., 2012, 20(11):2439-2443.(in Chinese)
    [8] 孙辉, 张淑敏.机载成像系统像移计算模型与误差分析[J].光学 精密工程, 2012, 20(11):2492-2499. SUN H, ZHANG SH M. Computation model and error budget for image motion of aerial imaging system[J]. Opt. Precision Eng., 2012, 20(11):2492-2499.(in Chinese)
    [9] TCHERNYKH V, DYBLENKO S V, JANSCHEK K, et al.. SMARTSCAN hardware test results for smart optoelectronic image correction for pushbroom cameras[J]. SPIE, 2002, 4814:264-272.
    [10] TCHERNYKH V, DYBLENKO S V, JANSCHEK K, et al.. Airborne test results for a smart pushbroom imaging system with optoelectronic image correction[J]. SPIE, 2004, 5234:550-559.
    [11] JUTAMULIA S. Joint transform correlators and their applications[J]. SPIE, 1992, 1812:233-243.
    [12] GOODMAN J W. Introduction to Fourier Optics[M]. New York:McGraw-Hill, 1968.
    [13] 张勇, 金伟其.光学相关器在目标识别中的应用[J].应用光学, 2009, 30(5):777-782. ZHANG Y, JIN W Q. Application of optical correlator in automatic target recognition[J]. J. Applied Optics, 2009, 30(5):777-782.(in Chinese)

  • [1] 魏雨, 蒋世磊, 孙国斌, 张兴星, 王玉宁.  固态面阵激光雷达接收光学系统设计 . 中国光学, 2020, 13(3): 517-526. doi: 10.3788/CO.2019-0166
    [2] YU Chun-feng, CHEN Zhi-chao, JIA Ping, WANG Nai-xiang, HOU Han.  Analysis of the effect of lens shutter on image motion in aerial camera . 中国光学, 2020, 13(3): 616-626. doi: 10.3788/CO.2019-0127
    [3] 王正玺, 张葆, 李贤涛, 张士涛.  快速反射镜在像移补偿中的应用 . 中国光学, 2020, 13(1): 95-105. doi: 10.3788/CO.20201301.0095
    [4] 李耀, 李阳, 王超.  LD面阵侧面泵浦Nd:YAG晶体吸收光场研究 . 中国光学, 2018, 11(2): 206-211. doi: 10.3788/CO.20181102.0206
    [5] 张健, 张玲花, 刘立国, 张景国, 陈伟, 张雷.  全景式航空遥感器TDI CCD精密装调必要性分析及实现方法 . 中国光学, 2014, 7(6): 996-1002. doi: 10.3788/CO.20140706.0996
    [6] 郭汉洲, 吴振刚, 宋宣晓.  用于标定CCD相机的高精度数控LED点光源 . 中国光学, 2013, 6(5): 759-766. doi: 10.3788/CO.20130605.0759
    [7] 薛旭成, 傅瑶, 韩诚山.  TDI CCD相机的卫星姿态稳定度确定 . 中国光学, 2013, 6(5): 767-772. doi: 10.3788/CO.20130605.0767
    [8] 吴威, 许廷发, 王亚伟, 闫辉, 徐磊.  高精度全景补偿电子稳像 . 中国光学, 2013, 6(3): 378-385. doi: 10.3788/CO.20130603.0378
    [9] 曹海霞, 巴音贺希格, 崔继承, 张永超.  基于图像复原的高光谱图像前向像移补偿 . 中国光学, 2013, 6(6): 856-862. doi: 10.3788/CO.20130606.856
    [10] 李广泽, 孔德柱, 刘金国.  宽覆盖型光学遥感相机侧摆像移速度计算 . 中国光学, 2013, 6(5): 750-758. doi: 10.3788/CO.20130605.0750
    [11] 张立平, 王智.  三线阵CCD相机安装支架分析及检测 . 中国光学, 2013, 6(3): 402-407. doi: 10.3788/CO.20130603.0402
    [12] 王明, 王挺峰, 邵俊峰.  面阵CCD相机的飞秒激光损伤分析 . 中国光学, 2013, 6(1): 96-102. doi: 10.3788/CO.20130601.0096
    [13] 田铁印, 王红, 冯晟杰.  三线阵测绘相机光学系统的杂光分析与计算 . 中国光学, 2012, 5(6): 583-589. doi: 10.3788/CO.20120506.0583
    [14] 陈伟, 丁亚林, 惠守文, 聂品, 于春风.  推扫式航空遥感器像面调焦机构设计 . 中国光学, 2012, 5(1): 30-34. doi: 10.3788/CO.20120501.0030
    [15] 苗健宇, 张立平, 翟岩, 梅贵.  三线阵CCD立体测绘相机的集成装调 . 中国光学, 2012, 5(4): 366-372. doi: 10.3788/CO.20120504.0366
    [16] 郭永飞.  遥感CCD相机的抗辐射策略研究 . 中国光学, 2010, 3(6): 534-545.
    [17] 宋雪群, 刘洵, 王洪.  基于PTP协议的航空图像高速传输 . 中国光学, 2010, 3(2): 188-193.
    [18] 张玉欣, 刘宇, 葛文奇.  像移补偿技术的发展与展望 . 中国光学, 2010, 3(2): 112-118.
    [19] 王勇, 朱明.  基于输入面形态学预处理的条纹调制滤波联合变换相关器 . 中国光学, 2009, 2(5): 460-465.
    [20] 葛任伟, 吴清文, 王运, 陈立恒.  联合变换相关器像移测量试验系统设计 . 中国光学, 2009, 2(3): 218-224.
  • 加载中
图(7)
计量
  • 文章访问数:  344
  • HTML全文浏览量:  35
  • PDF下载量:  801
  • 被引次数: 0
出版历程
  • 收稿日期:  2014-11-21
  • 录用日期:  2015-01-23
  • 刊出日期:  2015-01-25

基于联合变换相关的机载航空相机像移测量

doi: 10.3788/CO.20150803.0401
    基金项目:  吉林省重大科技攻关资助项目(No.11ZDGG001)
    通讯作者: 李 刚(1982-),男,河南新郑人,博士,助理研究员,主要从事机载光电图像处理方面的研究。E-mail:ligang0431@gmail.com杨名宇(1983-),男,吉林松原人,博士,助理研究员,主要从事图像处理等方面的研究。E-mail:mingyu.yang@ia.ac.cn
  • 中图分类号: TP391

摘要: 为了提高像移测量精度,针对机载航空摆扫相机提出一种坐标变换法和图像相关法相结合的像移测量方法。利用坐标变换法得到初始像移速度,利用图像联合变换相关法对像移速度残差进行补偿。联合图像通过一个面阵CCD获得,该面阵CCD放置在相机焦平面上并与成像线阵TDI CCD平行,其输出的当前图像与参考图像合并构成联合图像进行二维空间联合变换相关运算,得到像移修正矢量。对该矢量分别在相机摆扫方向和载机飞行方向进行分解,从而得到摆扫像移和前向像移的修正量。仿真实验结果表明,在输入图像信噪比为4 dB时,像移测量误差在0.1 pixel以内。

English Abstract

李刚, 杨名宇. 基于联合变换相关的机载航空相机像移测量[J]. 中国光学, 2015, 8(3): 401-406. doi: 10.3788/CO.20150803.0401
引用本文: 李刚, 杨名宇. 基于联合变换相关的机载航空相机像移测量[J]. 中国光学, 2015, 8(3): 401-406. doi: 10.3788/CO.20150803.0401
LI Gang, YANG Ming-yu. Image motion measurement for airborne camera based on joint transform correlation[J]. Chinese Optics, 2015, 8(3): 401-406. doi: 10.3788/CO.20150803.0401
Citation: LI Gang, YANG Ming-yu. Image motion measurement for airborne camera based on joint transform correlation[J]. Chinese Optics, 2015, 8(3): 401-406. doi: 10.3788/CO.20150803.0401
    • 机载航空相机在运动成像过程中,受载机与目标场景间高速相对运动、载机振动、姿态变化以及相机视轴角度变化等因素的影响,不可避免地会造成目标场景影像在相机焦平面上产生像移。像移的存在导致系统传递函数下降,成像质量退化,所拍摄图像模糊。为了提高航空成像质量,需要对像移进行补偿,而像移补偿的前提是要能够对像移进行精确地测量[1]。许多学者对机载和星载相机像移矢量计算方法以及误差进行了分析和研究[2, 3, 4, 5, 6, 7, 8]。航空摆扫相机主要存在两种像移[4],即载机飞行方向的前向像移以及相机摆扫方向的摆扫像移。针对这两种像移,文献[4]提出了采用矢量分解法和坐标变换法对其进行测量。矢量分解法速度快,实时性好,但只能计算像面中心处的像移,只适用于视场较小的遥感器。坐标变换法精度较高,但计算量大、实时性差。工程上一般采用坐标变换法的近似计算,在载机初始姿态角不为零时,存在计算误差。矢量分解法和坐标变换法都是根据载机的航姿数据进行计算,会受到载机定位误差、载机姿态测量误差以及视轴指向角测量误差等的影响,像移测量精度无法保证。对于高分辨力的机载航空相机,矢量分解法和坐标变换法计算像移都存在像移残差[8]。另外,载机本身的振动势必也会对像移测量精度带来影响。

      德国德雷斯顿科技大学的K.Janschek等人针对星载成像平台提出了一种基于二维空间联合变换相关的像移测量方法[9, 10]。该方法能实时有效地测量相机焦平面上的像移,并进行了飞行演示验证试验,取得了很好的试验结果。本文借鉴该方法,将其应用于机载航空摆扫相机的像移测量,不同的是本文将该方法与坐标变换法相结合,分别对航空摆扫相机摆扫方向和载机飞行方向上的像移进行估计及修正。系统只采用一个面阵CCD进行辅助像移测量,降低了系统对航姿数据精度以及载机振动的要求,提高了像移测量精度。

    • 航空摆扫相机即全景式航空相机,其成像原理如图 1所示。相机采用折反式光学系统成像,光束首先经扫描反射镜反射至相机镜头,经镜头汇聚后由焦面反射镜反射到TDI CCD像面。相机在拍摄过程中对地物进行摆扫成像,摆扫方向以及TDI CCD积分方向都与载机飞行方向垂直,扫描反射镜在载机飞行方向上进行前后绕轴旋转。

      图  1  航空摆扫相机成像原理

      Figure 1.  Imaging principles of aerial pendulum-swing camera

      相机在摆扫成像的同时旋转扫描反射镜以补偿由于载机前向飞行、俯仰、偏航引起的载机飞行方向上的前向像移。根据坐标变换法计算的近似前向像移速度VF为: 式中: f为相机焦距,H为载机飞行高度,V为载机飞行速度,α为相机摆扫角,Ψs为载机偏航角速度,θs为载机俯仰角速度。
      前向像移速度误差ΔVF为:
      扫描反射镜以角速度βs在反方向旋转对前向像移进行补偿,而应为前向像移角速度的一半,即:
      航空相机在进行摆扫成像时,相机在摆扫方向上的像移速度Vp为: 式中:φs为相机横滚角速度。
      摆扫像移速度误差ΔVp为:

      根据式(1)计算得到的前向像移速度,控制扫描反射镜对相机前向像移进行补偿。利用TDI CCD积分成像的特点,根据式(4)计算得到的摆扫像移速度控制TDI CCD电荷转移速率实现摆扫像移的补偿。由式(2)和式(5)可以看到,像移速度测量的精度很大程度上取决于载机航姿数据及传感器测角精度,当二者出现较大误差或者不稳时,测得的像移速度就不准确。

    • 在TDI CCD相机的焦平面上额外放置一片面阵CCD探测器,利用其输出的视频图像序列进行相邻帧间的二维空间联合变换相关计算,通过确定两个相关峰值的相对位置,实现相机焦平面的像移测量。

    • 线阵TDI CCD相机的焦平面占用尺寸空间较大,可在TDI CCD一侧平行放置一片面阵CCD,其像元行方向与TDI CCD积分方向垂直,如图 2所示。面阵CCD和TDI CCD位于同一焦平面上,二者的像移速度相同。相机工作时,TDI CCD对目标区域扫描成像,同时面阵CCD采集视频图像序列用于像移测量。为了减少像移造成的图像运动模糊的影响,面阵CCD的曝光时间应该尽量短,但减少曝光时间的同时会造成图像对比度降低、信噪比下降。由于二维空间联合变换利用的是图像的整体灰度能量进行相关处理,对图像灰度变化以及噪声均不敏感。

      图  2  相机焦平面CCD放置

      Figure 2.  CCDs location in the focal plane

    • 联合变换相关[11]是对目标图像和参考图像进行二维空间相关运算,根据相关函数的峰值位置确定目标图像相对于参考图像的位移量。假定目标图像t(x,y)相对于参考图像r(x,y)x、y方向上的位移分别为Δx、Δy。如图 3所示,将二者的中心位置分别放置于(-a,0)和(a,0),得到联合输入图像j(x,y)为:

      图  3  联合图像

      Figure 3.  Joint image

      对其进行一次傅里叶变换并取其功率谱,省略中间推导过程得到: 式中:R(u,v)r(x,y)的傅里叶变换,|*|为求模运算。对功率谱再次做傅里叶变换,得到联合相关输出: 式中,Crr(* )是r(x,y)的自相关函数,Crr(x,y)的峰值位于 (0,0),而Crr(x+2ax,yy)和Crr(x-2ax,yy)的峰值分别位于(-2ax,-Δy)和(2axy)。根据Crr(x+2ax,yy)和Crr(x-2ax,yy)的两个相关峰值位置关系就能够得到目标图像相对于参考图像的位移量(Δxy),即二者之间的像移,而两个相关峰值的位置坐标通过质心算法计算得到。

      联合变换相关具有很好的抗噪性能,针对低信噪比的图像也能得到亚像素精度的像移测量。但其缺点是运算量大,需要对联合图像做两次傅里叶变换,传统处理器难以实时处理,可采用联合变换光学相关器(Joint Transform Optical Correlator,JTOC)[12, 13]加以实现,两次傅里叶变换都是通过光学傅里叶透镜实现,处理速度极快且功耗低,可以满足工程应用的实时要求。

    • 利用坐标变换法计算得到的前向像移速度和摆扫像移速度对相机焦平面的像移进行补偿会存在像移补偿残差[4]。在此基础上,利用图像二维空间联合变换相关方法对像移残差进行测量。将面阵CCD的当前帧输出作为当前图像与参考图像进行二维相关变换,如图 4。选取当前帧的前一帧图像作为参考图像。为了得到参考图像,对当前帧输出进行缓存。在缓存中开辟两块存储空间,一块用来存储当前帧输出,一块用来读取经缓存的前一帧图像至联合变换相关器与当前帧图像组合成联合图像。两块存储空间交替读写,实现对缓存的乒乓操作。当前图像和参考图像的重叠率越大,即二者的相关性越大,探测到的相关峰强度越大,通过质心算法得到的像移就越准确。

      图  4  像移测量原理

      Figure 4.  Principle of image motion measurement

      设定面阵CCD的帧周期时间为T,当前图像和参考图像经过二维空间联合变换相关运算得到像移矢量为ΔM。将ΔM分别在相机摆扫方向和载机飞行方向分解得到分矢量ΔMP和ΔMF,分别对应摆扫像移残差和前向像移残差。图 4中的MPMF分别为通过坐标变换法计算得到的面阵CCD帧周期时间T内相机摆扫像移和前向像移,即:MP=VPTMF=VFT

      利用像移残差对像移速度进行经修正。修正后的相机摆扫像移速度为:
      将该像移速度作为TDI CCD像移补偿控制量,对摆扫像移进行补偿。修正后的相机前向像移速度为:

      将该像移速度作为扫描反射镜的控制量,对前向像移进行补偿。

    • 为验证二维空间联合变换相关方法的有效性,对像移测量进行仿真实验。仿真实验采用三幅具有代表性的图像,分别为城市、机场、道路以及海岸,如图 5

      图  5  测试图像

      Figure 5.  Test image

      图 5(a)为例,利用图像线性插值得到亚像元像移的图像,并将其与原图像合并得到联合图像,如图 6所示。为提高测量精度,对输入联合图像进行了拉普拉斯边缘增强,同时采用卷积核[-1 2 -1]对联合功率谱进行卷积滤波处理。联合功率谱经过滤波后进行二值化处理,从而能够更好地抑制噪声,产生较高的相关峰值和更尖锐的相关峰宽。图 7(a)为联合变换相关得到的相关峰值输出。

      图  6  联合图像

      Figure 6.  Joint input image

      图  7  仿真结果

      Figure 7.  Simulation results

      分别对不同场景的实验图像进行不同像移的多次测量表明,利用空间联合变换相关像移测量的精度与场景类型关系不大,测量误差均方根都在0.1 pixel以内。为验证本方法的抗造声性能,分别在当前图像和参考图像中加入不同程度的高斯白噪声。针对不同程度的高斯白噪声,采用空间变换相关对不同像移量的各种场景的测量误差均方根统计如图 7(b)。从图中可以看出,当图像信噪比为4 dB时,测量精度都能够达到0.1 pixel以内,满足机载航空相机对像移测量精度的要求。

    • 在坐标变换法的基础上,本文提出一种基于图像二维空间联合变换提高机载航空相机像移测量精度的方法。通过二维空间联合变换得到像移矢量对相机前向像移速度和摆扫像移速度进行修正,提高了像移测量精度,降低了系统对载机航姿数据精度以及振动的要求。利用联合变换相关具有较强的抗造性能,能够在输入图像信噪比为4 dB条件下达到0.1 pixel的测量精度,完全满足机载航空成像对像移补偿精度的要求。采用该方法进行像移测量,对原有的相机结构改动很小,适用于对结构、体积以及可靠性性要求苛刻的机载航空环境。

参考文献 (1)

目录

    /

    返回文章
    返回