留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

主被动光学图像融合技术研究

严洁 阮友田 薛珮瑶

严洁, 阮友田, 薛珮瑶. 主被动光学图像融合技术研究[J]. 中国光学, 2015, 8(3): 378-385. doi: 10.3788/CO.20150803.0378
引用本文: 严洁, 阮友田, 薛珮瑶. 主被动光学图像融合技术研究[J]. 中国光学, 2015, 8(3): 378-385. doi: 10.3788/CO.20150803.0378
YAN Jie, RUAN You-tian, XUE Pei-yao. Active and passive optical image fusion technology[J]. Chinese Optics, 2015, 8(3): 378-385. doi: 10.3788/CO.20150803.0378
Citation: YAN Jie, RUAN You-tian, XUE Pei-yao. Active and passive optical image fusion technology[J]. Chinese Optics, 2015, 8(3): 378-385. doi: 10.3788/CO.20150803.0378

主被动光学图像融合技术研究

doi: 10.3788/CO.20150803.0378
基金项目: <p/>
详细信息
    通讯作者: 严洁(1973—),女,河南信阳人,硕士,高级工程师,1997年于杭州电子科技大学获得学士学位,2006年于西安电子科技大学获得硕士学位,主要从事激光测量、激光雷达、图像处理等方面的研究。E-mail: 1916757428@qq.com阮友田(1973—),男,湖北孝感人,本科,高级工程师,2002年于长春理工大学获得学士学位,主要从事激光测量、激光雷达、图像处理等方面的研发工作。E-mail:nbaibai@sohu.com薛珮瑶( 1982—)女,陕西大荔人,硕士,工程师,2008年于长春理工大学获得硕士学位,主要从事光学设计及光学应用技术研究。E-mail:64558394@qq.com
  • 中图分类号: TP751

Active and passive optical image fusion technology

  • 摘要: 本文应用扫描式激光成像雷达获取试验数据并实现对激光数据的三维成像处理,给出了基于目标特征的激光雷达图像与被动光学图像的数据融合方法,实现了激光图像和光学图像间的三维融合。试验结果表明,本文所提出的基于目标特征的两种不同质图像间的融合方法是可行的,融合后的图像具有丰富的光谱信息和三维立体信息。
  • 图  1  盘古大观楼的可见光图像与激光图像

    Figure  1.  Visible-light image and laser image of Pangu Plaza

    图  2  激光图像与可见光图像的融合流程

    Figure  2.  Fusion process of laser image and visible-light image

    图  3  图像配准过程

    Figure  3.  Image registration process

    图  4  清华大学校门融合图像

    Figure  4.  Fused image of Tsinghua University′s school gate

  • [1]

    [1] 张健, 张雷, 曾飞, 等.机载激光3D探测成像系统的发展现状[J].中国光学, 2011, 4(3):214-217. ZHANG J, ZHANG L, ZENG F, et al.. Development status of airborne 3D imaging lidar systems[J]. Chinese Optics, 2011, 4(3):214-217.(in Chinese)
    [2] 戴永江.激光雷达技术[M].北京:电子工业出版社, 2010:11-13, 178. DAI Y J. Laser Technology[M]. Beijing:Electronic Industry Press, 2010:11-13, 178.(in Chinese)
    [3] 李清泉, 李必军, 陈静.激光雷达测量技术及其应用研究[J].武汉测绘科技大学学报, 2000, 25(5):387-391. LI Q Q, LI B J, CHEN J. Lidar Measurement and its Applications[J]. J. Wuhan Technical University of Surveying and Mapping, 2000, 25(5):387-391.(in Chinese)
    [4] 赵铭军, 张晓鹏, 周胜利, 等.空间激光遥感技术研究[J].激光与红外, 2009, 39(1):21-23. ZHAO M J, ZHANG X P, ZHOU SH L, et al.. Study on the space-borne laser remote sensing technology[J]. Laser & Infrared, 2009, 39(1):21-23.(in Chinese)
    [5] 张清源, 李丽, 李全熙, 等.直升机防撞激光雷达综合信息处理系统[J].中国光学, 2013, 6(1):80-87. ZHANG Q Y, LI L, L Q X, et al.. Comprehensive information processing system for helicopter anti-collision Laser radar[J]. Chinese Optics, 2013, 6(1):80-87.(in Chinese)
    [6] 刘晓艳, 林珲, 张宏.虚拟城市建设原理与方法[M].北京:科学出版社, 2003:261-264. LIU X Y, LIN H, ZHANG H. Construction Principles and Methods for Virtual City[M]. Beijing:Science Press, 2003:261-264.(in Chinese)
    [7] 屈恒阔, 张清源, 阮友田.扫描成像跟踪激光雷达[J].中国光学, 2012, 5(3):242-247. QU H K, ZHANG Q Y, RUAN Y T. Laser radar based on scanning image tracking[J]. Chinese Optics, 2012, 5(3):242-247.(in Chinese)
    [8] 李磊, 严洁, 阮友田.车载激光测绘系统的标定[J].中国光学, 2013, 6(3):353-358. LI L, YAN J, RUAN Y T. Calibration of vehicular laser mapping system[J]. Chinese Optics, 2013, 6(3):353-358.(in Chinese)
    [9] 何东健, 耿楠, 张义宽.数字图像处理[M].西安:西安电子科技大学出版社, 2008:61-65, 298. HE D J, GEN N, ZHANG Y K. Digital Image Processing[M]. Xi'an:Press of Xidian University, 2008:61-65, 298.in Chinese)
    [10] 彭溯, 王骞.应用径向基函数去除数字图像中的椒盐噪声[J].光学与光电技术, 2012, 10(6):86-89. PENG S, WANG Q. Removing salt and pepper noises in digital images using radial basis functions[J]. Optics & Optoelectronic Technology, 2012, 10(6):86-89.(in Chinese)
    [11] 孙爱平, 皮冬明, 安长亮, 等.光机装校阶段红外与可见光图像配准技术研究[J].红外技术, 2013, 35(1):50-55. SUN A P; PI D M, AN C L, et al.. Study on IR/Visible Image Registration for Lens Assembly[J]. Infrared Technology, 2013, 35(1):50-55.(in Chinese)
    [12] 梁洪有, 余涛, 顾行发.基于MATLAB图像处理工具箱IPT函数的遥感图像配准[J].测绘与空间地理信息, 2008, 31(5):8-11. LIANG H Y, YU T, GU X F. Remote sensing image registration based on the IPT function of MATLAB[J]. Geomatics & Spatial Information Technology, 2008, 31(5):8-11.(in Chinese)
    [13] 杨健, 李若楠, 黄晨阳, 等.基于局部显著边缘特征的快速图像配准算法[J].计算机应用, 2014, 34(1):149-153. YANG J, LI R N, HUANG CH Y, et al.. Fast image registration algorithm based on local salient edges[J]. J. Computer Applications, 2014, 34(1):149-153.(in Chinese)
    [14] 金星, 马艳华, 舒嵘.遥感图像的图像配准方法[J].红外, 2004(9):23-24. JIN X, MA Y H, SHU R. Image registration methods of remote sensing image[J]. Infrared, 2004(9):23-24.in Chinese)
    [15] 张毅, 柏连发, 陈钱, 等.基于像素空间相关度的微光双谱图像实时配准[J].南京理工大学学报, 2009, 33(4):506-510. ZHANG Y, BO L F, CHEN Q, et al.. Dual-band low level light image real-time registration based on pixel spatial correlation degree[J]. J. Nanjing University of Science and Technology(Natural Science), 2009, 33(4):506-510.(in Chinese)
    [16] 王安宙, 张智杰, 余徽, 等.基于亮度对比度传递红外与可见光图像融合方法研究[J].光学与光电技术, 2013, 11(6):7-10. WANG A ZH, ZHANG ZH J, YU H, et al.. Research on the image fusion algorithm based on brightness-contrast transfer[J]. Optics & Optoelectronic Technology, 2013, 11(6):7-10.(in Chinese)

  • [1] 蔡怀宇, 韩晓艳, 娄世良, 汪毅, 陈文光, 陈晓冬.  扫频光学相干层析视网膜图像配准去噪算法 . 中国光学, 2020, 13(6): 1-10. doi: 10.37188/CO.2020-0130
    [2] 李明磊, 吴谨, 白涛, 万磊, 李丹阳.  大随机相位误差下条带模式合成孔径激光雷达成像实验 . 中国光学, 2019, 12(1): 130-137. doi: 10.3788/CO.20191201.0130
    [3] 陈洋君, 吴志勇, 崔明, 张维达, 范日召.  基于MAX9259/MAX9260的CameraLink图像数据光纤传输技术 . 中国光学, 2018, 11(6): 1017-1023. doi: 10.3788/CO.20181106.1017
    [4] 卜禹铭, 杜小平, 曾朝阳, 赵继广, 宋一铄.  无扫描激光三维成像雷达研究进展及趋势分析 . 中国光学, 2018, 11(5): 711-727. doi: 10.3788/CO.20181105.0711
    [5] 陶小平.  大口径反射镜加工机床在线检测高精度对准方法 . 中国光学, 2015, 8(6): 1027-1034. doi: 10.3788/CO.20150806.1027
    [6] 许佳佳.  结合Harris与SIFT算子的图像快速配准算法 . 中国光学, 2015, 8(4): 574-581. doi: 10.3788/CO.20150804.0574
    [7] 王新华, 黄玮, 欧阳继红.  多探测器拼接成像系统实时图像配准 . 中国光学, 2015, 8(2): 211-219. doi: 10.3788/CO.20150802.0211
    [8] 杨飞, 金光, 谢金华, 邱振戈, 曲宏松, 贺小军.  基于在轨成像物理机理的立体测绘相机建模与仿真 . 中国光学, 2015, 8(6): 971-979. doi: 10.3788/CO.20150806.0971
    [9] 许廷发, 李俊涛, 张一舟, 申子宜, 郭巳秋.  真彩色传递双波段图像融合 . 中国光学, 2014, 7(3): 402-410. doi: 10.3788/CO.20140703.0402
    [10] 胡晓华, 周晓中, 刘松涛, 张春华, 杨楠.  星载微光立体成像技术及实现 . 中国光学, 2013, 6(5): 701-709. doi: 10.3788/CO.20130605.0701
    [11] 李磊, 严洁, 阮友田.  车载激光测绘系统的标定 . 中国光学, 2013, 6(3): 353-358. doi: 10.3788/CO.20130603.0353
    [12] 苗健宇, 张立平, 翟岩, 梅贵.  三线阵CCD立体测绘相机的集成装调 . 中国光学, 2012, 5(4): 366-372. doi: 10.3788/CO.20120504.0366
    [13] 屈恒阔, 张清源, 阮友田.  扫描成像跟踪激光雷达 . 中国光学, 2012, 5(3): 242-247. doi: 10.3788/CO.20120503.0242
    [14] 孙辉, 李志强.  基于相位相关的匀速直线运动 模糊图像位移参数估计 . 中国光学, 2012, 5(2): 174-180. doi: 10.3788/CO.20120502.0174
    [15] 韩广良.  高频信息矢量匹配实现异源图像配准 . 中国光学, 2011, 4(5): 468-473.
    [16] 孙辉, 李志强, 孙丽娜, 郎小龙.  一种空域和频域相结合的运动图像亚像素配准技术 . 中国光学, 2011, 4(2): 154-160.
    [17] 王宗友, 付承毓, 王芳.  基于数据配准提高光电经纬仪的测量精度 . 中国光学, 2010, 3(6): 586-590.
    [18] 孙辉, 李志强, 孙丽娜, 郎小龙.  基于相位相关的亚像素配准技术及其在电子稳像中的应用 . 中国光学, 2010, 3(5): 480-485.
    [19] 宋江山, 徐建强, 司书春.  改进的曲波变换图像融合方法 . 中国光学, 2009, 2(2): 145-149.
    [20] 沈洪亮, 刘金国, 吕世良.  基于PCI总线的多通道图像数据高速采集 . 中国光学, 2009, 2(5): 438-444.
  • 加载中
图(4)
计量
  • 文章访问数:  450
  • HTML全文浏览量:  56
  • PDF下载量:  798
  • 被引次数: 0
出版历程
  • 收稿日期:  2014-12-19
  • 录用日期:  2015-02-15
  • 刊出日期:  2015-01-25

主被动光学图像融合技术研究

doi: 10.3788/CO.20150803.0378
    基金项目:  <p/>
    通讯作者: 严洁(1973—),女,河南信阳人,硕士,高级工程师,1997年于杭州电子科技大学获得学士学位,2006年于西安电子科技大学获得硕士学位,主要从事激光测量、激光雷达、图像处理等方面的研究。E-mail: 1916757428@qq.com阮友田(1973—),男,湖北孝感人,本科,高级工程师,2002年于长春理工大学获得学士学位,主要从事激光测量、激光雷达、图像处理等方面的研发工作。E-mail:nbaibai@sohu.com薛珮瑶( 1982—)女,陕西大荔人,硕士,工程师,2008年于长春理工大学获得硕士学位,主要从事光学设计及光学应用技术研究。E-mail:64558394@qq.com
  • 中图分类号: TP751

摘要: 本文应用扫描式激光成像雷达获取试验数据并实现对激光数据的三维成像处理,给出了基于目标特征的激光雷达图像与被动光学图像的数据融合方法,实现了激光图像和光学图像间的三维融合。试验结果表明,本文所提出的基于目标特征的两种不同质图像间的融合方法是可行的,融合后的图像具有丰富的光谱信息和三维立体信息。

English Abstract

严洁, 阮友田, 薛珮瑶. 主被动光学图像融合技术研究[J]. 中国光学, 2015, 8(3): 378-385. doi: 10.3788/CO.20150803.0378
引用本文: 严洁, 阮友田, 薛珮瑶. 主被动光学图像融合技术研究[J]. 中国光学, 2015, 8(3): 378-385. doi: 10.3788/CO.20150803.0378
YAN Jie, RUAN You-tian, XUE Pei-yao. Active and passive optical image fusion technology[J]. Chinese Optics, 2015, 8(3): 378-385. doi: 10.3788/CO.20150803.0378
Citation: YAN Jie, RUAN You-tian, XUE Pei-yao. Active and passive optical image fusion technology[J]. Chinese Optics, 2015, 8(3): 378-385. doi: 10.3788/CO.20150803.0378
    • 激光成像雷达是一种主动式成像系统,能探识目标的位置、角度、距离、时间、强度等信息,为实时获取高分辨率的三维空间信息提供了一种全新的技术手段。激光成像的优点是测量目标位置精确,抗干扰和抗隐身能力强[1],缺点是光谱信息单一,没有物体的平面几何形状、纹理等信息[2]。激光成像雷达研究始于20世纪80年代,相关研究机构在国家863计划的支持下进行了机载激光雷达和地面激光扫描测量系统的研制[3],除此之外,近年来国内几所研究单位和大学也先后进行了激光成像雷达的研制工作。

      光学成像为被动式成像,分辨率高,能真实记录目标表面的纹理等细节,特别是可见光图像不仅有明暗的变化,而且形状边缘清晰,图像细节比较明显,但其所成图像是二维平面的,得不到物体表面的相对空间位置。如果能充分发挥光学图像与激光图像这两种不同图像各自优势,进行融合处理,使得融合后的图像既能反映物体光谱信息,又包含物体几何空间位置信息,将大幅提高目标的测量、定位、识别和检测概率。二者融合后,也可以实现高精度、高分辨率的立体测绘,充分发挥现有测绘卫星数据的制图潜力,解决长期以来高精度测绘和高分辨率测绘能力无法实现统一的矛盾及大比例天基制图的技术瓶颈[4]

      主被动光学图像融合在军事领域应用广泛:(1)可生成数字三维电子地图,为弹道导弹(特别是潜射导弹)实现远程精确打击目标提供必要信息;(2)为海上兵力的最优部署以及海军和海军陆战队作战任务(如渡海作战、抢滩登陆等)的顺利完成提供强有力的技术支持;(3)能够获取重点作战区域的植被覆盖情况,包括树冠高度、植被覆盖率等,这些情报将为地面指挥提供有用信息,如选择隐蔽场所,或者寻找突袭路线等[5]

      主被动光学图像融合在民用领域也有广泛的应用前景,是三维数字城市最具有发展潜力的一种数据获取手段,可以应用于车辆自动导航、建筑物测绘、道路网测绘、交通信号管理、车辆行驶速度和停车场违规现象的检测、高速公路路面测绘等[6]

    • 激光成像雷达技术是一种主动式传感器技术。与微波雷达相比,由于激光比微波波长要短,激光成像雷达具有更高的分辨率;与普通光学成像技术相比,激光成像雷达可以提供距离数据,因而可以获取目标的三维图像[5]

      直接探测体制的扫描激光成像雷达主要是由激光发射/接收系统、发射/接收光学系统、图像处理单元[7]、信号探测系统、扫描系统、控制系统等组成[8]。在控制系统控制下,激光雷达完成探测区域地毯式逐点探测,经数据和图像处理完成整帧图像。激光扫描成像雷达的每个激光发射脉冲对应一个目标距离,对探测区域的测量通过多次发射测量完成,按一定时间、空间顺序逐点拼接后获得整幅图像。

      激光图像又称为强度图像,是建立在单点、主动探测基础上的直接探测成像系统,激光的三维图像不仅有利于仔细观察目标的空间构成细节,还可以采用多种处理方式从各个方向、不同距离上对目标图像进行匹配和逼近,较之一般的光学二维成像有其特定优势,是一种有效的目标观测技术。

    • 激光成像雷达数据反映了目标的位置、角度、距离、时间、强度等多种信息。但实际应用中,根据不同的需要和设备状态,得到的往往是特定工作波长的目标距离和强度信息。激光成像雷达数据具有以下特点:

      (1)在几何分布上,激光成像雷达数据是对真实目标物的抽样探测,其数据点是离散的、不连续的;

      (2)数据量大,从时间上计算,试验设备每秒钟测量1×104个点,连续工作1 h产生的数据量 有3.6×107个点的数据;

      (3)光谱信息单一,这也是很多应用研究中将激光雷达数据与其它光学传感器数据融合使用的原因之一;

      (4)存在数据缝隙。由于遮挡、物体特性(如发生镜面反射时,盘古大观楼图像中的玻璃反射)等因素,数据中有时会出现区域无回波的现象,称为数据缝隙。

    • 激光成像雷达数据的伪彩色处理就是把激光扫描得到的各点距离值按照某种关系映射成相应的彩色,这种映射之间的对应仅限于输入和输出像素之间,而对于数据空间位置的变化并没有涉及。试验中采用的编码方式为彩虹编码,共256色,颜色与距离远近成线性关系。图 1为盘古大观楼的可见光图像与激光图像色彩对比。

      图  1  盘古大观楼的可见光图像与激光图像

      Figure 1.  Visible-light image and laser image of Pangu Plaza

    • 激光成像与被动光学成像的两种图像融合流程见图 2。由于激光图像与光学图像分别由不同传感器获取,属非同质图像,在成像机理、电磁波段、时相、空间分辨率等方面存在较大差异,所以,二者间的图像降噪预处理和配准成为这两种图像相融合的前提和基础。

      图  2  激光图像与可见光图像的融合流程

      Figure 2.  Fusion process of laser image and visible-light image

    • 从三维激光雷达扫描系统中得到的激光数据不可避免地存在着噪声,需要降噪预处理。在预处理中,主要工作包括由激光点云网格化,在激光点云网格化处理前,需要首先进行滤波去除噪声,通过内插得到格网数据以及等值线的追踪。得到格网数据后又将点云量化为距离灰度图像,同时为了单独提取出有用的建筑物,并对激光点云图像进行阈值分割。

    • 光学图像经常被不同种类的噪声污染,如高斯噪声、椒盐噪声等。预处理主要完成图像的亮度调节、去除噪声[9]。在图像处理中去除噪声起着重要的作用,对图像分割、图像识别、特征提取具有直接影响。

      图像滤波既要消除图像以外噪声,同时又保持图像细节。常用的线性滤波器和中值滤波器效果不佳[9],自适应中值滤波是对中值滤波的改进,相应地可以保存更多的图像细节,并可以平滑密度更高的椒盐噪声[10],因此,根据图像的特点采用改进型的自适应中值滤波器对光学影像进行了处理,该方法首先去除噪声图像滤波窗口中最大和最小灰度像素,然后求中值,再计算出该中值与对应的像素灰度值之间的差值,与阈值比较,以确定是否用差值代替该像素的灰度值。

    • 不同设备获取得到的距离图像和光学图像,由于设备的视场、成像角度等的不同导致同一物体在不同的图像中成像大小比例和位置不同。图像融合关键的一步是图像配准,因此,图像配准的好坏决定图像融合质量的好坏[11]。图像配准就是两幅图像描述同一个物体的相同位置进行匹配,建立两幅图像之间的对应关系,确定相应几何变换,以便进行进一步的图像融合。图像配准在空间上将两幅图像进行配准,包括相对配准和绝对配准。绝对配准的对象为多幅图像,对它们在同一地理坐标系下进行几何校正,校正之后重新采样并形成相同分辨率的图像。相对配准的参考对象为某一波段图像,坐标系可以任意选择,配准的时候是图像对图像,另一幅图像与参考图像进行配准。通常情况下,将两个图像进行对比,然后选择同名控制点,并用二次或三次多项式的模型建立两个同名像素的关系,最终采样成相同分辨率的图像。本文采用相对配准的方法,相对配准多采用空间域配准,空间域配准通常可以分成以下步骤:

      (1)选择明显的特征:将要配准的两幅图像进行对比,仔细找出它们比较显著的地物特征,如区域轮廓线、边界以及线状物交叉点等。

      (2)特征匹配:匹配时要基于一定的配准算法,确定控制点,控制点可以选用两幅图像上对应的明显地物特征。

      (3)找出空间变化:图像之间的映射关系要根据控制点来建立。

      (4)插值:映射关系建立以后,根据此映射关系对非参考图像重新采样,最终获得与参考图像配准的图像。

      一般情况下,需要1~2个像素来确立空间域配准的精度。空间域配准中,最关键的一步是找出控制点,控制点的选择需要借助特征匹配,找出对应的显著的地物点,这也是最为困难的一步。空间域配准方法有以下几种:

      (1)配准时基于控制点的方法。点特征具有广泛的适用性,并拥有简单的计算与描述特征,点特征也是最基本的特征[12]。提取点特征需要用到兴趣算子或有利算子,比较常用的如Moravec 算子、Dreschler算子[6]、Forstner 算子、Hannah算子等。本文选择Forstner算子定位特征点,是因为它的精度与速度相比其它算子比较适中。特征点得到以后对其进行匹配,配准的时候先估计几何变换参数,这个过程需要遵循以下两个步骤:选择和匹配图像中的控制点,控制点匹配后,从中获取相关信息,并找出匹配函数,匹配函数要能够匹配图像中的剩余点。关于图像中的对应点的确定需要先选出控制点,控制点为每幅图像中选出的一个特别的可分辨点集。曲面高点、图像中线条交叉点或者边界封闭区域重心都可以作为控制点。从两幅图像中选出两个控制点集并确立后,然后对其进行匹配。在图像算法研究领域,这种配准方法以其优越的性能,成为图像配准算法研究领域的热点[13]

      (2)配准时基于矩的方法。本文用到的控制结构是一个图像矩,该图像矩比较复杂,其中的每幅图像都是被标准化的图像,也就是与一个矩被归一化的参照位置进行匹配[14, 15]

      (3)配准时基于边缘的方法。控制点一般选择图像边缘,并实现边缘匹配,匹配的时候通过比较边缘像素密度来实现,直接导出几何变换参数并对其中一幅图像实施相应的变换[15]

    • 图像配准的过程中有一个非常关键的问题,即如何对选定的图像进行空间变换或几何变换。选定标准图像为图像I(x,y),选定待配准图像为图像J(x,y),这个过程中找到一个最佳的变换T,这是图像配准的目的所在,即使得图像J(x,y)经T变换后J′=T(J),使得与标准图像的对齐度最大化。

      采用的配准方法为基于控制点的方法,选定清华校门的激光图像和可见光图像,以此作为试验的对象,对其进行配准的实现步骤如下:

      (1)标准图像和待配准图像分别得到之后,并将其读入工作区;

      (2)图像中的成对控制点得以指定;

      (3)控制点对得以保存;

      (4)使用的变换类型选定后,借助控制点对推算出变换参数;

      (5)借助变换参数将待配准的图像实施空间几何变换,获得配准后图像。

      配准试验过程见图 3图 3(a)是相机拍摄的清华大学校门可见光图像,图 3(b)是由图 3(a)得到的标准灰度图像,图 3(c)是激光成像雷达得到的图像,图 3(d)是由图 3(c)经过降噪预处理得到的待配准图像。图 3(e)是控制点选取界面,它能同时显示待配准图像和标准图像,并能分别进行放大显示以方便选取控制点,本例中选取了6个控制点,图 3(f)是利用得到的变换函数对图 3(d)进行配准后的结果。

      图  3  图像配准过程

      Figure 3.  Image registration process

    • f(x,y)为激光图像 ,设(uL,vL)为中心点 ,设θ为任一像素点(x1,y1)对应的扫描线和激光雷达中心线的水平夹角,设φ为纵向夹角,设g(x,y)为摄像机获得的光学图像,设(uo,vo)为中心点,激光成像雷达和摄像机的标定获得两种图像,它们的分辨率比值为(ka,kb),配准后,得到的激光图像的平移量为(tx,ty)。

      激光图像上的任意一点和与其对应的光学图像上的像素点坐标之间存在的函数关系为对应关系:

      式中:a(x),b(y)为ka,kb,tx,ty 的函数。

      深度图像上点A到对应光学图像上点A′的位置计算步骤为:

      (1)把激光深度图像投影到光学图像上,获得深度图像的投影图;

      (2)计算出与深度图像上点A 对应的投影图上的点B 的坐标值;

      (3)通过配准,得到深度图像的投影图和光学图像中心点的偏移量tx,ty及二者的比值ka,kb

      (4)根据偏移量tx,ty及比值ka,kb计算出光学图像上对应于点B的点A′的坐标值。

      经过变换后,给出深度图像上某一点的位置,就可以得到它所对应的光学图像上对应点的位置和颜色值,即对于空间图像上任一点的描述有两个值:一是颜色值(光谱信息值),二是深度值(距离值),这样所得到的图像数据包含的信息有被观测物体的光谱信息和三维深度信息。

    • 根据所提出的数据融合思路,利用试验系统得到的数据,对配准后的清华大学校门等图像进行融合试验。

      图  4  清华大学校门融合图像

      Figure 4.  Fused image of Tsinghua University′s school gate

      试验结果如图 4所示,图中给出了相应场景的可见光照片。从试验结果可以看出,本文所提出的基于目标特征的两种不同质图像间的融合方法是可行的。但从实际效果来看,融合后图像并没有可见光图像清晰,主要有以下原因:

      (1)试验时可见光图像由数码相机得到,其光轴与激光成像雷达设备不完全同轴,二者间未经过严格标定;

      (2)二者间的配准不十分严格,导致融合图像有明显缝隙;

      (3)由于实际得到的可见光图像分辨率为2 816 pixel×2 112 pixel,激光图像分辨率为512 pixel×500 pixel,采取的融合方法是将可见光图像分辨率降低后与激光图像配准,使得图像的分辨率降低。

      以上实验结果是目前技术所能达到的一个阶段水平。本文所讨论主被动图像融合技术是可行的,但还有很多算法需要深入研究,后续的研究工作仍然任重道远。

    • 激光图像与光学图像两种不同质图像间相融合,可以使图像在具有丰富的光谱信息的同时,也具有三维立体信息,其融合结果对物体的认知有着重要意义。图像配准是进行融合的前提和基础,图像配准试验时采用基于控制点的方法效果显著,融合后图像中每个像元既反映光谱信息,又包含距离观测点的距离信息,该技术在探测、图像重建和计算机视觉等领域均可以得到应用[16]。本文利用激光成像雷达获取数据,给出了主被动光学图像融合方法,实现了激光图像和光学图像的三维融合,融合后的图像具有丰富的光谱和三维立体信息,在未来三维城市、立体测绘等领域有着广泛的前景。

参考文献 (1)

目录

    /

    返回文章
    返回