留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

多探测器拼接成像系统实时图像配准

王新华 黄玮 欧阳继红

王新华, 黄玮, 欧阳继红. 多探测器拼接成像系统实时图像配准[J]. 中国光学, 2015, 8(2): 211-219. doi: 10.3788/CO.20150802.0211
引用本文: 王新华, 黄玮, 欧阳继红. 多探测器拼接成像系统实时图像配准[J]. 中国光学, 2015, 8(2): 211-219. doi: 10.3788/CO.20150802.0211
WANG Xin-hua, HUANG Wei, OUYANG Ji-hong. Real-time image registration of the multi-detectors mosaic imaging system[J]. Chinese Optics, 2015, 8(2): 211-219. doi: 10.3788/CO.20150802.0211
Citation: WANG Xin-hua, HUANG Wei, OUYANG Ji-hong. Real-time image registration of the multi-detectors mosaic imaging system[J]. Chinese Optics, 2015, 8(2): 211-219. doi: 10.3788/CO.20150802.0211

多探测器拼接成像系统实时图像配准

doi: 10.3788/CO.20150802.0211
基金项目: 国家自然科学基金资助项目(No.61170092);国家自然科学基金重点资助项目(No.61133011)
详细信息
    通讯作者: 王新华(1984—),男,吉林长春人,博士研究生,工程师,2007年、2010年分别于吉林大学获得学士、硕士学位,主要从事计算光学和机器视觉方面的研究。E-mail:xinhuajlu@163.com
  • 中图分类号: TP391.4

Real-time image registration of the multi-detectors mosaic imaging system

  • 摘要: 依据已设计完成的基于同心球透镜的四镜头多探测器阵列拼接成像系统,对该系统图像拼接配准过程所采用的特征检测提取、特征向量匹配与筛选、空间变换模型参数估计等算法进行了研究。首先,采用Fast-Hessian检测子提取参考图像和待配准图像的特征点,并生成加速鲁棒特征(SURF)描述向量。接着,采用快速近似最近邻(FANN)逼近搜索算法获得初始的匹配点对,并对匹配点对特征向量的欧式距离进行排序。然后,参照成像系统光学设计参数设定合理的阈值,筛选并保留下较好的匹配点对。最后,提出了一种改进的渐进式抽样一致性(IPROSAC)算法对空间变换矩阵模型进行参数估计,从而得到参考图像与待配准图像的空间几何变换关系。实验结果表明:该算法对图像尺寸、旋转和光照变化都具有一定的不变性,特征匹配时间为0.542 s,配准变换时间0.031 s,配准误差精度小于0.1 pixel,可以满足成像系统关于图像配准实时性和准确性的要求,具有一定的工程应用价值。
  • 图  1  多探测器拼接成像原理图

    Figure  1.  Principle diagram of multi-detectors mosaic imaging

    图  2  图像拼接配准算法流程

    Figure  2.  Procedure of the image registration algorithm

    图  3  9×9方框滤波器模板

    Figure  3.  Box filter with 9×9

    图  4  特征点主方向选取过程示意图

    Figure  4.  Main direction selection process of the feature points

    图  5  特征描述向量构成示意图

    Figure  5.  Composition of the feature description vector

    图  6  成像系统的象散、畸变图

    Figure  6.  Field curve and distortion of the imaging system

    图  7  特征检测测试样本

    Figure  7.  Test samples of feature detection

    图  8  特征检测提取结果

    Figure  8.  Result of the feature detection and extraction

    图  9  特征匹配结果

    Figure  9.  Result of the features matching

    图  10  特征匹配筛选结果

    Figure  10.  Screen result of the features matching

    图  11  图像配准变换结果

    Figure  11.  Result of images registration transformation

    表  1  特征检测描述数据对比

    Table  1.   Data comparison of feature detection and description

    下载: 导出CSV

    表  2  特征匹配数据对比

    Table  2.   Data comparison of features matching

    Brute-Force算法FANN算法
    下载: 导出CSV

    表  3  配准变换方法与数据对比

    Table  3.   Methods and data comparison of registration transform

    文献[10]方法本文方法
    下载: 导出CSV
  • [1] MARKS D L,LLULL P R,et al.. Characterization of the AWARE 10 two-gigapixel wide-field-of-view visible imager[J]. Applied Optics,2014,53(13):54-63.
    [2] 史光辉,杨威.用于图像拼接的电视摄像光学系统[J].中国光学,2014,7(4):638-645. SHI G H,YANG W. Optical system used to compose images in television photograph[J]. Chinese Optics,2014,7(4):638-645.(in Chinese)
    [3] 杨磊,曹剑中,唐利孬,等.全景图像自动拼接算法的优化设计[J].红外与激光工程,2014,43(3):985-990. YANG L,CAO J Z,TANG L A,et al.. Optimized design of automatic panoramic images mosaic[J]. Infrared and Laser Engineering,2014,43(3):985-990.(in Chinese)
    [4] 王志社,杨风暴,纪利娥,等.基于聚类分割和形态学的可见光与SAR图像配准[J].光学学报,2014,34(2):0215002-1-7. WANG Z X,YANG F B,JI L E,et al.. Optical and SAR image registration based on cluster segmentation[J]. Acta Optica Sinica,2014,34(2):0215002-1-7.(in Chinese)
    [5] 闫钧华,杭谊青,许俊峰,等.基于CUDA的高分辨率数字视频图像配准快速实现[J].仪器仪表学报,2014,35(2):380-386. YANG J H,HANG Y Q,XU J F,et al.. Quick realization of CUDA-based registration of high-resolution digital video images[J]. Chinese J. Scientific Instrument,2014,35(2):380-386.(in Chinese)
    [6] LOWE D G. Distinctive image features from scale-invariant Key-points[J]. International J. Computer Vision,2004,60(2):91-110.
    [7] PANCHAL P M,PANCHAL S R,SHAH S K. A comparison of SIFT and SURF[J]. Computer and Communication Engineering,2013,1(2):323-327.
    [8] BAY H,TUYTELAARS T,VAN G L. SURF:speeded up robust features[J]. Computer Vision and Image Understanding,2008,110(3):346-359.
    [9] 王健博,朱明.基于字典描述向量的实时图像配准[J].光学精密工程,2014,22(6):1613-1621. WANG J B,ZHU M. Real time image registration based on dictionary feature descriptor[J]. Opt. Precision Eng.,2014,22(6):1613-1621.(in Chinese)
    [10] 张锐娟,张建奇,杨翠.基于SURF的图像配准方法研究[J].红外与激光工程,2009,38(1):160-165. ZHANG R J,ZHANG J Q,YANG C. Image registration approach based on SURF[J]. Infrared and Laser Engineering,2009,38(1):160-165.(in Chinese)
    [11] MUJA M,LOWE D G. Scalable nearest neighbor algorithms for high dimensional data[J]. IEEE,2014,36(11):2227-2240.
    [12] GUANG J S,XIANG Y X,YA P D. SIFT feature Point matching based on Improved RANSAC algorithm[C]. 2013 Fifth International Conference on Intelligent Human-Machine Systems and Cybernetics(IHMSC2013),Hangzhou,2013:474-477.
  • [1] 吕宝林, 佟首峰, 徐伟, 冯钦评, 王德江.  基于配准的机载红外非均匀性校正技术应用 . 中国光学, 2020, 13(5): 1-14. doi: 10.37188/CO.2020-0109
    [2] 张博研, 孔德柱, 刘金国, 武星星.  卷帘快门式CMOS探测器的星图像移补偿 . 中国光学, 2020, 37(): 1-9. doi: 10.37188/CO.2020-0089
    [3] 罗杰超, 郭俊达, 米凤文, 裘溯, 顿雄, 金伟其.  基于变形目镜和OLED的全景周视成像与显示技术 . 中国光学, 2020, 13(4): 752-759. doi: 10.37188/CO.2019-0214
    [4] 张猛蛟, 蔡毅, 江峰, 钟海政, 王岭雪.  紫外增强硅基成像探测器进展 . 中国光学, 2019, 12(1): 19-37. doi: 10.3788/CO.20191201.0019
    [5] 穆治亚, 艾华, 樊孝贺, 何昕, 何丁龙, 韩冬松, 于国栋.  采用整体最小二乘法的条纹图配准方法 . 中国光学, 2016, 9(6): 625-632. doi: 10.3788/CO.20160906.0625
    [6] 陈月, 赵岩, 王世刚.  图像局部特征自适应的快速SIFT图像拼接方法 . 中国光学, 2016, 9(4): 415-422. doi: 10.3788/CO.20160904.0415
    [7] 陶小平.  大口径反射镜加工机床在线检测高精度对准方法 . 中国光学, 2015, 8(6): 1027-1034. doi: 10.3788/CO.20150806.1027
    [8] 严洁, 阮友田, 薛珮瑶.  主被动光学图像融合技术研究 . 中国光学, 2015, 8(3): 378-385. doi: 10.3788/CO.20150803.0378
    [9] 许佳佳.  结合Harris与SIFT算子的图像快速配准算法 . 中国光学, 2015, 8(4): 574-581. doi: 10.3788/CO.20150804.0574
    [10] 王新华, 王晓坤.  十亿像素瞬态成像系统实时图像拼接 . 中国光学, 2015, 8(5): 785-793.
    [11] 王新华, 王晓坤.  十亿像素瞬态成像系统实时图像拼接 . 中国光学, 2015, 8(5): 785-793. doi: 10.3788/CO.20150805.0785
    [12] 史光辉, 杨威.  用于图像拼接的电视摄像光学系统 . 中国光学, 2014, 7(4): 638-643. doi: 10.3788/CO.20140704.0638
    [13] 徐明飞, 黄玮.  基于同心球透镜的四镜头探测器阵列拼接成像系统 . 中国光学, 2014, 7(6): 936-941. doi: 10.3788/CO.20140706.0936
    [14] 陈健, 王伟国, 高慧斌, 刘廷霞, 吉桐伯, 于洪君.  紫外探测器的辐射定标及标准传递 . 中国光学, 2012, 5(4): 423-429. doi: 10.3788/CO.20120504.0423
    [15] 孙辉, 李志强.  基于相位相关的匀速直线运动 模糊图像位移参数估计 . 中国光学, 2012, 5(2): 174-180. doi: 10.3788/CO.20120502.0174
    [16] 冯小勇, 赵忠华, 刘新明.  日间恒星实时探测的视频图像处理 . 中国光学, 2011, 4(6): 622-628.
    [17] 韩广良.  高频信息矢量匹配实现异源图像配准 . 中国光学, 2011, 4(5): 468-473.
    [18] 孙辉, 李志强, 孙丽娜, 郎小龙.  一种空域和频域相结合的运动图像亚像素配准技术 . 中国光学, 2011, 4(2): 154-160.
    [19] 王宗友, 付承毓, 王芳.  基于数据配准提高光电经纬仪的测量精度 . 中国光学, 2010, 3(6): 586-590.
    [20] 孙辉, 李志强, 孙丽娜, 郎小龙.  基于相位相关的亚像素配准技术及其在电子稳像中的应用 . 中国光学, 2010, 3(5): 480-485.
  • 加载中
图(11) / 表 (3)
计量
  • 文章访问数:  459
  • HTML全文浏览量:  65
  • PDF下载量:  655
  • 被引次数: 0
出版历程
  • 收稿日期:  2014-11-21
  • 录用日期:  2015-02-23
  • 刊出日期:  2015-04-25

多探测器拼接成像系统实时图像配准

doi: 10.3788/CO.20150802.0211
    基金项目:  国家自然科学基金资助项目(No.61170092);国家自然科学基金重点资助项目(No.61133011)
    通讯作者: 王新华(1984—),男,吉林长春人,博士研究生,工程师,2007年、2010年分别于吉林大学获得学士、硕士学位,主要从事计算光学和机器视觉方面的研究。E-mail:xinhuajlu@163.com
  • 中图分类号: TP391.4

摘要: 依据已设计完成的基于同心球透镜的四镜头多探测器阵列拼接成像系统,对该系统图像拼接配准过程所采用的特征检测提取、特征向量匹配与筛选、空间变换模型参数估计等算法进行了研究。首先,采用Fast-Hessian检测子提取参考图像和待配准图像的特征点,并生成加速鲁棒特征(SURF)描述向量。接着,采用快速近似最近邻(FANN)逼近搜索算法获得初始的匹配点对,并对匹配点对特征向量的欧式距离进行排序。然后,参照成像系统光学设计参数设定合理的阈值,筛选并保留下较好的匹配点对。最后,提出了一种改进的渐进式抽样一致性(IPROSAC)算法对空间变换矩阵模型进行参数估计,从而得到参考图像与待配准图像的空间几何变换关系。实验结果表明:该算法对图像尺寸、旋转和光照变化都具有一定的不变性,特征匹配时间为0.542 s,配准变换时间0.031 s,配准误差精度小于0.1 pixel,可以满足成像系统关于图像配准实时性和准确性的要求,具有一定的工程应用价值。

English Abstract

王新华, 黄玮, 欧阳继红. 多探测器拼接成像系统实时图像配准[J]. 中国光学, 2015, 8(2): 211-219. doi: 10.3788/CO.20150802.0211
引用本文: 王新华, 黄玮, 欧阳继红. 多探测器拼接成像系统实时图像配准[J]. 中国光学, 2015, 8(2): 211-219. doi: 10.3788/CO.20150802.0211
WANG Xin-hua, HUANG Wei, OUYANG Ji-hong. Real-time image registration of the multi-detectors mosaic imaging system[J]. Chinese Optics, 2015, 8(2): 211-219. doi: 10.3788/CO.20150802.0211
Citation: WANG Xin-hua, HUANG Wei, OUYANG Ji-hong. Real-time image registration of the multi-detectors mosaic imaging system[J]. Chinese Optics, 2015, 8(2): 211-219. doi: 10.3788/CO.20150802.0211
    • 由于受商用探测器像素量级的限制,为了能够同时满足宽视角场景和长焦距远距离的高像素成像要求,尽可能多地收集图像信息和记录图像细节,只能通过多探测器阵列拼接的方式实现高像素[1]。但多探测器阵列拼接导致了同一场景拍摄的图像序列所包含的信息重叠错位而无法相互对应的问题,而图像拼接配准算法可以解决上述问题,并最终形成一幅包含各序列图像信息的宽视角场景、长焦距远距离的高像素图像。因此,设计快速高效、稳定可靠、抗干扰能力强的图像拼接配准算法对提高成像系统的图像实时处理性能具有重要意义[2]

      目前,图像拼接配准方法根据从图像中提取的可用配准对象的不同大致分为两类[3]:基于图像灰度信息的配准方法和基于图像特征信息的配准方法。在基于图像灰度信息的配准方法中,配准对象为图像像素的灰度值;而在基于图像特征信息的配准方法中,配准对象可以是点、边缘、曲线、曲面、不变矩等。基于灰度信息的图像配准方法具有实现复杂度低、计算速度快等优点,但容易受图像噪声、光照强度和重叠区域大小的影响,在工程应用中限定了该方法的使用范围。基于特征信息的配准方法,能对旋转、尺度缩放、光照变化、仿射变换、视角变化等因素保持一定的不变性,而且对物体运动、遮挡、噪声等因素也保持了较好的可匹配性,逐渐成为图像拼接配准算法研究的主流方向[4,5]

      David G. Lowe在2004年总结了现有的基于不变量技术的特征检测方法,并正式提出了一种基于尺度空间的、对图像绽放、旋转甚至仿射变换都保持不变性的图像局部特征描述-尺度不变特征(Scale Invariant Feature Transform,SIFT)变换[6],该方法得到了国内外学者的广泛关注。但SIFT算法特征描述向量维度为128位,计算数据量大、空间复杂度高、特征匹配耗时长。针对上述问题,Yan Ke等人[7]提出PCA-SIFT方法对特征描述向量进行了降维,但如果在没有先验知识的情况下,数据的计算量反而会增加。随后,Bay等人提出了加速鲁棒特征(Speeded Up Robust Features,SURF)变换算法[8],特征描述向量的维度降低到64位,并且获得了更快的匹配速度。此外,SURF算法在视角变化和光照强度变化不变性方面所表现出的性能也与SIFT算法接近,特别对严重模糊的图像和旋转变换处理得非常好。SURF算法在特征提取方面采用了Fast-Hessian方法,从而大大提高了特征点的检测速度,但是在特征向量匹配时采用了基于全局信息的最近邻匹配算法,由于要SURF特征向量的维度仍属高维,导致其特征匹配过程的计算量较大,而且容易出现匹配正确率下降的现象。国内学者朱明等人提出了基于字典描述向量的图像配准方法[9],该算法采用K-奇异值分析(K-SVD)方法生成字典,通过比较特征点临近区域图像与字典中基底图像的相似性得到特征描述向量,从而降低了描述向量的计算复杂度。

      综合前人的研究成果,本文首先采用SURF方法检测提取参考图像与待配准图像的特征点。接着,采用基于K-D树索引结构的快速最近邻逼近搜索(FANN)算法完成高维空间特征向量特征匹配获得初始匹配点对,并对匹配点对欧式几何距离进行排序。然后,依据成像系统光学设计参数,通过设定合理的阈值区间,筛选并保留下较好的匹配点对。最后,采用改进的渐进式抽样一致性(IPROSAC)算法剔除误匹配点对并完成空间变换矩阵参数估计,从而得到参考图像与待配准图像的空间几何变换关系。实验结果表明,该算法可以满足工程应用关于图像配准实时性与准确性的要求。

    • 多探测阵列拼接成像系统由4个完全相同的子成像系统以光轴平行的方式构成,系统可以对无穷远目标成像。4个拼接子系统目标成像区域完全一致,每个子系统的像面都由一组近似棋盘状分布的探测器阵列拼接而成,拼接成像原理如图1所示。

      图  1  多探测器拼接成像原理图

      Figure 1.  Principle diagram of multi-detectors mosaic imaging

    • 基于图像特征信息的配准算法包括特征检测与描述、特征点匹配、空间变换模型参数估计3个步骤,具体图像配准算法流程见图2

      图  2  图像拼接配准算法流程

      Figure 2.  Procedure of the image registration algorithm

    • 本文采用SURF方法作为图像的配准的特征提取算法,该过程由SURF特征点的检测提取和生成特征描述向量两个部分组成。

    • SURF特征检测是基于尺度空间理论,首先构建高斯金字塔尺度空间。SURF方法构造的金字塔图像与SIFT方法有很大的不同,SIFT方法采用的是DOG图像,而SURF方法采用的是Hessian矩阵行列式近似值图像。正因为存在这些不同才加快了特征点的检测速度。图像中某个像素点(x,y)的Hessian矩阵表达形式如式(1)所示,它是由函数f(x,y)的二阶偏导数组成。
      为了保证特征点具有尺度不变性,在构造Hessian矩阵前需要进行高斯滤波,如式(2)所示。

      式中,Lxx(X,σ)、Lxy(X,σ)、Lyy(X,σ)是像素点X=(x,y)在尺度σ上的高斯滤波二阶偏导数和图像的二维卷积。

      为了加快高斯卷积的计算速度,SURF方法采用了方框滤波器近似代替二阶高斯滤波,构成一个 Fast-Hessian矩阵,9×9的方框滤波模板值如图3所示。通过扩大方框滤波器的尺寸可以得到不同尺度的图像金字塔, 9×9方框滤波器模板 Box filter with 9×9 并采用积分图像对图像卷积进行加速,进一步得到Fast-Hessian矩阵表达式:
      det(Happrox)=DxxDyy-(0.9Dxy)2 , (3)
      式中,Dxx、Dyy、Dxy为方框滤波器模板与图像进行卷积运算后的值,0.9是Bay等人给出的一个经验值。通过矩阵行列式和特征值来筛选极值点, 若Fast-Hessian矩阵的行列式为正,且两个特征值为一正一负,则保留该极值点。

      上述过程只得到了一张Fast-Hessian矩阵行列式图,但是在金字塔图像中分为很多层,利用上述过程可以构建整个金字塔尺寸空间。

      在特征点筛选方面,首先,采用非极大值抑制(non-maximum suppression,NMS)方法初步确定特征点,根据Fast-Hessian矩阵行列式求得尺度图像σ处的极值点,与其三维邻域26个点进行比较,如果它是这26个点中的最大值或最小值,则保留下来。其次,为了能够对候选特征点进行亚像素精确定位,采用三维线性插值法,同时筛掉那些小于一定阈值的点,得到精确定位的特征点。

    • 为了保证旋转不变性,首先要确定特征点的主要方向。SIFT方法选取特征点主方向是采用在特征点邻域内统计其梯度直方图,而SURF方法是计算特征点邻域内的Harr小波响应值。SURF方法生成特征向量描述分为3个步骤:

      Step1:确定特征的主方向。(1)构建一个以特征点为圆心、6s(s为特征点的尺度)为半径的邻域,计算邻域内的点在水平和垂直方向Harr小波(Harr小波边长取4s)响应值,并给这些响应值赋予不同的高斯权重系数。(2)标定60°扇形区域以一定的区域间隔进行旋转,将扇形区域水平和垂直方向Harr小波响应值相加求和,遍历整个圆形区域。(3)将相加求和所得到的最大值扇形区域的 特征点主方向选取过程示意图 Main direction selection process of the feature points 方向作为该特征点的主方向。

      Step2:生成特征描述相量。在特征点的主方向确定以后,接着构建一个以特征点为中心、边长20s正方形邻域,把该区域划分为4×4个子区域,计算每个子区域5×5个采样点相对于主方向的水平和垂直方向的Harr小波响应值,分别计为dxdy,并给这些响应值赋予不同的高斯权重系数,得到一个四维矢量V:

      由式(4)可知,SURF特征描述向量的维数是16×4=64维,特征描述向量的构成如图5所示。

      图  5  特征描述向量构成示意图

      Figure 5.  Composition of the feature description vector

      Step3:归一化处理。为了保持对光照强度的不变性,需要对特征描述向量进行归一化处理。

    • 通过SURF方法获得参考图像与待配准图像的特征点后,下一步将进行图像特征匹配。由于SURF方法所生成的特征描述向量属于高维向量,特征匹配过程相当于高维空间中的最近邻搜索问题[10],通常采用k-dimensional树(一种高维索引树形数据结构)在大规模的高维数据空间中进行最近邻搜索(Nearest Neighbor)和近似最近邻搜索(Approximate Nearest Neighbor),这一过程的计算量相当巨大,从而导致匹配效率低下甚至出现误匹配现象。

      Marius Muja等人[11]首先对一些用于高维空间的邻域搜索算法进行了比较,通过对比发现采用随机k-dimensional树和优先搜索k-means树算法可以表现出较好的性能。然后提出了一种快速最近邻逼近(Fast Approximate Nearest Neighbors,FANN)搜索策略。该算法指出最佳近邻搜索与数据集特性有关,提出了采用分层聚类树算法用于搜索特定数据集,并给出了自动化配置程序,实验结果显示其搜索速率得到了显著提高。因此,本文采用该方法完成特征匹配过程。

      通过FANN算法生成初始匹配点对后,对匹配点对特征向量的欧式距离进行排序。参照成像系统光学设计参数,通过设定合理的阈值,筛选并保留下较好的匹配点对。计算公式为: T=μ×distmin ,(5) 式中,μ的取值范围为2~4,distmin为匹配对点特征向量欧式距离的最小值。

    • (1)确定配准变换模型。通过分析成像系统探测器拼接阵列位置排布方案,本文采用了二维投影变换矩阵作为配准变换模型,矩阵模型如下:
      I1=(x1, y1),I2=(x2, y2)是匹配成功的特征点对,则有:

      (2)变换矩阵参数估计。通常采用随机渐进式抽样一致性(Random Sample Consensus,RANSAC)方法。该方法不仅可以剔除误匹配点还可以完成空间模型参数估计。算法的步骤如下[12]

      Step1:把匹配点对作为候选集,从候选集中随机选择4组匹配点对组成初始样本集,估算变换矩阵M的8个参数。

      Step2:计算候选集中剩余匹配点对特征点经变换矩阵M变换后的数值与其匹配点之间的欧式距离,若距离小于某个阈值,则将该匹配点对作为内点,否则作为外点。

      Step3:找出内点数目最多的参数估计,将该参数估计所计算出的外点剔除,再用所有内点计算最后的参数估计。

      尽管RANSAC算法在一定程度上消除了比较严重的误匹配,但仍存在一定的缺陷:首先,每次采样一个随机样本集,都要寻找其对应的支撑点集,在高维空间中寻找合适的支撑点集将消耗较多的时间;其次,随机采样生成的样本集点间距很近,影响矩阵模型参数计算的精准度,导致矩阵模型M鲁棒性不好。

      鉴于此,本文采用了一种改进的渐进式采样一致性(Improved Progressive Sample Consensus,IPROSAC)算法。传统的PROSAC算法源于一个假设:相似性的度量比随机采样更快地估计变换矩阵参数,相似性程度高的样本是内点的概率更高。PROSAC算法把匹配点对按照相似性程度进行了排序,并按照排序结果进行采样,从而能够比RANSAC更快地剔除误匹配点对。但是如果严格按照排序采样,由于匹配点对距离较近,将导致参数估计陷入局部极值而过早地结束算法而没有找到最优的参数。为此,本文采用穿插方法对当前内点集合进行采样,具体参数估计步骤如下:

      Step1:调用通过FANN算法和预筛选所得到的初始匹配点对集合S,并对匹配点对特征向量的欧式距离dist进行排序。

      Step2:确定样本采用次数N,重复采样N次。假设内点集合的大小为n。其中,采样次数N必须保证采样样本中的4个匹配点对都在内点集合中的概率足够高,一般取值95%。

      Step3:从集合S中随机按顺序抽取3个数据和第n个数据组成初始采样样本,计算矩阵M。

      Step4:计算每个匹配点经矩阵M变换后到对应匹配点的欧式距离d,通过与门限阈值T比较,若d<T,则将该点作为内点。

      Step5:选取包含内点数目最多的一个内点集合(数目相同时,选择标准差较小的点集)再次计算变换矩阵M的参数。

    • 实验过程中,所采用的计算机硬件及软件环境如下:处理器(CPU)为Intel(R)Core(TM)2 Duo E7400 @2.80GHz 2.79GHz,内存(RAM)为3.00G,系统类型为32位Windows7操作系统,开发环境为Microsoft VisualStudio2010,程序设计语言为C++。

    • 实验测试方案包括图像预处理、特征检测提取、特征匹配与预筛选、配准变换参数估计4个阶段。为了验证算法的性能,各阶段均进行算法对比实验分析。

      (1)图像预处理

      由于单探测器成像系统的畸变对于后续多探测器拼接成像的图像配准结果有一定的影响,在作图像配准前需要先对单个探测器成像作图像畸变矫正。通过测试实验得知成像系统的象散、畸变曲线见图6,单探测器成像系统的最大视场畸变为-1%,在可接受范围内。

      图  6  成像系统的象散、畸变图

      Figure 6.  Field curve and distortion of the imaging system

      (2)特征检测与提取

      首先,采用SURF方法对预处理后的图7中的两幅图像样本进行特征检测提取。测试样本为实拍图像,尺寸大小均为851×639。 然后,在相同实验环境下采用SIFT方法重复特征检测测试过程,反复测试特征检测计算时间20次取平均值,数据比对结果如表1所示。

      图  7  特征检测测试样本

      Figure 7.  Test samples of feature detection

      图  8  特征检测提取结果

      Figure 8.  Result of the feature detection and extraction

      表 1  特征检测描述数据对比

      Table 1.  Data comparison of feature detection and description

      表1可知,采用SURF方法提取的特征点相对较多,但在计算速度方面表现出较好的性能。

      (3)特征匹配与预筛选

      首先,采用FANN算法对图8中的两幅图像所描述的特征点进行匹配,限定匹配对数的下限为400个,匹配结果如图9所示。

      图  9  特征匹配结果

      Figure 9.  Result of the features matching

      然后,在相同实验环境下采用Brute-Force穷举法(另外一种计算高维特征描述的匹配算法)重复特征匹配过程,反复测试特征匹配计算时间20次取平均值,数据比对结果如表2所示。

      表 2  特征匹配数据对比

      Table 2.  Data comparison of features matching

      Brute-Force算法FANN算法

      表2可知,采用SURF方法和FANN算法相结合的方式进行特征检测匹配表现出较好的性能。此外,文献[11]显示在处理高维大数据匹配方面,FANN算法将会表现出更强大的优越性。

      最后,参照成像系统光学设计参数,根据阈值计算式(5)设定μ的值为3,通过对匹配点对欧式距离排序得到dist最小距离的值为0.041。通过上述方法经筛选后保留下来的匹配点对个数为79,特征匹配筛选结果如图10所示。

      图  10  特征匹配筛选结果

      Figure 10.  Screen result of the features matching

      (4)配准变换参数估计

      首先,利用图10中的特征筛选匹配结果,采用IPROSAC方法对图7中的两幅图像进行配准变换参数估计,得到图像配准结果如图11所示。

      图  11  图像配准变换结果

      Figure 11.  Result of images registration transformation

      然后,在相同的实验环境下采用文献[10]中的RANSAC方法重复参数估计过程,反复测试图像配准变换计算时间20次取平均值。

      最后,对图7(a)中的图像按照已知的20组不同的平移和旋转变换参数进行空间几何变换,再分别采用文献[10]方法与本文方法将变换后的图像与原始图像配准,并计算配准变换参数估计值与真实值绝对误差的平均值。

      图像配准方法与数据对比结果如表3所示。

      表 3  配准变换方法与数据对比

      Table 3.  Methods and data comparison of registration transform

      文献[10]方法本文方法

      表3可知,首先,在对参考图像与待配准图像进行图像配准变换时,本文提出的方法在计算速度方面表现出较好的性能。此外,在已知图像配准变换参数的情况下,采用本文提出的方法也可以获得相对误差较小、精度更高的配准变换结果。

    • 本文依据已设计完成的四镜头探测器阵列拼接成像系统,提出了适应于该系统的图像拼接配准算法。首先,采用Fast-Hessian检测子提取参考图像和待配准图像的特征点,并生成加速鲁棒特征(SURF)描述向量。接着,采用快速最近邻逼近搜索(FANN)算法得到初始的匹配点对,并对匹配点对特征向量的欧式距离进行排序。然后,依据成像系统光学设计参数设定合理的阈值,筛选保留下较好的匹配点对。最后,提出一种改进的渐进式抽样一致性(IPROSAC)算法对空间变换矩阵模型进行参数估计,从而得到参考图像与待配准图像的空间几何变换关系。实验结果表明,该算法特征匹配时间为0.542 s,配准变换时间为0.031 s,配准误差精度小于0.1 pixel,满足项目工程应用对图像拼接实时性与准确性的要求。

参考文献 (12)

目录

    /

    返回文章
    返回