留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

结合Harris与SIFT算子的图像快速配准算法

许佳佳

许佳佳. 结合Harris与SIFT算子的图像快速配准算法[J]. 中国光学, 2015, 8(4): 574-581. doi: 10.3788/CO.20150804.0574
引用本文: 许佳佳. 结合Harris与SIFT算子的图像快速配准算法[J]. 中国光学, 2015, 8(4): 574-581. doi: 10.3788/CO.20150804.0574
XU Jia-jia. Fast image registration method based on Harris and SIFT algorithm[J]. Chinese Optics, 2015, 8(4): 574-581. doi: 10.3788/CO.20150804.0574
Citation: XU Jia-jia. Fast image registration method based on Harris and SIFT algorithm[J]. Chinese Optics, 2015, 8(4): 574-581. doi: 10.3788/CO.20150804.0574

结合Harris与SIFT算子的图像快速配准算法

doi: 10.3788/CO.20150804.0574
基金项目: 吉林省重大科技攻关资助项目(No.11ZDGG001)
详细信息
    通讯作者: 许佳佳(1986—),男,河南信阳人,硕士,助理研究员,2012年于武汉大学获得硕士学位,主要从航空图像拼接方面的研究。E-mail:xujia_whu@163.com
  • 中图分类号: TP391

Fast image registration method based on Harris and SIFT algorithm

  • 摘要: 本文提出了一种结合Harris与SIFT算子的快速图像配准方法。首先,对Harris算法进行两方面的改进:一是构建高斯尺度空间,提取具有尺度不变性的角点特征;二是采用Forsnter算子对提取的角点精定位,提高配准精度。然后,利用SIFT算子的特征描述方法描述提取到的特征点,通过随机kd树算法对两幅影像的特征点进行匹配。最后采用RANSAC算法对匹配点对进行提纯,并通过最小二乘法估计两幅影像间的空间变换单应矩阵,完成图像配准。实验结果表明:本文方法在基本保持配准精度的同时,在配准过程的时间消耗上比标准SIFT算法减少了64%。
  • 图  1  高斯尺度空间

    Figure  1.  Gaussian scale-space

    图  2  8邻域相似像素分析

    Figure  2.  Similarity operation within 8 neighborhood pixels

    图  3  3组测试图片

    Figure  3.  Three groups of testing images

    图  4  特征点分布比较

    Figure  4.  Comparison of feature points distribution

    图  5  图3(c)和图3(d)匹配结果及配准结果

    Figure  5.  Results of (a)feature matching and (b)registration for Fig.3(c) and Fig.3(d)

    表  1  分别用本文方法以及SIFT、SURF进行特征点检测的时间统计

    Table  1.   Statistics of cost time for feature points detection using SIFT, SURF and the proposed method

    Image Number of feature points Time of feature points detection/s
    SIFT SURF Harris-SIFT SIFT SURF Harris-Sift
    Fig.3(a) 3 857 770 1 065 9.32 4.47 4.91
    Fig.3(c) 641 199 297 1.72 0.89 0.91
    Fig.3(e) 2 938 1 856 1 835 1.39 0.44 0.29
    下载: 导出CSV

    表  2  本文方法特征点匹配的正确率和时间统计

    Table  2.   Statistics of accuracy and cost time of feature points matching using the proposed method

    Image Number of feature points Matches Correct matches Percent of correct matches/% Total time/s
    (a) 1 065 197 155 78.68 10.31
    (b) 1 146
    (c) 297 130 113 86.92 1.93
    (d) 304
    (e) 1 835 152 129 84.87 3.15
    (f) 1 856
    下载: 导出CSV

    表  3  SIFT算法特征点匹配的正确率和时间统计

    Table  3.   Statistics of accuracy and cost time of feature points matching using SIFT

    Image Number of feature points Matches Correct matches Percent of correct matches/% Total time/s
    (a) 3 857 701 495 70.61 30.45
    (b) 4 007
    (c) 641 296 244 82.43 5.34
    (d) 654
    (e) 2 938 236 197 83.47 11.80
    (f) 3 643
    下载: 导出CSV

    表  4  SURF算法特征点匹配的正确率和时间统计

    Table  4.   Statistics of accuracy and cost time of feature points matching using SIFT

    Image Number of feature points Matches Correct matches Percent of correct matches/% Total time/s
    (a) 770 50 37 74.00 8.27
    (b) 600
    (c) 199 65 60 92.31 1.53
    (d) 278
    (e) 1 856 127 113 88.98 3.64
    (f) 1 847
    下载: 导出CSV

    表  5  使用不同方法对图3(c)和图3(d)进行配准的精度对比

    Table  5.   Comparison of registration accuracy for Fig.3(c) and Fig.3(d) using different methods

    Method Percent of correct matches/% RMSE Time of image registration/s
    Harris-SIFT 86.92 0.47 1.93
    SIFT 82.43 0.54 5.34
    下载: 导出CSV
  • [1]

    [1] LOWE D. Distinctive image features from scale-invariant keypoints[J]. International J. Computer Vision,2004,60(2):91-110.
    [2] 贾平,徐宁,张叶. 基于局部特征提取的目标自动识别[J]. 光学 精密工程, 2013,21(7):1898-1905. JIA P,XU N,ZHANG Y. Automatic target recognition based on local feature extraction[J]. Opt. Precision Eng.,2013,21 (7):1898-1905.(in Chinese)
    [3] CORDELIA S,ROGER M,CHRISTIAN B. Evaluation of interest point detectors[J]. International J. Computer Vision,2000,37(2):151-272.
    [4] 刘志文,刘定生,刘鹏. 应用尺度不变特征变换的多源遥感影像特征点匹配[J]. 光学 精密工程, 2013,21(8):2146-2153. LIU Z W,LIU D S,LIU P. SIFT feature matching algorithm of multi-source remote image[J]. Opt. Precision Eng.,2013,21(8):2146-2153.(in Chinese)
    [5] 余先川,吕中华,胡丹. 遥感图像配准技术综述[J]. 光学 精密工程, 2013,21(11):2960-2972. YU X CH,LÜ ZH H,HU D. Review of remote sensing image registration techniques[J]. Opt. Precision Eng.,2013,21(11):2960-2972.(in Chinese)
    [6] CHRIS H,MIKE S. A combined corner and edge detector [A]. In Proceedings of the 4th Alvey Vision conference [C], Manchester. United Kingdom:the University of Sheffield Printing Unit,1988.
    [7] 王国栋,徐洁,潘振宽,等. 基于归一化超拉普拉斯先验项的运动模糊图像盲复原[J]. 光学 精密工程, 2013,21(5):1340-1348. WANG G D,XU J,PAN ZH K,et al.. Blind image restoration based on normalized hyper laplacian prior term[J]. Opt. Precision Eng.,2013,21(5):1340-1348.(in Chinese)
    [8] ROCKETT P I. Performance assessment of feature detection algorithms a methodology and case study on corner detectors[J]. IEEE Transactions on Image Processing,2003,12(12):1668-1676.
    [9] 王葳. 一种改进的Harris角点提取算法[J]. 光学 精密工程, 2008,16 (10):1995-2001. WANG W. An improved algorithm for Harris corner detection[J]. Opt. Precision Eng.,2008,16(10):1995-2001.(in Chinese)
    [10] 何海清,黄声享. 改进的Harris亚像素角点快速定位[J]. 中国图象图形学报, 2012,17 (7):853-857. HE H Q,HUANG SH X. Improved algorithm for Harris rapid sub-pixel corners detection[J]. J. Image and Graphics,2012,17(7):853-857.(in Chinese)
    [11] FORSTNER W,GULCH E. A fast operator for detection and precise location of distinct points, corners and centres of circulat features [C]. Proceeding of the ISPRS,In Proceeding of Intercommission Workshop on Fast Processing of Photogrammetric Data,Interlaken Switzerland,1987:281-305.
    [12] 程德志,李言俊,余瑞星. 基于改进SIFT算法的图像匹配方法[J]. 计算机仿真, 2011,28(7):285-289. CHENG D ZH,LI Y J,YU R X. Image matching method Based on Improved SIFT algorithm[J]. Computer Simulation,2011,28 (7):285-289.(in Chinese)
    [13] 刘立,彭复员,赵坤,等. 采用简化SIFT算法实现快速图像匹配[J]. 红外与激光工程, 2008,37(1):181-184. LIU L,PENG F Y,ZHAO K,et al.. Simplified SIFT algorithm for fast image matching[J]. Infrared and Laser Engineering,2008,37(1):181-184.(in Chinese)
    [14] 刘小军,杨杰,孙坚伟,等. 基于SIFT的图像配准方法[J]. 红外与激光工程, 2008,37(1):156-160. LIU X J,YANG J,SUN J W,et al.. Image registration approach based on SIFT[J]. Infrared and Laser Engineering,2008,37(1):156-160.(in Chinese)
    [15] SILPA-ANAN C,HARTLEY R. Optimised KD-trees for fast image descriptor matching [C]. In Computer Vision and Pattern Recognition,2008(CVPR 2008),23-28 June 2008,Anchorage,AK,2008:1-8.
    [16] FISCHLER M A,BOLLES R C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography[J]. Commun. ACM,1981,24(6):381-395.
    [17] 赵立荣,朱玮,曹永刚,等. 改进的加速鲁棒特征算法在特征匹配中的应用[J]. 光学 精密工程, 2013,21(12):3263-3271. ZHAO L R,ZHU W,CAO Y G,et al.. Application of improved SURF algorithm to feature matching[J]. Opt. Precision Eng.,2013,21(12):3263-3271.(in Chinese)
    [18] 丁南南,刘艳滢,张叶,等. 基于SURF-DAISY算法和随机kd树的快速图像配准[J]. 光电子·激光, 2012, 2(7):1395-1402. DING N N,LIU Y Y,ZHANG Y,et al.. Fast Image registration based on SURF-DAISY algorithm and randomized kd trees[J]. J. Optoelectronics·Laser,2012,2(7):1395-1402.(in Chinese)

  • [1] 吕宝林, 佟首峰, 徐伟, 冯钦评, 王德江.  基于配准的机载红外非均匀性校正技术应用 . 中国光学, 2020, 13(5): 1124-1137. doi: 10.37188/CO.2020-0109
    [2] 周文舟, 范晨, 胡小平, 何晓峰, 张礼廉.  多尺度奇异值分解的偏振图像融合去雾算法与实验 . 中国光学, 2020, 13(6): 1-10. doi: 10.37188/CO.2020-0099
    [3] 陈晓冬, 盛婧, 杨晋, 蔡怀宇, 金浩.  多参数Gabor预处理融合多尺度局部水平集的超声图像分割 . 中国光学, 2020, 13(5): 1075-1084. doi: 10.37188/CO.2020-0025
    [4] 蔡怀宇, 韩晓艳, 娄世良, 汪毅, 陈文光, 陈晓冬.  扫频光学相干层析视网膜图像配准去噪算法 . 中国光学, 2020, 13(6): 1-10. doi: 10.37188/CO.2020-0130
    [5] 黄鹤, 李昕芮, 宋京, 王会峰, 茹锋, 盛广峰.  多尺度窗口的自适应透射率修复交通图像去雾方法 . 中国光学, 2019, 12(6): 1311-1320. doi: 10.3788/CO.20191206.1311
    [6] 齐冰洁, 刘金国, 张博研, 左洋, 吕世良.  高分辨率遥感图像SIFT和SURF算法匹配性能研究 . 中国光学, 2017, 10(3): 331-339. doi: 10.3788/CO.20171003.0331
    [7] 成培瑞, 王建立, 王斌, 李正炜, 吴元昊.  基于多尺度区域对比的显著目标识别 . 中国光学, 2016, 9(1): 97-105. doi: 10.3788/CO.20160901.0097
    [8] 穆治亚, 艾华, 樊孝贺, 何昕, 何丁龙, 韩冬松, 于国栋.  采用整体最小二乘法的条纹图配准方法 . 中国光学, 2016, 9(6): 625-632. doi: 10.3788/CO.20160906.0625
    [9] 陈月, 赵岩, 王世刚.  图像局部特征自适应的快速SIFT图像拼接方法 . 中国光学, 2016, 9(4): 415-422. doi: 10.3788/CO.20160904.0415
    [10] 李清玉, 赵岩, 王世刚.  结合Levenberg-Marquardt算法的垂直视差消减方法 . 中国光学, 2016, 9(3): 312-319. doi: 10.3788/CO.20160903.0312
    [11] 李枫, 赵岩, 王世刚, 陈贺新.  结合SIFT算法的视频场景突变检测 . 中国光学, 2016, 9(1): 74-80. doi: 10.3788/CO.20160901.0074
    [12] 陶小平.  大口径反射镜加工机床在线检测高精度对准方法 . 中国光学, 2015, 8(6): 1027-1034. doi: 10.3788/CO.20150806.1027
    [13] 严洁, 阮友田, 薛珮瑶.  主被动光学图像融合技术研究 . 中国光学, 2015, 8(3): 378-385. doi: 10.3788/CO.20150803.0378
    [14] 王新华, 黄玮, 欧阳继红.  多探测器拼接成像系统实时图像配准 . 中国光学, 2015, 8(2): 211-219. doi: 10.3788/CO.20150802.0211
    [15] 高文, 朱明, 贺柏根, 吴笑天.  目标跟踪技术综述 . 中国光学, 2014, 7(3): 365-375. doi: 10.3788/CO.20140703.0365
    [16] 孙辉, 李志强.  基于相位相关的匀速直线运动 模糊图像位移参数估计 . 中国光学, 2012, 5(2): 174-180. doi: 10.3788/CO.20120502.0174
    [17] 韩广良.  高频信息矢量匹配实现异源图像配准 . 中国光学, 2011, 4(5): 468-473.
    [18] 孙辉, 李志强, 孙丽娜, 郎小龙.  一种空域和频域相结合的运动图像亚像素配准技术 . 中国光学, 2011, 4(2): 154-160.
    [19] 王宗友, 付承毓, 王芳.  基于数据配准提高光电经纬仪的测量精度 . 中国光学, 2010, 3(6): 586-590.
    [20] 孙辉, 李志强, 孙丽娜, 郎小龙.  基于相位相关的亚像素配准技术及其在电子稳像中的应用 . 中国光学, 2010, 3(5): 480-485.
  • 加载中
图(5) / 表 (5)
计量
  • 文章访问数:  536
  • HTML全文浏览量:  85
  • PDF下载量:  649
  • 被引次数: 0
出版历程
  • 收稿日期:  2015-02-18
  • 录用日期:  2015-03-22
  • 刊出日期:  2015-01-25

结合Harris与SIFT算子的图像快速配准算法

doi: 10.3788/CO.20150804.0574
    基金项目:  吉林省重大科技攻关资助项目(No.11ZDGG001)
    通讯作者: 许佳佳(1986—),男,河南信阳人,硕士,助理研究员,2012年于武汉大学获得硕士学位,主要从航空图像拼接方面的研究。E-mail:xujia_whu@163.com
  • 中图分类号: TP391

摘要: 本文提出了一种结合Harris与SIFT算子的快速图像配准方法。首先,对Harris算法进行两方面的改进:一是构建高斯尺度空间,提取具有尺度不变性的角点特征;二是采用Forsnter算子对提取的角点精定位,提高配准精度。然后,利用SIFT算子的特征描述方法描述提取到的特征点,通过随机kd树算法对两幅影像的特征点进行匹配。最后采用RANSAC算法对匹配点对进行提纯,并通过最小二乘法估计两幅影像间的空间变换单应矩阵,完成图像配准。实验结果表明:本文方法在基本保持配准精度的同时,在配准过程的时间消耗上比标准SIFT算法减少了64%。

English Abstract

许佳佳. 结合Harris与SIFT算子的图像快速配准算法[J]. 中国光学, 2015, 8(4): 574-581. doi: 10.3788/CO.20150804.0574
引用本文: 许佳佳. 结合Harris与SIFT算子的图像快速配准算法[J]. 中国光学, 2015, 8(4): 574-581. doi: 10.3788/CO.20150804.0574
XU Jia-jia. Fast image registration method based on Harris and SIFT algorithm[J]. Chinese Optics, 2015, 8(4): 574-581. doi: 10.3788/CO.20150804.0574
Citation: XU Jia-jia. Fast image registration method based on Harris and SIFT algorithm[J]. Chinese Optics, 2015, 8(4): 574-581. doi: 10.3788/CO.20150804.0574
    • 图像配准是图像处理领域的一个重要应用技术,在计算机视觉、 侦察与测绘、 医学图像分析等方面具有广泛的应用价值。目前,通常采用的图像配准方法可以分为3大类:基于块匹配的方法、基于变换域的方法和基于特征匹配的方法。其中基于特征的配准方法速度快、匹配精度高,并且某些特征对于图像的变形、光照变化及噪声等都具有较好的鲁棒性,是图像配准常用的一种方法。

      基于特征的配准方法的首要任务是进行特征点检测及匹配。SIFT是目前公认的最为鲁棒的特征匹配算子,它是由Lowe[1]在总结了现有基于不变量技术特征提取方法基础上提出的一种基于尺度空间的局部特征描述算子。SIFT具有尺度不变性、旋转不变性及光照不变性等诸多优点,但其存在一个巨大缺陷——运算复杂,处理速度慢,难以处理大幅面影像或进行实时应用[2]。在其它的特征检测算子(如Maravec算子、Harris算子、Susan算子等)中,Harris角点检测算法计算简单、稳定且不受光照、旋转、噪声等影响,具有最好的检测效果[3, 4, 5]。但是Harris算子不具有尺度不变性,而且在角点定位方面存在偏差,可能导致匹配不准确,难以精确配准。

      本文结合Harris角点检测和SIFT特征描述的优点,采用多尺度 Harris算子检测图像角点特征,并利用Forstner算子思想对角点精定位,然后使用SIFT特征描述方法进行特征描述和匹配;最后利用获得的匹配点对采用最小二乘法计算图像变换参数,完成图像配准。

    • Harris角点检测算法是由Chris Harris和Mike Stephens提出的一种基于信号的点特征提取算法。该算法利用Taylor级数展开法扩展了Moravec算法的思路,计算窗口沿任意方向移动后的灰度变化趋势,进而利用数学解析式检测出角点[6]。目前针对Harris的改进算法有很多,大部分集中在多尺度与精定位两方面。

    • 本文引入高斯尺度空间思想以解决Harris算法不具有尺度不变性的缺点,提取具有尺度信息的Harris角点信息。

      高斯尺度空间是采用不同尺度的高斯卷积核对图像进行卷积得到的[7],如图1所示。因此,一幅图像的高斯尺度空间可以表示为:

      式中,为高斯核函数,I(x,y)为(x,y)像素坐标处的灰度,σ为尺度因子。

      图  1  高斯尺度空间

      Figure 1.  Gaussian scale-space

      运用高斯尺度空间的概念,预先定义一组尺度:{σ1,…,σi}={σ0,…,kiσ0},相应地,多尺度Harris算子的二阶矩可以改写为:

      经典的Harris角点检测算法采用的角点响应函数CRF为:

      式中,gxgy分别为xy方向上的梯度;λ1λ2是矩阵M的特征值;k为常数项,它的取值通常是凭经验确定的,范围在0.04~0.06。但在实际应用中,靠经验选取k值往往会使结果存在偏差,影响后续的配准拼接效果。因此,为了避免k值的选取,引入新的角点响应函数[8],考虑到多尺度特征,其表示如下:

      式中,ε为一极小量(可取ε=10-6),以防止分母为零时出现异常。

      多尺度Harris算法需要在多个尺度上检测角点,计算量比传统算法大大增加,因此本文参考王葳等人[9]提出的8邻域相似像素数目分析法,在图像进行梯度运算之前先剔除部分非角点;如图2所示,对于目标像素点I(x,y),通过计算与8邻域范围内像素点I(x+j,y+i)灰度差的绝对值,并与设定的阈值(记为T)相比较来确定该点是否可能为角点。以函数Num(x,y)表示邻域相似点数目的公式表达如下:

      式中:

      图  2  8邻域相似像素分析

      Figure 2.  Similarity operation within 8 neighborhood pixels

      Num(x,y)在[2, 6]时,该点可能为角点,将进一步计算其角点响应函数以确定是否为角点。

    • 传统Harris算法获得的均是整数级像素坐标,而且使用CRF局部非极大值抑制法忽略了周围可能存在相似角点簇的影响,使得角点检测易受噪声影响,导致角点定位存在偏差[10]。本文借鉴Forstner算子思想对Harris角点进行精定位。

      Forstner算子是摄影测量中经典的兴趣点定位算子,其特点是精度高、速度快。基本思想是: 首先获得候选角点,然后以该点为中心建立最佳窗口,对最佳窗口内通过每个像素的边缘直线( 垂直于梯度方向) 进行加权中心化,得到角点的精确坐标[11]

      利用Harris算子提出的角点作为Forstner算子的最佳窗口中心点,在窗口内进行加权中心化精确定位角点坐标的具体计算原理如下:

      最佳窗口内任一像素(x,y)的边缘直线l的方程可以表示为:

      式中,ρ为原点(最佳窗口的左上角像素)到直线l的距离,θ为梯度角,tanθ=gy/gxgygx为该点的robert梯度。设角点坐标为(x0,y0),v是点(x,y)到直线l的垂直距离,在(x,y)处的误差方程为:

      式(8)的含义是:将原点到边缘直线的距离视为观测值,而边缘直线的方向保持不变,权w(x,y)是梯度模的平方,因此,权的实质即是该边缘尺度。对式(8)法化,得到法方程:

      对式(9)求解,即可得到精确角点坐标(x0,y0)。

    • 为了获得稳定准确的匹配效果,本文借鉴SIFT方法对提取的角点进行特征描述与匹配。SIFT特征描述方法分为四步:构建尺度空间检测极值;关键点精确定位;确定关键点主方向;生成关键点描述向量。本文中,角点检测与精定位已由其它方法完成,因此只需确定角点的主方向并生成描述子即可,具体过程请参考文献[1, 12, 13, 14]。

      完成特征描述之后,就要进行特征点匹配,即找出两幅影像特征点之间的对应关系。针对SIFT描述字的高维特点,本文采用Silpa-Anan[15]等人提出的随机kd树算法进行特征点搜索。

    • 图像配准是将一幅图像作为参考,对另一幅图像进行几何变换,使图像之间的重叠区在空间上对准。几何变换的实质是确定图像间的对应关系模型,因此,一旦确定了图像间的关系模型,那么图像配准即转化为确定图像之间对应关系模型的参数过程。目前常用的关系模型主要有刚性变换模型、仿射变换模型、投影变换模型等。

      针对目前的应用需求,图像间一般存在旋转、平移、缩放变换,因此采用具有8参数的投影变换模型基本上可以满足需求。图像间的投影变换可用矩阵表示如下:

      式中:(x1,y1,1)、(x2,y2,1)分别为参考图像和待变换图像对应特征点的齐次坐标,(h0,…,h7)为间接投影变换参数。

      式(10)有8个未知参数,至少需要4对特征点对建立方程组解求变换参数。为了获得准确的变换参数,本文首先采用RANSAC算法[16]对匹配点对进行提纯,去除误匹配点;然后建立误差方程,利用最小二乘法解求变换参数[17]

    • 为了验证本文算法的配准效果以及速度上的优势,选取几种不同平台的图片进行配准实验。实验中,仿真平台硬件环境为:Intel(R) Core(TM)i5-3337U CPU,1.8GHz,4G内存的PC机;软件开发工具为Window 8 64位操作系统,VS2010编程环境。实验所用的图像均为实拍影像。图3中(a)、(b)为手持单反相机拍摄的市区影像,大小为2 464 pixel×1 632 pixel,(c)、(d)为城郊地区的航空影像,大小为1 024 pixel×720 pixel,(e)、(f)为QuickBird拍摄的不同时期的某市郊区影像,大小为510 pixel×472 pixel。

      图  3  3组测试图片

      Figure 3.  Three groups of testing images

      首先,通过实验对比以证明本文方法在特征点检测时间上相较于SIFT的优势。分别采用本文提出的Harris-SIFT算法以及标准SIFT算法与SURF算法对图3中的三组图像进行特征点检测比较实验,3种方法的时间统计结果见表1。结果表明,采用Harris算法进行特征检测确实具有明显的时间优势:在图3的三组测试图像中,Harris特征检测时间比标准SIFT至少减少了42%,最多减少量达到了79%,其特征提取速度基本达到了SURF算法的水平。这是因为多尺度Harris不需要构造太复杂的尺度空间,所需计算的像素量大大减少,节省了相当一部分计算时间。另外,通过比较本文方法与标准SIFT算法所提特征点在图像中的分布(见图4)可以看出,采用本文方法所获得的特征点数量虽然少,但在图像中分布均匀,并不过密,这也节省了后续匹配过程的时间消耗。

      表 1  分别用本文方法以及SIFT、SURF进行特征点检测的时间统计

      Table 1.  Statistics of cost time for feature points detection using SIFT, SURF and the proposed method

      Image Number of feature points Time of feature points detection/s
      SIFT SURF Harris-SIFT SIFT SURF Harris-Sift
      Fig.3(a) 3 857 770 1 065 9.32 4.47 4.91
      Fig.3(c) 641 199 297 1.72 0.89 0.91
      Fig.3(e) 2 938 1 856 1 835 1.39 0.44 0.29

      图  4  特征点分布比较

      Figure 4.  Comparison of feature points distribution

      然后,通过实验证明在保证配准正确率的前提下,本文提出的多尺度Harris-Sift算法相对于标准SIFT在整体配准速度上的提高。利用2种方法对图3中的3组测试图象进行特征点匹配的正确率与时间统计对比见表2表3表4

      表 2  本文方法特征点匹配的正确率和时间统计

      Table 2.  Statistics of accuracy and cost time of feature points matching using the proposed method

      Image Number of feature points Matches Correct matches Percent of correct matches/% Total time/s
      (a) 1 065 197 155 78.68 10.31
      (b) 1 146
      (c) 297 130 113 86.92 1.93
      (d) 304
      (e) 1 835 152 129 84.87 3.15
      (f) 1 856

      表 3  SIFT算法特征点匹配的正确率和时间统计

      Table 3.  Statistics of accuracy and cost time of feature points matching using SIFT

      Image Number of feature points Matches Correct matches Percent of correct matches/% Total time/s
      (a) 3 857 701 495 70.61 30.45
      (b) 4 007
      (c) 641 296 244 82.43 5.34
      (d) 654
      (e) 2 938 236 197 83.47 11.80
      (f) 3 643

      表 4  SURF算法特征点匹配的正确率和时间统计

      Table 4.  Statistics of accuracy and cost time of feature points matching using SIFT

      Image Number of feature points Matches Correct matches Percent of correct matches/% Total time/s
      (a) 770 50 37 74.00 8.27
      (b) 600
      (c) 199 65 60 92.31 1.53
      (d) 278
      (e) 1 856 127 113 88.98 3.64
      (f) 1 847

      最后,统计所有匹配点对变换后坐标与参考坐标间的均方根误差RMSE以定量的评价配准精度,公式表示如式(11)[18]

      式中,piqi是匹配点对变换前后的坐标,k为最终匹配点对个数。

      图5是特征匹配和图像配准结果,表5为使用不同方法对图3(c)和图3(d)进行配准的精度对比,在保证配准正确率的前提下,本文提出的改进Harris-SIFT算法比标准SIFT算法在整体配准过程的时间消耗上减少了64%。

      图  5  图3(c)和图3(d)匹配结果及配准结果

      Figure 5.  Results of (a)feature matching and (b)registration for Fig.3(c) and Fig.3(d)

      表 5  使用不同方法对图3(c)和图3(d)进行配准的精度对比

      Table 5.  Comparison of registration accuracy for Fig.3(c) and Fig.3(d) using different methods

      Method Percent of correct matches/% RMSE Time of image registration/s
      Harris-SIFT 86.92 0.47 1.93
      SIFT 82.43 0.54 5.34
    • 本文针对SIFT算法匹配速度慢的问题,提出了改进Harris算法与SIFT算子相结合的快速图像配准方法。该方法以Harris角点检测代替SIFT算法的极值检测部分,同时为了保证特征点的尺度不变性,对Harris进行了改进。首先建立高斯尺度空间,检测具有尺度信息的Harris角点,,然后利用摄影测量学中的Forstner算子思想对角点进行精定位,最后采用SIFT描述符对角点进行描述,利用RANSAC法以及随机K-D树算法完成特征点匹配。实验表明,该算法比标准SIFT算法在整体配准过程的时间消耗上减少了64%,是一种快速鲁棒的图像配准算法。

参考文献 (1)

目录

    /

    返回文章
    返回