留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

图像局部特征自适应的快速SIFT图像拼接方法

陈月 赵岩 王世刚

陈月, 赵岩, 王世刚. 图像局部特征自适应的快速SIFT图像拼接方法[J]. 中国光学, 2016, 9(4): 415-422. doi: 10.3788/CO.20160904.0415
引用本文: 陈月, 赵岩, 王世刚. 图像局部特征自适应的快速SIFT图像拼接方法[J]. 中国光学, 2016, 9(4): 415-422. doi: 10.3788/CO.20160904.0415
CHEN Yue, ZHAO Yan, WANG Shi-gang. Fast image stitching method based on SIFT with adaptive local image feature[J]. Chinese Optics, 2016, 9(4): 415-422. doi: 10.3788/CO.20160904.0415
Citation: CHEN Yue, ZHAO Yan, WANG Shi-gang. Fast image stitching method based on SIFT with adaptive local image feature[J]. Chinese Optics, 2016, 9(4): 415-422. doi: 10.3788/CO.20160904.0415

图像局部特征自适应的快速SIFT图像拼接方法

doi: 10.3788/CO.20160904.0415
基金项目: 

国家自然科学基金项目 No.61271315

详细信息
    作者简介:

    陈月(1991-),女,吉林长春人,硕士研究生,2014年于吉林大学获得学士学位,主要从事图像拼接方面的研究。E-mail:chenyue14@mails.jlu.edu.cn

    通讯作者: 赵岩(1971-),女,吉林辽源人,教授,博士生导师,2003年于吉林大学获得博士学位,主要从事图像与视频编码和立体视频处理方面的研究。E-mail:zhao_y@jlu.edu.cn
  • 中图分类号: TN919.8

Fast image stitching method based on SIFT with adaptive local image feature

Funds: 

National Natural Science Foundation of China No.61271315

More Information
  • 摘要: 针对目前图像拼接中计算量较大、实时性较差的问题,本文提出了一种图像局部特征自适应的快速尺度不变特征变换(SIFT)拼接方法。首先,对待拼接图像分块,确定图像局部块的特征类型;接着自适应采用不同的简化方法提取各局部块的特征点。然后,通过特征匹配求出变换矩阵,并结合RANSAC算法去除伪匹配对。最后,通过图像融合得到最终的拼接图像。文中使用提出的方法对3组待拼接图像进行实验。从实验结果可以看出:与标准拼接方法相比,本文改进方法的计算速度提升了30%~45%。因此,这种方法能够在保证图像拼接质量的前提下,有效提高图像拼接的效率,克服图像拼接中计算复杂度高的问题,在实际图像拼接中具有一定的应用价值。
  • 图  1  图像拼接流程图

    Figure  1.  Block diagram of image stitching

    图  2  改进的拼接方法流程图

    Figure  2.  Flowchart of improved image stitching method

    图  3  3组待拼接原始图像

    Figure  3.  Three groups of images to be stitched

    图  4  使用本文方法的拼接结果

    Figure  4.  Stitching results using proposed method

    图  5  两种方法拼接效果图对比

    Figure  5.  Comparison of stitching effect by two methods

    表  1  高斯尺度空间特征

    Table  1.   Feature of Gaussian scale space

    特征描述
    差分特征Dx,Dy,Dxx,Dyy,Dxy
    Hessian矩阵λ12,Det(H),
    下载: 导出CSV

    表  2  两种方法特征点提取阶段比较

    Table  2.   Comparison results of SIFT feature point extraction using two methods

    图 3(c) 文献[11]方法本文改进方法
    个数时间/s个数时间/s
    左图6231.5503501.09
    右图7731.7802281.27
    下载: 导出CSV

    表  3  文献[11]方法与本文改进方法的拼接时间(单位:秒)

    Table  3.   Stitching time of method in Ref. [11] and the proposed method (Unit:s)

    拼接方法文献[11]方法拼接时间本文改进方法拼接时间
    seaside2.1471.21
    mountain2.8931.57
    building3.873 2.701
    下载: 导出CSV
  • [1] 李宏升,张健.基于小波粗糙集算法的图像拼接研究[J].液晶与显示,2014,29(2):298-303.

    LI H SH,ZHANG J. Image mosaic research based on wavelet and rough set algorithm[J]. Chinese J. Liquid Crystals and Displays,2014,29(2):298-303.(in Chinese)
    [2] 史光辉,杨威.用于图像拼接的电视摄像光学系统[J].中国光学,2014,7(4):638-643.

    SHI G H,YANG W. Optical system used to compose images in television photograph[J]. Chinese Optics,2014,7(4):638-643.(in Chinese)
    [3] 张云峰.基于DSP的实时图像拼接技术[J].液晶与显示,2013,28(6):963-967.

    ZHANG Y F. Real-Time image mosaic technology based on DSP[J]. Chinese J. Liquid Crystals and Displays,2013,28(6):963-967.(in Chinese)
    [4] 何宾,陶丹,彭勃.高实时性F-SIFT图像拼接算法[J].红外激光工程,2013,42(S2):440-444.

    HE B,TAO D,PENG B. High real F-SIFT image stitching algorithm[J]. Infrared and Laser Engineering,2013,42(S2):440-444.(in Chinese)
    [5] 李军,吴洁明.一种改进图像拼接算法的仿真研究[J].计算机仿真,2012,29(2):273-313.

    LI J,WU J M. Simulation study of an improved image stitching algorithm[J]. Computer Simulation,2012,29(2):273-313.(in Chinese)
    [6] 王新华,王晓坤.十亿像素瞬态成像系统实时图像拼接[J].中国光学,2015,8(5):785-792.

    WANG X H,WANG X K. Real time image mosaic of the transient gigapixel imaging system[J]. Chinese Optics,2015,8(5):785-792.(in Chinese)
    [7] 王新华,黄玮,欧阳继红.多探测器拼接成像系统实时图像配准[J].中国光学,2015,8(2):211-219.

    WANG X H,HUANG W,OUYANG J H. Real-time image registration of the multi-detectors mosaic imaging system[J]. Chinese Optics,2015,8(2):211-219.( in Chinese)
    [8] CHEN J W,FENG H J,PAN K C,et al.. An optimization method for registration and mosaicking of remote sensing images[J]. Optik - International J. Light and Electron Optics,2014,125(2):697-703.
    [9] SZELISKI R. Video mosaics for virtual environments[J]. Computer Graphics and Applications,1996,16(2):22-30.
    [10] PELEG S,ROUSSO B,RAV-ACHA A,et al.. Mosaicing on adaptive manifolds[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(10):1144-1154.
    [11] BROWN M,LOWE D G. Automatic panoramic image stitching using invariant features[J]. International J. Computer Vision,2007,74(1):59-73.
    [12] MAHESH,SUBRAMANYAM M V. Automatic image mosaic system using steerable Harris corner detector[J]. Machine Vision and Image Processing,2012:87-91.
    [13] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International J. Computer Vision,2004,60(2):91-110.
    [14] 许佳佳.结合Harris与SIFT算子的图像快速配准算法[J].中国光学,2015,8(4):574-581.

    XU J J. Fast image registration method based on Harris and SIFT algorithm[J]. Chinese Optics,2015,8(4):574-581.(in Chinese)
    [15] 刘立,彭复员,赵坤,等.采用简化SIFT算法实现快速图像匹配[J].红外与激光工程,2008,37(1):181-184.

    LIU L,PENG F Y,ZHAO K,et al.. Simplified SIFT algorithm for fast image matching[J]. Infrared and Laser Engineering,2008,37(1):181-184.( in Chinese)
    [16] 王睿,朱正丹.融合全局颜色信息的尺度不变特征变换[J].光学 精密工程,2015,23(1):295-301.

    WANG R,ZHU ZH D. SIFT matching with color invariant characteristics and global context[J]. Opt. Precision Eng.,2015,23(1):295-301.( in Chinese)
    [17] LUO J,GWUN O. A comparison of SIFT, PCA-SIFT and SURF[J]. International J. Image Processing(IJIP),2009,3(4):143-152.
    [18] ANNIS F,KARTHIK R,VAIDEHI V. Image stitching with combined moment invariants and SIFT features[J]. Procedia Computer Science,2013,19:420-427.
    [19] 王灿进,孙涛,陈娟.局部不变特征匹配的并行加速技术研究[J].液晶与显示,2014,29(2):266-273.

    WANG C J,SUN T,CHEN J. Speeding up local invariant feature matching using parallel technology[J]. Chinese J. Liquid Crystals and Displays,2014,29(2):266-273.(in Chinese)
    [20] 韩冬松,何昕,魏仲慧,等.采用区域特征匹配的三维弹痕自动配准[J].液晶与显示,2014,29(5):761-767.

    HAN D S,HE X,WEI ZH H,et al.. Automatic registration of 3-D bullet marks by matching regional feature[J]. Chinese J. Liquid Crystals and Displays,2014,29(5):761-767.(in Chinese)
    [21] 聂海涛,龙科慧,马军,等.采用改进尺度不变特征变换在多变背景下实现快速目标识别[J].光学 精密工程,2015,23(8):2349-2356.

    NIE H T,LONG K H,MA J,et al.. Fast object recognition under multiple varying background using improved SIFT method[J]. Opt. Precision Eng.,2015,23(8):2349-2356.( in Chinese)
    [22] HARRIS C,STEPHENS M. A combined corner and edge detector[C]. Proceedings 4th Alvey Vision Conference,1988,147-151.
  • [1] 钟笠, 宋迪, 焦月, 李晗, 李国林, 季文海.  具有复杂光谱特征的丙烯气体的TDLAS检测技术研究 . 中国光学, 2020, 13(5): 1044-1054. doi: 10.37188/CO.2019-0203
    [2] 罗杰超, 郭俊达, 米凤文, 裘溯, 顿雄, 金伟其.  基于变形目镜和OLED的全景周视成像与显示技术 . 中国光学, 2020, 13(4): 752-759. doi: 10.37188/CO.2019-0214
    [3] 杨丽丽, 赵摇, 姚玉增.  树基沟矿区铜胁迫落叶松的光谱响应特征研究 . 中国光学, 2019, 12(2): 332-343. doi: 10.3788/CO.20191202.0332
    [4] 黄鹤, 李昕芮, 宋京, 王会峰, 茹锋, 盛广峰.  多尺度窗口的自适应透射率修复交通图像去雾方法 . 中国光学, 2019, 12(6): 1311-1320. doi: 10.3788/CO.20191206.1311
    [5] 耿庆田, 赵浩宇, 于繁华, 王宇婷, 赵宏伟.  基于改进HOG特征提取的车型识别算法 . 中国光学, 2018, 11(2): 174-181. doi: 10.3788/CO.20181102.0174
    [6] 龙思源, 张葆, 宋策, 孙保基.  基于改进的加速鲁棒特征的目标识别 . 中国光学, 2017, 10(6): 719-725. doi: 10.3788/CO.20171006.0719
    [7] 黄博, 江慎旺, 张增, 张静, 张巍, 许廷发.  自适应特征引流管故障智能识别方法 . 中国光学, 2017, 10(3): 340-347. doi: 10.3788/CO.20171003.0340
    [8] 王力, 贾平, 张叶, 马天翔.  复杂地物条件下基于线特征的异源景象匹配 . 中国光学, 2016, 9(1): 81-88. doi: 10.3788/CO.20160901.0081
    [9] 王丽.  融合底层和中层字典特征的行人重识别 . 中国光学, 2016, 9(5): 540-546. doi: 10.3788/CO.20160905.0540
    [10] 江山, 张锐, 韩广良, 孙海江.  复杂背景灰度图像下的多特征融合运动目标跟踪 . 中国光学, 2016, 9(3): 320-328. doi: 10.3788/CO.20160903.0320
    [11] 王灿进, 孙涛, 李正炜.  基于快速轮廓转动力矩特征的激光主动成像目标识别 . 中国光学, 2015, 8(5): 775-784. doi: 10.3788/CO.20150805.0775
    [12] 陈燕芹, 段锦, 祝勇, 钱小飞, 肖博.  基于纹理特征的图像复杂度研究 . 中国光学, 2015, 8(3): 407-414. doi: 10.3788/CO.20150803.0407
    [13] 王新华, 黄玮, 欧阳继红.  多探测器拼接成像系统实时图像配准 . 中国光学, 2015, 8(2): 211-219. doi: 10.3788/CO.20150802.0211
    [14] 王新华, 王晓坤.  十亿像素瞬态成像系统实时图像拼接 . 中国光学, 2015, 8(5): 785-793.
    [15] 王新华, 王晓坤.  十亿像素瞬态成像系统实时图像拼接 . 中国光学, 2015, 8(5): 785-793. doi: 10.3788/CO.20150805.0785
    [16] 史光辉, 杨威.  用于图像拼接的电视摄像光学系统 . 中国光学, 2014, 7(4): 638-643. doi: 10.3788/CO.20140704.0638
    [17] 吉淑娇, 朱明, 胡汉平.  基于特征点匹配的电子稳像技术 . 中国光学, 2013, 6(6): 841-849. doi: 10.3788/CO.20130606.841
    [18] 闫辉, 许廷发, 吴青青, 徐磊, 吴威.  多特征融合匹配的多目标跟踪 . 中国光学, 2013, 6(2): 163-170. doi: 10.3788/CO.20130602.0163
    [19] 孙海江, 王延杰, 刘伟宁.  基于自适应平台阈值和拉普拉斯变换的红外图像增强 . 中国光学, 2011, 4(5): 474-479.
    [20] 郝志成, 高文.  多模跟踪技术在轮式侦察车图像处理器的应用 . 中国光学, 2011, 4(5): 480-488.
  • 加载中
图(5) / 表 (3)
计量
  • 文章访问数:  586
  • HTML全文浏览量:  181
  • PDF下载量:  944
  • 被引次数: 0
出版历程
  • 收稿日期:  2016-03-18
  • 修回日期:  2016-04-28
  • 刊出日期:  2016-08-01

图像局部特征自适应的快速SIFT图像拼接方法

doi: 10.3788/CO.20160904.0415
    基金项目:

    国家自然科学基金项目 No.61271315

    作者简介:

    陈月(1991-),女,吉林长春人,硕士研究生,2014年于吉林大学获得学士学位,主要从事图像拼接方面的研究。E-mail:chenyue14@mails.jlu.edu.cn

    通讯作者: 赵岩(1971-),女,吉林辽源人,教授,博士生导师,2003年于吉林大学获得博士学位,主要从事图像与视频编码和立体视频处理方面的研究。E-mail:zhao_y@jlu.edu.cn
  • 中图分类号: TN919.8

摘要: 针对目前图像拼接中计算量较大、实时性较差的问题,本文提出了一种图像局部特征自适应的快速尺度不变特征变换(SIFT)拼接方法。首先,对待拼接图像分块,确定图像局部块的特征类型;接着自适应采用不同的简化方法提取各局部块的特征点。然后,通过特征匹配求出变换矩阵,并结合RANSAC算法去除伪匹配对。最后,通过图像融合得到最终的拼接图像。文中使用提出的方法对3组待拼接图像进行实验。从实验结果可以看出:与标准拼接方法相比,本文改进方法的计算速度提升了30%~45%。因此,这种方法能够在保证图像拼接质量的前提下,有效提高图像拼接的效率,克服图像拼接中计算复杂度高的问题,在实际图像拼接中具有一定的应用价值。

English Abstract

陈月, 赵岩, 王世刚. 图像局部特征自适应的快速SIFT图像拼接方法[J]. 中国光学, 2016, 9(4): 415-422. doi: 10.3788/CO.20160904.0415
引用本文: 陈月, 赵岩, 王世刚. 图像局部特征自适应的快速SIFT图像拼接方法[J]. 中国光学, 2016, 9(4): 415-422. doi: 10.3788/CO.20160904.0415
CHEN Yue, ZHAO Yan, WANG Shi-gang. Fast image stitching method based on SIFT with adaptive local image feature[J]. Chinese Optics, 2016, 9(4): 415-422. doi: 10.3788/CO.20160904.0415
Citation: CHEN Yue, ZHAO Yan, WANG Shi-gang. Fast image stitching method based on SIFT with adaptive local image feature[J]. Chinese Optics, 2016, 9(4): 415-422. doi: 10.3788/CO.20160904.0415
    • 图像拼接是图像处理的基本问题之一,它是指将多幅存在部分重叠的图像序列进行空间匹配对准,经融合后形成一幅包含图像序列信息的宽视角、高清晰的新图像[1-5]。图像拼接技术在计算机视觉、虚拟现实、遥感图像处理、视频监控等领域有着广泛的应用[6-8]

      1996年,微软研究院的Richard Szeliski提出了基于运动模型的全景图拼接算法[9]。之后,Shmuel Peleg提出了灵活性更高的图像拼接模型,该模型具有一定的自适应性,并将图像做条带化处理后进行多重投影[10]。2007年,Brown等人提出了利用尺度不变特征提取算法进行自动图像拼接[11]。2012年,Mahesh使用Harris探测特征点,提出了基于特征的图像拼接方法[12]。图像拼接中最重要的一个步骤就是特征提取,特征提取算法的好坏将直接决定拼接的质量和效率。SIFT[13-16]算法所提取出的特征对于图像亮度变化、尺度缩放、角度旋转等都能够保持不变,同时在仿射变换、视角变化以及噪声干扰的情况下也能够保持一定的稳定性,在众多的检测子算法中,它被公认为是比较有效且稳定的方法[17],因此SIFT一直是图像拼接方法中常用的特征提取方法。

      然而,目前基于SIFT的图像拼接过程由于提取特征点数目较多、匹配耗时长、计算量较大等而导致了实时性差的问题。因此,本文提出了一种图像局部特征自适应的快速SIFT图像拼接方法,这种方法根据图像局部特征类型,自适应选择简化方法进行快速特征点提取,然后通过特征匹配获得待拼接图像的投影变换矩阵,最后得到拼接结果。实验结果表明,本文提出的方法能够有效降低整体图像拼接过程的时间。

    • 图像拼接的关键步骤为获取待拼接图像的特征点,找到两幅图像的对应特征点,并利用这些点计算图像间的投影变换矩阵,最后将图像变换到一个坐标系完成图像的融合和拼接。基于SIFT的图像拼接流程如图 1所示。

      图  1  图像拼接流程图

      Figure 1.  Block diagram of image stitching

      SIFT算法[13]由于其自身的鲁棒特性,多年来一直是特征提取的经典算法。其算法主要包括以下4个步骤:

      (1) 构建尺度空间,对图像建立高斯金字塔和高斯差分金字塔,检测极值,得到候选特征点。

      (2) 上面过程得到的极值点是在离散空间内搜索的,并且离散空间经过了降采样的处理,导致得到的候选特征点并非真正的特征点。所以使用拟合函数,精确得到连续空间上特征点的位置、尺度。

      (3) 计算特征点邻域像素梯度的大小和方向,并用直方图统计,获得特征点的主方向及辅方向。

      (4) 通过以上步骤得到了特征点位置、尺度以及方向信息。利用特征点邻域范围内像素的梯度信息,将以特征点为中心的窗口分为4×4=16个种子点,每个种子点计算8个方向梯度信息,得到128维的特征向量来描述此特征点,最终建立图像的特征点描述符。

    • 虽然基于SIFT的图像拼接方法在图像处理领域被广泛应用[18-21],具有优良特性,但是过程中提取出的特征点数目较多,使用128维向量来描述特征点计算量过大,实时性能无法保证,因此也限制了它的实际应用。基于以上问题,本文提出改进方法,在不影响最终拼接效果的前提下,提升整体拼接过程的速度。

      改进方法拼接流程如图 2所示,其中虚线框内为主要改进部分。首先,将待拼接图像分块,借助方差描述图像局部的复杂度,根据图像各局部块的复杂度统计值确定阈值,并根据灰度直方图判断各图像局部块所需使用的灰度级个数。接着对于不同复杂度的图像局部块,根据各自的特点自适应进行SIFT特征点检测的简化操作。然后使用提取出的SIFT特征点实现特征匹配,并且应用RANSAC算法去除误匹配点。最后,得到待拼接图像间的投影变换矩阵进行拼接,并且对拼接缝隙融合得到最终拼接结果。

      图  2  改进的拼接方法流程图

      Figure 2.  Flowchart of improved image stitching method

    • 首先对图像进行分块,确定图像局部特征类型。具体操作过程如下:将待拼接图像划分为若干块子区域,分别计算每个子区域的方差和灰度直方图。灰度直方图中某一灰度值处包含单一较窄尖峰,表示这一子块内的灰度值基本不变,子块是平坦的,判定为平坦区,子块对应方差记为T1;若灰度直方图尖峰对应横坐标包含的位置长度为2个灰度值,表示这一子块主要有两个灰度值,用两个灰度级表示,判定为边缘区,子块对应方差记为T2;若灰度直方图尖峰对应横坐标包含的位置长度为3~15个灰度值时,用16个灰度级表示,判定为纹理区,子块对应方差记为T3;其余子块图像的灰度级均按原来的256个灰度级表示,判定为细节区。通过上述过程同时得到了图像局部特征类型区分的复杂度阈值T1、T2、T3。

    • (1) 平坦区

      对图像局部复杂度区分后,对于局部特征平坦的图像块,特征信息不明显,因此无需进行特征点的提取,同时节省了时间开销。

      (2) 边缘区

      对于局部特征判定为边缘区的图像块,将其转化为二值图像。因为二值图像本身表示的轮廓更能反映图像的内容,同时对图像进行二值化处理也使图像中的数据量大大减少。另外二值化处理过程类似于高斯模糊的过程,作用都是去除图像细节,这样通过二值处理后的图像无需进行SIFT算法中的高斯模糊过程,从而节省了时间。

      边缘区特征的提取主要是利用高斯尺度空间的信息。在之前的Corner检测子算法[22]中,高斯尺度空间的信息是用来描绘特征点局部邻域关系很有价值的特征。由于DoG金字塔是由高斯金字塔中相邻两层图像相减得到的,所以高斯尺度空间同样具有较多信息量。因此对于具有两个灰度级的边缘区图像块,仅需在高斯尺度空间内提取差分特征信息以及Hessian矩阵的相关信息,高斯尺度空间特征如表 1所示。其特征提取具体过程如下:首先对图像块进行二值化处理,然后建立高斯金字塔,无需进行高斯模糊,在高斯尺度空间中提取差分特征信息,然后再进行后续的特征点极值定位[13]等操作。

      表 1  高斯尺度空间特征

      Table 1.  Feature of Gaussian scale space

      特征描述
      差分特征Dx,Dy,Dxx,Dyy,Dxy
      Hessian矩阵λ12,Det(H),

      (3) 纹理区

      对于判定为纹理区的图像块,为了加快计算速度,在进行特征描述符表示时,将以特征点为中心的大小为8×8的窗口分成4个小块,每个小块大小为4×4,最终产生4个种子点,并计算每个种子点的梯度方向,对应8个方向的方向信息,即最后产生4×8=32维的SIFT特征向量。

      (4) 细节区

      对于图像局部特征判定为细节区的图像块则按照传统的SIFT算法[13]进行特征点提取,每个特征点得到128维的SIFT特征向量。

    • 在对SIFT算法的应用中,SIFT特征点的匹配一直是图像拼接过程中至关重要的步骤。通常使用距离比值法来获得两幅图像间的匹配点对。

      本文采用了欧氏距离作为两幅图像特征点的相似性判定度量,使用基于BBF(Best Bin First)的k-d树搜索算法寻找特征点的最近邻和次近邻。假设要找到目标图像中点p1的匹配点,计算其与参考图像中最近邻点(记为q1)和次近邻点(记为q2)的欧式距离,分别记为D11D12。其中特征点间的欧氏距离可由式(1)计算得出。若距离比D11/D12小于某个阈值TH,则认为p1q1为一对合格的匹配点对,否则p1无匹配点。

      (1)

      式中,p1ip2i分别为SIFT特征点p1p2特征向量中的元素。

      但这样得到的匹配点对通常包含误匹配点对,所以利用RANSAC算法对匹配点对进行筛选,得到两幅图像间准确的投影变换矩阵。

    • 使用得到的投影变换矩阵就可以对两幅图像进行相应的变换,确定图像的重叠部分然后直接拼接,但是这种直接叠加像素点灰度值的拼接所得到的效果有限,通常会在拼接重合处留有接缝、鬼影等影响视觉的痕迹。为了优化拼接缝隙、得到理想的拼接效果,本文采用加权平滑算法对拼接后的图像进行处理,从而消除拼接缝隙等对图像的影响。

      该算法通过其权值由0 到1 逐渐变化,可以实现融合图像的平滑过渡. 其中f1(x,y)和f2(x,y)分别代表待拼接的两幅图像,f(x,y)代表拼接完成的图像,则加权平滑融合可表示为:

      (2)

      式中,w1w2表示权值,且w1+w2=1,运算过程中w1由1 变到0,w2由0 变到1,从而能够实现两幅图像的平滑过渡。

    • 为验证本文所提出方法的有效性,在Windows XP操作系统下利用VS2010和Opencv2.3.1 库进行仿真实验。实验分别采用文献[11]方法和本文改进方法对3组具有平移、旋转以及仿射变换关系的图像对进行拼接。图 3为3组拼接所用的原始图像,是由数码相机拍摄采集的3组相互间有一定比例重叠的图像,大小分别为297 pixel×216 pixel、309 pixel×225 pixel、308 pixel×401 pixel。图 4图 3(a)图 3(b)拼接的结果图。

      图  3  3组待拼接原始图像

      Figure 3.  Three groups of images to be stitched

      图  4  使用本文方法的拼接结果

      Figure 4.  Stitching results using proposed method

      图 4中可以看到,本文方法对于平移、旋转以及仿射变换的图像对能够正确拼接,并且拼接效果很好。其中以图 3(c) building图像为例,文献[11]方法和本文改进方法在特征点提取阶段的比较如表 2所示。可以看到,由于本文改进方法在特征点提取阶段局部特征自适应的简化,得到的特征点个数和特征点提取时间都有所降低。另外,文献[11]方法和本文改进方法所计算出的投影变换矩阵H1、H2分别为:

      (3)
      (4)

      表 2  两种方法特征点提取阶段比较

      Table 2.  Comparison results of SIFT feature point extraction using two methods

      图 3(c) 文献[11]方法本文改进方法
      个数时间/s个数时间/s
      左图6231.5503501.09
      右图7731.7802281.27

      可以发现,两个投影变换矩阵几乎相同,说明虽然本文改进方法由于简化导致了特征点个数的减少,但是得到的有效匹配点对仍然可以正确计算出变换矩阵,进而实现准确拼接并保证较好的拼接质量。图 5为两种方法得到的拼接效果图对比,可以看到改进方法的拼接效果和文献[11]方法拼接效果一致,并未产生拼接误差。

      图  5  两种方法拼接效果图对比

      Figure 5.  Comparison of stitching effect by two methods

      表 3列出了文献[11]方法和本文改进方法对图 3所示的3组待拼接图像整体拼接时间比较的结果,其中拼接时间为特征点提取、特征匹配以及图像融合过程的时间总和。从表 3中可以看出:本文改进方法相比文献[11]方法在整个图像拼接过程中的计算速度分别提升了30%~45%,在保证良好的图像拼接质量的前提下,不同程度地降低了图像拼接的时间,有效提高了最终图像拼接的效率。

      表 3  文献[11]方法与本文改进方法的拼接时间(单位:秒)

      Table 3.  Stitching time of method in Ref. [11] and the proposed method (Unit:s)

      拼接方法文献[11]方法拼接时间本文改进方法拼接时间
      seaside2.1471.21
      mountain2.8931.57
      building3.873 2.701
    • 本文通过对基于SIFT的图像拼接方法的深入研究和分析,在其基础上提出了一种图像局部特征自适应的快速SIFT图像拼接方法。本文方法在提取特征点之前,首先分析图像局部块的特征类型,根据图像局部特征的不同,自适应选择合适的简化方法提取SIFT特征点,有效完成了SIFT特征点的快速提取,对整体拼接过程速度的提升起到重要作用。从最后的3组实验结果可以看出:本文方法可以有效克服传统图像拼接方法中计算量大、效率低的缺点,其计算速度较文献[11]方法提升了30%~45%,能够在保证良好拼接质量的前提下,有效提高图像拼接的效率,具有一定的实时性,在实际图像拼接中具有一定的应用价值。

参考文献 (22)

目录

    /

    返回文章
    返回