留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

零件的角点提取及匹配定位

高礼圳 刘书桂 韩振华

高礼圳, 刘书桂, 韩振华. 零件的角点提取及匹配定位[J]. 中国光学, 2016, 9(4): 397-404. doi: 10.3788/CO.20160904.0397
引用本文: 高礼圳, 刘书桂, 韩振华. 零件的角点提取及匹配定位[J]. 中国光学, 2016, 9(4): 397-404. doi: 10.3788/CO.20160904.0397
GAO Li-zhen, LIU Shu-gui, HAN Zhen-hua. Corner extraction and matching location of parts[J]. Chinese Optics, 2016, 9(4): 397-404. doi: 10.3788/CO.20160904.0397
Citation: GAO Li-zhen, LIU Shu-gui, HAN Zhen-hua. Corner extraction and matching location of parts[J]. Chinese Optics, 2016, 9(4): 397-404. doi: 10.3788/CO.20160904.0397

零件的角点提取及匹配定位

doi: 10.3788/CO.20160904.0397
基金项目: 

天津市自然科学基金重点资助项目 No.13JCZDJC34500

详细信息
    作者简介:

    髙礼圳(1991-),男,江西吉安人,硕士研究生,主要从事图像处理和计算机视觉方面的研究。E-mail:gaolz1002@163.com

    通讯作者: 刘书桂(1954-),男,湖南人,教授,博士,博士生导师,主要从事智能坐标测量技术、自动测量与控制技术方面的研究。E-mail:sgliu@tju.edu.cn
  • 中图分类号: TH744.3

Corner extraction and matching location of parts

Funds: 

Key Project of Natural Science Foundation of Tianjin City No.13JCZDJC34500

More Information
    Corresponding author: E-mail:sgliu@tju.edu.cn
  • 摘要: 本文基于三坐标测量机(CMM)设计了一套视觉检测系统,该系统能够对零件实际空间特征信息进行比较全面地提取。针对位于CMM平台上带有角点的零件,利用Harris算子提取从CMM三个不同方位获取的零件图像的角点。对于Harris算子提取到的角点,本文提出一种八链码搜索法和SUSAN区域法相结合的伪角点剔除方法,最后基于立体视觉的原理,提出“距离空间图”匹配算法,将以上3幅图像一一建立匹配关系。实验中多次改变零件在CMM中姿态时,多次实验数据表明本文的角点提取精度与真实角点间仅存在1~2像素的偏差,零件的定位误差为1~3mm。通过实验验证,角点匹配和定位的稳定性和精度满足要求,具有一定的抗干扰性和实用性。
  • 图  1  八链码的方向图

    中文注解

    Figure  1.  Eight-chain-code direction

    英文注解

    图  2  相机与CMM的方位图

    中文注解

    Figure  2.  Orientation diagram of camera and CMM

    英文注解

    图  3  对极几何约束图

    中文注解

    Figure  3.  Diagram of epipolar geometry

    英文注解

    图  4  多视图确定空间点

    中文注解

    Figure  4.  Multiple views to determine the point

    英文注解

    图  5  距离空间图

    中文注解

    Figure  5.  Diagram of distance space

    英文注解

    图  6  角点图像

    中文注解

    Figure  6.  Corner detection image

    英文注解

    图  7  特征匹配结果

    中文注解

    Figure  7.  Matching result

    英文注解

    表  1  相机内部参数

    Table  1.   Camera internal parameter

    μ0/mmv0/mmf/mmk2
    Camera1658.884533.36316.193 0400.000 289
    Camera2647.305498.3556.042 9610.006 233
    Camera3647.598498.71516.235 5310.000 288
    下载: 导出CSV

    表  2  角点在各视图中的像素坐标

    Table  2.   Pixel coordinates of corners in each view image

    Camera1(像素)Camera2(像素)Camera3(像素)
    1(544,957)-(758,840)
    2(533,805)(763,591)-
    3- (783,560)(791,690)
    4(815,723)(546,310)(526,631)
    下载: 导出CSV

    表  3  相机与CMM之间的坐标转换关系

    Table  3.   Relation of coordinate transformation between camera and CMM

    α/radβ/radγ/radtx/mmty/mmtz/mm
    Camera1-CMM-1.503 2830.064 378-0.046 754227.974 026-1 050.507 167-400.084 751
    Camera2-CMM0.044 251-0.248 223-1.523 188308.677 97870.639 17130.065 223
    Camera3-CMM-1.543 118-0.080 176-1.524 048-1529.503 317624.449 218-522.936 725
    下载: 导出CSV

    表  4  定位精度检测

    Table  4.   Positioning accuracy detection

    计算坐标/mmCMM测量坐标/mm误差/mm
    xyzxyzΔxΔyΔz
    1229.98607.47-752.80228.26608.13-753.521.72-0.790.72
    2229.13607.06-667.91229.84608.94-668.76-0.71-1.880.85
    3232.87602.95-667.16233.64604.06-668.52-0.77-1.111.36
    4402.91777.03-658.04401.29778.21-658.921.62-1.180.88
    下载: 导出CSV
  • [1] 马一凡.防碰撞系统中零件识别研究[D].天津:天津大学,2014.

    MA Y F. Research on recognition of parts in anti-collision system[D]. Tianjin:Tianjin University,2014.(in Chinese)
    [2] 王怀瑜.防碰撞系统中体素相交检测算法的研究[D].天津:天津大学,2014.

    WANG H Y. Research on an algorithm of primitive intersection detection in an anti-collision system[D]. Tianjin:Tianjin University,2014.(in Chinese)
    [3] 刘书桂,赵金才,李建苹,等.智能坐标测量系统中零件位姿自动识别[J].天津大学学报,2006,39(10):1241-1246.

    LIU SH G,ZHAO J C,LI J P,et al.. Automatic recognition for position and orientation of parts in intelligent coordinate measuring system[J]. J. Tianjin University,2006,39(10):1241-1246.(in Chinese)
    [4] 马新辉,张国雄,王建利,等.智能三坐标测量机中零件位置自动识别系统[J].仪器仪表学报,2003,24(2):165-170.

    MA X H,ZHANG G X,WANG J L,et al.. Autamatic recognition for the position and orientation of parts in intelligent CMM[J]. Chinese J. Scientific Instrument,2003,24(2):165-170.(in Chinese)
    [5] 房超,王小鹏,牛云鹏,等.基于改进Harris算法的角点检测[J].计算机与数字工程,2011,39(5):142-144.

    FANG CH,WANG X P,NIU Y P,et al.. Corner detection based on an improved Harris algorithm[J]. Computer and Digital Engineering,2011,39(5):142-144.(in Chinese)
    [6] 乔警卫,胡少兴.三维重建中特征点提取与匹配算法研究[J].系统仿真学报,2008,20:400-403.

    QIAO J W,HU SH X. Research on feature point extraction and matching in 3D reconstruction[J]. J. System Simulation,2008,20:400-403.(in Chinese)
    [7] 黄凤山,刘恩福,方忆湘,等.基于智能三坐标测量机的零件位姿单目立体视觉识别[J].光学 精密工程,2013,21(5):1326-1332.

    HUANG F SH,LIU E F,FANG Y X,et al.. Single camera stereo vision recognization for parts pose based on intelligent three coordinate measuring machine[J]. Opt. Precision Eng.,2013,21(5):1326-1332.(in Chinese)
    [8] 许佳佳.结合Harris与SIFT 算子的图像快速配准算法[J].中国光学,2015,8(4):574-581.

    XU J J. Fast image registration method based on Harris and SIFT algorithm[J]. Chinese Optics,2015,8(4):574-581.(in Chinese)
    [9] 高晶,吴育峰,吴昆,等.基于角点检测的图像匹配算法[J].仪器仪表学报,2013,34(8):1717-1725.

    GAO J,WU Y F,WU K,et al.. Image matching method based on corner detection[J]. Chinese J. Scientific Instrument,2013,34(8):1717-1725.(in Chinese)
    [10] 程德志,李言俊,余瑞星.基于改进SIFT算法的图像匹配方法[J].计算机仿真,2011,28(7):285-289.

    CHENG D Z,LI Y J,YU R X. Image matching method based on improved SIFT algorithm[J]. Computer Simulation,2011,28(7):285-289.(in Chinese)
    [11] 全燕鸣,黎淑梅,麦青群.基于双目视觉的工件尺寸在机三维测量[J].光学 精密程,2013,21(4):1054 -1061.

    QUAN Y M,LI S M,MAI Q Q. On-machine 3D measurement of workpiece dimensions based on binocular vision[J]. Opt. Precision Eng.,2013,21(4):1054-1061.(in Chinese)
    [12] 田浩南,张叶.基于边缘及特征点匹配的立体图像质量评价[J].液晶与显示,2015,30(4):666-672.

    TIAN H N,ZHANG Y. Quality evaluation of stereo image based on edge and characteristic point matching[J]. Chinese J. Liquid Crystals and Displays,2015,30(4):666-672.(in Chinese)
    [13] 刘书桂,余飞,韩振华.基于OpenCasCade的虚拟三坐标测量机碰撞检测方法[J].纳米技术与精密工程,2016.

    LIU SH G,YU F,HAN ZH H. Collision detection of virtual coordinate measuring machine based on OpenCasCade[J]. Nanotechnology and Precision Engineering,2016.(in Chinese)
    [14] 张国雄.三坐标测量机[M].天津:天津大学出版社,1999.

    ZHANG G X. Coordinate Measuring Machine[M]. Tianjin:Tianjin University Press,1999.(in Chinese)
    [15] HARRIS C G,STEPHENS M. A combined corner and edge detector[C]. Proceedings of the 4th A Ivey Vision Conference,Manchester,UK,1988:147-151.
    [16] SMITH S M. Feature based image sequence understanding[D]. Oxford,UK:Oxford University, 1992.
    [17] 王付新,黄毓瑜,孟 偲,等.三维重建中特征点提取算法的研究与实现[J].工程图学学报,2007,3:91-96.

    WANG F X,HUANG Y Y,MENG C,et al. Research and realization of the feature point extraction algorithm in 3D reconstruction[J]. J. Engineering Graphics,2007,3:91-96(in Chinese)
    [18] HARTLEY R,ZISSERMAN H.计算机视觉中的多视图几何[M].安徽:安徽大学出版社,2002,8:216-217,178-179.

    HARTLEY R,ZISSERMAN H. Multiple View Geometry in Computer Vision[M]. Anhui:Anhui University Press, 2002,8:216-217,178-179.(in Chinese)
  • [1] 李昂, 王永刚, 邬志强, 张继友.  光学加工过程中高次非球面的三坐标测量数据处理 . 中国光学, 2020, 13(2): 302-312. doi: 10.3788/CO.20201302.0302
    [2] 杜瑞建, 葛宝臻, 陈雷.  多视高分辨率纹理图像与双目三维点云的映射方法 . 中国光学, 2020, 13(5): 1-10. doi: 10.37188/CO.2020-0034
    [3] 尹茂军, 潘腾, 刘士浩, 谢文法, 张乐天.  CdSe/ZnS量子点下转换膜的红、绿、蓝顶发射有机发光器件 . 中国光学, 2019, 12(6): 1431-1441. doi: 10.3788/CO.20191206.1431
    [4] 刘河山, 高瑞弘, 罗子人, 靳刚.  空间引力波探测中的绝对距离测量及通信技术 . 中国光学, 2019, 12(3): 486-492. doi: 10.3788/CO.20191203.0486
    [5] 刘明, 邓军, 冯献飞, 钱峰松.  高灵敏度空间点目标探测系统设计 . 中国光学, 2018, 11(1): 115-122. doi: 10.3788/CO.20181101.0115
    [6] 王雅男, 王挺峰, 田玉珍, 孙涛.  基于改进的局部表面凸性算法三维点云分割 . 中国光学, 2017, 10(3): 348-354. doi: 10.3788/CO.20171003.0348
    [7] 许廷发, 罗璇, 苏畅, 卞紫阳.  多帧距离选通图像点扩散函数估计的超分辨率重建 . 中国光学, 2016, 9(2): 226-233. doi: 10.3788/CO.20160902.0226
    [8] 曾震湘, 郑华东, 卢小仟, 高洪跃, 于瀛洁.  空间光调制器曲面拼接实现全息三维显示视角拓展 . 中国光学, 2015, 8(2): 227-233. doi: 10.3788/CO.20150802.0227
    [9] 王飞, 汤伟, 王挺峰, 郭劲.  8×8APD阵列激光三维成像接收机研制 . 中国光学, 2015, 8(3): 422-427. doi: 10.3788/CO.20150803.0422
    [10] 张雷, 焦小雪, 周立秋, 赵星.  集成成像同名像点三维形貌获取方法 . 中国光学, 2015, 8(1): 45-50. doi: 10.3788/CO.20150801.0045
    [11] 许佳佳.  结合Harris与SIFT算子的图像快速配准算法 . 中国光学, 2015, 8(4): 574-581. doi: 10.3788/CO.20150804.0574
    [12] 王晓燕, 王世刚, 姜秀红, 赵晓琳.  亮度优化立体视频视觉舒适度评价 . 中国光学, 2015, 8(3): 394-400. doi: 10.3788/CO.20150803.0394
    [13] 刘磊, 马军, 郑玉权.  空间微重力下离轴三反相机离焦范围 . 中国光学, 2014, 7(2): 320-325. doi: 10.3788/CO.20140702.0320
    [14] 薛彬, 孔祥贵, 王丹, 夏露, 李晓坤, 于沂, 孙雅娟, 吴飞, 赵慧颖.  785 nm激光诱导银纳米三角片聚集表面增强拉曼散射效应 . 中国光学, 2014, 7(1): 118-123. doi: 10.3788/CO.20140701.0118
    [15] 李维善, 陈琛, 于国辉, 李臣友, 刘宵婵, 张禹, 王陆军, 刘影.  单机数字立体双通道放映镜头的光学设计 . 中国光学, 2013, 6(4): 563-569. doi: 10.3788/CO.20130604.0563
    [16] 解则晓, 韩振华, 高翔.  光笔式单目视觉测量系统的关键技术 . 中国光学, 2013, 6(5): 780-787. doi: 10.3788/CO.20130605.0780
    [17] 吉淑娇, 朱明, 胡汉平.  基于特征点匹配的电子稳像技术 . 中国光学, 2013, 6(6): 841-849. doi: 10.3788/CO.20130606.841
    [18] 王红睿, 王玉鹏.  用于测量太阳总辐射的空间辐射计 . 中国光学, 2012, 5(6): 555-565. doi: 10.3788/CO.20120506.0555
    [19] 苗健宇, 张立平, 翟岩, 梅贵.  三线阵CCD立体测绘相机的集成装调 . 中国光学, 2012, 5(4): 366-372. doi: 10.3788/CO.20120504.0366
    [20] 罗刚, 张云峰.  应用角点匹配实现目标跟踪 . 中国光学, 2009, 2(6): 477-481.
  • 加载中
图(7) / 表 (4)
计量
  • 文章访问数:  548
  • HTML全文浏览量:  159
  • PDF下载量:  890
  • 被引次数: 0
出版历程
  • 收稿日期:  2016-04-05
  • 修回日期:  2016-04-26
  • 刊出日期:  2016-08-01

零件的角点提取及匹配定位

doi: 10.3788/CO.20160904.0397
    基金项目:

    天津市自然科学基金重点资助项目 No.13JCZDJC34500

    作者简介:

    髙礼圳(1991-),男,江西吉安人,硕士研究生,主要从事图像处理和计算机视觉方面的研究。E-mail:gaolz1002@163.com

    通讯作者: 刘书桂(1954-),男,湖南人,教授,博士,博士生导师,主要从事智能坐标测量技术、自动测量与控制技术方面的研究。E-mail:sgliu@tju.edu.cn
  • 中图分类号: TH744.3

摘要: 本文基于三坐标测量机(CMM)设计了一套视觉检测系统,该系统能够对零件实际空间特征信息进行比较全面地提取。针对位于CMM平台上带有角点的零件,利用Harris算子提取从CMM三个不同方位获取的零件图像的角点。对于Harris算子提取到的角点,本文提出一种八链码搜索法和SUSAN区域法相结合的伪角点剔除方法,最后基于立体视觉的原理,提出“距离空间图”匹配算法,将以上3幅图像一一建立匹配关系。实验中多次改变零件在CMM中姿态时,多次实验数据表明本文的角点提取精度与真实角点间仅存在1~2像素的偏差,零件的定位误差为1~3mm。通过实验验证,角点匹配和定位的稳定性和精度满足要求,具有一定的抗干扰性和实用性。

English Abstract

高礼圳, 刘书桂, 韩振华. 零件的角点提取及匹配定位[J]. 中国光学, 2016, 9(4): 397-404. doi: 10.3788/CO.20160904.0397
引用本文: 高礼圳, 刘书桂, 韩振华. 零件的角点提取及匹配定位[J]. 中国光学, 2016, 9(4): 397-404. doi: 10.3788/CO.20160904.0397
GAO Li-zhen, LIU Shu-gui, HAN Zhen-hua. Corner extraction and matching location of parts[J]. Chinese Optics, 2016, 9(4): 397-404. doi: 10.3788/CO.20160904.0397
Citation: GAO Li-zhen, LIU Shu-gui, HAN Zhen-hua. Corner extraction and matching location of parts[J]. Chinese Optics, 2016, 9(4): 397-404. doi: 10.3788/CO.20160904.0397
    • 在防碰撞系统[1-2]中,零件位姿的判定和定位是进行智能路径规划和自动检测的前提和基础[3-4],而对于有角点的零件,利用角点信息在零件姿态判定中极其重要,因此角点提取和匹配定位在防碰撞系统中是必不可少的。

      角点一般是指图像中亮度变化剧烈的像素点或者指图像中梯度值和梯度变化率都很高的像素点,它反映了图像的局部特征。角点检测是图像处理中的一个关键预处理步骤,常用于图像匹配、运动物体跟踪以及目标识别等方面[5]。现有的特征点提取方法可分为基于模板的特征点检测、基于边缘的特征点检测和基于亮度变化的特征点检测。基于模板的特征点检测算法需要设计复杂的模板,对于复杂图像不适用;基于边缘的特征点检测算法对边缘检测的依赖性很大;而基于亮度变化的特征点检测方法已成为研究热点,Harris、SUSAN和SIFT算法等都属于该类算法[6]

      文献[5]中提出利用双掩膜进行非极大值抑制方法提取角点,但是掩膜设计成为一大难点。文献[7]中利用全局和局部边缘的曲率特性提取角点,对边缘检测要求很高。文献[8]中利用多尺度Harris算法需要在多个尺度上检测角点,但是计算量比传统算法大大增加。目前用于图像匹配的方法主要有两大类[9]:一是基于灰度相关的匹配方法,该方法是对2幅图像的灰度相似度进行计算估计,尽管该算法简单,匹配准确率高,但不适合于光轴之间夹角很大的多个相机间的匹配,且计算量大;另一种是基于图像特征的方法,该方法主要有点匹配、线匹配和面匹配,由于线特征为一维特征,面特征为二维特征,其匹配算法要考虑到的方向、尺度位置等因素受噪声、 遮挡影响较大。而点特征包含图像中丰富的信息,其提取算法是计算机视觉中比较成熟且经典的技术,如Harris算法,SUSAN算法。角点是最常用的目标特征之一,它们常用于图像单尺度下的角点检测。但是实际中由Harris提取到的角点包含很多杂乱无章且包含无用信息的伪角点,这些伪角点主要是由光照和零件上的毛刺所引起的。对于所获得的角点,利用现有的匹配算法[9-12]无法直接建立匹配关系。

      针对以上问题,本文提出了八链码搜索法和SUSAN区域法相结合的伪角点剔除方法。该方法利用八链码搜索法删除图像的内部伪角点后,再利用SUSAN 区域法删除位于轮廓上的伪角点,最后基于立体视觉原理,提出“距离空间图”的匹配算法,对留下的角点进行匹配和定位。通过实验证明,本文的伪角点剔除方法和匹配定位算法有较高的精度,具有一定的实用性。

    • 实验中为避免外部环境的干扰,先用位于CMM[14]3个不同方位的相机分别获取放零件前的背景图像,然后再获取放零件后的零件图像,两图像相减后得到去除背景后的零件图像。对于相减后的图像,经预处理后采用Harris算法[15]提取图像特征点。该方法使用图像的一阶差分来计算每个像素处的平均平方梯度矩阵M,如式(1)。通过特征值分析,如式(2),给出角点响应。该方法原理简单、运算量小、使用方便。实验中发现可检测性、定位性、稳定性都满足要求,运算速度也较快[5],但是同时也会检测到很多伪角点。对于所获得的角点,利用现有的匹配算法无法直接建立匹配关系。因此,在匹配前应该把这种伪角点删除,下面将通过以下两个步骤来删除伪角点。

      (1)
      (2)

      式(1)中,矩阵M即为每个像素的平均平方梯度矩阵,I表示了点(x,y)处的像素亮度,*是卷积符号,W是一个3×3高斯低通滤波器。式(2)中,det(M)为矩阵M的行列式,tr(M)为矩阵的迹,k为一个经验值,通常被选定为0.04。R为角点响应函数的值,设定一个合理的阈值条件threshold,当R的值大于此阈值时,此时图像点即为感兴趣的特征点。

    • 八链码搜索如下图 1所示,对于由Harris算法提取的角点,首先从八链码的0方向搜索连续两个大于某阈值的像素点,该阈值可以取该角点像素值的一半。如果能搜到满足上面条件的像素点集,那么再从八链码的1方向搜索,直到八链码的8个方向都能搜索到满足条件的点集,那么这个角点属于内部伪角点。否则如果有一个方向不满足搜索条件,那么停止其他方向的搜索,因为该角点一定不属于内部伪角点。

      图  1  八链码的方向图

      Figure 1.  Eight-chain-code direction

    • SUSAN算法[16]是由牛津大学的S M Smith提出的,同样也是一种基于灰度的特征点获取方法。其基本原理是通过图像中目标与背景的对比度确定阈值,将模板中的各点与核心点(当前点)的灰度值用相似比较函数进行比较,得到与核心点灰度相近的点的集合区域称为核值相似区(Univalue Segment Assimilating Nucleus,USAN)。实验通过对留下的角点利用SUSAN模板进行搜索,其在轮廓上的角点处的USAN区大于在边缘交线上的角点处的USAN区,由此,响应图像中的角点特征。在实际操作时,对于模板内任一像素点R与模板中心像素N,通过给定的阈值t来判断该像素点是否属于USAN区域,其判别函数为:

      (3)

      那么以N为中心像素点模板内 USAN区域的大小为:

      (4)

      式中,S(N,r)表示以N为中心,r为半径的圆形模板,表示模板中USAN区域的大小。然后,将n(N,r)与预先给定阈值G进行比较,由此剔除图像中轮廓上的角点[17]

    • 本实验中,3个相机分别位于CMM三个不同的方位,如下图 2所示,相机1位于CMM的正前方,相机2位于CMM的横梁上,相机3位于CMM的左方,各相机与CMM之间的坐标关系已标定。其中零件摆放在CMM的工作平台上,且都在3个相机的视场范围内。本文中设计的视觉系统都能够较大限度地提取零件的三维特征信息,由于3个相机的光轴基本相互垂直,相机之间能够互相约束景深尺寸,可以较大限度地减少视觉系统的定位误差。

      图  2  相机与CMM的方位图

      Figure 2.  Orientation diagram of camera and CMM

      由于特征点提取不够精确,匹配两图中的对应点成为本文最大的困难。理想情况下,对于图像点xx′的两条反向投影的射线,如果满足对极几何约束x′TFx=0,其中F为基本矩阵,那么这两条射线共面,从而相交于一个三维点X。但是在实际中,非理想测量点xx′反向投影的射线在三维空间中一般不共面,如下图 3(a)所示,测量点不满足对极几何约束[18]。对极线I′=Fx是过x的射线的像,而对极线I=FTx′是过x′的射线的像。因为射线不相交,x′不在I′上,并且x不在I上,如下图 3(b)所示。

      图  3  对极几何约束图

      Figure 3.  Diagram of epipolar geometry

      针对上述出现的问题,本文采用一种新的判定方法,考虑到本实验中防碰撞系统实际应用场合和系统所需精度等,将测量点xx′反向投影的射线之间的异面距离不超过3 mm作为判定条件,若满足这一条件就判定这两点是匹配点。取两射线公垂线的中点作为三维点X。在双目视图中,这种方法会出现多义性,因为一幅图像中的某个点可能会对应另一幅视图中多个点,如图 4(a)所示。这是由重构的多义性引起的[18],但是在三视图中它不具有多义性。若空间一个点在3幅视图中都有对应点,那么两两视图按上述方法确定一个三维点,这样就可以构成一个三角形,将三角形的重心作为三视图中的三维点X,如图 4(b)所示。

      图  4  多视图确定空间点

      Figure 4.  Multiple views to determine the point

      从这3幅视图中寻找出对应的匹配点,关键的匹配算法是首先构建“距离空间图”,如图 5所示,即3幅视图中的角点两两之间的反向投影射线之间的异面距离构成的三维图。假如视图 12、3中分别有n1、n2、n3个角点,那么视图 12之间角点构成的距离关系有n1×n2种,同理视图 23之间有n2×n3种,视图 31之间有n3×n1种。然后从“距离空间图”中挑选出距离不大于3 mm的情形。算法首先搜索由3个视图确定一个空间点的情况,接着搜索由两个视图确定一个空间点情况。前面已经验证了由两个视图确定一个点时,会出现多种情形,即一对一、一对多(多对一)的两种情形。图中有标记符的格子表示满足距离不大于3 mm条件的组合。坐标轴上的格子数表示对应视图上的角点数。

      图  5  距离空间图

      Figure 5.  Diagram of distance space

      本文具体的匹配算法及操作如下所述:

      (1) 搜索由3个视图确定一个空间点时,搜索方法是在“距离空间图”每一个面上寻找一个标记格,看这3个标记格能否组合成一个闭合通路。若能找到满足闭合通路条件的3个点,说明存在一个空间点在3个视图中都有对应标记点,然后删除这3个格子所对应的行与列,继续重复上述步骤,直到搜索完毕。如下图所示,●符号所表示的是3个视图确定一个空间点的情况。

      (2) 搜索由两个视图确定一个空间点中的一对一的情况时,只需在“距离空间图”任意两个面中寻找两个标记格,使其满足同行或同列,并且所在的行与列中没有其他标记符,删除这两个标记格所在的行与列,然后重复搜索,直到搜索完为止。■符号对应的是双视图中的一对一的情况。

      (3) 最后搜索双视图中一对多(多对一)的情况时,搜索方法同一对一的情形类似,只不过一个面中的标记格所在的行或列在另一面中的同行或同列中存在多个标记格,删除满足条件的行与列,然后重复搜索直到搜索完毕。▲符号则是一对多(多对一)的情况。 假如一对多(多对一)的情况有N个,那么会出现2N种组合的解。

    • 实验所用的三坐标测量机为海克斯康制造的Global classic SR 07.10.07 。相机1、相机2和相机3的型号为MQ013MG-E2,分辨率为1 280×1 024。相机1和相机3所用镜头型号为VT1614-M2,焦距标注值为16 mm,相机2所用镜头型号为VTS0614-M2,焦距标注值为6 mm。本实验在VS2010平台上用C++语言实现了Harris角点提取,用本文的伪角点剔除方法剔除了内部伪角点和轮廓上的伪角点,并且利用提出的匹配算法成功的实现了特征点之间的匹配。

    • 实验结果如图 6所示。图 6(a)6(b)、6(c)表示Camera 1、2、3得到的零件图像用Harris提取100个角点的图,图 6(d)6(e)、6(f)表示剔除内部伪角点后的角点图,图 6(g)6(h)、6(i)表示剔除轮廓上伪角点后的角点图。从图 6中可以看到,最后各视图中的角点定位准确,尽管有些特征点由于遮挡只在一个视图中成像而无法确定该特征点,但这不影响后续的匹配。

      图  6  角点图像

      Figure 6.  Corner detection image

    • 根据3节中的匹配算法,对处理后的Harris特征点进行匹配,匹配结果如图 7所示。

      图  7  特征匹配结果

      Figure 7.  Matching result

      图 7(a)7(b)、7(c)分别是由Camera 1、2、3拍摄的图片,从图中可以看到,大部分特征点得到正确匹配,但由于有些特征点仅在一个视图中成像,故无法找到这些点的匹配点。多次实验证明,该算法的匹配率达到95%以上。

    • 图 7中的四组匹配点①、②、③、④所确定的角点编号为角点1、2、3、4。表 1是各相机的内部参数,(μ0ν0)为主点,f为焦距,k1为径向畸变系数。表 2是角点在各视图中的像素坐标(像素大小为0.005 3 mm),其中“-”表示角点在视图中不存在。表 3是各相机与CMM之间的坐标转换关系,α、β、γ分别代表绕X、Y、Z轴旋转,tx、ty、tz分别代表向X、Y、Z方向的平移。对于由两个视图确定的角点,如角点1,将Camera1和Camera3中匹配像点的反向投影射线的公垂线的中点作为三维点X。因此三维点X在CMM中的坐标可通过Camera1和Camera3来求解。对于由3个视图确定的角点,求解可以参考图 4(b)表 4是计算得到的角点在CMM中的坐标与用CMM测量得到的坐标。由表 4可知,在这4个角点中,x方向最大偏差为1.72 mm,y方向最大偏差为1.88 mm,z方向最大偏差为1.36 mm。定位最大偏差为2.17 mm。

      表 1  相机内部参数

      Table 1.  Camera internal parameter

      μ0/mmv0/mmf/mmk2
      Camera1658.884533.36316.193 0400.000 289
      Camera2647.305498.3556.042 9610.006 233
      Camera3647.598498.71516.235 5310.000 288

      表 2  角点在各视图中的像素坐标

      Table 2.  Pixel coordinates of corners in each view image

      Camera1(像素)Camera2(像素)Camera3(像素)
      1(544,957)-(758,840)
      2(533,805)(763,591)-
      3- (783,560)(791,690)
      4(815,723)(546,310)(526,631)

      表 3  相机与CMM之间的坐标转换关系

      Table 3.  Relation of coordinate transformation between camera and CMM

      α/radβ/radγ/radtx/mmty/mmtz/mm
      Camera1-CMM-1.503 2830.064 378-0.046 754227.974 026-1 050.507 167-400.084 751
      Camera2-CMM0.044 251-0.248 223-1.523 188308.677 97870.639 17130.065 223
      Camera3-CMM-1.543 118-0.080 176-1.524 048-1529.503 317624.449 218-522.936 725

      表 4  定位精度检测

      Table 4.  Positioning accuracy detection

      计算坐标/mmCMM测量坐标/mm误差/mm
      xyzxyzΔxΔyΔz
      1229.98607.47-752.80228.26608.13-753.521.72-0.790.72
      2229.13607.06-667.91229.84608.94-668.76-0.71-1.880.85
      3232.87602.95-667.16233.64604.06-668.52-0.77-1.111.36
      4402.91777.03-658.04401.29778.21-658.921.62-1.180.88

      造成表 4中数据误差的的主要因素有以下两个:

      (1) 角点提取不准确

      由于光照不均匀和零件本身存在毛刺等因素导致提取到的角点可能与真实角点存在1~2个像素的偏差。

      (2) 标定误差

      本实验中,相机与CMM之间的关系是间接地借助光笔来标定的,先建立光笔与CMM之间的关系,然后建立光笔与相机之间的关系,这种标定方法精度不是特别高,这是测量数据中最主要的误差来源。

    • 针对Harris算法提取的角点,本文提出了一种八链码搜索法和SUSAN区域法相结合的伪角点剔除方法,利用八链码搜索法剔除内部伪角点和SUSAN区域法剔除位于轮廓上的伪角点。最后在本文提出的“距离空间图”匹配算法下成功实现了匹配,同时对利用角点信息来判定和定位零件的位姿误差进行了分析。实验数据显示,本文提取的角点与真实角点间存在1~2个像素的偏差,且定位误差在1~3 mm范围内。基本满足实验中防碰撞系统提出的误差要求。该方法与其它角点提取和匹配算法相比具有简单、直接、高效等特点。但是该方法只能针对具有明显角点的零件,不适合于像球、圆柱体等具有自由曲面的零件。

参考文献 (18)

目录

    /

    返回文章
    返回