1.   引 言

在防碰撞系统^[1-2]中，零件位姿的判定和定位是进行智能路径规划和自动检测的前提和基础^[3-4]，而对于有角点的零件，利用角点信息在零件姿态判定中极其重要，因此角点提取和匹配定位在防碰撞系统中是必不可少的。

角点一般是指图像中亮度变化剧烈的像素点或者指图像中梯度值和梯度变化率都很高的像素点，它反映了图像的局部特征。角点检测是图像处理中的一个关键预处理步骤，常用于图像匹配、运动物体跟踪以及目标识别等方面^[5]。现有的特征点提取方法可分为基于模板的特征点检测、基于边缘的特征点检测和基于亮度变化的特征点检测。基于模板的特征点检测算法需要设计复杂的模板，对于复杂图像不适用；基于边缘的特征点检测算法对边缘检测的依赖性很大；而基于亮度变化的特征点检测方法已成为研究热点，Harris、SUSAN和SIFT算法等都属于该类算法^[6]。

文献^[5]中提出利用双掩膜进行非极大值抑制方法提取角点，但是掩膜设计成为一大难点。文献^[7]中利用全局和局部边缘的曲率特性提取角点，对边缘检测要求很高。文献^[8]中利用多尺度Harris算法需要在多个尺度上检测角点，但是计算量比传统算法大大增加。目前用于图像匹配的方法主要有两大类^[9]:一是基于灰度相关的匹配方法，该方法是对2幅图像的灰度相似度进行计算估计，尽管该算法简单，匹配准确率高，但不适合于光轴之间夹角很大的多个相机间的匹配，且计算量大；另一种是基于图像特征的方法，该方法主要有点匹配、线匹配和面匹配，由于线特征为一维特征，面特征为二维特征，其匹配算法要考虑到的方向、尺度位置等因素受噪声、 遮挡影响较大。而点特征包含图像中丰富的信息，其提取算法是计算机视觉中比较成熟且经典的技术,如Harris算法，SUSAN算法。角点是最常用的目标特征之一，它们常用于图像单尺度下的角点检测。但是实际中由Harris提取到的角点包含很多杂乱无章且包含无用信息的伪角点，这些伪角点主要是由光照和零件上的毛刺所引起的。对于所获得的角点，利用现有的匹配算法^[9-12]无法直接建立匹配关系。

针对以上问题，本文提出了八链码搜索法和SUSAN区域法相结合的伪角点剔除方法。该方法利用八链码搜索法删除图像的内部伪角点后，再利用SUSAN 区域法删除位于轮廓上的伪角点，最后基于立体视觉原理，提出“距离空间图”的匹配算法，对留下的角点进行匹配和定位。通过实验证明，本文的伪角点剔除方法和匹配定位算法有较高的精度，具有一定的实用性。

2.   角点提取和剔除

实验中为避免外部环境的干扰，先用位于CMM^[14]3个不同方位的相机分别获取放零件前的背景图像，然后再获取放零件后的零件图像，两图像相减后得到去除背景后的零件图像。对于相减后的图像，经预处理后采用Harris算法^[15]提取图像特征点。该方法使用图像的一阶差分来计算每个像素处的平均平方梯度矩阵M，如式(1)。通过特征值分析，如式(2)，给出角点响应。该方法原理简单、运算量小、使用方便。实验中发现可检测性、定位性、稳定性都满足要求，运算速度也较快^[5]，但是同时也会检测到很多伪角点。对于所获得的角点，利用现有的匹配算法无法直接建立匹配关系。因此，在匹配前应该把这种伪角点删除，下面将通过以下两个步骤来删除伪角点。

式(1)中，矩阵M即为每个像素的平均平方梯度矩阵，I表示了点(x,y)处的像素亮度，*是卷积符号，W是一个3×3高斯低通滤波器。式(2)中，det(M)为矩阵M的行列式，tr(M)为矩阵的迹，k为一个经验值，通常被选定为0.04。R为角点响应函数的值，设定一个合理的阈值条件threshold，当R的值大于此阈值时，此时图像点即为感兴趣的特征点。

2.1   内部伪角点剔除

八链码搜索如下图 1所示，对于由Harris算法提取的角点，首先从八链码的0方向搜索连续两个大于某阈值的像素点，该阈值可以取该角点像素值的一半。如果能搜到满足上面条件的像素点集，那么再从八链码的1方向搜索，直到八链码的8个方向都能搜索到满足条件的点集，那么这个角点属于内部伪角点。否则如果有一个方向不满足搜索条件，那么停止其他方向的搜索，因为该角点一定不属于内部伪角点。

图  1  八链码的方向图

中文注解

Figure  1.  Eight-chain-code direction

英文注解

下载: 全尺寸图片 幻灯片

2.2   轮廓上伪角点剔除

SUSAN算法^[16]是由牛津大学的S M Smith提出的，同样也是一种基于灰度的特征点获取方法。其基本原理是通过图像中目标与背景的对比度确定阈值，将模板中的各点与核心点(当前点)的灰度值用相似比较函数进行比较，得到与核心点灰度相近的点的集合区域称为核值相似区(Univalue Segment Assimilating Nucleus，USAN)。实验通过对留下的角点利用SUSAN模板进行搜索，其在轮廓上的角点处的USAN区大于在边缘交线上的角点处的USAN区，由此，响应图像中的角点特征。在实际操作时，对于模板内任一像素点R与模板中心像素N，通过给定的阈值t来判断该像素点是否属于USAN区域，其判别函数为:

那么以N为中心像素点模板内 USAN区域的大小为:

式中，S(N,r)表示以N为中心，r为半径的圆形模板，表示模板中USAN区域的大小。然后，将n(N,r)与预先给定阈值G进行比较，由此剔除图像中轮廓上的角点^[17]。

3.   特征点匹配

本实验中，3个相机分别位于CMM三个不同的方位，如下图 2所示，相机1位于CMM的正前方，相机2位于CMM的横梁上，相机3位于CMM的左方，各相机与CMM之间的坐标关系已标定。其中零件摆放在CMM的工作平台上，且都在3个相机的视场范围内。本文中设计的视觉系统都能够较大限度地提取零件的三维特征信息，由于3个相机的光轴基本相互垂直，相机之间能够互相约束景深尺寸，可以较大限度地减少视觉系统的定位误差。

图  2  相机与CMM的方位图

中文注解

Figure  2.  Orientation diagram of camera and CMM

英文注解

下载: 全尺寸图片 幻灯片

由于特征点提取不够精确，匹配两图中的对应点成为本文最大的困难。理想情况下，对于图像点x和x′的两条反向投影的射线，如果满足对极几何约束x′^TFx=0，其中F为基本矩阵，那么这两条射线共面，从而相交于一个三维点X。但是在实际中，非理想测量点x和x′反向投影的射线在三维空间中一般不共面，如下图 3(a)所示，测量点不满足对极几何约束^[18]。对极线I′=Fx是过x的射线的像，而对极线I=F^Tx′是过x′的射线的像。因为射线不相交，x′不在I′上，并且x不在I上，如下图 3(b)所示。

图  3  对极几何约束图

中文注解

Figure  3.  Diagram of epipolar geometry

英文注解

下载: 全尺寸图片 幻灯片

针对上述出现的问题，本文采用一种新的判定方法，考虑到本实验中防碰撞系统实际应用场合和系统所需精度等，将测量点x和x′反向投影的射线之间的异面距离不超过3 mm作为判定条件，若满足这一条件就判定这两点是匹配点。取两射线公垂线的中点作为三维点X。在双目视图中，这种方法会出现多义性，因为一幅图像中的某个点可能会对应另一幅视图中多个点，如图 4(a)所示。这是由重构的多义性引起的^[18]，但是在三视图中它不具有多义性。若空间一个点在3幅视图中都有对应点，那么两两视图按上述方法确定一个三维点，这样就可以构成一个三角形，将三角形的重心作为三视图中的三维点X，如图 4(b)所示。

图  4  多视图确定空间点

中文注解

Figure  4.  Multiple views to determine the point

英文注解

下载: 全尺寸图片 幻灯片

从这3幅视图中寻找出对应的匹配点，关键的匹配算法是首先构建“距离空间图”，如图 5所示，即3幅视图中的角点两两之间的反向投影射线之间的异面距离构成的三维图。假如视图 1、2、3中分别有n₁、n₂、n₃个角点，那么视图 1和2之间角点构成的距离关系有n₁×n₂种，同理视图 2和3之间有n₂×n₃种，视图 3和1之间有n₃×n₁种。然后从“距离空间图”中挑选出距离不大于3 mm的情形。算法首先搜索由3个视图确定一个空间点的情况，接着搜索由两个视图确定一个空间点情况。前面已经验证了由两个视图确定一个点时，会出现多种情形，即一对一、一对多(多对一)的两种情形。图中有标记符的格子表示满足距离不大于3 mm条件的组合。坐标轴上的格子数表示对应视图上的角点数。

图  5  距离空间图

中文注解

Figure  5.  Diagram of distance space

英文注解

下载: 全尺寸图片 幻灯片

本文具体的匹配算法及操作如下所述：

(1) 搜索由3个视图确定一个空间点时，搜索方法是在“距离空间图”每一个面上寻找一个标记格，看这3个标记格能否组合成一个闭合通路。若能找到满足闭合通路条件的3个点，说明存在一个空间点在3个视图中都有对应标记点，然后删除这3个格子所对应的行与列，继续重复上述步骤，直到搜索完毕。如下图所示，●符号所表示的是3个视图确定一个空间点的情况。

(2) 搜索由两个视图确定一个空间点中的一对一的情况时，只需在“距离空间图”任意两个面中寻找两个标记格，使其满足同行或同列，并且所在的行与列中没有其他标记符，删除这两个标记格所在的行与列，然后重复搜索，直到搜索完为止。■符号对应的是双视图中的一对一的情况。

(3) 最后搜索双视图中一对多(多对一)的情况时，搜索方法同一对一的情形类似，只不过一个面中的标记格所在的行或列在另一面中的同行或同列中存在多个标记格，删除满足条件的行与列，然后重复搜索直到搜索完毕。▲符号则是一对多(多对一)的情况。 假如一对多(多对一)的情况有N个，那么会出现2^N种组合的解。

4.   实验结果与分析

实验所用的三坐标测量机为海克斯康制造的Global classic SR 07.10.07 。相机1、相机2和相机3的型号为MQ013MG-E2，分辨率为1 280×1 024。相机1和相机3所用镜头型号为VT1614-M2，焦距标注值为16 mm，相机2所用镜头型号为VTS0614-M2，焦距标注值为6 mm。本实验在VS2010平台上用C++语言实现了Harris角点提取，用本文的伪角点剔除方法剔除了内部伪角点和轮廓上的伪角点，并且利用提出的匹配算法成功的实现了特征点之间的匹配。

4.1   特征点提取和剔除

实验结果如图 6所示。图 6(a)、6(b)、6(c)表示Camera 1、2、3得到的零件图像用Harris提取100个角点的图，图 6(d)、6(e)、6(f)表示剔除内部伪角点后的角点图，图 6(g)、6(h)、6(i)表示剔除轮廓上伪角点后的角点图。从图 6中可以看到，最后各视图中的角点定位准确，尽管有些特征点由于遮挡只在一个视图中成像而无法确定该特征点，但这不影响后续的匹配。

图  6  角点图像

中文注解

Figure  6.  Corner detection image

英文注解

下载: 全尺寸图片 幻灯片

4.2   角点匹配结果

根据3节中的匹配算法，对处理后的Harris特征点进行匹配，匹配结果如图 7所示。

图  7  特征匹配结果

中文注解

Figure  7.  Matching result

英文注解

下载: 全尺寸图片 幻灯片

图 7(a)、7(b)、7(c)分别是由Camera 1、2、3拍摄的图片，从图中可以看到，大部分特征点得到正确匹配，但由于有些特征点仅在一个视图中成像，故无法找到这些点的匹配点。多次实验证明，该算法的匹配率达到95%以上。

4.3   角点定位

将图 7中的四组匹配点①、②、③、④所确定的角点编号为角点1、2、3、4。表 1是各相机的内部参数，(μ₀ν₀)为主点，f为焦距，k₁为径向畸变系数。表 2是角点在各视图中的像素坐标(像素大小为0.005 3 mm)，其中“-”表示角点在视图中不存在。表 3是各相机与CMM之间的坐标转换关系，α、β、γ分别代表绕X、Y、Z轴旋转，tx、ty、tz分别代表向X、Y、Z方向的平移。对于由两个视图确定的角点，如角点1，将Camera1和Camera3中匹配像点的反向投影射线的公垂线的中点作为三维点X。因此三维点X在CMM中的坐标可通过Camera1和Camera3来求解。对于由3个视图确定的角点，求解可以参考图 4(b)。表 4是计算得到的角点在CMM中的坐标与用CMM测量得到的坐标。由表 4可知，在这4个角点中，x方向最大偏差为1.72 mm，y方向最大偏差为1.88 mm，z方向最大偏差为1.36 mm。定位最大偏差为2.17 mm。

表  1  相机内部参数

Table  1.  Camera internal parameter

	μ0/mm	v0/mm	f/mm	k2
Camera1	658.884	533.363	16.193 040	0.000 289
Camera2	647.305	498.355	6.042 961	0.006 233
Camera3	647.598	498.715	16.235 531	0.000 288

下载: 导出CSV 

| 显示表格

表  2  角点在各视图中的像素坐标

Table  2.  Pixel coordinates of corners in each view image

	Camera1(像素)	Camera2(像素)	Camera3(像素)
1	(544,957)	-	(758,840)
2	(533,805)	(763,591)	-
3	-	(783,560)	(791,690)
4	(815,723)	(546,310)	(526,631)

下载: 导出CSV 

| 显示表格

表  3  相机与CMM之间的坐标转换关系

Table  3.  Relation of coordinate transformation between camera and CMM

	α/rad	β/rad	γ/rad	tx/mm	ty/mm	tz/mm
Camera1-CMM	-1.503 283	0.064 378	-0.046 754	227.974 026	-1 050.507 167	-400.084 751
Camera2-CMM	0.044 251	-0.248 223	-1.523 188	308.677 97	870.639 171	30.065 223
Camera3-CMM	-1.543 118	-0.080 176	-1.524 048	-1529.503 317	624.449 218	-522.936 725

下载: 导出CSV 

| 显示表格

表  4  定位精度检测

Table  4.  Positioning accuracy detection

	计算坐标/mm			CMM测量坐标/mm			误差/mm
	x	y	z	x′	y′	z′	Δx	Δy	Δz
1	229.98	607.47	-752.80	228.26	608.13	-753.52	1.72	-0.79	0.72
2	229.13	607.06	-667.91	229.84	608.94	-668.76	-0.71	-1.88	0.85
3	232.87	602.95	-667.16	233.64	604.06	-668.52	-0.77	-1.11	1.36
4	402.91	777.03	-658.04	401.29	778.21	-658.92	1.62	-1.18	0.88

下载: 导出CSV 

| 显示表格

造成表 4中数据误差的的主要因素有以下两个：

(1) 角点提取不准确

由于光照不均匀和零件本身存在毛刺等因素导致提取到的角点可能与真实角点存在1~2个像素的偏差。

(2) 标定误差

本实验中，相机与CMM之间的关系是间接地借助光笔来标定的，先建立光笔与CMM之间的关系，然后建立光笔与相机之间的关系，这种标定方法精度不是特别高，这是测量数据中最主要的误差来源。

5.   结 论

针对Harris算法提取的角点，本文提出了一种八链码搜索法和SUSAN区域法相结合的伪角点剔除方法，利用八链码搜索法剔除内部伪角点和SUSAN区域法剔除位于轮廓上的伪角点。最后在本文提出的“距离空间图”匹配算法下成功实现了匹配，同时对利用角点信息来判定和定位零件的位姿误差进行了分析。实验数据显示，本文提取的角点与真实角点间存在1~2个像素的偏差，且定位误差在1~3 mm范围内。基本满足实验中防碰撞系统提出的误差要求。该方法与其它角点提取和匹配算法相比具有简单、直接、高效等特点。但是该方法只能针对具有明显角点的零件，不适合于像球、圆柱体等具有自由曲面的零件。