-
激光主动探测成像是一种新型的探测手段,利用激光的高强度、高准直性,对远距离暗目标进行照射成像,使在夜间及能见度较差的环境下对感兴趣目标进行分类识别成为可能,在军事、民用安防等领域均具有广阔的应用前景[1, 2]。目前国内外对于激光主动成像目标识别问题的研究尚处于起步阶段,可借鉴的文献较少。本文作者前期进行了一些研究,提出基于Hu矩+BP神经网络[3, 4]和基于快速视网膜局部不变特征[5]的激光主动成像目标识别方法。由于成像机制和成像条件的差异,相对于可见光被动成像下的目标识别,激光主动照明目标识别具有以下特点:激光的相干性引入主动成像的一种固有噪声—散斑噪声,从而模糊图像细节;CCD噪声以及大气传输噪声等造成图像对比度下降,严重影响成像质量;目标不同区域的照度不均匀造成目标分割困难;激光功率发生变化时,目标及背景的灰度级和对比度也发生变化;由于激光的单色性,目标的颜色特征难以获得;系统的实时性要求算法在单帧时间内完成识别过程。这使得大多数基于灰度、纹理、颜色的识别方法均难以应用在激光主动成像目标识别系统中,增加了识别的难度。
相对于灰度及颜色信息,激光主动照明下的目标轮廓更容易被提取。轮廓特征能够提供目标的形状信息,在目标识别中起着重要的作用。目前基于轮廓特征的识别方法包括:Belongie等人[6]提出形状上下文特征描述符,在极坐标下统计轮廓点的分布直方图,在轮廓发生间断时仍然能进行识别;Jurie等人[7]提出一种尺度不变特征检测算法,通过寻找边缘能量和熵的极值区域作为显著性区域,随后使用该区域环形邻域点的空间分布生成特征向量;Fergus等人[8]使用双正切点分割轮廓边界,并将其用于星座模型中进行识别;Kumar等[9]提出一种贝叶斯图结构模型,用于视频序列中形变物体的识别;Shotton等人[10]提出从训练图片中随机进行矩形采样,生成轮廓片段检测算子;Opelt等人[11]从轮廓片段池中寻找片段,依据的原则是正例的出现概率最大而反例的出现概率最小;Zhu等人[12]提出一种轮廓分组的技术用于目标识别,该方法将轮廓在多个尺度上进行分段;Qi等人[13]使用名为“内部轮廓”的特征用于目标的多视点立体重建与识别;吴晓雨等人[14]等通过找寻采样点数最多的角度区间,为形状上下文算法加入旋转不变性;黄伟国等人[15]将形状上下文和主成分分析相结合,提出PCA-SC算法;李莹等人[16]使用轮廓特征对火星探测巡视器和着陆器上的人工标志进行定位识别。以上的算法均需要复杂的计算,并且未考虑到复杂的目标运动,在目标发生仿射变换时,算法可能失效,因此不适用于激光主动成像这类对实时性、识别精度要求很高的场合。
本文针对激光主动成像的特点,提出一种基于快速轮廓转动力矩特征的识别方法,能够实时、准确地识别目标,算法对于旋转、尺度缩放、仿射等变换具有较好的不变性。提出的识别方法包含三个步骤:首先使用MSER方法检测出包含目标的特征区域,并将其变换成圆形区域;接着对于每个特征区域计算快速轮廓转动力矩特征(Fast Contour Torque Features,FCTF);最后将FCTF特征输入训练好的SVM分类器进行分类识别。
-
运动目标经常发生旋转、尺度缩放、光照变化和仿射变换,为了准确识别目标,希望提取出的特征区域对于上述变换具有不变性。
-
许多学者对仿射不变区域提取方法进行了研究,较著名的算法包括:Lindeberg等人[17]提出一种形状自适应平滑算法,在尺度空间中利用二阶矩阵迭代估计仿射不变区域;Baumberg等人[18]在尺度空间各层中首先寻找Harris角点,接着以这些角点为中心迭代估计仿射不变区域;Tuytelaars等人[19]改进了Baumberg的方法,通过在Harris角点周围定位边缘点以构造仿射不变区域;Matas[20]提出最大稳定极值区域算法(maximally stable extremal regions,MSER),将图像和反转图像分别使用0~255的阈值进行区域生长,并定义生长过程中面积保持稳定的区域为感兴趣的MSER区域。Mikolajczyk[21]推广了Harris和Hessian矩阵两种著名的特征点检测算法,提出Harris-affine和Hessian-affine仿射不变区域检测算法。Mikolajczyk[22]对各种仿射不变算法从视点变化、尺度变化和图像压缩等方面进行性能比较,指出多数情况下MSER算法拥有最高的重复率,尤其是对于同质均匀区域检测性能较好。在激光主动成像中,目标一般是同质均匀的,并且与背景具有较好的对比度,因此本文将MSER引入激光主动成像目标识别中。
定义1:令 S ={0,1,…,255},图像I :D Z 2是区域D到集合S 的映射,AD 表示像素间的四邻域连接关系。Q是D 的一块子区域,若对于任意像素点p,q∈Q ,满足:式中,ai∈Q,i=1,…,n,iAj表示i与j邻接。满足式(1)的Q被称为D的一个连通子集。
定义2:令 Q 的边界为Q ,Q 中的像素不属于Q,但是与Q 中的至少一个像素满足邻接关系,即:式中:p为Q的一个元素。
对于任意p∈Q,q∈Q,如果满足I(p)>O(q),则称Q为极大值区域,如果满足I(p)<I(q),称Q为极小值区域。
定义3:对使用不同阈值得到的嵌套极值区域 {Q1,Q2,…,Qi,…} ,定义:式中,|·|表示取区域的像素个数,表示阈值步长。若q(i*)是q(i)的局部极小值,则Qi*为最大稳定极值区域MSER。
取阈值从0~255变化,对目标图像进行二值化,并根据式(3)确定正向最稳定极值区域MSER+,接着将图像进行灰度值反转,重复二值化过程得到反向最稳定极值区域MSER-,则目标图像中的MSER={MSER+∪MSER-}。为了加快运算,首先采用复杂度为O(n)的箱排序方法对所有像素进行排序,并使用生成树的数据结构进行连续区域的提取和存储,整个MSER算法的计算复杂度为O(nloglogn)。
-
使用MSER算法提取出的特征区域可以是任意形状。一方面,轮廓边界也即MSER区域的边界,并没有包含在特征区域中,这不利于轮廓特征的提取,另一方面,任意形状的不变特征也难以构造。为此,将MSER区域拟合成规则的圆形区域,使其包含目标的全部轮廓。
设 Σ为特征区域Q 的协方差矩阵,即:其中, 存在矩阵A,将以 Pu(xu,yu) 为中心的单位圆映射到椭圆上,即:其中, 根据式(11)、(12),解得: 根据式(4)、(13)二式,解得: 计算出变换矩阵A后,任意形状的特征区域Q均可以转化为椭圆区域,该椭圆区域的形状由式(14)唯一确定。
接着需要对椭圆区域映射成圆形区域,使其对平移、尺度缩放、仿射等变换具备不变性。假设变换矩阵为B,则:
式中: r 为圆形区域的半径。同时,椭圆上的点满足:根据式(15)、(16),可解得: 综上,根据变换矩阵A和B,可以将任意形状的特征区域变换至圆形区域,其中圆心为原特征区域的质心,圆形区域的半径可调。经过变换之后,圆形区域具备平移、旋转、尺度缩放和仿射不变性,可以从中提取轮廓特征,进行目标识别。
-
物理学上转动力矩是力与力臂的乘积,表示力在该点相对于轴心的作用程度。本文将该定义推广到图像处理领域:位于图像某一子区域内的轮廓 c,c 上任意像素点p的作用力规定为:式中,向量 I(p)=(Ix,Iy)代表p点处的梯度,向量 I(p)⊥垂直于 I(p)并指向逆时针方向,大小与 I(p)相同。由式(18)可知,作用力$\vec{f}(p)$舍弃了梯度的大小信息,削弱了背景对比度不同对目标识别的影响。
对于某一图像块 Pa,假定o为Pa的中心,则在Pa中的任意轮廓点p 处的转动力矩${{\vec{t}}_{o}}(p)$式中:$\vec{o}p$表示由轮廓中心指向p的矢量,×表示矢量叉乘。
p点的作用力$\vec{f}(p)$和转动力矩${{\vec{t}}_{o}}(p)$如图1所示。
假设${{\vec{t}}_{o}}(p)$的模值为 τo(p) ,则τo(p) 的计算公式为:式中:θ为$\vec{f}(p)$和$\vec{o}p$的夹角,θ∈[0°,360°]。因为转动力矩始终垂直于图像平面,因此式(19)和式(20)实质上并无区别。为简便计,下文将式(20)计算出的转动力矩的模值称为转动力矩。
由式(20)可知,轮廓点转动力矩既包含了该轮廓点相对于中心点的位置信息,又包含了下一个轮廓点的位置信息,刻画了轮廓曲率的走势。假设Pa中只包含一个闭合轮廓c,其转动力矩的集合为T={τo(p1),τo(p2),…,τn(pn)},n为图像块中轮廓点的个数,p1为轮廓的起始点。在T已知的情况下,只需事先确定p1的位置,就可以从起始点开始将轮廓完整地还原出来。p1的位置不同,还原出的轮廓只存在简单的旋转关系。因此对于闭合轮廓,转动力矩集合可以唯一地描述轮廓。
对任意图像块 Pa ,其轮廓转动力矩为:式中:pi是图像块中的轮廓点,n为轮廓点的个数。
当图像块中轮廓比较规则时,每个点的τo(p)基本相同,根据式(21)算出的Γo将较大,而轮廓不规则时,τo(p)时而取值正时而取负值,最终计算出的Γo将较小。同时Γo的值也提供了轮廓在图像块上的大小和位置信息:Γo越大,轮廓离图像块边缘越接近。同时凸轮廓的Γo要大于凹轮廓的Γo。此外,根据边缘方向的定义,暗背景上的亮目标的轮廓转矩值大于0,而亮背景上的暗目标的轮廓转矩值小于0。
综上所述,图像块中轮廓的转动力矩Γo不仅能描述轮廓的大小、位置、形状规则度以及目标的亮暗等,并且在图像块中具有唯一闭合轮廓的情况下,根据转动力矩可以完全还原出轮廓。因此轮廓转动力矩包含了轮廓的重要信息,可以使用转动力矩描述目标的轮廓,实现自动目标识别。下面考虑如何构造具有各种不变性的轮廓特征。
-
由前文的分析可知,轮廓的转动力矩舍弃了轮廓梯度信息,不受图像对比度变化的影响,因此具备较好的光照不变性。
在轮廓发生旋转时,根据式(20)计算出的单个轮廓点转动力矩并没有发生变化。因此轮廓转动力矩也具备旋转不变性。
为了保证特征的尺度缩放不变性,对式(21)进行归一化: 式中:r是规整后圆形区域的半径。轮廓点的个数n、转动力矩τo(pi)、r均与图像尺度成线性关系,因此式(22)计算出的$\hat{\Gamma }$o具有尺度不变性。
为了增强算法对间断轮廓的鲁棒性,对每个规整化圆形特征区域Q,本文构造如图2所示的快速轮廓转动力矩特征FCTF:
(1)以特征区域中心O为圆形,半径为r/2的圆上,等间隔采样8个点{O1,O2,…O8}。为了保证采样点旋转不变性,OO1方向的确定借鉴SURF,以5°为步长取60°的扇形区域,计算扇形区域的$\hat{\Gamma }$值,遍历圆形特征区域后,$\hat{\Gamma }$取最大值的方向为OO1的方向。
(2)在以{O1,O2,…,O8}为圆心,r/4为半径的圆中,根据式(22)计算轮廓转动力矩$\hat{\Gamma }$o1, $\hat{\Gamma }$o2 ,…,$\hat{\Gamma }$o8。
(3)计算O为圆心,r为半径的圆形区域内的轮廓转动力矩$\hat{\Gamma }$o,并与步骤(2)的结果合并,得到最终的FCTF(O,r)={ $\hat{\Gamma }$o, $\hat{\Gamma }$o1, $\hat{\Gamma }$o2, …,$\hat{\Gamma }$o8}。
从FCTF的定义可以看出,其主要计算量集中于两个部分:确定主方向和每个采样区域的转动力矩。二者均需要计算大量的轮廓转动力矩。为了提高计算效率,轮廓转动力矩可使用以下方法进行快速计算:假设整幅图像的左上角为原点 or ,对于一个中心为o 的图像块Q ,它的转动力矩向量${{\vec{T}}_{o}}(Q)$可以这样计算:每读入一帧图像,对于其中的每个像素p,式(23)中的$\vec{f}(p)$和${{\vec{o}}_{r}}p$×$\vec{f}(p)$可以预先计算,并存入数组中。对于该帧图像中的任意图像块Q,只需要进行两次累加和一次乘法操作,就可以得到${{\vec{T}}_{o}}(Q)$,最后进行归一化得到$\hat{\Gamma }$o(Q)。这大大加快了FCTF的计算速度,符合激光主动成像识别系统对于实时性的要求。
-
本文提出的基于快速轮廓转动力矩的激光主动成像目标识别方法步骤如下:
(1)取阈值从0~255变化,对目标图像进行二值化,使用MSER算法确定正向最稳定极值区域MSER+,接着对反转灰度图重复上述过程,得到反向最稳定极值区域MSER-,最终得到目标特征区域MSER={MSER+MSER-},并将其规则化至圆形区域。
(2)对于每个圆形特征区域,根据前文3.2的步骤定位特征点,并计算每个特征点的轮廓转动力矩,最后合并为目标的FCTF特征向量。
(3)对于一组训练图片,重复步骤(1)(2),并将提取出的正例特征和反例特征输入SVM分类器进行反复训练。
(4)识别阶段,每输入一幅激光主动照明图像,重复步骤(1)(2),并将提取出的FCFT特征输入SVM分类器进行分类识别,判断是否与正例图片为同类目标。
-
为验证本文提出的识别算法的有效性,搭建激光主动成像目标识别系统如下:激光发射系统采用波长为532 nm、发散角为5 mrad的半导体泵浦固体脉冲激光器;光学成像系统采用成像分辨率为1 392×1 024 的ICCD相机,镜头直径D=110 mm,焦距f=300 mm,通过Cameralink接口与工控机上的图像采集卡连接。激光发射系统发射脉冲激光照射远处的目标,光信号经目标反射后返回成像系统,成像系统以25 fps的帧频向工控机传输图像,通过本文识别算法实现目标识别。自制距离选通控制器控制ICCD的选通门关闭,抑制了后向散射,保证采集到较为清晰的目标像。软件编程环境为:i7-2600 3.40GHz CPU、4G内存,程序采用VS2008编程实现。
识别目标采用纯黑色模具枪,长、宽、厚分别为80 cm、24 cm、4 cm,在黑夜条件下,将目标置于距离识别系统450和550 m处,测得其主动成像的结果如图3(a)和图3(b)所示,目标形态包括竖直向下、斜向下、水平、斜向上、竖直向上以及仿射变换。从图中可看出,目标和背景虽然具有较好的对比度,但是存在明暗相间的散斑噪声,同时目标的颜色信息也不够充分,增加了识别难度。目标距离越远,激光束发散和衰减越严重,接收系统收到的反射光越弱,因此观察到550 m处光斑照度比450 m处弱,视觉效果上看,目标变得更加模糊。
-
使用MSER算法提取感兴趣的椭圆区域,并剔除面积明显过小的区域,结果如图4(a)所示,可见算法可以较为完整地提取出目标区域。取r=45,对椭圆区域进行规整化,得到的圆形区域如图4(b)所示。可见规整后,圆形区域内的目标形态基本相同,尤其是当目标发生仿射变换时,椭圆区域内的目标形状畸变较为严重,而经过规整后的圆形区域内,目标形态得到一定程度的校正。因此本文采用的特征区域检测算法具有良好的旋转和仿射不变性。
-
提取出目标的规整化圆形区域后,使用canny算子提取该区域内的轮廓,计算其FCTF局部不变特征,输入SVM分类器进行训练。训练样本正例使用500张目标枪支图片,反例使用500张其他目标和主动成像的背景图片。
对每帧激光主动成像图片,提取其MSER特征区域并规整为圆形区域,随后提取FCTF特征,输入训练好的SVM进行识别。黑夜条件下分别在450和550 m处进行实验,让目标按照从向下—水平—向上—水平(此过程为旋转变换,即垂直于光束方向运动)—朝向实验平台—回到水平(此过程为仿射变换,即与光束方向间夹角发生变化)的过程运动,运动过程中得到实时信息处理的部分识别结果如图5、6所示,可见无论是目标发生旋转还是仿射变换,本文算法均能够很好地识别。
图 5 黑夜条件下450m处的目标枪识别结果
Figure 5. Recognition results of target at 450m from experiment platform at night
图 6 黑夜条件下550 m处的目标枪识别结果
Figure 6. Recognition results of target at 550 m from experiment platform at night
分别使用文献[3]的Hu矩+BP神经网络、文献[23]的SIFT局部不变特征和文献[5]的FREAK局部不变特征识别方法进行对比实验,通过对采集到的450和550 m处运动目标图片进行识别统计,得到的目标统计识别率如表1所示。一方面,4种算法的旋转变换识别率均高于仿射变换的识别率,这是因为仿射变换会导致目标形态发生畸变,导致特征提取不准确;绝大部分情况下,550 m处的识别率低于450 m处的识别率,这可能是因为550 m处光斑能量更加发散,目标与背景的对比度变低,散斑影响更加严重,导致目标变得模糊,特征难以提取。另一方面,4种算法中,基于局部不变特征的识别方法(SIFT和FREAK)识别率低于基于矩特征和轮廓特征的识别方法,本文方法的识别率最高。这是因为SIFT和FREAK特征容易受到噪声的影响,在散斑较为严重的情况下,识别率迅速下降。两种局部不变特征算法中,SIFT算法识别率高于FREAK算法,这是因为SIFT算法对特征点周围所有邻域像素梯度进行了统计分析,包含的信息更加充分,同时对于噪声也有更强的稳健性。本文算法在旋转变换下识别率与Hu矩+BP神经网络识别方法相当,而在仿射变换情况下识别率远远超过Hu矩+BP神经网络识别方法,这是因为Hu矩不具备仿射不变性,而本文算法将目标区域规整为圆形区域,具备仿射不变性。
表 1 黑夜条件下450和550 m处的目标识别统计结果
Table 1. Statistics results of target recognition at 450 m and 550 m from experiment platform at night
图5和图6的成像距离分别为450和550 m,导致目标的尺寸不同,而本文算法对轮廓尺寸进行了归一化处理,能够准确识别不同大小的目标,表明算法对轮廓尺寸的缩放不变性;运动过程中,目标位置发生变化,识别结果体现了算法对轮廓位置的不变性;在激光功率一定的情况下,目标于550 m处的照度低于450 m处的照度,而在两种状态下的准确识别结果体现了算法的光照不变性;目标发生仿射变换时,轮廓的形状和规则度发生变化,本文算法也能够准确识别,体现了算法的仿射不变性。
为衡量算法的时间性能,统计4种识别算法的单帧运算时间,如表2所示。可见Hu矩+BP 神经网络识别方法耗时最少,本文算法次之,SIFT算法耗时最长。这表明快速转动惯量计算方法能够保证本文识别算法极高的计算效率。在成像系统工作在25 fps的条件下,除了SIFT算法,其余三者均能满足实时处理的要求。
表 2 算法单帧运算时间统计
Table 2. Statistic of cost time in single frame for different methods
综上,本文提出的识别算法对于目标的旋转、仿射变换均具有不变性,识别率高于已有的激光主动成像目标识别方法,同时算法满足激光主动成像系统实时性的要求。
-
本文提出一种基于快速轮廓转动力矩特征(FCTF)的激光主动成像目标识别方法。所提的快速轮廓转动力矩特征能够很好地描述轮廓的大小、位置、形状规则度以及目标的亮暗等信息,同时具备旋转、尺度缩放不变性。同时,MSER特征区域检测方法使算法具备仿射不变性。实验表明所提算法识别率优于已有的激光主动成像目标识别方法,同时单帧运算时间达9.68 ms,满足激光主动成像系统对于实时性的要求,具有良好的应用前景。
Target Recognition in laser active imaging based on fast contour torque features
-
摘要: 针对激光主动成像的图像特性,提出一种基于快速轮廓转动力矩的目标识别方法。将转动力矩的概念引入目标识别中,提出的快速轮廓转动力矩特征(FCTF)不仅包含了轮廓的尺寸、位置、规则度以及目标的亮暗等信息,同时对于旋转、尺度缩放等变换具有不变性。采用转动力矩的快速计算方法,提高了识别算法的计算效率。识别算法首先使用最大稳定极值区域(MSER)算法检测出目标特征区域,并将其变换为圆形区域,然后结合快速转动力矩特征算法提取出目标区域的局部不变特征,最后输入训练好的支持向量机分类器进行识别。实验结果表明相比于已有的激光主动成像目标识别方法,所提算法对于旋转、仿射变换均具有更高的识别率,同时单帧平均运算时间为9.68 ms,满足激光主动成像目标识别系统实时性的要求。
-
关键词:
- 激光主动成像 /
- 目标识别 /
- 最大稳定极值区域 /
- 快速轮廓转动力矩特征 /
- 支持向量机
Abstract: Due to the characteristic of images in laser active imaging, a novel target recognition method based on fast contour torque features(FCTF) is proposed. The concept of torque is introduced into target recognition. The proposed fast contour torque features contain abundant information such as the size, position, shape regularly of the contours and darkness of the target, which are as well invariant to rotation and scaling. Meanwhile the fast calculation method greatly improves the computational efficiency. Firstly feature regions are detected using Maximally Stable Extremal Regions(MSER) algorithm, and transformed into circular areas. Then local invariant features of the feature regions are extracted by fast contour torque feature descriptor. At last the features are input into the trained Suppor Vector Machine(SVM) classifier for identification. The experimental results indicate that compared with the existing laser active imaging recognition algorithms, the proposed method acquires higher recognition rate in rotation and affine transformation, and the average computing time of single frame is 9.68 ms, which meet the real-time requirement in laser active imaging. -
表 1 黑夜条件下450和550 m处的目标识别统计结果
Table 1. Statistics results of target recognition at 450 m and 550 m from experiment platform at night
表 2 算法单帧运算时间统计
Table 2. Statistic of cost time in single frame for different methods
-
[1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] [19] [20] [21] [22] [23] -