1.   引 言

视觉注意机制可以快速定位到当前图像中的一些显著性区域。视觉注意计算机模型可以不用人工参与快速查找到图像中感兴趣区域，对图像处理和图像复原等技术提供理论支持^{[1, 2, 3, 4, 5]}。1998年，Itti和Koch等人建立了基于显著的空间注意计算机模型^{[6, 7]}，该模型在提取特征向量时采用多通道和多尺度的滤波器对图像进行滤波，在提取特征后，用中央-外围(Center-Surround)算子来模拟细胞的感受野特性，从而获得显著图；然后根据生成的显著图，用胜者全胜(WTA)机制来确定显著性区域，从而得到待检测目标^{[8, 9, 10, 11]}。

当前有些学者将协同感知理论^[12]、多尺度分析和编组、多尺度熵理论应用到视觉注意的整合阶段^{[13, 14]}，并取得了较好的效果。但是这些模型仅是基于空间注意，并且在处理动态信息时略显不足。并且大部分模型往往都存在计算复杂性过高的问题。一些关于心理学及神经科学的研究成果表明，在视觉通路中，对于亮度、颜色和方向等特征的提取通常并不需要同等对待，往往都会随着自顶向下给出任务的不同而不同，这种特征权重随任务而改变的视觉信息处理机制使得人们能够快速有效地定位目标^{[15, 16]}。因此，需要根据任务情境的不同计算相应通道的特征权重值，来指导全局显著图的生成，进而准确地定位目标。

本文在前人工作的基础上，设计并实现了一个融入运动特征的视觉显著性模型，基于这个模型，提出一种基于多尺度差分的运动特征提取方法，在指导全局显著图的生成时，基于多通道参数估计方法计算各通道在整合时的权重，从而能准确定位目标在图像上的位置。

2.   视觉显著性模型及其原理

本文首先提取当前帧图像的亮度、颜色和方向信息，通过高斯金字塔和小波分解滤波，然后归一化处理计算得到多尺度特征，生成各个通道的显著图；在得到运动显著图时，要对当前帧和前一帧图像分别滤波提取动态特征，然后对两帧图像的特征图进行多尺度的差分，再融合为运动显著图；最终通过多通道加权方法生成全局显著图，采用WTA机制来最终得到感兴趣区域，即注意焦点。融入运动特征的视觉显著性模型如图1所示。

图  1  融入运动特征的视觉显著性模型

Figure  1.  Visual saliency model fused with motion features

下载: 全尺寸图片 幻灯片

式中，I~代表亮度显著图，C~代表颜色显著图，O~代表方向显著图，M~代表运动显著图，α,β,γ,λ是权重系数，满足α+β+γ+λ=1，通过提出的多通道参数估计方法得到，具体算法详见下节内容。

3.   视觉显著性特征提取方法

3.1   静态特征提取

静态显著性特征的提取是在Itti视觉注意模型基础上进行的。本文在方向特征提取上进行了改进，使融合后的静态显著图更有利于和动态显著图融合。对输入图像用9层高斯金字塔进行滤波，提取亮度、颜色、方向特征，由于视觉神经元一般对于视觉场景中一小段范围最敏感，而对于它的周围有局部的抑制作用，因此这里对于亮度和颜色，采用中央-外围(Center-Surround)算子进行差分，它是基于DoG(Diffrence of Gaussions)方式：

当σ₁＜σ₂时,G(x,y)称为二维ON型DoG算子；当σ₁＞σ₂时,G(x,y)称为二维OFF型DoG算子。σ₁的作用是控制Center(中央凹)的敏感区，而σ₂的作用是控制Surround(外围)的敏感区。

式中，c代表Center的某一尺度，c∈{2,3,4}，即9层中的第2，3，4层；其中s代表Surround的某一尺度，s∈{3,4}，即9层中的第3，4层，代表两个特征图的每个像素作差分。

式中，c代表Center的某一尺度，c∈{2,3,4}，即9层中的第2,3,4层，θ∈{0,π/4,π/2,3π/4}，代表4个方向。

3.2   基于多尺度差分的运动特征提取

式中，σ代表金字塔的尺度，γ的值取1，-1。

式中，c,s∈{0,1,2,3,4}，为两个相邻帧图像的每个对应像素作差分。

3.3   显著图生成策略

式中，I~,C~,O~分别为亮度显著图、颜色显著图和方向显著图。N()代表归一化函数，将颜色、亮度和方向特征图进行归一化。为不同尺度图像的每个像素点对应相加。

对每一幅运动特征图进行归一化，再融合就形成了动态显著图。

3.4   多通道参数估计

基于本文设计的融入动态特征的视觉显著性模型，提出了一种新的基于多通道加权的参数估计方法，通过计算图像感兴趣区域(ROI)与眼动感兴趣区域的相似度来估计多通道参数。使用这样估计的参数对多通道进行加权，能够使得计算得到的图像感兴趣区域尽可能地与眼动感兴趣区域相近，从而能在图像上准确定位目标位置。

式中，I₁,I₂分别代表显著图和眼动图的掩模图，n代表图像像素总数，f_i,g_i代表分别代表显著图和眼动图在i点的像素值。

式中，X₁,Y₁代表显著图的ROI的质心，X₂,Y₂代表眼动图的ROI的质心，质心为图像ROI区域的所有像素的均值，即数学期望；W、H分别代表图像的宽度和高度。

利用式(15)来计算图像感兴趣区域(ROI)与眼动感兴趣区域的相似度，其中眼动ROI是固定的，分别调整底层各个通道的显著图的参数，得到相似度，当得到最大相似度时就为最优参数值。

4.   实验结果

根据本文提出的算法，用Matlab进行仿真实验，验证本文提出算法的有效性。针对20组视频图像序列(每组50帧)进行了实验，实验选取所有测试视频图像序列来自CDNET2012和CVPapers库。为体现根据任务情境实现的自顶向下的指导作用，所选取的图像序列中大多含有单个或多个突出目标。在这些实验中随机选取了3组图像序列，取得了较为满意的实验结果。

图  2  视觉显著性模型多通道显著图

Figure  2.  Multi-channel saliency maps of visual saliency model

下载: 全尺寸图片 幻灯片

图2为本文提出融入动态特征视觉显著性模型生成的多通道显著图。从图像中分别提取各通道的显著性特征，经过差分并归一化后得到各通道的显著图。其中图2(a)为实验原图，选取3组图像序列，图2(b)为亮度显著图、图2(c)为颜色显著图，图2(d)为方向显著图、图2(e)为运动显著图。如图2(e)的运动显著图所示，在场景中，静态特征被有效抑制，图像中具有运动特征的汽车和人得到了加强，从而验证了本文提出的模型对于具有运动特征的目标区域检测的有效性。

表1为多通道参数估计权值平均值的部分实验结果。通过分析比较显著图ROI和眼动图ROI的相似度来评价文本提出算法的准确性和有效性。将全局显著图S 归一化为0~255，提取出注意焦点，即ROI。其中3组图像序列(每组50帧图像)的4个底层特征的权重值为每组图像的平均值。表1给出了眼动ROI和本文提出算法提取到的ROI之间满足最大相似度的各个特征通道的权值平均值。

表  1  多通道参数估计权值平均值的部分实验结果

Table  1.  Part results of the avarage values of the multi-channel parameter estimation

下载: 导出CSV 

| 显示表格

从表1中可以看出，不同底层特征对ROI的影响不同，同一底层特征对不同类型图像的影响程度也不同，由于前两组图像中的汽车都有明显的颜色特征和运动特征，所以颜色和运动特征的权重较大，由于第3组图像的3个人相对其他目标运动特征较明显，所以运动特征的权重较大，其他3个特征权重较小，通过运动特征可以描述图像的ROI，从而减少计算量。

图3为Itti算法和本文算法的比较结果，给出20组视频图像序列中每组图像最终计算的ROI与眼动ROI的相似度平均值，可以看出本文算法的大部分图像序列的平均相似度要大于Itti算法的平均相似度，说明文本算法提取的ROI更准确，从而可有效提高目标搜索的效率。

图  3  20组图像的平均相似度比较

Figure  3.  Average similarity of 20 group images

下载: 全尺寸图片 幻灯片

5.   结 论

本文设计并实现了融入运动特征的视觉显著性模型，并在此模型基础上，利用基于多尺度差分的运动特征提取方法提取运动特征，然后生成运动显著图。在生成全局显著图时，提出了一种基于多通道参数估计算法，算法通过计算图像感兴趣区域(ROI)与眼动感兴趣区域的相似度来估计多通道参数，为目标在图像上的准确定位提供计算机制。针对20组视频图像序列(每组50帧)进行了实验，结果表明：本文算法提取注意焦点即目标区域的平均相似度为0.87，能更高效准确地定位目标可能存在的区域。

同时，本文算法还存在有待改进之处。算法中自顶向下的指导依赖于给定知识库中目标的信息点集合的统计结果，当目标区域较小且运动过慢时，运动特征提取的准确性有待提高。下一步工作的方向是提高复杂场景下该算法的鲁棒性。