留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

结合相机阵列选择性光场重聚焦的显著性检测

冯洁 王世刚 韦健 赵岩

冯洁, 王世刚, 韦健, 赵岩. 结合相机阵列选择性光场重聚焦的显著性检测[J]. 中国光学. doi: 10.37188/CO.2020-0165
引用本文: 冯洁, 王世刚, 韦健, 赵岩. 结合相机阵列选择性光场重聚焦的显著性检测[J]. 中国光学. doi: 10.37188/CO.2020-0165
FENG Jie, WANG Shi-gang, WEI Jian, ZHAO Yan. Saliency detection combined with selective light field refocusing of camera array[J]. Chinese Optics. doi: 10.37188/CO.2020-0165
Citation: FENG Jie, WANG Shi-gang, WEI Jian, ZHAO Yan. Saliency detection combined with selective light field refocusing of camera array[J]. Chinese Optics. doi: 10.37188/CO.2020-0165

结合相机阵列选择性光场重聚焦的显著性检测

doi: 10.37188/CO.2020-0165
基金项目: 国家自然基金重点项目(No. 61631009);国家十三五重点研发计划项目(No. 2017YFB0404800);中央高校基本科研业务费专项资金(No. 2017TD-19)
详细信息
    作者简介:

    冯 洁(1995—),女,内蒙古乌兰察布人,硕士研究生,2018年于吉林大学获得学士学位,主要从事光场图像处理方面的研究。E-mail: fengjie18@ mails.jlu.edu.cn

    王世刚(1961—),男,吉林长春人,教授,博士生导师,1983年于东北大学获得学士学位,1997年于吉林工业大学获得硕士学位,2001年于吉林大学获得博士学位,主要从事图像与视频信号智能处理方面的研究。E-mail: wangshigang@vip.sina.com

  • 中图分类号: TP391.4

Saliency detection combined with selective light field refocusing of camera array

Funds: Supported by National Natural Science Foundation of China (No. 61631009); National Key Research and Development Plan of 13th Five-year (No. 2017YFB0404800); Fundamental Research Funds for the Central Universities (No. 2017TD-19)
More Information
  • 摘要: 针对现有方法处理包含多个显著目标以及显著目标的某些区域与背景区域对比不明显的场景所得显著图不够精细,甚至会丢失某些显著性区域的不足,本文提出了一种结合相机阵列选择性光场重聚焦的显著性检测方法。选用光场数据集,利用同一场景的多幅视点图像,首先对中心视点图像进行结合超分辨率的重聚焦渲染;然后在基于图的显著性检测方法的基础上提出结合全局和局部平滑度约束的传播模型以防止错误标签传播,得到的显著性粗图经过目标图的细化后最终输出精细的检测结果。另外,对于包含多个显著目标的场景,通过选择对场景中某一深度层进行重聚焦,同时对其他深度层产生不同程度的模糊,可以更精确、细致地检测出位于该深度层上的显著目标,一定程度上实现了可选择的显著性检测。在4D光场数据集上进行了实验,结果表明:本文提出的方法所得显著图与真值图之间的平均绝对误差的均值为0.212 8,较现有方法有所降低,检测结果包含更丰富的显著性目标信息,改善了现有显著性检测方法的不足。
  • 图  1  结合相机阵列选择性光场重聚焦的显著性检测算法的框架图

    Figure  1.  Framework diagram of the saliency detection algorithm combined with selective light field refocusing of camera array

    图  2  聚焦于场景不同深度层上的重聚焦结果

    Figure  2.  The refocusing results focusing on different depth layers of the scene

    图  3  5种算法对场景Table和Boxs进行显著性检测所得结果比较

    Figure  3.  The comparison of results of the saliency detection obtained by five algorithms for the scene Table and Boxs

    图  4  本文算法所得结果与最新的基于深度学习的显著性检测算法所得结果的比较

    Figure  4.  The comparison between the results of our algorithm and the latest saliency detection algorithm based on deep learning

    图  5  聚焦于场景不同深度层所得显著图比较

    Figure  5.  Comparison of saliency maps obtained by focusing on different depth layers of the scene

    表  1  5种算法的平均MAE值

    Table  1.   Average MAE values of 5 different kinds of algorithms

    AlgorithmOursRef. [11]Ref. [18]Ref. [15]Ref. [8]
    Average MAE0.21280.24770.42570.34360.5617
    下载: 导出CSV
  • [1] MANISHA P, JAYADEVAN R, SHEEBA V S. Content-based image retrieval through semantic image segmentation[J]. AIP Conference Proceedings, 2020, 2222(1): 030008.
    [2] 叶润春. 显著性检测的优化模型及在图像压缩中的应用[D]. 合肥: 中国科学技术大学, 2018.

    YE R CH. A model of optimizing saliency detection and its application in image compression[D]. Hefei: University of Science and Technology of China, 2018. (in Chinese).
    [3] 王超. 基于立体视觉的目标识别与跟踪研究[D]. 大连: 大连理工大学, 2019.

    WANG CH. Research on target recognition and tracking based on stereo vision[D]. Dalian: Dalian University of Technology, 2019. (in Chinese).
    [4] 丁晨. 显著性检测与结构相似相结合的图像融合算法[D]. 西安: 陕西师范大学, 2019.

    DING CH. A image fusion algorithm combining saliency detection and structural similarity[D]. Xi’an: Shaanxi Normal University, 2019. (in Chinese)
    [5] GALIANO G, RAMÍREZ I, SCHIAVI E. Non-convex non-local reactive flows for saliency detection and segmentation[J]. Journal of Computational and Applied Mathematics, 2020, 377: 112873. doi:  10.1016/j.cam.2020.112873
    [6] ACHANTA R, ESTRADA F, WILS P, et al.. Salient region detection and segmentation[C]. Proceedings of the 6th International Conference on Computer Vision Systems (ICVS), Springer, 2008: 66-75.
    [7] CHENG M M, ZHANG G X, MITRA N J, et al.. Global contrast based salient region detection[C]. Proceedings of 2011 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, 2011: 409-416.
    [8] GOFERMAN S, ZELNIK-MANOR L, TAL A. Context-aware saliency detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(10): 1915-1926. doi:  10.1109/TPAMI.2011.272
    [9] FU K R, GONG CH, YANG J, et al. Superpixel based color contrast and color distribution driven salient object detection[J]. Image Communication, 2013, 28(10): 1448-1463.
    [10] 孙君顶, 张毅, 李海华. 融合高低层多特征的显著性检测算法[J]. 液晶与显示,2019,34(4):430-438. doi:  10.3788/YJYXS20193404.0430

    SUN J D, ZHANG Y, LI H H. Saliency detection algorithm integrating multiple features of high and low level[J]. Chinese Journal of Liquid Crystals and Displays, 2019, 34(4): 430-438. (in Chinese) doi:  10.3788/YJYXS20193404.0430
    [11] YANG CH, ZHANG L H, LU H CH, et al.. Saliency detection via graph-based manifold ranking[C]. Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition, IEEE, 2013: 3166-3173.
    [12] WU X Y, MA X D, ZHANG J X, et al. Salient object detection via reliable boundary seeds and saliency refinement[J]. IET Computer Vision, 2019, 13(3): 302-311. doi:  10.1049/iet-cvi.2018.5013
    [13] LI CH Y, YUAN Y CH, CAI W D, et al.. Robust saliency detection via regularized random walks ranking[C]. Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, 2015: 2710-2717.
    [14] WU X Y, MA X D, ZHANG J X, et al.. Salient object detection via deformed smoothness constraint[C]. Proceedings of the 25th IEEE International Conference on Image Processing (ICIP), IEEE, 2018: 2815-2819.
    [15] 崔丽群, 吴晓冬, 赵越. 基于CRF-MR的自顶向下显著性目标检测方法[J]. 计算机应用研究,2018,35(8):2535-2539. doi:  10.3969/j.issn.1001-3695.2018.08.074

    CUI L Q, WU X D, ZHAO Y. Top-down saliency target detection dased on CRF-MR[J]. Application Research of Computers, 2018, 35(8): 2535-2539. (in Chinese) doi:  10.3969/j.issn.1001-3695.2018.08.074
    [16] 程藜, 吴谨, 朱磊. 基于结构标签学习的显著性目标检测[J]. 液晶与显示,2016,31(7):726-732. doi:  10.3788/YJYXS20163107.0726

    CHENG L, WU J, ZHU L. Salient object detection based on structured labels learning[J]. Chinese Journal of Liquid Crystals and Displays, 2016, 31(7): 726-732. (in Chinese) doi:  10.3788/YJYXS20163107.0726
    [17] 杜杰, 吴谨, 朱磊. 基于区域特征融合的RGBD显著目标检测[J]. 液晶与显示,2016,31(1):117-123. doi:  10.3788/YJYXS20163101.0117

    DU J, WU J, ZHU L. RGBD salient object detection based on regional feature integration[J]. Chinese Journal of Liquid Crystals and Displays, 2016, 31(1): 117-123. (in Chinese) doi:  10.3788/YJYXS20163101.0117
    [18] YAN Y J, REN J CH, SUN G Y, et al. Unsupervised image saliency detection with gestalt-laws guided optimization and visual attention based refinement[J]. Pattern Recognition, 2018, 79: 65-78. doi:  10.1016/j.patcog.2018.02.004
    [19] XING Y, WANG Q H, REN H, et al. Optical arbitrary-depth refocusing for large-depth scene in integral imaging display based on reprojected parallax image[J]. Optics Communications, 2019, 433: 209-214. doi:  10.1016/j.optcom.2018.10.022
    [20] WANG Y Q, YANG J G, GUO Y L, et al. Selective light field refocusing for camera arrays using bokeh rendering and superresolution[J]. IEEE Signal Processing Letters, 2019, 26(1): 204-208. doi:  10.1109/LSP.2018.2885213
    [21] WANG Y Q, YANG J G, MO Y, et al. Disparity estimation for camera arrays using reliability guided disparity propagation[J]. IEEE Access, 2018, 6: 21840-21849. doi:  10.1109/ACCESS.2018.2827085
    [22] FARSIU S, ROBINSON M D, ELAD M, et al. Fast and robust multiframe super resolution[J]. IEEE Transactions on Image Processing, 2004, 13(10): 1327-1344. doi:  10.1109/TIP.2004.834669
    [23] LEE S, KIM G J, CHOI S. Real-time depth-of-field rendering using point splatting on per-pixel layers[J]. Computer Graphics Forum, 2008, 27(7): 1955-1962. doi:  10.1111/j.1467-8659.2008.01344.x
    [24] ACHANTA R, SHAJI A, SMITH K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274-2282. doi:  10.1109/TPAMI.2012.120
    [25] FREY B J, DUECK D. Clustering by passing messages between data points[J]. Science, 2007, 315(5814): 972-976. doi:  10.1126/science.1136800
    [26] ZITNICK C L, DOLLÁR P. Edge boxes: locating object proposals from edges[C]. Proceedings of the 13th European Conference on Computer Vision (ECCV), Springer, 2014: 391-405.
    [27] HONAUER K, JOHANNSEN O, KONDERMANN D, et al.. A dataset and evaluation methodology for depth estimation on 4D light fields[C]. Proceedings of the 13th Asian Conference on Computer Vision (ACCV), Springer, 2016: 19-34.
    [28] WU ZH, SU L, HUANG Q M. Cascaded partial decoder for fast and accurate salient object detection[C]. Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, 2019: 3907-3916.
  • [1] 邹景武, 余卿, 程方.  差动式彩色共聚焦粗糙度评定系统及实验研究 . 中国光学, doi: 10.37188/CO.2020-0029
    [2] 王巍, 李野, 陈卫军, 宋德, 王新.  EBCMOS近贴聚焦结构及电场分布对电子运动轨迹的影响 . 中国光学, doi: 10.37188/CO.2020-0063
    [3] 冯思悦, 梁静秋, 梁中翥, 吕金光, 陶金, 王维彪, 秦余欣, 孟德佳.  LED微阵列投影系统设计 . 中国光学, doi: 10.3788/CO.20191201.0088
    [4] 成培瑞, 王建立, 王斌, 李正炜, 吴元昊.  基于多尺度区域对比的显著目标识别 . 中国光学, doi: 10.3788/CO.20160901.0097
    [5] 王思聪, 李向平.  紧聚焦轴对称矢量光场波前调控及应用 . 中国光学, doi: 10.3788/CO.20160902.0185
    [6] 魏素, 肖君, 魏秀东, 卢振武, 王肖.  太阳能聚焦光斑能流密度测量方法评估 . 中国光学, doi: 10.3788/CO.20160902.0255
    [7] 梅贵, 翟岩, 苗健宇, 浦前帅, 余达, 张博研.  星载离轴多光谱相机焦平面的装调与检测 . 中国光学, doi: 10.3788/CO.20160904.0491
    [8] EMDEBenjamin, HERMSDORFJörg, KAIERLEStefan, OVERMEYERLudger.  利用Nd: YAG激光诱导击穿光谱法检测橡胶共混物中锌的均匀性分布 . 中国光学, doi: 10.3788/CO.20150804.0596
    [9] 于海, 万秋华, 王树洁, 卢新然, 杜颖财.  编码器动态检测系统高实时性高精度角度基准设计 . 中国光学, doi: 10.3788/CO.20150803.0447
    [10] 柯洪昌, 孙宏彬.  图像序列的显著性目标区域检测方法 . 中国光学, doi: 10.3788/CO.20150805.0768
    [11] 苗健宇, 张立平, 翟岩, 梅贵.  小型连续变焦相机的结构实现 . 中国光学, doi: 10.3788/CO.20140701.0169
    [12] 杨洋, 何皓, 李秋顺, 史建国, 李明宇, 董文飞.  TiO2纳米线阵列干涉传感器 . 中国光学, doi: 10.3788/CO.20140703.0421
    [13] 乐国庆, 郭永飞, 刘春香, 马天波, 石俊霞.  低曝光条件下遥感相机微振动量检测 . 中国光学, doi: 10.3788/CO.20140706.0917
    [14] 任玉, 蔡红星, 谭见瑶, 谭勇, 张喜和, 郑峰, 马文联.  声光调制光谱相机的成像漂移 . 中国光学, doi: 10.3788/CO.20130602.0179
    [15] 张立平, 王智.  三线阵CCD相机安装支架分析及检测 . 中国光学, doi: 10.3788/CO.20130603.0402
    [16] 宁永慧, 郭永飞.  TDICCD拼接相机的像元响应非均匀性校正方法 . 中国光学, doi: 10.3788/CO.20130603.0386
    [17] 刘炳强, 张帆, 李景林, 许艳军, 孙斌.  空间相机调焦机构运动同步性误差分析 . 中国光学, doi: 10.3788/CO.20130606.946
    [18] 吕恒毅, 刘杨, 薛旭成.  基于微粒群区域搜索和小波评价的差分式自动聚焦 . 中国光学,
    [19] MA Jun-xian, TAN Rui-hu, FANG Yu, ZHENG Da-wei, LUO Xian-gang.  单个及阵列状金纳米环结构的LSPR光谱特性研究 . 中国光学,
    [20] 黄涛, 吴清文, 梁九生, 余飞, 黎明.  空间相机接触热阻的计算 . 中国光学,
  • 加载中
图(5) / 表 (1)
计量
  • 文章访问数:  51
  • HTML全文浏览量:  13
  • PDF下载量:  2
  • 被引次数: 0
出版历程
  • 网络出版日期:  2021-02-22

结合相机阵列选择性光场重聚焦的显著性检测

doi: 10.37188/CO.2020-0165
    基金项目:  国家自然基金重点项目(No. 61631009);国家十三五重点研发计划项目(No. 2017YFB0404800);中央高校基本科研业务费专项资金(No. 2017TD-19)
    作者简介:

    冯 洁(1995—),女,内蒙古乌兰察布人,硕士研究生,2018年于吉林大学获得学士学位,主要从事光场图像处理方面的研究。E-mail: fengjie18@ mails.jlu.edu.cn

    王世刚(1961—),男,吉林长春人,教授,博士生导师,1983年于东北大学获得学士学位,1997年于吉林工业大学获得硕士学位,2001年于吉林大学获得博士学位,主要从事图像与视频信号智能处理方面的研究。E-mail: wangshigang@vip.sina.com

  • 中图分类号: TP391.4

摘要: 针对现有方法处理包含多个显著目标以及显著目标的某些区域与背景区域对比不明显的场景所得显著图不够精细,甚至会丢失某些显著性区域的不足,本文提出了一种结合相机阵列选择性光场重聚焦的显著性检测方法。选用光场数据集,利用同一场景的多幅视点图像,首先对中心视点图像进行结合超分辨率的重聚焦渲染;然后在基于图的显著性检测方法的基础上提出结合全局和局部平滑度约束的传播模型以防止错误标签传播,得到的显著性粗图经过目标图的细化后最终输出精细的检测结果。另外,对于包含多个显著目标的场景,通过选择对场景中某一深度层进行重聚焦,同时对其他深度层产生不同程度的模糊,可以更精确、细致地检测出位于该深度层上的显著目标,一定程度上实现了可选择的显著性检测。在4D光场数据集上进行了实验,结果表明:本文提出的方法所得显著图与真值图之间的平均绝对误差的均值为0.212 8,较现有方法有所降低,检测结果包含更丰富的显著性目标信息,改善了现有显著性检测方法的不足。

English Abstract

冯洁, 王世刚, 韦健, 赵岩. 结合相机阵列选择性光场重聚焦的显著性检测[J]. 中国光学. doi: 10.37188/CO.2020-0165
引用本文: 冯洁, 王世刚, 韦健, 赵岩. 结合相机阵列选择性光场重聚焦的显著性检测[J]. 中国光学. doi: 10.37188/CO.2020-0165
FENG Jie, WANG Shi-gang, WEI Jian, ZHAO Yan. Saliency detection combined with selective light field refocusing of camera array[J]. Chinese Optics. doi: 10.37188/CO.2020-0165
Citation: FENG Jie, WANG Shi-gang, WEI Jian, ZHAO Yan. Saliency detection combined with selective light field refocusing of camera array[J]. Chinese Optics. doi: 10.37188/CO.2020-0165
    • 显著性区域检测研究的目的是从图像中标记出最容易引起人注意的目标或最能表达图像的内容,常应用于图像检索[1]、图像压缩[2]、目标识别与跟踪[3]、图像融合[4]以及图像分割[5]等领域。

      根据人类视觉选择注意机制,目前的显著性检测方法大致可分为自底向上和自顶向下两类。自底向上的显著性检测模型[4]是由数据驱动的,利用图像的亮度、纹理、颜色和空间位置等特征,判断目标区块与周围的差异,进而计算出显著性。自顶向下的显著性检测模型[5-7]是由具体检测任务驱动的,需要通过类标签进行监督学习。Yan等人[8]提出了综合这两种机制的显著目标检测,由知觉的格式法则指导自底向上的模型,自顶向下模型旨在使用形式化的计算模型描述注意力的背景连通性并生成优先级图。与自顶向下的显著性检测模型相比,自底向上的显著性检测模型通常执行速度快并且易于适应各种情况,因此已得到广泛应用。Achanta等人[6]提出了一种频率调谐方法,从整个图像的色差得出显著图。Cheng等人[7]提出基于直方图的对比度和基于区域的对比度,其考虑了空间距离,克服了色彩对比度的局限性。Goferman等人[8]提出上下文感知方法,增强了显著目标附近的其他显著点。Fu等人[9]提出了结合颜色对比度和颜色空间分布的显著性检测算法的流程以及抑制噪声和伪影的细化过程。Sun等人[10]提出了融合高低层多特征的显著性检测算法,结合高层先验知识和低层的4种显著性特征,利用类间差异最大阈值对高低层特征进行线性和非线性融合,最终得到高质量的显著图。

      近年来,基于图的显著目标检测方法[11-14]因其简单、高效等特点而备受关注。这些算法将图像表示为以超像素为节点的图,图的边为节点与给定种子或查询节点的相关性,通过传播模型将标签在图中扩散。传播模型一般基于聚类假设和平滑度假设,聚类假设认为同一集群中的节点应该具有相同的标签,平滑度假设则认为相同流行结构上的节点应该具有相同的标签。虽然这些方法的性能优于大多数自底向上的显著性检测方法,但是仍存在一些缺陷。例如,Yang等人[11]提出的基于图的流行排序算法中,用作背景查询的4个边界,可能会存在与前景相邻的情况,在背景估计中使用这样有问题的查询可能导致结果不理想或不完整。另外,采用标准平滑约束可能会遗漏区域局部信息。Wu等人[12]针对背景查询可能不可靠的问题,提出了边界显著性度量以去除边界种子中的显著性区域,获得可靠的背景查询,提高检测精度。Li等人[13]引入正则化随机游走排序来计算像素级的显著图,结果能反映出输入图像的更多细节。Wu等人[14]在标签传播模型中使用变形平滑度约束,考虑节点及其相邻节点平滑度,防止与背景对比度低的节点的错误标签传播。

      但针对包含多个显著性目标和显著性目标的某些区域与背景区域对比不明显的场景,上述方法所得显著图不够精细,甚至会丢失某些显著性区域。故本文提出一种结合相机阵列选择性光场重聚焦的显著性检测,采集同一场景的多幅视点图像,利用场景的深度、聚焦等信息结合基于图的显著性检测方法,同时采用结合全局和局部平滑度约束的传播模型来解决上述问题。本文的主要贡献在于:第一,利用场景的多幅视点图像进行显著性检测,对中心视点图像进行结合bokeh渲染和超分辨的重聚焦,使得本文方法能够结合场景的深度和聚焦信息进行显著性检测。第二,在基于图的显著性检测方法的基础上提出了一种结合全局和局部平滑度约束的传播模型来防止错误标签的传播。另外,在包含多个显著目标的场景中,通过选择对场景的某一深度层进行重聚焦,同时对其他深度层产生不同程度的模糊,可以更精确、细致地检测出位于该深度层上的显著目标,一定程度上实现了可选择的显著性检测。

    • 本文提出的方法分为两个主要步骤,如图1所示。第一步,首先利用同一场景的多幅视点图像进行视差估计,所得视差图用于指导中心视点图像的重聚焦渲染[19]。重聚焦渲染过程结合了bokeh渲染和超分辨率重建,利用基于深度的各向异性滤波器对指定的聚焦深度层进行渲染,模糊其他深度层中的非必要元素,然后通过超分辨率重建生成重聚焦后的图像。第二步,首先对重建的结果进行超像素处理,然后以超像素为节点建立图模型,通过结合了全局和局部平滑度约束的传播模型得到显著性粗图。最后,利用目标图进行细化,得到最终显著性检测的结果。

      图  1  结合相机阵列选择性光场重聚焦的显著性检测算法的框架图

      Figure 1.  Framework diagram of the saliency detection algorithm combined with selective light field refocusing of camera array

    • 将bokeh渲染和超分辨率重建集成到一个方案中,可在提高bokeh渲染性能的同时提高重聚焦后图像的分辨率[20]。首先采用RGDP (Reliability Guided Disparity Propagation)算法[21]对视点图像进行视差估计,用以指导bokeh渲染。考虑到在实际图像采集过程中,存在传感器排列密度受限,光学畸变、景物与采集设备之间存在相对位移等诸多降质因素,建立摄像机阵列的退化模型:

      $${{{g}}_k} = {{DB}}{{{M}}_{d,k}}{{F}} + {{{n}}_k}\;\;\;,$$ (1)

      其中,${{{g}}_k}$表示第$k$个相机捕获的视点图像,${{F}}$表示高分辨率图像,${{{n}}_k}$表示空间域附加噪声,${{D}}$${{B}}$${{{M}}_{d,k}}$分别表示下采样、光学模糊和位移(取决于深度$d$和视点$k$)。超分辨率重建的主要任务就是估计${{F}}$以适应退化模型,求解以下方程:

      $$\begin{split} \mathop {{F}}\limits^{\wedge} = &\mathop {\arg \min }\limits_{{F}} \Bigg\{ {\sum\limits_{k = 1}^N {||({\bf{1}} - {{\omega }}_{\rm{b}}) \odot ({{{g}}_k} - {{DB}}{{{M}}_{d,k}}{{F}})||_2^2} }+ \\ & {{\lambda _{\rm{b}}}{J_{\rm{b}}}({{F}}) + {\lambda _{\rm BTV}}{J_{\rm BTV}}({{F}})} \Bigg\}\quad, \\[-15pt]\end{split}$$ (2)

      其中,第一项为对观测到的低分辨率图像与理想高分辨率图像的一致性度量,${{{\omega}} _{\rm{b}}}$是基于深度和空间变化的权重向量,${J_{\rm{b}}}({{F}})$为bokeh正则化项,${J_{\rm BTV}}({{F}})$为双边总变异BTV正则化项[22]${\lambda _{\rm{b}}}$${\lambda _{{\rm{BTV}}}}$为正则化系数,${J_{\rm{b}}}({{F}})$可以表示为:

      $${J_{\rm{b}}}({{F}}) = {\rm{||}}{{\omega }}_{\rm{b}} \odot ({{F}} - {{{F}}_{\rm{b}}}){\rm{||}}_2^2\;\;\;,$$ (3)

      其中,${{{F}}_{\rm{b}}}$为由bokeh渲染生成的图像。采用梯度下降法逼近公式(2)的最优解,步长和迭代次数均可设置。

      生成bokeh图像的过程为:利用基于深度的各向异性滤波器对中心视点图像进行渲染,通过调节其参数可实现对场景中某一深度层的聚焦,而对其他深度层产生不同程度的模糊。下面对具体过程进行解释:假设图像中的某点$p$没有被聚焦,其在图像中对应的混叠圆[23]半径为:

      $$r = \left| {\frac{{{f^2}({l_f} - {l_p})}}{{2F{l_p}({l_f} - f)}}} \right|\;\;\;,$$ (4)

      其中,${l_f}$${l_p}$分别表示焦距深度和p点深度,f为焦距,F为透镜F数,深度l可表示为$l = fB/d$,其中B为基线长度,d为视差。那么公式(4)可表示为:

      $$r = \left| {\frac{{{f^{}}({d_p} - {d_f})}}{{2F(B - {d_f})}}} \right| = K\left| {{d_p} - {d_f}} \right|\;\;\;,$$ (5)

      其中:在bokeh渲染过程中$f$, $F$, $B$${d_f}$是固定不变的,那么$p$点对应的混叠圆半径与$p$点和焦点之间的绝对视差成正比。$K = f/2F(B - {d_f})$表示整体的模糊程度,同时反映场景深度,$K$越大表示模糊程度越强,景深越小。

      假设$q$点周围存在多个以${p_i}$为中心的混叠圆,由于混叠圆中强度是均匀分布的,计算${p_i}$$q$的贡献可通过${I_{{p_i}q}} = {I_{{p_i}}}/{\text{π}}r_{{p_i}}^2$${r_{{p_i}q}} \leqslant {r_{{p_i}}}$表示,其中${I_{{p_i}}}$${p_i}$点渲染前的强度,${r_{{p_i}}}$为以${p_i}$为中心的混叠圆的半径,${r_{{p_i}q}}$${p_i}$$q$之间的距离。那么$q$点强度可表示为:

      $${I_q} = \sum\limits_{{p_i} \in {S_q}} {{\lambda _{{p_i}}}} {I_{{p_i}q}}\;\;\;,$$ (6)

      其中,${S_q} = \{ {p_i}|{r_{{p_i}q}} \leqslant {r_{\max }}\} $表示$q$点周围点的集合,${r_{\max }}$是图像中混叠圆半径的最大值。由于$S{}_q$中的某些点可能对$q$点没有作用,所以将权重${\lambda _{{p_i}}}$定义为:

      $${\lambda _{{p_i}}} = \left\{ \begin{aligned} & {1/{\text{π}} r_{{p_i}}^2,{r_{{p_i}q}} \leqslant {r_{{p_i}}}} \\ & {0,{r_{{p_i}}} \leqslant {r_{{p_i}q}} \leqslant {r_{\max }}} \end{aligned} \right.,$$ (7)

      各向异性滤波器基于公式(6)和公式(7),采用双三次插值渲染中心视点图像生成${{{F}}_{\rm{b}}}$

      另外还需要对公式(2)和公式(3)中的${{{\omega}} _b}$进行计算,${{{\omega}} _b}$是基于深度和空间变化的权重向量,未聚焦的区域应具有较大的权重。一幅图像的模糊程度由混叠圆半径决定,通过${\gamma _{_p}} = ({r_p} - {r_{\min }})/ ({r_{\max }} - {r_{\min }})$将半径归一化至[0, 1], ${r_{\min }}$为图像中混叠圆半径的最小值。使用sigmoid函数将${\gamma _p}$转化为${{{\omega}} _p}$${{{\omega}} _p} = 1/\{1 + \exp [ - \alpha ({\gamma _p} - \beta )]\}$,其中$\alpha $为衰减因子,$\;\beta$为阈值。遍历所有像素点,得到权值向量${{\omega} _{\rm{b}}}$

    • 上述步骤中通过设置参数能够对场景中某一深度层进行聚焦,而对其他部分产生不同程度的模糊,在此基础上进行如下基于图的显著性检测。首先,对重聚焦后的图像进行超像素处理,采用SLIC (Simple Linear Iterative Clustering)算法[24]将图像分割为n个超像素,该算法计算速度快,能生成紧凑且近似均匀的超像素。然后,构建图结构$G=(V,E)$,其中$V = \{ {v_1},\cdots,{v_n}\}$为超像素点集,$E$为边集,$E = {E_1} \cup {E_2} \cup {E_3} \cup {E_4}$$V$中任意两节点之间通过边权值矩阵${{W}} = {[{w_{ij}}]_{n \times n}}$量化的连接构成。通过以下4条规则对其进行定义:

      $$\begin{split} &{\rm{Rule1}}:{E_1} = \{ ({v_i},{v_j})|{v_j} \in N_i^s\} \\ &{\rm{Rule2}}:{E_{\rm{2}}} = \{ ({v_i},{v_j}){\rm{|}}\exists {v_k} \in N_i^s,{v_j} \in N_k^s\} \\ &{\rm{Rule3}}:{E_{\rm{3}}} = \{ ({v_i},{v_j})|{v_i},{v_j} \in B\} \\ &{\rm{Rule4}}:{E_{\rm{4}}} = \{ ({v_i},{v_j})|{v_j} \in N_i^c\} \quad, \end{split} $$ (8)

      其中,$N_i^s$表示${v_i}$的空间直接相邻节点的集合,$B$表示图像相同边缘上边界节点的集合,$N_i^c$表示${v_i}$在CIELab Color空间下的分簇,可由APC聚类算法[25]计算。规则1用于连接${v_i}$和其空间邻居节点;规则2用于连接${v_i}$和其邻居的邻居节点;规则3用于连接图的边界节点;规则4用于连接${v_i}$和与其颜色相似的节点。在$E$的基础上定义权值矩阵${{W}}$,用以表示图节点间的相似度,相邻图节点${v_i}$${v_j}$之间的权值定义为:

      $${w_{ij}} = \exp \; \left[{ - \frac{{\left\| {{{{c}}_i} - {{{c}}_j}} \right\| + \left\| {\sin \;({\text{π}}\left| {{{{d}}_i} - {{{d}}_j}} \right|)} \right\|}}{{{\sigma ^2}}}} \right]\;\;\;,$$ (9)

      式中,$\sigma $为一个常数,表示控制约束,$\left\| {{{{c}}_i} - {{{c}}_j}} \right\| $表示${v_i}$${v_j}$在CIELab Color空间下的颜色均值的距离,$\left\| {\sin \;({\text{π}}\left| {{{{d}}_i} - {{{d}}_j}} \right|)} \right\| $表示在正弦空间下计算的距离。图$G$中余下的不相邻节点的${w_{ij}}$全部指定为零。

      接着分两个阶段生成并细化显著图,第一阶段采用结合全局和局部平滑度约束的传播模型进行标签传播,计算一个关于表示向量${{y}} = {[{y_1},\cdots,{y_n}]^{\rm{T}}}$的排序向量${{f}} = {[{f_1},\cdots,{f_n}]^{\rm{T}}}$。表示向量${{y}}$定义为:如果${v_i}$是种子节点,则${y_i} = {\rm{1}}$,否则${y_i} = {\rm{0}}$。排序向量${{f}}$用以表示节点与背景种子节点的相关性,可通过求解下式获得排序向量${{f}}$

      $$\begin{split} \mathop {{f}}\limits^{\wedge} = &\mathop {\min \arg }\limits_{{f}} {\rm{\{ }}{S^C}{\rm{(}}{{f}}{\rm{)}} + {\mu _{\rm{1}}}R{\rm{(}}{{f}}{\rm{)\} }} \\ =&\dfrac{{\rm{1}}}{{\rm{2}}}{\Bigg\{ }{{{f}}^{\rm{T}}}\left[{{D}} - {{W}} + {\mu _{\rm{2}}}\left({{I}} - \frac{{{D}}}{V}\right)\right]{{f}}+ \\ &{\mu _{\rm{1}}}{({{f}} - {{{D}}^{ - 1}}{{y}})^T}{{D}}({{f}} - {{{D}}^{{\rm{ - 1}}}}{{y}})\Bigg\} \;\;\;, \end{split}$$ (10)

      其中,度矩阵${{D}} = {\rm{diag}}({d_{11}},\cdots,{d_{nn}}),{d_{ii}} = \displaystyle\sum\limits_j {{w_{ij}}}$,体积$V = \displaystyle\sum\limits_i {d{}_{ii}}$,式(10)中第一项${S^C}({{f}})$为结合了全局和局部平滑度的约束,表明相邻两节点的排序值不应该变化太大,${\mu _{\rm{2}}}$用于平衡全局和局部两个平滑约束;第二项$R({{f}})$为标签适应度约束,用以保证种子节点的排序值与其初始值相差不大,${\mu _{\rm{1}}}$用于平衡${S^C}({{f}})$$R({{f}})$。令式(10)导数为零可得${{f}}$的最优解:

      $$\mathop {{f}}\limits^{\wedge} = {\left[{{D}} - {\lambda _{\rm{1}}}{{W}} + {\lambda _{\rm{2}}}\left({{I}} - \frac{{{D}}}{V}\right)\right]^{ - 1}}{{y}}\;\;\;,$$ (11)

      其中,${\lambda _{\rm{1}}} = {\rm{1/}}(1 + {\mu _1})$${\lambda _{\rm{2}}} = {\mu _{\rm{2}}}{\rm{/}}(1 + {\mu _1})$。分别将上、下、左、右4个边界所含超像素节点作为种子,得到排序向量,分别归一化后计算其互补值得到前景目标相关性,然后将对应元素相乘生成显著性粗图${{{M}}^c} = {(m_i^c)_n}$

      $$m_i^c = \prod\limits_{k \in \{ top,bottom,left,right\} } {[1 - \overline {{f}} (k)]}\;\;\;,$$ (12)

      其中,$\overline {{f}} $${{f}}$归一化至[0, 1]区间的向量。

      在显著性区域与背景具有明显对比度的情况下,${{{M}}^c}$会是良好的显著性检测结果,但是通过背景查询并不能表示全部的显著性目标信息,特别是对于显著性目标具有复杂结构或与背景相似的情况,结果受背景噪声影响较大。第二阶段,对上一阶段得到的显著性粗图进行细化。首先,采用边界盒[26]生成包含目标区域、排除背景区域的目标图${{{M}}^o} = {(m_i^o)_n}$

      $$ {m_i} = \sum\limits_{j = 1}^L {{A_j}} \cdot \delta \;\;\;({v_i} \in {\Omega _j})\;\;\;, $$ (13)

      其中,${A_j}$为边界框${\Omega _j}$的分数,$\delta $为指示函数,表示节点${v_i}$是否在边框内,$L$用于对要检测的边界盒生成的边框数量进行限制。结合${{{M}}^c}$${{{M}}^o}$细化模型,细化结果$\mathop {{f}}\limits^{\rm{*}} $计算公式如下:

      $$\begin{split} \mathop {{f}}\limits^* =&\mathop { \arg \min }\limits_{{f}} \frac{{\rm{1}}}{{\rm{2}}}{\Bigg\{ }{{{f}}^{\rm{T}}}\left[{{{D}}^c} - {{{W}}^c} + {\mu _2}\left({\bf{I}} - \frac{{{{{D}}^c}}}{{{V^c}}}\right)\right]{{f}}+ \\ &{\left\| {{{f}}{\rm{ - }}{{{M}}^{\rm{c}}}} \right\|^2} + {{{f}}^{\rm{T}}}{{{D}}^o}{{f}}{\Bigg\} }\quad , \end{split}$$ (14)

      其中,${{{D}}^o} = {\rm{diag}}({{d}}_{11}^o,...,{{d}}_{nn}^o),{{d}}_{ii}^o = \exp \; ( - m_i^o)$表示对角矩阵,${{{D}}^c}$${V^c}$分别是${{{M}}^c}$的度矩阵和体积,${{{W}}^c} = {(w_{ij}^c)_{n \times n}}$为在${{{M}}^c}$上计算的新权值矩阵:

      $${w_{ij}}^c = \exp \;\left( { - \frac{{\left\| {m_i^c - m_j^c} \right\|}}{{{\sigma ^2}}}} \right)\;\;\;,$$ (15)

      式(14)中,第一项仍为平滑约束,用以保证显著性值连续,第二项为标签适应度约束,用以保证细化的结果$\mathop {{f}}\limits^{\rm{*}} $与粗图${{{M}}^c}$相差不大,第三项是通过${{{M}}^o}$构建的正则化约束,抑制不属于目标的背景区域,增强可能属于目标的区域。令式(14)导数为0得最优解$\mathop {{f}}\limits^{\rm{*}} $

      $$\mathop {{f}}\limits^* = {\left[{{{D}}^c} - {{{W}}^c} + {\mu _2}\left({{I}} - \frac{{{{{D}}^c}}}{{{V^c}}}\right) + {{{D}}^o}\right]^{ - 1}}{{{M}}^c}\;\;\;,$$ (16)

      $\mathop {{f}}\limits^{\rm{*}} $归一化至[0, 1]区间,赋值给对应的超像素,生成精细显著图${{{M}}^r}$,即为最终检测结果。

    • 在4D光场数据集[27]上进行实验,该数据集对于每个场景提供9×9×512×512×3个光场。选择每个场景3×3的子视点图像序列作为输入,输出对该场景进行显著性检测的显著图。另外,实验对数据集中每一场景都进行了人为的显著性标注,使每一场景都带有显著性检测的真值图,用于对检测结果进行定量分析。算法中的参数设置如下:重聚焦过程中,两项正则化系数分别设为${\lambda _{\rm{b}}} =5$${\lambda _{\rm BTV}} =0.2$;bokeh渲染过程中,衰减因子$\alpha = 15$;阈值$\beta = 0.3$;bokeh强度K = 3(可根据对模糊程度及景深的需要进行调节);显著性检测过程中,每个超像素包含的像素数量设置为600;控制约束${\sigma ^2} = 0.1$${\lambda _1} = 0.99$${\lambda _2} = 0.5$;要检测的边框数量$L = {10^4}$

    • 实验中,将场景深度量化为30个层次,通过设置索引f指定要聚焦的深度层,生成在该深度层聚焦、其他深度层散焦的重聚焦图像,如图2所示。图2(a)为场景Herbs的中心视点图像;图2(b)为聚焦于第29个深度层的重聚焦图像,图中场景最前侧花盆得以清晰显示;图2(c)为聚焦于第19个深度层的重聚焦图像,场景较前侧花盆得以清晰显示;图2(d)为聚焦于第9个深度层的重聚焦图像,图中场景较后侧花盆得以清晰显示;图2(e)为聚焦于第2个深度层的重聚焦图像,图中场景最后侧花盆得以清晰显示。实验结果表明,对于输入的多幅视点图像,通过选择对场景的某一深度层进行重聚焦,能够使位于该深度层上的物体清晰显示,对位于其他深度层上的物体产生不同程度的模糊。实验中将中心视点图像作为真值图,使用PSNR定量评估聚焦区域(方框框出)的清晰度。

      图  2  聚焦于场景不同深度层上的重聚焦结果

      Figure 2.  The refocusing results focusing on different depth layers of the scene

    • 将本文方法所得的最终检测结果与4种不同类型的显著性检测算法以及1种最新的基于深度学习的显著性检测方法进行了比较,如图3(彩图见期刊电子版)所示。其中文献[11]、文献[18]为基于图的显著性检测方法,文献[15]为综合自底向上和自顶向下两种机制的显著目标检测方法,文献[8]为上下文感知的显著性检测方法。由图3可知,本文方法显著性检测的结果最为完整、细致,图中对用红色和蓝色方框标注出部分细节进行放大展示以做视觉对比。对于第一行所展示的包含多个显著性目标的场景Table,本文方法能检测出更多的显著性目标,例如,左侧的盆栽、笔筒、前方的台灯等,另外本文方法得到的显著图中主要显著性目标也更为细致,例如,收纳盒和打开的书。对于第二行所展示的显著性区域与背景对比度不大的场景,本文方法检测出的显著性目标最为精细,例如,收纳箱的右上边缘和收纳袋。

      图  3  5种算法对场景Table和Boxs进行显著性检测所得结果比较

      Figure 3.  The comparison of results of the saliency detection obtained by five algorithms for the scene Table and Boxs

      采用平均绝对值误差MAE来评价检测出的显著图与人工标注的真值图之间的差异,由下面的公式进行计算:

      $$MAE = \frac{{\rm{1}}}{{W \times H}}\sum\limits_{x = 1}^W {\sum\limits_{y = 1}^H {| {{S}} (x,y) - {{G}} (x,y)|} } \;\;\;,$$ (17)

      其中,$W$$H$分别代表图像的宽度和高度,$S$为显著图,$G$为真值图,MAE越小说明检测结果与真值图之间的差异越小,算法的性能越好。针对Table和Boxes这两种特殊场景,本文提出算法的MAE值均小于其他4种算法,检测结果能体现出更丰富的显著性目标信息。对整个数据集中的全部场景进行显著性检测,计算MAE值,见表1。结果表明本文算法较其他4种算法,平均MAE值均有所降低,所得显著图与真值图之间的差距有所缩小,检测结果更为精细。

      表 1  5种算法的平均MAE值

      Table 1.  Average MAE values of 5 different kinds of algorithms

      AlgorithmOursRef. [11]Ref. [18]Ref. [15]Ref. [8]
      Average MAE0.21280.24770.42570.34360.5617

      对本文算法所得显著性检测结果进行阈值处理,用二值化的结果与Wu等人[28]提出的基于深度学习的显著性检测算法所得结果进行比较,如图4所示。可以看出虽然对于包含多个显著性目标的复杂场景本文结果也存在部分显著性目标丢失的不足,但是所包含的显著性目标的信息更多,对细节处理得更好,与真值图之间的差异更小,且无需预先通过大量数据来训练网络,也无需在测试时下载预训练模型。故与基于深度学习的显著性检测算法相比,本文方法更简单、有效。

      图  4  本文算法所得结果与最新的基于深度学习的显著性检测算法所得结果的比较

      Figure 4.  The comparison between the results of our algorithm and the latest saliency detection algorithm based on deep learning

      另外,由于本文方法结合了光场重聚焦,可通过选择聚焦于不同的深度层,将该深度层上的显著性目标更精确、细致地检出。图5展示的是聚焦于场景两个不同深度层(索引f分别设置为29和9)所得显著图。第一行从左至右分别为中心视点图像、聚焦到果盘所在深度层后所得的显著图以及以及聚焦到较后侧花盆所在深度层后所得的显著图;第二行将两幅显著图中果盘部分进行放大展示。可以看出,当设置聚焦于果盘所在深度层(f = 29)时,场景中前侧的果盘能够被更精细的检测出;当设置聚焦于场景较后侧花盆所在深度层(f = 9)时,后侧花盆能够被更精细的检测出,一定程度上实现了可选择的显著性检测。

      图  5  聚焦于场景不同深度层所得显著图比较

      Figure 5.  Comparison of saliency maps obtained by focusing on different depth layers of the scene

    • 在本文中,提出了一种结合相机阵列选择性光场重聚焦的显著性检测方法。通过同一场景的多幅视点图像,结合场景的深度、聚焦等信息,利用基于图的显著性检测方法,提出结合全局和局部平滑度约束的传播模型来防止错误标签传播,得到的显著性粗图经过目标图的细化最终输出精细的结果图。此外,通过参数设置对场景的某一深度层进行重聚焦,而对其他深度层产生不同程度的模糊,使得对包含多个显著目标的场景中位于该深度层的显著目标得以更精确、细致地被检测出,一定程度上实现了可选择的显著性检测。在4D光场数据集上进行的实验表明本文所提出的算法效果良好,所得的显著图与人为标注的真值图之间的平均绝对误差的均值为0.2128,较其他方法有所降低,检测出的显著图最为精细,改善了现有显著性检测方法针对包含多个显著目标以及显著目标的某些区域与背景区域对比不明显的场景所得的显著图不够精细,甚至会丢失某些显著性区域的不足。

参考文献 (28)

目录

    /

    返回文章
    返回