留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

复杂动背景下的“低小慢”目标检测技术

吴言枫 王延杰 孙海江 刘培勋

吴言枫, 王延杰, 孙海江, 刘培勋. 复杂动背景下的“低小慢”目标检测技术[J]. 中国光学, 2019, 12(4): 853-865. doi: 10.3788/CO.20191204.0853
引用本文: 吴言枫, 王延杰, 孙海江, 刘培勋. 复杂动背景下的“低小慢”目标检测技术[J]. 中国光学, 2019, 12(4): 853-865. doi: 10.3788/CO.20191204.0853
WU Yan-feng, WANG Yan-jie, SUN Hai-jiang, LIU Pei-xun. LSS-target detection in complex sky backgrounds[J]. Chinese Optics, 2019, 12(4): 853-865. doi: 10.3788/CO.20191204.0853
Citation: WU Yan-feng, WANG Yan-jie, SUN Hai-jiang, LIU Pei-xun. LSS-target detection in complex sky backgrounds[J]. Chinese Optics, 2019, 12(4): 853-865. doi: 10.3788/CO.20191204.0853

复杂动背景下的“低小慢”目标检测技术

doi: 10.3788/CO.20191204.0853
基金项目: 

国家自然科学基金青年基金项目 61602432

详细信息
    作者简介:

    吴言枫(1992-), 男, 吉林长春人, 博士研究生, 2015年于吉林大学获得学士学位, 主要从事数字图像处理、计算机视觉方面的研究。E-mail:wuyfciomp@yahoo.com

    王延杰(1963—),男,吉林长春人,研究员,博士生导师,主要从事实时图像处理、电视跟踪和自动目标识别技术的研究。E-mail:wangyj@ciomp.ac.cn

    孙海江(1981-), 男, 吉林辉南人, 副研究员, 主要从事目标识别与跟踪技术及高清视频图像增强显示方面的研究。E-mail:sunhaijiang@126.com

    刘培勋(1986-), 男, 吉林榆树人, 助理研究员, 博士, 主要研究方向为数字图像处理及机器视觉。E-mail:liupx@ciomp.ac.cn

  • 中图分类号: TP394.1;TH691.9

LSS-target detection in complex sky backgrounds

Funds: 

the National Natural Science Foundation of China Youth Science Foundation Project 61602432

More Information
  • 摘要: 为了在复杂天空背景下检测出低空慢速小目标,本文研究了“低小慢”目标的视觉显著性区域特征,融合扫描线填充算法,提出了一种动态背景下“低小慢”目标自适应实时检测技术。首先,根据图像的亮度对比度获取显著性图。接着,使用形态学梯度提取显著性特征,通过三帧差分算法得到种子点。然后,使用扫描线填充算法进行生长,结合提出的自适应双高斯算法分割出前景。最后,根据候选目标的面积占比变化、质心距离变化、宽高比差异剔除虚假目标,完成检测。为了验证算法的有效性,本文选取了7组复杂天空背景的视频序列进行测试,并与其他优秀检测算法进行了对比。结果表明,本文提出的算法对运动目标检测的平均运行时间为0.040 9 s,平均检测准确率为89.97%,相比于其他算法的平均运算时间减少了0.35 s,检测的平均准确率提高了24.5%。算法在复杂背景下具有较好的稳定性和较强的鲁棒性。
  • 图  1  “低小慢”目标的特征分析图像

    Figure  1.  Feature analysis of the LSS-target image

    图  2  视觉显著性结果

    Figure  2.  Visual saliency results

    图  3  梯度差分算法原理图

    Figure  3.  Schematic diagram of gradient difference algorithm

    图  4  梯度差分结果

    Figure  4.  Gradient difference results

    图  5  扫描线填充算法流程图

    Figure  5.  Flow chart of scan line filling algorithm

    图  6  双高斯函数拟合直方图结果

    Figure  6.  Double Gauss function fitting histogram results

    图  7  自适应阈值分割结果

    Figure  7.  Adaptive threshold segmentation results

    图  8  对比实验结果

    Figure  8.  Comparison of experimental results for different algorithms

    图  9  本文算法检测结果

    Figure  9.  Detection results by proposed algorithm

    表  1  剔除虚警流程

    Table  1.   Eliminating false alarm process

    input:候选目标集合R
    output:目标集合T
    1.ti={ri}, T={ϕ} Δ初始化
    2. For i=1, riR
    3. if
    4. Δ更新目标集合
    5. else
    6. Texist=T Δ剔除虚警
    7. End for
    下载: 导出CSV

    表  2  实验中的测试视频

    Table  2.   Test sequences in our experiments

    视频 帧数 SCR
    Video 1 76 <1
    Video 2 69 1~1.5
    Video 3 249 1.5~2
    Video 4 90 2~3
    Video 5 22 >3
    Video 6 64 >3
    Video 7 101 >3
    下载: 导出CSV

    表  3  检测准确率Pd及虚警率Pfa

    Table  3.   Detection accuracy and false alarm rate (%)

    视频 准确率 虚警率
    Vibe PBAS Ours Vibe PBAS Ours
    Video 1 26.3 65. 8 81.6 77.2 35.8 5.1
    Video 2 30.4 72.5 87.0 82.4 76.5 4.6
    Video 3 32.1 80.3 84.3 65.3 11.2 0.9
    Video 4 23.3 80 87.8 86.5 3.5 0.3
    Video 5 45. 5 90.9 100 40.7 4.6 0
    Video 6 62.5 78.1 100 33.5 4.8 0
    Video 7 59.4 84.2 89.1 20.9 6.5 6.2
    下载: 导出CSV

    表  4  算法的时间复杂度

    Table  4.   Average time consumption and total time consumption of the proposed algorithm

    视频 帧数 平均耗时(s/frame) 总耗时/s
    Vibe PBAS Ours Vibe PBAS Ours
    Video 1 76 0.362 0.396 0.042 27.512 30.096 3.05
    Video 2 69 0.346 0.389 0.048 24.081 26.841 3.31
    Video 3 249 0.372 0.412 0.047 96.682 102.588 11.61
    Video 4 90 0.329 0.386 0.046 29.61 34.74 4.102
    Video 5 22 0.349 0.391 0.045 7.678 8.602 0.988
    Video 6 64 0.354 0.397 0.043 22.656 25.408 2.764
    Video 7 101 0.371 0.403 0.047 37.471 40.703 4.770
    下载: 导出CSV
  • [1] HU J, YU Y, LIU F. Small and dim target detection by background estimation[J]. Infrared Physics & Technology, 2015, 73:141-148. http://d.old.wanfangdata.com.cn/Periodical/jgyhw201710023
    [2] YANG W P, LU X P, LI J CH, et al.. Fast algorithm of infrared small target detection in jitter background[J]. Proceedings of SPIE, 2015, 9476:947614.
    [3] DENG H, LIU J G, CHEN ZH. Infrared small target detection based on modified local entropy and EMD[J]. Chinese Optics Letters, 2010, 8(1):24-28. doi:  10.3788/COL20100801.0024
    [4] KIM S, YANG Y, LEE J, et al.. Robust scale invariant small target detection using the Laplacian scale-space theory[J]. Proceedings of SPIE, 2008, 6969:696911. doi:  10.1117/12.786354
    [5] 姜志国, 韩冬兵, 袁天云, 等.基于全自动控制显微镜的自动聚焦算法研究[J].中国图象图形学报, 2004, 9(4):396-401. doi:  10.3969/j.issn.1006-8961.2004.04.003

    JIANG ZH G, HAN D B, YUAN T Y, et al.. Study on auto focusing algorithm for automatic microscope[J]. Journal of Image and Graphics, 2004, 9(4):396-401.(in Chinese) doi:  10.3969/j.issn.1006-8961.2004.04.003
    [6] ABDELKAWY E, MCGAUGHY D. Small infrared target detection using two-dimensional fast orthogonal search(2D-FOS)[J]. Proceedings of SPIE, 2003, 5094:179-185. doi:  10.1117/12.487378
    [7] 解婷, 陈忠, 马荣毅.一种基于PGF、BEMD和局部逆熵的新型红外小目标检测方法[J].红外与毫米波学报, 2017, 36(1):92-101. http://d.old.wanfangdata.com.cn/Periodical/hwyhmb201701017

    XIE T, CHEN ZH, MA R Y. A novel method for infrared small target detection based on PGF, BEMD and LIE[J]. Journal of Infrared and Millimeter Waves, 2017, 36(1):92-101.(in Chinese) http://d.old.wanfangdata.com.cn/Periodical/hwyhmb201701017
    [8] BAI X ZH, ZHOU F G. Analysis of new top-hat transformation and the application for infrared dim small target detection[J]. Pattern Recognition, 2010, 43(6):2145-2156. doi:  10.1016/j.patcog.2009.12.023
    [9] WANG P, TIAN J W, GAO CH Q. Infrared small target detection using directional highpass filters based on LS-SVM[J]. Electronics Letters, 2009, 45(3):156-158. doi:  10.1049/el:20092206
    [10] REED I S, GAGLIARDI R M, STOTTS L B. Optical moving target detection with 3-D matched filtering[J]. IEEE Transactions on Aerospace and Electronic Systems, 2002, 24(4):327-336.
    [11] GUARIGLIA E. Entropy and fractal antennas[J]. Entropy, 2016, 18(3):84. doi:  10.3390/e18030084
    [12] SHEN X M, DENG L. Game theory approach to discrete H∞filter design[J]. IEEE Transactions on Signal Processing, 1997, 45(4):1092-1095. doi:  10.1109/78.564201
    [13] 刘伟宁.基于小波域扩散滤波的弱小目标检测[J].中国光学, 2011, 4(5):503-508. doi:  10.3969/j.issn.2095-1531.2011.05.015

    LIU W N. Dim target detection based on wavelet field diffusion filter[J]. Chinese Optics, 2011, 4(5):503-508.(in Chinese) doi:  10.3969/j.issn.2095-1531.2011.05.015
    [14] 刘希佳, 陈宇, 王文生, 等.小目标识别的小波阈值去噪方法[J].中国光学, 2012, 5(3):248-256. doi:  10.3969/j.issn.2095-1531.2012.03.009

    LIU X J, CHEN Y, WANG W SH, et al.. Denoising algorithm of wavelet threshold for small target detection[J]. Chinese Optics, 2012, 5(3):248-256.(in Chinese) doi:  10.3969/j.issn.2095-1531.2012.03.009
    [15] CASELLES V, KIMMEL R, SAPIRO G. Geodesic active contours[J]. International Journal of Computer Vision, 1997, 22(1):61-79. http://d.old.wanfangdata.com.cn/Periodical/jsjyjyfz200302024
    [16] LIU ZH J, CHEN CH Y, SHEN X B, et al.. Detection of small objects in image data based on the nonlinear principal component analysis neural network[J]. Optical Engineering, 2005, 44(9):9093604. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=d66c10351f8cf89b2fb5386e8beca31f
    [17] 郭文佳, 朱晓辉, 王向军.野外图像监测中地平线附近的弱小目标的实时检测[C].光电技术与系统文选——中国光学学会光电技术专业委员会成立二十周年暨第十一届全国光电技术与系统学术会议论文集, 中国光学学会, 2005.

    GUO W J, ZHU X H, WANG X J. Real-time detection of weak and small targets near the horizon in field image monitoring[C]. Optoelectronic Technology of China Institute of Optics and Optoelectronic Technology Specialized Committee Establishment 20th Anniversary and National Photoelectric Technology And System Academic Conference, Chinese Optical Society, 2005.(in Chinese)
    [18] 胡谋法, 王书宏, 李超, 等.空时域联合去相关检测可见光背景下的运动小目标[C].光电技术与系统文选——中国光学学会光电技术专业委员会成立二十周年暨第十一届全国光电技术与系统学术会议论文集, 中国光学学会, 2005.

    HU M F, WANG SH H, LI CH, et al.. Detection of small moving targets in the visible light background by the joint spatio-temporal correlation detection[C]. Optoelectronic Technology of China Institute of Optics and Optoelectronic Technology Specialized Committee Establishment 20th Anniversary and National Photoelectric Technology and System Academic Conference, Chinese Optical Society, 2005.(in Chinese)
    [19] 洪普, 王群, 阮建斌, 等.复杂背景红外弱点目标检测[C].中国光学学会2010年光学大会论文集, 中国光学学会, 2010.

    HONG P, WANG Q, RUAN J B, et al.. Infrared weak target detection in complex background[C]. A Collection of the 2010 Optical Conference of the Chinese Academy of Optics, hinese Optical Society, 2010.(in Chinese)
    [20] 姚成乾, 陈伟.基于改进粒子算法的红外弱小目标检测研究[J].激光与光电子学进展, 2017, 54(11):111101. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=jgygdzxjz201711017

    YAO CH Q, CHEN W. Infrared dim target detection based on improved particle swarm optimization algorithm[J]. Laser & Optoelectronics Progress, 2017, 54(11):111101.(in Chinese) http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=jgygdzxjz201711017
    [21] 刘靳, 姬红兵.基于移动式加权管道滤波的红外弱小目标检测[J].西安电子科技大学学报(自然科学版), 2007, 34(5):743-747. doi:  10.3969/j.issn.1001-2400.2007.05.013

    LIU J, JI H B. Detection method for small targets in the IR image based on the variable weighted pipeline filter[J]. Journal of Xidian University, 2007, 34(5):743-747.(in Chinese) doi:  10.3969/j.issn.1001-2400.2007.05.013
    [22] 黄宇, 张晓芳, 俞信.光子成像静止点目标的管道滤波探测方法[J].中国光学, 2013, 6(1):73-79. http://www.chineseoptics.net.cn/CN/abstract/abstract8893.shtml

    HUANG Y, ZHANG X F, YU X. Pipeline filtering detection of stationary point targets in photon images[J]. Chinese Optics, 2013, 6(1):73-79.(in Chinese) http://www.chineseoptics.net.cn/CN/abstract/abstract8893.shtml
    [23] NIE H SH, HUANG ZH J, DIAO J T, et al.. A wiener filter based infrared small target detecting and tracking method[C]. Proceedings of 2010 International Conference on Intelligent System Design and Engineering Application, IEEE, 2010: 184-187.
    [24] ZHAI Y, SHAH M. Visual attention detection in video sequences using spatiotemporal cues[C]. Proceedings of the 14th ACM International Conference on Multimedia, ACM, 2006: 815-824.
    [25] 王晓阳, 彭真明, 张萍, 等.局部对比度结合区域显著性红外弱小目标检测[J].强激光与粒子束, 2015, 27(9):32-38. http://d.old.wanfangdata.com.cn/Periodical/qjgylzs201509006

    WANG X Y, PENG ZH M, ZHANG P, et al.. Infrared small dim target detection based on local contrast combined with region saliency[J]. High Power Laser and Particle Beams, 2015, 27(9):32-38.(in Chinese) http://d.old.wanfangdata.com.cn/Periodical/qjgylzs201509006
    [26] 毋亚北, 王卫华, 吴巨红, 等.基于形态学梯度的红外目标检测[J].光电工程, 2012, 39(9):81-85. http://d.old.wanfangdata.com.cn/Periodical/gdgc201209015

    WU Y B, WANG W H, WU J H, et al..IR target detection based on morphological gradient[J]. Opto-Electronic Engineering, 2012, 39(9):81-85.(in Chinese) http://d.old.wanfangdata.com.cn/Periodical/gdgc201209015
    [27] ZHANG Y Z, WANG X Y, QU B. Three-frame difference algorithm research based on mathematical morphology[J]. Procedia Engineering, 2012, 29:2705-2709. doi:  10.1016/j.proeng.2012.01.376
    [28] GONZALEZ R C, WOODS R E. Digital Image Processing[M]. RUAN Q Q, RUAN Y ZH, trans. 2nd ed. Beijing: Publishing House of Electronics Industry, 2007.
    [29] 肖丽君, 于哲舟, 周栩, 等.基于对称差分算法的视频运动目标分割[J].吉林大学学报(理学版), 2008, 46(4):691-696. doi:  10.3321/j.issn:1671-5489.2008.04.025

    XIAO L J, YU ZH ZH, ZHOU X, et al.. Moving object segmentation based on symmetrical differencing algorithm in video sequences[J]. Journal of Jilin University(Science Edition), 2008, 46(4):691-696.(in Chinese) doi:  10.3321/j.issn:1671-5489.2008.04.025
    [30] 范宏深, 倪国强, 冯煜芳.复杂背景可见光图像中弱小目标探测的新算法[J].光电工程, 2004, 31(6):48-51. doi:  10.3969/j.issn.1003-501X.2004.06.014

    FAN H SH, NI G Q, FENG Y F. A new algorithm for small and dim target detection of visible image under heavy clutters[J]. Opto-Electronic Engineering, 2004, 31(6):48-51.(in Chinese) doi:  10.3969/j.issn.1003-501X.2004.06.014
    [31] WU Y F, SUN H J, LIU P X. A novel fast detection method of infrared LSS-target in complex urban background[J]. International Journal of Wavelets, Multiresolution and Information Processing, 2018, 16(1):1850008. doi:  10.1142/S021969131850008X
    [32] BARNICH O, VAN DROOGENBROECK M. ViBE: A powerful random technique to estimate the background in video sequences[C]. Proceedings of 2009 IEEE International Conference on Acoustics, Speech and Signal Processing, IEEE, 2009: 945-948.
    [33] HOFMANN M, TIEFENBACHER P, RIGOLL G. Background segmentation with feedback: the pixel-based adaptive segmenter[C]. Proceedings of 2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, IEEE, 2012: 38-43.
    [34] 王敏敏, 孙胜利.并行压缩成像系统的压缩域小目标检测[J].光学 精密工程, 2016, 34(10):2549-2556. http://d.old.wanfangdata.com.cn/Periodical/gxjmgc201610025

    WANG M M, SUN SH L. Small target detection in compressed domain of parallel compression imaging system[J]. Opt. Precision Eng., 2016, 34(10):2549-2556.(in Chinese) http://d.old.wanfangdata.com.cn/Periodical/gxjmgc201610025
    [35] 李正周, 曹雷, 邵万兴, 等.基于空时混沌分析的海面小弱目标检测[J].光学 精密工程, 2018, 26(1):193-199. http://d.old.wanfangdata.com.cn/Periodical/gxjmgc201801023

    LI ZH ZH, CAO L, SHAO W X, et al.. Detection of small and weak targets in sea surface based on spatio temporal chaos analysis[J]. Opt. Precision Eng., 2018, 26(1):193-199.(in Chinese) http://d.old.wanfangdata.com.cn/Periodical/gxjmgc201801023
  • [1] 姜涛, 张桂林, 高俊鹏.  面向机器视觉检测的缸体横孔照明 . 中国光学, 2020, 13(6): 1-8. doi: 10.37188/CO.2020-0054
    [2] 张瑞琰, 姜秀杰, 安军社, 崔天舒.  面向光学遥感目标的全局上下文检测模型设计 . 中国光学, 2020, 13(6): 1-12. doi: 10.37188/CO.2020-0057
    [3] 刘波, 许廷发, 李相民, 史国凯, 黄博.  自适应上下文感知相关滤波跟踪 . 中国光学, 2019, 12(2): 265-273. doi: 10.3788/CO.20191202.0265
    [4] 王春哲, 安军社, 姜秀杰, 邢笑雪.  基于卷积神经网络的候选区域优化算法 . 中国光学, 2019, 12(6): 1348-1361. doi: 10.3788/CO.20191206.1348
    [5] 王雅男, 王挺峰, 田玉珍, 孙涛.  基于改进的局部表面凸性算法三维点云分割 . 中国光学, 2017, 10(3): 348-354. doi: 10.3788/CO.20171003.0348
    [6] 陈世伟, 杨小冈, 张胜修, 刘云峰.  基于自适应扩散模型的单帧红外条纹非均匀性校正算法 . 中国光学, 2016, 9(1): 106-113. doi: 10.3788/CO.20160901.0106
    [7] 张一舟, 许廷发, 刘子伟, 申子宜, 郭巳秋.  基于Savitzky-Golay加权拟合的红外图像非均匀性条带校正方法 . 中国光学, 2015, 8(1): 51-59. doi: 10.3788/CO.20150801.0051
    [8] 王晓燕, 王世刚, 姜秀红, 赵晓琳.  亮度优化立体视频视觉舒适度评价 . 中国光学, 2015, 8(3): 394-400. doi: 10.3788/CO.20150803.0394
    [9] 柯洪昌, 孙宏彬.  图像序列的显著性目标区域检测方法 . 中国光学, 2015, 8(5): 768-774. doi: 10.3788/CO.20150805.0768
    [10] 吕家国, 蒋晓瑜, 张鹏炜, 胡磊.  医疗机器人双目视觉硬件系统设计与实现 . 中国光学, 2014, 7(2): 307-314. doi: 10.3788/CO.20140702.0307
    [11] 卫沛锋, 刘欣悦, 林旭东, 张振铎, 董磊.  自适应光学系统测试中大气湍流的时域模拟 . 中国光学, 2013, 6(3): 371-377. doi: 10.3788/CO.20130603.0371
    [12] 解则晓, 韩振华, 高翔.  光笔式单目视觉测量系统的关键技术 . 中国光学, 2013, 6(5): 780-787. doi: 10.3788/CO.20130605.0780
    [13] 林旭东, 薛陈, 刘欣悦, 王建立, 卫沛锋.  自适应光学波前校正器技术发展现状 . 中国光学, 2012, 5(4): 337-351. doi: 10.3788/CO.20120504.0337
    [14] 曹召良, 李小平, 宣丽, 穆全全, 胡立发, 彭增辉, 刘永刚, 姚丽双.  液晶自适应光学的研究进展 . 中国光学, 2012, 5(1): 12-19. doi: 10.3788/CO.20120501.0012
    [15] 赵阳, 巩岩.  投影物镜小比率模型的计算机辅助装调 . 中国光学, 2012, 5(4): 394-400. doi: 10.3788/CO.20120504.0394
    [16] DONATI Silvano, 王昭, 禹延光.  用于光电仪器和相关测量的自混合干涉技术(特邀) . 中国光学, 2012, 5(2): 93-115. doi: 10.3788/CO.20120502.0093
    [17] 孙海江, 王延杰, 刘伟宁.  基于自适应平台阈值和拉普拉斯变换的红外图像增强 . 中国光学, 2011, 4(5): 474-479.
    [18] 朱时雨, 张新, 李威.  计算机辅助装调与传统基准传递技术相结合实现三镜消像散系统的装调 . 中国光学, 2011, 4(6): 571-575.
    [19] 王俣, 张国玉, 高玉军, 孙高飞, 郑茹.  基于TFT-LCD的动态星模拟器星点位置修正方法 . 中国光学, 2011, 4(3): 247-251.
    [20] 吴文荣, 吴倩, 黄燕华.  应用于微靶装配的显微视觉检测技术 . 中国光学, 2008, 1(1): 75-79.
  • 加载中
图(9) / 表 (4)
计量
  • 文章访问数:  1315
  • HTML全文浏览量:  325
  • PDF下载量:  124
  • 被引次数: 0
出版历程
  • 收稿日期:  2018-03-14
  • 修回日期:  2018-04-04
  • 刊出日期:  2019-08-01

复杂动背景下的“低小慢”目标检测技术

doi: 10.3788/CO.20191204.0853
    基金项目:

    国家自然科学基金青年基金项目 61602432

    作者简介:

    吴言枫(1992-), 男, 吉林长春人, 博士研究生, 2015年于吉林大学获得学士学位, 主要从事数字图像处理、计算机视觉方面的研究。E-mail:wuyfciomp@yahoo.com

    王延杰(1963—),男,吉林长春人,研究员,博士生导师,主要从事实时图像处理、电视跟踪和自动目标识别技术的研究。E-mail:wangyj@ciomp.ac.cn

    孙海江(1981-), 男, 吉林辉南人, 副研究员, 主要从事目标识别与跟踪技术及高清视频图像增强显示方面的研究。E-mail:sunhaijiang@126.com

    刘培勋(1986-), 男, 吉林榆树人, 助理研究员, 博士, 主要研究方向为数字图像处理及机器视觉。E-mail:liupx@ciomp.ac.cn

  • 中图分类号: TP394.1;TH691.9

摘要: 为了在复杂天空背景下检测出低空慢速小目标,本文研究了“低小慢”目标的视觉显著性区域特征,融合扫描线填充算法,提出了一种动态背景下“低小慢”目标自适应实时检测技术。首先,根据图像的亮度对比度获取显著性图。接着,使用形态学梯度提取显著性特征,通过三帧差分算法得到种子点。然后,使用扫描线填充算法进行生长,结合提出的自适应双高斯算法分割出前景。最后,根据候选目标的面积占比变化、质心距离变化、宽高比差异剔除虚假目标,完成检测。为了验证算法的有效性,本文选取了7组复杂天空背景的视频序列进行测试,并与其他优秀检测算法进行了对比。结果表明,本文提出的算法对运动目标检测的平均运行时间为0.040 9 s,平均检测准确率为89.97%,相比于其他算法的平均运算时间减少了0.35 s,检测的平均准确率提高了24.5%。算法在复杂背景下具有较好的稳定性和较强的鲁棒性。

English Abstract

吴言枫, 王延杰, 孙海江, 刘培勋. 复杂动背景下的“低小慢”目标检测技术[J]. 中国光学, 2019, 12(4): 853-865. doi: 10.3788/CO.20191204.0853
引用本文: 吴言枫, 王延杰, 孙海江, 刘培勋. 复杂动背景下的“低小慢”目标检测技术[J]. 中国光学, 2019, 12(4): 853-865. doi: 10.3788/CO.20191204.0853
WU Yan-feng, WANG Yan-jie, SUN Hai-jiang, LIU Pei-xun. LSS-target detection in complex sky backgrounds[J]. Chinese Optics, 2019, 12(4): 853-865. doi: 10.3788/CO.20191204.0853
Citation: WU Yan-feng, WANG Yan-jie, SUN Hai-jiang, LIU Pei-xun. LSS-target detection in complex sky backgrounds[J]. Chinese Optics, 2019, 12(4): 853-865. doi: 10.3788/CO.20191204.0853
    • “低小慢”目标是指在超低空(5~100 m)或低空(100~2 000 m)飞行、飞行速度小于200 km/h、且不易被发现的小型航空器或空中漂浮物。以无人机为代表,因其购买渠道多样、制造成本低、操作方便,敌对势力可能通过无人机携带微型相机或炸药对重要区域造成威胁,检测“低小慢”目标已成为维护空防安全的重点课题。“低小慢”目标在远距离时呈现小目标特性,在图像上所占像素较少(仅占几个或十几个像素),缺乏背景先验信息和检测过程中很重要的纹理特征,所以传统的检测手段难以满足检测要求。

      为了准确检测到此类目标,各国学者已经进行了大量研究,并提出了多种算法。Jing Hu等人利用基于循环掩膜的非局部均值滤波建立背景估计模型,通过将图像的灰度分布和时间信息联系起来,实现红外点目标检测[1]。Weiping Yang等人将二维中值滤波简化为一维中值滤波, 进行背景消除,剔除虚假目标[2]。邓鹤等人通过图像的局部熵(Local Entropy, LE)和一维经验模态分解(Empirical Mode Decomposition, EMD)实现小目标检测[3]。Sungho Kim应用Laplacian尺度空间理论寻找最佳尺度中的全局最大值,并通过Tune-Max估算目标的位置和尺度,应用Hessian矩阵剔除了虚假目标[4]。E.Abdelkawy等人使用二维高斯函数构建字典,提出了2D-FOS二维正交搜索算法,算法的时间复杂度主要取决于字典中的候选目标数量和图像尺寸,该算法与其他正交方法相比,计算时间明显减少[5]。Sungho Kim等人提出了区域自适应滤波器,滤波器使用几何分析进行区域分割,同时采用了空间一致性滤波器剔除虚假目标[6]。解婷等人提出基于同组过滤器(Peer Group Filter, PGF)、二维经验模式分解(Bidimensional Empirical Mode Decomposition, BEMD)和局部逆熵(Local Inverse Entropy, LTE)的新型红外小目标检测算法,其中PGF被用来消除噪声,BEMD可以有效地估计背景并将背景从原始图像中移除,LTE可以实现有效分割,得到目标[7]

      通常“低小慢”目标的检测方法可以分为两大类:一类是对于单帧图像进行目标检测。这一类方法使用滤波算法来剔除复杂背景和估计前景目标。形态学Top-Hat变换[8]、高通滤波[9]和匹配滤波[10]等算法均可以实现目标的实时检测,但在低信噪比条件下准确率不高。二维熵[11]、小波变换[12-14]、偏微分方程(Partial Differential Equations, PDE)[15]和概率主成分分析矩阵[16](Principal Component Analysis, PCA)等方法的检测准确率较高,但无法实现实时检测。另一类方法是基于多帧图像检测目标。该类方法需要通过帧间上下文信息来实现目标检测[17-19],如粒子滤波[20]、移动式加权管道滤波[21-22]和似然比检验[23]等方法。这类算法准确率很高,但无法在目标隐匿于背景或噪声的情况下进行有效检测。

      本文分析了低空慢速小目标的灰度特性,采用局部对比度直方图生成视觉显著性图像,使用形态学梯度和三帧差分算法去除复杂天空背景得到种子点,并通过扫描线填充算法生长出目标。最后提出自适应双高斯算法分割出前景,并根据候选目标的面积占比变化、质心距离变化、宽高比差异来剔除虚假目标,完成检测。

    • 人眼视觉显著性是人类感知系统对视觉信号的响应。根据心理学研究,视觉信号具有独特性、稀缺性以及奇异性,视觉系统更容易获取图像中的颜色、纹理、形状、亮度等高对比度特征。对比度根据位置划分可以分成全局对比和区域对比两种。图像的全局对比倾向于将目标和周围环境分离,而图像的区域对比主要受目标和周围区域影响,相距很远的区域所起的作用较小。图 1(a)是可见光相机拍摄的低空慢速小目标的原始图像,图 1(b)反应了目标和周围区域的灰度分布情况,图 1(c)显示了原始图像的三维能量分布情况。通过观察可以发现,低空慢速小目标所占像素较少且缺乏纹理信息。在复杂的天空背景中,干扰因素主要以噪声、云层、部分的地面场景和光照变化为主。在此情况下,目标和背景的灰度值存在明显差异,目标与相邻区域的对比度同样会存在明显差异,所以“低小慢”目标具有较为明显的颜色统计特征。因此,本文决定依据图像的颜色全局对比[24]来提取图像的视觉显著性图像。

      图  1  “低小慢”目标的特征分析图像

      Figure 1.  Feature analysis of the LSS-target image

      图像中像素的显著性特征值可以用其与图像中其他像素点的颜色对比度来定义:

      (1)
      (2)

      其中:I表示原始图像,IpIq表示图像中的任意像素,取值范围是[0, 255],Sal(Ip)为该像素的显著性值, C(Ip, Iq)为每个像素的显著性特征值与图像中其他所有像素的欧式距离总和,‖·‖为颜色距离度量。公式(1)展开后的形式如下:

      (3)

      其中:N为图像中的像素总数量。如果进行上述计算,时间复杂度会很高,为了提高算法的实时性,通过直方图对像素按照颜色特征值归类,在此定义下,相同颜色的像素点具有相同的显著性值,特征值的计算即可简化为如下形式[25]

      (4)

      其中:fn为特征值的出现频率。图 2(a)表示的是原始图像的颜色直方图,图 2(b)表示的是不同颜色对应的显著性值。图 2(c)表示了视觉显著性图。

      图  2  视觉显著性结果

      Figure 2.  Visual saliency results

    • 为了在视觉显著性特征图中找到种子点,本文将形态学基本梯度[26]与三帧差分算法[27]进行了融合,提出了梯度差分算法。首先,利用参考点位于中心的3×3正方形掩模分别提取相邻且连续的视觉显著性图像的基本形态学梯度特征。然后对提取到的特征进行三帧差分,从而获得种子点。算法原理如图 3所示。

      图  3  梯度差分算法原理图

      Figure 3.  Schematic diagram of gradient difference algorithm

    • 数学形态学[28]是一种基于形状的图像处理操作,包含膨胀、腐蚀、二值开闭、形态学梯度、Top-Hat变换等多种形态学的代数运算子。计算图像的形态学梯度是几种重要的形态学操作之一,该方法适用于图像的特征抽取,由形态学最基本的膨胀和腐蚀两种基础操作适当的组合实现。

      膨胀是将与物体接触的所有背景点合并到该物体中,使边界向外部扩张的过程。用结构元素和原图像做卷积,计算结构元素所覆盖区域的最大值,并赋值给参考点指定像素的过程。其数学表达式如下:

      (5)

      其中:X为原始图像,Y为结构算子,E为掩膜。

      腐蚀是一种消除边界点,使边界向内部收缩的过程。可以用来消除小且无意义的物体。其用结构元素和原图像做卷积,计算结构元素所覆盖区域的最小值,并赋值给参考点指定像素。

      其数学表达式如下:

      (6)

      常见的形态学梯度包含基本梯度、内部梯度、外部梯度、方向梯度4种。内部梯度是原图像与腐蚀后图像的差值图像;外部梯度是膨胀后图像与原图像的差值图像;方向梯度是使用水平方向与竖直方向的直线作为结构元素得到的,水平方向与竖直方向的结构元素分别为膨胀图像与腐蚀图像的差值图像;基本梯度是膨胀后图像与腐蚀后图像的差值图像。

      为了获取更多种子点,本文使用基本形态学梯度进行计算,其数学表达式如下:

      (7)
    • 帧间差分算法[29]是通过对视频图像序列的连续两帧图像做差分运算获取运动区域的算法。相邻两帧图像之间的差别即为对应位置像素值差的绝对值。其数学公式描述如下:

      (8)
      (9)

      其中:B(x, y)表示相邻两帧图像的差分结果,D(x, y)表示差分算法的分割结果,P为经验阈值。

      使用帧间差分算法进行检测时,会产生“空洞”和“鬼影”现象,且无法识别静止或运动速度很慢的目标,故不能作为“低小慢”目标检测的有效手段。三帧差分算法在两帧差分算法的基础上进行了改进,算法将相邻三帧图像并为一组进行差分,能够准确检测到运动目标之中的像素点,可以作为提取种子点的有效手段。其数学公式描述如下:

      (10)
      (11)
      (12)

      其中:W(n+1, n)和W(n, n-1)表示相邻两帧图像的分割结果,Diff(x, y)表示三帧差分算法的分割结果,Q为经验阈值。

      梯度差分的效果如图 4所示,从实验效果可以看出,基于局部对比度的显著性特征图像在经过形态学基本梯度运算后,相当于第二次过滤了图像的显著性前景特征,由此再进行差分算法,得到的种子点更为精确,且种子点所在区域与实际前景区域基本稳合。梯度差分算法可以自动获得具有明显区域性的种子点,且基于强灰度特征差分后得到的种子点具有较好的可控生长门限,可以避免生长过后分割成过多区域这一情况的出现。

      图  4  梯度差分结果

      Figure 4.  Gradient difference results

    • 区域生长[30]是指将成组的像素或区域发展成为更大区域的过程。该过程从图像内部的指定像素点(种子点)开始,由此出发找到所有具有相似属性的像素点并合并到此区域。首先检测种子点的颜色,若其与边界像素点和指定填充色均不相同,则用填充色填充该点。然后检测相邻像素点,重复以上判定,直到检测完图像中的所有像素点为止。从当前点检测相邻像素的传统方法有两种:一种为四向搜索,是指从四连通区域寻找下一个像素;另一种为八向搜索,是指从八连通区域寻找下一个像素。区域生长是一个迭代的过程,这里每个种子像素点都迭代生长,直到处理过每个像素。

      传统的区域生长算法[31]虽然能提供良好的边界信息和分割结果,但是迭代过程导致了算法时间复杂度较高,实时性不好。本文改进的基于扫描线填充的区域生长算法采用的是一种避免递归,提高效率的思想。该算法不再采用递归方式处理图像的四邻域区域和八邻域区域,而是沿水平方向分行扫描并填充像素段,以分段形式处理相邻的像素点。

      算法流程(图 5)如下:

      图  5  扫描线填充算法流程图

      Figure 5.  Flow chart of scan line filling algorithm

      (1) 初始化一个空的堆栈用于存放梯度差分算法得到的种子点,并将种子点压入堆栈。

      (2) 记录种子点的颜色属性,然后沿种子点所在扫描线分别沿左、右两个方向进行生长,判断符合要求的像素段并进行填充,直到扫描至图像边界为止。判定公式如下:

      (13)

      其中,PRPGPB分别表示所扫描像素在RGB通道的灰度值。βRβGβB分别表示该行种子点在RGB通道像素的灰度值。τRτGτB为判定阈值。

      (3) 记下填充后扫描区段的起始坐标,确定与这一区段相连通的上、下两条扫描线上是否存在连续的符合如下判定要求的像素点:

      (14)

      其中,γRγGγB分别表示相邻扫描线上像素在RGB通道像素的灰度值。σRσGσB为判定阈值。

      如果存在,则将该区段左右两端的像素点作为新的种子点保存起来并依次压入堆栈。

      (4) 继续步骤(2),直到填充结束。

      本文改进的区域生长算法考虑了扫描线上像素的相关性,种子像素不再代表一个孤立的像素,而是代表一个尚未填充的区段。算法在处理过程中只需要将每个水平像素段的起始点压入堆栈即可,不需要将当前种子点周围所有尚未处理的邻域点都压入堆栈迭代生长,可以节省堆栈空间。并且本算法在选取生长所需的新的种子点时充分考虑了其邻域像素点的相似性,区域生长过程中不再对已经扫描过的像素段进行迭代计算,算法的时间复杂度较低,且生长后的图像前景具有更好的区域连通性。

    • 为了在图像中分离出前景,本文提出了一种新的自适应阈值分割算法。算法使用双高斯函数来拟合图像的直方图,并采用最大似然估计自适应求解出谷底最小值,将其设为最佳阈值有效提取前景。

      直方图可以表示图像组成成分在灰度级的概率分布。每个概率值表示小于或等于该灰度值的概率。设灰度级为[0, L-1]范围的数字图像的直方图是离散函数,则有:

      (15)
      (16)

      其中:n为图像的总像素数量,sk为第k级图像的灰度,nk为灰度级为sk的像素总数。P(sk)为灰度级sk的概率密度。对于经过改进区域生长算法处理后的图像,目标和背景的直方图通常呈现双峰特性,且服从高斯分布,故本文采用双高斯函数来对直方图进行拟合:

      (17)

      其中,a1, b1, c1, a1, b2, c2为待确定参数,采用最大似然估计对上述方程进行求解:

      (18)

      对上式取对数:

      (19)

      La1, b1, c1, a2, b2, c2的偏导数为零的解:

      (20)
      (21)
      (22)
      (23)
      (24)
      (25)

      使用本方法拟合后的直方图具有明显的极大极小值,拟合结果如图 6所示。

      图  6  双高斯函数拟合直方图结果

      Figure 6.  Double Gauss function fitting histogram results

      通过式(19)~(24)可求得a1, b1, c1, a2, b2, c2的估计值,将其代入公式即可求得函数的谷底最小值:

      (26)

      将谷底最小值作为分割阈值代入公式,即可有效提取前景。

      (27)

      本文提出的基于双高斯拟合直方图的自适应阈值分割算法结果如图 7所示。

      图  7  自适应阈值分割结果

      Figure 7.  Adaptive threshold segmentation results

    • 理想的“低小慢”目标是一个闭合的连通区域,呈现斑点状、具有较小的熵和近似均匀的强度,可以根据候选目标的面积占比变化、质心距离、填充率差异、宽高比差异来剔除虚假目标,降低虚警率。其计算方法如下:

      ① 自动获得所有包含疑似目标的最小外接矩形;

      ② 计算目标面积占比:

      (28)

      ③ 计算目标中心距离变化:

      (29)

      ④ 计算宽高比:

      (30)

      其中,表示目标在图像中所占像素的数量,K(x, y)表示包含候选目标的最小矩形所占像素的数量;bwbh分别表示包含候选目标的最小矩形的宽度和高度。假设集合R中包含了m个候选目标区域{r1, r2, rm},剔除虚警后的目标集合为T,剔除虚假目标的具体流程如表 1所示。

      表 1  剔除虚警流程

      Table 1.  Eliminating false alarm process

      input:候选目标集合R
      output:目标集合T
      1.ti={ri}, T={ϕ} Δ初始化
      2. For i=1, riR
      3. if
      4. Δ更新目标集合
      5. else
      6. Texist=T Δ剔除虚警
      7. End for
    • 为了验证本文算法的有效性,本文选取了涵盖目标尺度变化,光照变化,姿态变化,遮挡等复杂情况的7组视频进行了测试(表 2),并将实验结果与Vibe算法[32]、PBAS算法[33]进行了对比分析。为了保证实验结果的公平性和准确性,本文使用引用文章的开源代码进行了测试。

      表 2  实验中的测试视频

      Table 2.  Test sequences in our experiments

      视频 帧数 SCR
      Video 1 76 <1
      Video 2 69 1~1.5
      Video 3 249 1.5~2
      Video 4 90 2~3
      Video 5 22 >3
      Video 6 64 >3
      Video 7 101 >3

      本文算法采用C语言编写,在Intel(R) Core (TM) i5-6500 CPU@3.2 GHz,4.00GB内存,Windows7系统的电脑上,应用OpenCV 2.4.10和Microsoft Visual Studio 2010软件搭建了实验环境并编写算法。本文算法中Q=80,τR, G, B=30,σR, G, B=20。

      表 2中局部信杂比(Signal to Clutter Ratio,SCR)的计算方式如下:

      (31)

      其中,δt为目标局部区域的像素平均值,δbσb分别为目标邻域背景局部区域像素的平均值和标准差。定义平均信杂比[34]SCR

      (32)

      其中,Jt为目标个数,SCRi为第i个目标的信杂比。

    • 为了定量分析检测算法的性能,实验中采用检测准确率Pd(Detection accuracy)、虚警率Pfa(False alarm rate)以及算法的时间复杂度(Time complexity)来评价算法的检测效果[35]

      (33)
      (34)

      其中,Nt表示正确检测到的目标帧数,Na表示实际含目标视频的总帧数,Nf表示检测到的目标虚警总数量,N表示测试视频序列的总帧数。

      本文使用3种检测算法分别对7组视频进行了测试,获得的检测准确率Pd,虚警率Pfa,算法的时间复杂度分别如表 3表 4所示。其中,算法的平均耗时为测试视频中单帧检测时间最大值和最小值的平均值,算法的总耗时为完成完整测试视频所用的时间。

      表 3  检测准确率Pd及虚警率Pfa

      Table 3.  Detection accuracy and false alarm rate (%)

      视频 准确率 虚警率
      Vibe PBAS Ours Vibe PBAS Ours
      Video 1 26.3 65. 8 81.6 77.2 35.8 5.1
      Video 2 30.4 72.5 87.0 82.4 76.5 4.6
      Video 3 32.1 80.3 84.3 65.3 11.2 0.9
      Video 4 23.3 80 87.8 86.5 3.5 0.3
      Video 5 45. 5 90.9 100 40.7 4.6 0
      Video 6 62.5 78.1 100 33.5 4.8 0
      Video 7 59.4 84.2 89.1 20.9 6.5 6.2

      表 4  算法的时间复杂度

      Table 4.  Average time consumption and total time consumption of the proposed algorithm

      视频 帧数 平均耗时(s/frame) 总耗时/s
      Vibe PBAS Ours Vibe PBAS Ours
      Video 1 76 0.362 0.396 0.042 27.512 30.096 3.05
      Video 2 69 0.346 0.389 0.048 24.081 26.841 3.31
      Video 3 249 0.372 0.412 0.047 96.682 102.588 11.61
      Video 4 90 0.329 0.386 0.046 29.61 34.74 4.102
      Video 5 22 0.349 0.391 0.045 7.678 8.602 0.988
      Video 6 64 0.354 0.397 0.043 22.656 25.408 2.764
      Video 7 101 0.371 0.403 0.047 37.471 40.703 4.770

      为了更直观地说明对比结果,图 8给出了本文算法及对比算法的实验结果。其中,图 8(a)为原始测试图像视频序列(Vedio1-Vedio7),图 8(b)为Vibe(Visual Background Extractor)算法的实验结果,图 8(c)为PBAS(The Pixel-Based Adaptive Segmenter)算法的实验结果,图 8(d)为本文算法实验结果。

      图  8  对比实验结果

      Figure 8.  Comparison of experimental results for different algorithms

    • 通过对比可以看出,Vibe算法在动态复杂天空背景环境下进行检测时具有明显的“鬼影”现象,检测准确率较低。在此基础上改进的PBAS算法可以去除大面积的“鬼影”,并在信杂比大于3的视频序列中具有较高的检测准确率,但是算法时间复杂度较之前更高,在低信杂比环境下检测准确率较低。本文提出的算法在信杂比小于1的视频序列中仍具有81.6%的检测准确率,且虚警率较低,仅为5.1%。算法的时间复杂度、检测准确率Pd及虚警率Pfa这3个评价标准对于7个测试视频均达到最佳,在信杂比较低的视频序列中,检测准确率较其他算法平均提高了11.4%,时间复杂度仅为Vibe和PBAS算法的十分之一。本文算法在光照变化、尺度变化、姿态变化及背景干扰的情况下依旧具有较好的鲁棒性,优于Vibe和PBAS算法。

      图 9可以看出,算法可以在复杂动态天空背景中剔除虚假目标并准确发现真正目标,矩形框代表算法自动检测到的“低小慢”目标。

      图  9  本文算法检测结果

      Figure 9.  Detection results by proposed algorithm

    • 为了在复杂天空背景下检测出低空慢速小目标,本文在应用局部亮度对比度提取图像视觉显著性特征的基础上,融合了形态学梯度和三帧差分算法来获取种子点,通过改进的扫描线填充算法有效去除复杂背景。同时,提出了新的自适应直方图分割算法来提取前景,并根据目标的面积占比变化、质心距离变化、宽高比差异剔除虚假目标,完成检测。

      对7组测试视频进行实验,实验结果和数据表明:本文提出的算法对运动目标检测的平均运行时间为0.040 9 s,平均检测准确率为89.97%,相比于其他算法平均运算时间减少了0.35 s,检测的平均准确率提高了24.5%。与其他的优秀检测算法相比,本文算法能够获得更多的有效信息并减少背景信息的干扰,具有更好的鲁棒性和更好的实时性。

参考文献 (35)

目录

    /

    返回文章
    返回