留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

深度学习的空间红外弱小目标状态感知方法

黄乐弘 曹立华 李宁 李毅

黄乐弘, 曹立华, 李宁, 李毅. 深度学习的空间红外弱小目标状态感知方法[J]. 中国光学, 2020, 13(3): 527-536. doi: 10.3788/CO.2019-0120
引用本文: 黄乐弘, 曹立华, 李宁, 李毅. 深度学习的空间红外弱小目标状态感知方法[J]. 中国光学, 2020, 13(3): 527-536. doi: 10.3788/CO.2019-0120
HUANG Le-hong, CAO Li-hua, LI Ning, LI Yi. A state perception method for infrared dim and small targets with deep learning[J]. Chinese Optics, 2020, 13(3): 527-536. doi: 10.3788/CO.2019-0120
Citation: HUANG Le-hong, CAO Li-hua, LI Ning, LI Yi. A state perception method for infrared dim and small targets with deep learning[J]. Chinese Optics, 2020, 13(3): 527-536. doi: 10.3788/CO.2019-0120

深度学习的空间红外弱小目标状态感知方法

doi: 10.3788/CO.2019-0120
基金项目: 国家自然科学基金项目(No. 61705219)
详细信息
    作者简介:

    黄乐弘(1994—),男,陕西西安人,硕士研究生,2016年于东北师范大学获得学士学位,主要从事计算机视觉、目标特性识别、深度学习等方面的研究。E-mail:841914537@qq.com

    曹立华(1971—),男,吉林磐石人,研究员,博士生导师,1994年于西安交通大学获得学士学位,2014年于长春理工大学获得博士学位,主要从事光电仪器总体集成技术、目标特性测量与识别等方面的研究。E-mail:cao0983@sina.com

    李宁(1983-),男,吉林白山人,副研究员,2007年于长春理工大学获得学士学位,2012年于中国科学院长春光学精密机械与物理研究所获得博士学位,主要从事红外图像处理、红外辐射特性测量等方面的研究。E-mail:ning_li521@qq.com

    李毅(1988-),男,湖南岳阳人,助理研究员,2011年于吉林大学获得学士学位,2016年于中国科学院长春光学精密机械与物理研究所获得博士学位,主要从事图像处理、红外图像增强等方面的研究。E-mail:leey2009@sina.com

  • 中图分类号: TP391.4

A state perception method for infrared dim and small targets with deep learning

Funds: Supported by National Natural Science Foundation of China (No. 61705219)
More Information
  • 摘要: 针对当前空间红外弱小目标状态感知方法存在判别准确率低、人工干涉较多、对数据质量要求较高等问题,提出了一种全新的基于深度学习的判别算法。首先,对空间红外弱小目标状态变化进行了分析,并建立了专用数据集;然后,建立了目标状态感知任务专用的卷积神经网络框架,并在局部标注及自适应阈值等方面进行了创新;最后,应用实验室采集的目标辐射强度信息制作的仿真数据对本算法进行了训练和测试,建立了目标状态感知评估指标体系,并对实验结果进行评估。实验结果表明:在输入连续完整的辐射强度信息时,判别准确率为98.27%;输入片段辐射强度信息时,各状态判别准确率皆大于90%。本算法弥补了现有方法对空间弱小目标状态感知虚警率高和目标信息不完整时不敏感的缺陷,提高了检测速度和精度,可以更好地满足空间红外弱小目标感知任务的需求。
  • 图  1  红外辐射数据中的目标姿态调整现象

    Figure  1.  Attitude adjustment of target in infrared radiation data

    图  2  红外辐射数据中的目标起旋现象

    Figure  2.  Target spinning in infrared radiation data

    图  3  红外辐射数据中的目标旋转现象

    Figure  3.  Target rotation in infrared radiation data

    图  4  LeNet-5网络示意图

    Figure  4.  Schematic diagram of LeNet-5 network

    图  5  改进的CNN模型

    Figure  5.  Improved CNN Model

    图  6  起旋现象检测图

    Figure  6.  Detection diagrams of spinning phenomenon

    图  7  损失值函数曲线

    Figure  7.  Loss function curve

    图  8  实验一输入数据

    Figure  8.  Inputted data in experiment 1

    图  9  实验二输入数据

    Figure  9.  Inputted data in experiment 2

    图  10  改进前后的CNN检测方法检测结果对比

    Figure  10.  Comparison of test results of CNN detection methods before and after improving

    表  1  红外探测系统参数

    Table  1.   Parameters of infrared detection system

    名称相关参数
    工作波长/μm8.0~9.2
    面阵规格640×480
    光学系统的入瞳直径/mm650
    探测器像元尺寸/μm24×24
    有效像元率>99%
    下载: 导出CSV

    表  2  实验一模型检测性能

    Table  2.   Model detection performance of experiment 1

    准确率/%召回率/%调和平均/%检测速度/(s)
    目标状态98.8799.6298.730.921
    下载: 导出CSV

    表  3  实验二模型检测性能

    Table  3.   Model detection performance of experiment 2

    状态准确率/%召回率/%调和平均/%检测速度/(s)
    姿态调整190.8294.0291.940.673
    姿态调整291.2994.3393.160.589
    起旋98.8799.4599.210.421
    旋转92.6695.3993.710.755
    下载: 导出CSV
  • [1] 王建立, 刘欣悦. 智能光学的概念及发展[J]. 中国光学,2013,6(4):437-488.

    WANG J L, LIU X Y. Concept and development of smart optics[J]. Chinese Optics, 2013, 6(4): 437-488. (in Chinese)
    [2] 李宁, 张云峰, 刘春香, 等. 1 m口径红外测量系统的辐射定标[J]. 光学 精密工程,2014,22(8):2054-2060. doi:  10.3788/OPE.20142208.2054

    LI N, ZHANG Y F, LIU CH X, et al. Calibration of 1 m aperture infrared theodolite[J]. Optics and Precision Engineering, 2014, 22(8): 2054-2060. (in Chinese) doi:  10.3788/OPE.20142208.2054
    [3] 许伟琳, 武春风, 逯力红, 等. 基于光谱角时序不变性的红外目标识别[J]. 中国光学,2012,5(3):257-262.

    XU W L, WU CH F, LU L H, et al. IR target recognition based on invariant sequential spectral angle[J]. Chinese Optics, 2012, 5(3): 257-262. (in Chinese)
    [4] 李宁, 杨词银, 曹立华, 等. 3~5 μm红外焦平面阵列的辐射定标[J]. 光学 精密工程,2011,19(10):2319-2325. doi:  10.3788/OPE.20111910.2319

    LI N, YANG C Y, CAO L H, et al. Radiance calibration for 3~5 μm infrared focal plane array[J]. Optics and Precision Engineering, 2011, 19(10): 2319-2325. (in Chinese) doi:  10.3788/OPE.20111910.2319
    [5] 梁华, 宋玉龙, 钱锋, 等. 基于深度学习的航空对地小目标检测[J]. 液晶与显示,2018,33(9):793-800.

    LIANG H, SONG Y L, QIAN F, et al. Detection of small target in aerial photography based on deep learning[J]. Chinese Journal of Liquid Crystal and Displays, 2018, 33(9): 793-800. (in Chinese)
    [6] 陈清江, 张雪, 柴昱洲. 基于卷积神经网络的图像去雾算法[J]. 液晶与显示,2019,34(2):220-227.

    CHEN Q J, ZHANG X, CHAI Y ZH. Image defogging algorithms based on multiscale convolution neural network[J]. Chinese Journal of Liquid Crystal and Displays, 2019, 34(2): 220-227. (in Chinese)
    [7] 周筑博, 高佼, 张巍, 等. 基于深度卷积神经网络的输电线路可见光图像目标检测[J]. 液晶与显示,2018,33(4):317-325.

    ZHOU ZH B, GAO J, ZHANG W, et al. Object detection of transmission line visual images based on deep convolutional neural network[J]. Chinese Journal of Liquid Crystal and Displays, 2018, 33(4): 317-325. (in Chinese)
    [8] 张博, 韩广良. 基于Mask R-CNN的ORB去误匹配方法[J]. 液晶与显示,2018,33(8):690-696.

    ZHANG B, HAN G L. ORB removal mis-matching method based on Mask R-CNN[J]. Chinese Journal of Liquid Crystal and Displays, 2018, 33(8): 690-696. (in Chinese)
    [9] 贠卫国, 史其琦, 王民. 基于深度卷积神经网络的多特征融合的手势识别[J]. 液晶与显示,2019,34(4):417-422.

    YUN W G, SHI Q Q, WANG M. Multi-feature fusion gesture recognition based on deep convolutional neural network[J]. Chinese Journal of Liquid Crystal and Displays, 2019, 34(4): 417-422. (in Chinese)
    [10] HARE S, GOLODETZ S, SAFFARI A, et al. Struck: structured output tracking with kernels[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(10): 2096-2109. doi:  10.1109/TPAMI.2015.2509974
    [11] UIJLINGS J R R, VAN DE SANDE K E A, GEVERS T, et al. Selective search for object recognition[J]. International Journal of Computer Vision, 2013, 104(2): 154-171. doi:  10.1007/s11263-013-0620-5
    [12] 纪超, 黄新波, 刘慧英, 等. 融合连续区域特性和背景学习模型的显著计算[J]. 模式识别与人工智能,2018,31(4):300-309.

    JI CH, HUANG X B, LIU H Y, et al. Fusing continuous region characteristics and background learning model for saliency computation[J]. Pattern Recognition and Artificial Intelligence, 2018, 31(4): 300-309. (in Chinese)
    [13] 辛鹏, 许悦雷, 唐红, 等. 全卷积网络多层特征融合的飞机快速检测[J]. 光学学报,2018,38(3):0315003. doi:  10.3788/AOS201838.0315003

    XIN P, XU Y L, TANG H, et al. Fast airplane detection based on multi-layer feature fusion of fully convolutional networks[J]. Acta Optica Sinica, 2018, 38(3): 0315003. (in Chinese) doi:  10.3788/AOS201838.0315003
    [14] 冯小雨, 梅卫, 胡大帅. 基于改进Faster R-CNN的空中目标检测[J]. 光学学报,2018,38(6):0615004. doi:  10.3788/AOS201838.0615004

    FENG X Y, MEI W, HU D SH. Aerial target detection based on improved faster R-CNN[J]. Acta Optica Sinica, 2018, 38(6): 0615004. (in Chinese) doi:  10.3788/AOS201838.0615004
    [15] 廖祥文, 谢媛媛, 魏晶晶, 等. 基于卷积记忆网络的视角级微博情感分类[J]. 模式识别与人工智能,2018,31(3):219-229.

    LIAO X W, XIE Y Y, WEI J J, et al. Perspective level microblog sentiment classification based on convolutional memory network[J]. Pattern Recognition and Artificial Intelligence, 2018, 31(3): 219-229. (in Chinese)
    [16] 王文秀, 傅雨田, 董峰, 等. 基于深度卷积神经网络的红外船只目标检测方法[J]. 光学学报,2018,38(7):0712006. doi:  10.3788/AOS201838.0712006

    WANG W X, FU Y T, DONG F, et al. Infrared ship target detection method based on deep convolution neural network[J]. Acta Optica Sinica, 2018, 38(7): 0712006. (in Chinese) doi:  10.3788/AOS201838.0712006
  • [1] 柳祎, 史浩东, 姜会林, 李英超, 王超, 刘壮, 李冠霖.  粗糙目标表面红外偏振特性研究 . 中国光学, 2020, 13(3): 459-471. doi: 10.3788/CO.2019-0123
    [2] 吴言枫, 王延杰, 孙海江, 刘培勋.  复杂动背景下的“低小慢”目标检测技术 . 中国光学, 2019, 12(4): 853-865. doi: 10.3788/CO.20191204.0853
    [3] 王春哲, 安军社, 姜秀杰, 邢笑雪.  基于卷积神经网络的候选区域优化算法 . 中国光学, 2019, 12(6): 1348-1361. doi: 10.3788/CO.20191206.1348
    [4] 乔铁英, 蔡立华, 李宁, 李周, 李成浩.  基于红外辐射特性系统实现对面目标测量 . 中国光学, 2018, 11(5): 804-811. doi: 10.3788/CO.20181105.0804
    [5] 谭翠媚, 许廷发, 马旭, 张宇寒, 王茜, 闫歌.  图-谱结合的压缩感知高光谱视频图像复原 . 中国光学, 2018, 11(6): 949-957. doi: 10.3788/CO.20181106.0949
    [6] 杨虹, 张雅声, 丁文哲.  飞艇红外探测系统探测高超声速目标性能研究 . 中国光学, 2016, 9(5): 596-605. doi: 10.3788/CO.20160905.0596
    [7] 孙辉, 李志强, 张建华, 韩松伟, 宋玉龙.  机载光电平台目标交会定位 . 中国光学, 2015, 8(6): 988-996. doi: 10.3788/CO.20150806.0988
    [8] 柯洪昌, 孙宏彬.  图像序列的显著性目标区域检测方法 . 中国光学, 2015, 8(5): 768-774. doi: 10.3788/CO.20150805.0768
    [9] 郭巳秋, 许廷发, 王洪庆, 张一舟, 申子宜.  改进的粒子群优化目标跟踪方法 . 中国光学, 2014, 7(5): 759-767. doi: 10.3788/CO.20140705.0759
    [10] 曾蔚, 王汇源, 刘莹奇, 王斌, 张振铎, 曾子晗.  基于IR-SFS算法空间目标红外影像3D重建 . 中国光学, 2014, 7(3): 376-388. doi: 10.3788/CO.20140703.0376
    [11] 高文, 朱明, 贺柏根, 吴笑天.  目标跟踪技术综述 . 中国光学, 2014, 7(3): 365-375. doi: 10.3788/CO.20140703.0365
    [12] 许伟琳, 武春风, 逯力红, 侯晴宇.  基于光谱角时序不变性的红外目标识别 . 中国光学, 2012, 5(3): 257-262. doi: 10.3788/CO.20120503.0257
    [13] 刘伟宁.  基于小波域扩散滤波的弱小目标检测 . 中国光学, 2011, 4(5): 503-508.
    [14] 胡剑虹, 宁飞, 沈湘衡, 贺庚贤.  目标表面发射率对红外热像仪测温精度的影响 . 中国光学, 2010, 3(2): 152-156.
    [15] 宋振丰, 李岩, 于洋.  数字图像注入式红外目标捕获跟踪训练仿真 . 中国光学, 2010, 3(2): 194-200.
    [16] 董宇星, 刘伟宁.  基于灰度特性的海天背景小目标检测 . 中国光学, 2010, 3(3): 252-256.
    [17] 罗刚, 张云峰.  应用角点匹配实现目标跟踪 . 中国光学, 2009, 2(6): 477-481.
    [18] 刘艳, 张超, 李卿.  基于合作目标的激光水下定位 . 中国光学, 2009, 2(2): 169-174.
    [19] 薛陈, 朱明, 刘春香.  遮挡情况下目标跟踪算法综述 . 中国光学, 2009, 2(5): 388-394.
    [20] 吕银环, 张涛, 童广辉, 崔维鑫.  基于衍射光学元件的红外弱目标探测系统设计 . 中国光学, 2009, 2(6): 543-549.
  • 加载中
图(10) / 表ll (3)
计量
  • 文章访问数:  505
  • HTML全文浏览量:  305
  • PDF下载量:  27
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-06-14
  • 修回日期:  2019-08-12
  • 网络出版日期:  2020-06-30
  • 刊出日期:  2020-06-01

深度学习的空间红外弱小目标状态感知方法

doi: 10.3788/CO.2019-0120
    基金项目:  国家自然科学基金项目(No. 61705219)
    作者简介:

    黄乐弘(1994—),男,陕西西安人,硕士研究生,2016年于东北师范大学获得学士学位,主要从事计算机视觉、目标特性识别、深度学习等方面的研究。E-mail:841914537@qq.com

    曹立华(1971—),男,吉林磐石人,研究员,博士生导师,1994年于西安交通大学获得学士学位,2014年于长春理工大学获得博士学位,主要从事光电仪器总体集成技术、目标特性测量与识别等方面的研究。E-mail:cao0983@sina.com

    李宁(1983-),男,吉林白山人,副研究员,2007年于长春理工大学获得学士学位,2012年于中国科学院长春光学精密机械与物理研究所获得博士学位,主要从事红外图像处理、红外辐射特性测量等方面的研究。E-mail:ning_li521@qq.com

    李毅(1988-),男,湖南岳阳人,助理研究员,2011年于吉林大学获得学士学位,2016年于中国科学院长春光学精密机械与物理研究所获得博士学位,主要从事图像处理、红外图像增强等方面的研究。E-mail:leey2009@sina.com

  • 中图分类号: TP391.4

摘要: 针对当前空间红外弱小目标状态感知方法存在判别准确率低、人工干涉较多、对数据质量要求较高等问题,提出了一种全新的基于深度学习的判别算法。首先,对空间红外弱小目标状态变化进行了分析,并建立了专用数据集;然后,建立了目标状态感知任务专用的卷积神经网络框架,并在局部标注及自适应阈值等方面进行了创新;最后,应用实验室采集的目标辐射强度信息制作的仿真数据对本算法进行了训练和测试,建立了目标状态感知评估指标体系,并对实验结果进行评估。实验结果表明:在输入连续完整的辐射强度信息时,判别准确率为98.27%;输入片段辐射强度信息时,各状态判别准确率皆大于90%。本算法弥补了现有方法对空间弱小目标状态感知虚警率高和目标信息不完整时不敏感的缺陷,提高了检测速度和精度,可以更好地满足空间红外弱小目标感知任务的需求。

English Abstract

黄乐弘, 曹立华, 李宁, 李毅. 深度学习的空间红外弱小目标状态感知方法[J]. 中国光学, 2020, 13(3): 527-536. doi: 10.3788/CO.2019-0120
引用本文: 黄乐弘, 曹立华, 李宁, 李毅. 深度学习的空间红外弱小目标状态感知方法[J]. 中国光学, 2020, 13(3): 527-536. doi: 10.3788/CO.2019-0120
HUANG Le-hong, CAO Li-hua, LI Ning, LI Yi. A state perception method for infrared dim and small targets with deep learning[J]. Chinese Optics, 2020, 13(3): 527-536. doi: 10.3788/CO.2019-0120
Citation: HUANG Le-hong, CAO Li-hua, LI Ning, LI Yi. A state perception method for infrared dim and small targets with deep learning[J]. Chinese Optics, 2020, 13(3): 527-536. doi: 10.3788/CO.2019-0120
    • 空间目标状态感知在军事和民用领域都有着重要应用。为了满足火箭、导弹、飞机等空间目标的观测、入侵者检测等需求,快速、精确地感知不同空间环境中空间目标的状态变得越来越重要。目前,最常见的空间目标状态感知方法主要集中于光学探测和合成孔径雷达(SAR)方面[1]。空间目标在进行姿态调整、形状变化、旋转等动作时,其对应光学观测系统的投影截面积会发生变化,这样空间目标对应光学系统所成的像和红外辐射特性也会相应发生变化[2],因此,可通过物体的成像与辐射特性的变化规律对空间目标事件进行感知[3]。但是,可见光探测主要是靠目标反射太阳光的能量,受时间、气象等因素的制约,而空间目标的红外辐射信息则不易受这些条件限制[4],获取的数据质量较高。空间红外弱小目标的状态感知可为重点空域监控提供重要信息,可全天时、全天候提高空间预警以及空中运输监控能力,以保障该空域和重点地面目标的安全。因此,空间目标红外探测技术有着广阔的发展和应用前景。

      本文尝试在空间红外弱小目标状态感知方面进行探索。目前感知方法主要是在获得连续完整的辐射强度信息后,人工目视判读某一段信息对应的某种状态。但是当前连续完整的目标辐射强度信息获取较困难,所采集到的绝大多数辐射强度信息是不连续、不完整的,用人工目视判读方法就难以进行判别,无法满足复杂的现实应用场景下的需求。深度学习[5]是目前最热门的机器学习方法,具有建模灵活方便,综合性强,能够同时检测和识别多类目标,主动性好等特点。深度学习通过建立人工神经网络模型来模拟人脑机制,对事物(数据)的特征进行分析学习。深度学习属于“人工智能”的范畴,在目标识别和图像处理领域具有强大的优势,主要体现在:对于非常复杂的非线性映射,人工神经网络模型能很好地进行拟合;对于高空间维度,人工神经网络模型也可以通过配置众多参数以很好表征[6]。目前,人工神经网络模型常用于对图像、声音等进行特征提取,这些提取的特征比人工确定的特征更具有广泛性和分散性[7]。在各种类型的人工神经网络模型中,卷积神经网络(Convolutional Neural Networks, CNN)[8]又具有一些显著优点,如共用参数、局部关联、仿人眼视觉处理的下采样结构等,如今已被大量应用于场景分类、车辆和行人的识别等任务中[9],效果明显优于其他方法。但是,目前还未发现将卷积神经网络应用于空间目标状态感知任务中。本研究将为深度学习应用提供新的实例和思路。

      针对空间目标状态感知任务的特点和需求,本研究提出了基于深度学习的空间红外弱小目标状态感知方法。主要包括4个方面(1)设计了专用于空间目标状态感知任务的CNN框架;(2)针对CNN固定检测阈值不够灵活的缺陷,采取自适应阈值策略,用以降低漏警率和虚警率;(3)建立空间红外弱小目标状态感知任务专用的数据集,其中数据充足而且目标状态具有很好的代表性,可为提高模型质量发挥作用;(4)建立了空间目标状态感知指标评价体系,可对检测结果进行指标评估。

    • 空间目标飞行过程中,为了稳定飞行状态会出现一系列的状态变化。在飞行状态变化时,其对于光学系统的投影截面将发生变化,其辐射强度也会随之发生改变,故可通过分析目标辐射强度的变化规律感知目标状态事件。

      本课题组对空间目标的特征信息进行了数据采集,选用的自制红外探测系统参数如表1所示。

      表 1  红外探测系统参数

      Table 1.  Parameters of infrared detection system

      名称相关参数
      工作波长/μm8.0~9.2
      面阵规格640×480
      光学系统的入瞳直径/mm650
      探测器像元尺寸/μm24×24
      有效像元率>99%

      对所采集数据进行处理后,根据空间目标状态感知任务要求,确定了姿态调整、起旋、旋转等目标状态作为数据集中的待检测对象。下面介绍空间目标发生状态调整、起旋与旋转时,其红外辐射强度的变化规律。

      弱小目标姿态调整现象:为保证空间目标稳定飞行,目标的姿态控制系统需依据飞行中的各种情况,稳定目标姿态,保证目标飞行姿态角的偏差在允许范围内。

      姿态调整现象的辐射强度变化规律:当姿态变化时,定点观测出的红外辐射数据突然呈现变大或变小趋势。如图1所示。

      图  1  红外辐射数据中的目标姿态调整现象

      Figure 1.  Attitude adjustment of target in infrared radiation data

      弱小目标起旋现象:当起旋发动机工作时,空气舵和燃气舵使空间目标旋转。

      起旋现象辐射强度的变化规律:此时由于与空气摩擦加剧和发动机的发热,观测目标的红外热辐射数据呈现急剧增长。当起旋结束后,观测目标的热辐射数据又急速下降。如图2(彩图见期刊电子版)所示。

      图  2  红外辐射数据中的目标起旋现象

      Figure 2.  Target spinning in infrared radiation data

      弱小目标旋转现象:目标在惯性飞行阶段,利用自旋来稳定姿态。

      旋转现象辐射强度的变化规律:当发生旋转现象时,观测目标会出现周期性变化,所以在固定站点测试计算出的目标红外辐射数据也会呈现一定的周期性变化。如图3(彩图见期刊电子版)所示。

      图  3  红外辐射数据中的目标旋转现象

      Figure 3.  Target rotation in infrared radiation data

      本实验中,应用采集到的目标特征信息制作了仿真的目标辐射强度数据和目标高程数据。为保证与实际数据的一致性,在目标辐射仿真信息中加入加性高斯白噪声,如式(1)所示:

      $${{\rm{Z}}_i}\sim N(0,\sigma );\;\; {Y_i} = {X_i} + {Z_i}\sim N(0,\sigma ). $$ (1)

      该仿真数据贴近实测数据,并能更好地保证模型的准确性。为了更好地检测不完整数据中的目标状态,借鉴可变形部件模型,采用局部标注策略[10],按照通用数据集格式对姿态调整、起旋、旋转等状态进行特定标注,建立了空间红外弱小目标状态感知的数据集。每一个数据集样本包含目标辐射强度信息、目标高程信息和目标状态标注信息等3种信息。根据光测设备观察,起旋现象发生时间长度较其他现象短。为了将仿真数据转换成合适的卷积网络输入,设定单位样本长度为90个时间点。整个数据集包含8 100个样本,囊括姿态调整、起旋、旋转等目标状态,不同目标状态的数据互为正负样本。本数据集数据丰富、格式规范、标注信息质量高,为模型训练提供了有力的保障。

    • 目前感知方法主要是在获得目标从起飞到降落连续完整的辐射强度信息后,人工目视判读哪一段信息对应着目标的何种状态,故当辐射强度信息不连续不完整时,就难以判别目标正处于何种状态。人工目视判读方法对数据质量要求极高,判别率低,人工干涉过多,不适应空间红外弱小目标状态感知任务的多种需求,所以急需一种新型的智能判别方法。

    • CNN是现在众多科学领域的研究热点之一[11],已广泛应用于图像处理和机器学习。目前的深度学习模型已经初见成效,逐渐形成了固定的模式,一般会包含输入层、卷积层、池化层、激活层、全连接层或者全卷积层[12],再加上分类器或者softmax层。图4是经典的LeNet-5网络,其包含多个卷积层和多个池化层,在对象特征高度被抽象化后进行全连接操作,在模型最后阶段加上分类器对目标进行分类。

      图  4  LeNet-5网络示意图

      Figure 4.  Schematic diagram of LeNet-5 network

      CNN模型是深度学习的典型代表,后来问世的许多模型也借鉴了CNN的诸多思想。

    • 为了满足空间红外弱小目标状态感知任务的需求,在传统CNN模型的基础上设计了专用于空间目标状态感知任务的CNN模型。深度卷积神经网络模型如图5所示。

      图  5  改进的CNN模型

      Figure 5.  Improved CNN Model

      卷积神经网络设计的基础是确立输入输出关系,本研究意在判别空间红外弱小目标状态,由于是绝对辐射测量,为了增强目标变化状态区分度,所以选择目标高程信息和辐射强度信息作为输入量,目标状态标注信息作为输出量,构成了输入、输出信息对。

      网络层的选择与设置是卷积神经网络设计的重点。考虑感知任务的数据量和感知目标的类别,此模型设计成两个一维卷积层,使用多个滤波器与对象进行卷积,用以提出数据的潜在特征;设计一个池化层提升网络的泛化和抽象能力;设计两个全连接层实现数据转换和状态识别。

      在制作数据集时,已设定每条数据样本中包含有90个时间点,这样输入模型的就是一个[None,1,90,2]的四维数组。

      输入数据随后进入了卷积层,卷积层K的表达式如式(2)所示:

      $$x_j^l = f\left(\sum\limits_{i \in {M_j}} {x_i^{l - 1} \cdot a_{ij}^l + b_j^l} \right),$$ (2)

      式中,$f( \cdot )$代表卷积层K的激活函数;xjl代表l卷积层的第j个特征;aijl为卷积核,${M_j}$为输入特征的集合,bjl为偏置。在该卷积层中定义了不同的滤波器以此训练不同的特性,卷积核的尺寸根据CNN网络经验选取。通过这个卷积层后的输出矩阵为[1,1,31,120]。输出矩阵的每一列都包含一个滤波器的权值,在这里每个滤波器将包含31个权重值。

      为了减少输出的复杂度和防止数据的过拟合,在卷积层之后经常会使用池化层。池化层计算式如式(3)所示:

      $$x_j^l = g(\beta _j^ldown(x_j^{l - 1}) + b_j^l)\;\,,$$ (3)

      式中:$g( \cdot )$为池化层的激活函数,$down( \cdot )$为下采样函数,βjl为权值。

      最常见的池化操作为平均池化和最大池化,本设计选择了权值大小为5的最大值池化层,不仅可以提高训练速度、降低维度,而且能够确保不会出现数据过拟合的现象[13]

      为了学习更高层次的特征,在池化层后又设置了一个卷积层,每个特征检测器在神经网络的这一层中只剩下唯一权重,输出矩阵变为[1, 1, 1, 720]。改进的CNN模型在特征提取时,可减少特征信息丢失,能更加有效的对弱小目标进行特征提取。

      最后在全连接层中进行数据转化并使用Softmax为候选区域进行分类。输出特征${F_0}$可由式(4)计算:

      $${F_0} = T({W_l} \cdot {I^{(l - 1)}} + {b^{(l)}})\;\,,$$ (4)

      Softmax 分类层的作用是将输入的类别信息映射到和为 1 的概率空间,输出的目标为每一类对应的概率。Softmax分类层计算式如式(5)所示:

      $$y({x_i}) = \frac{{\exp ({x_i})}}{{\displaystyle\sum\limits_{i = 1}^M {(\exp ({x_i}))} }}.$$ (5)
    • 在全连接层中,目标的特征信息进入Softmax后,通过阈值判别实现分类。此时候选区将接收到每个类别目标的检测准确率,当特定目标的准确率高于预定阈值时,则认为此类目标存在。由于空间红外弱小目标状态感知任务数据通常是不完整的,如果阈值设置的不合理,会严重影响目标识别的结果,当阈值设置的过高,会排除掉许多真实目标,而设置的过低,又会混入一些错误目标。如图6所示。其中,图6(a)为假起旋状态,图6(b)为真起旋状态。通常的做法是多次测试数据集,不断地调整阈值,取平均准确率作为该模型的阈值。但是这种方法偏向应用于特定的数据集,无法涵盖现实中的所有情况,显然它不能满足空间红外弱小目标状态感知任务的工程应用。

      图  6  起旋现象检测图

      Figure 6.  Detection diagrams of spinning phenomenon

      本文的自适应阈值方法,既能有效避免模型适应数据集,又能提升模型的决策能力。自适应阈值方法的原理如下:首先,对检测结果中的目标识别准确率进行评分,对于训练良好的模型,真实目标和虚假目标的识别准确率的评分结果往往会相差一到两个数量级,而且检测出真实目标的评分通常在0.1以上。所以可依据真假目标准确率评分之差结合二阶差分法设置自适应阈值。具体操作如下:Softmax中每个候选区都将生成一个识别准确率评分数组,将评分数值从大到小进行排序(准确率评分小于0.1的虚假目标可直接舍去),这样就得到了${{n}} \times {\rm{1}}$个数组C。最终阈值计算式如式(6)所示:

      $$f({C_k}) = \frac{{({C_{k + 1}} - {C_k}) - ({C_k} - {C_{k - 1}})}}{{{C_k}}},k = 2,3,...,n - 1.$$ (6)

      假定评分从大到小的趋势变化函数为$f( \cdot )$f(Ck)取最大值时的Ck即可作为此测试模型的最终阈值[14]。这种方法可有效降低虚警率,将复杂情况中准确率相对低的真实目标和准确率相对高的虚假目标区分开来。

    • 本研究属于分类问题,所以选择交叉熵损失(Cross Entropy Loss)进行评价[15],计算式如式(7)所示:

      $$CE(\theta ) = - \sum\limits_{i = 1}^n {{y_i} \cdot \log ({{\hat y}_i})} ,$$ (7)

      其中yi取值为{0,1},表示预测的概率。

      本设计是以开源深度学习框架TensorFlow为基础,以改进的CNN网络结构为模型,结合区域标注、自适应阈值等方法,训练生成空间红外弱小目标状态感知模型。将输入、输出信息对按比例随机抽取生成训练集和测试集,利用训练集训练神经网络模型对弱小目标的状态感知能力,利用测试集检测模型对弱小目标状态感知能力的性能。将训练好的模型固定,进行线上测试,实现对空间红外弱小目标状态变化的感知识别。

      模型训练过程中损失值的收敛曲线如图7所示。

      图  7  损失值函数曲线

      Figure 7.  Loss function curve

      图中纵坐标为损失值、横坐标表示迭代次数,当网络迭代超过400次时,各参数变化基本稳定,损失值最后下降到约0.000 9。从损失值的收敛情况来看,网络训练结果比较理想。

    • 算法的实现平台为:Windows10 64位和Ubuntu 16.04 LTS操作系统,Intel i7中央处理器(CPU)、8G内存,Python 3.5,OpenCV3.0并使用NVIDIA GTX 1060 图形处理器(GPU)加速运算,使用TensorFlow卷积神经网络学习框架,搭建CNN网络进行空间红外弱小目标状态感知模型的训练和测试。

    • 主要过程如下:数据采集,制作仿真高程-辐射强度二维输入数据,标记目标状态信息形成输入输出信息对,准备训练样本和测试样本;制作训练数据集和测试数据集;利用训练样本训练空间红外弱小目标状态感知模型;用训练好的模型对测试集进行识别;建立空间弱小目标状态感知的评价指标体系,根据指标对判别结果进行评价。

      在制作测试集时,制作了连续完整数据和片段数据两组数据,分别用于测试模型的稳定性,以满足不同任务的需求。

      实验一:应用连续完整的输入数据进行测试,并对其进行5种状态的标注,通过训练模型检测完整数据中的目标状态变化。本项实验要求与人工目视判读类似,可与人工方法互为佐证。

      图  8  实验一输入数据

      Figure 8.  Inputted data in experiment 1

      实验二:应用部分数据进行特定标记,训练模型输入片段数据判断目标处于何种状态。本项实验更贴近工程应用中面临的实际问题,希望以此解决数据质量低的判别任务。

      图  9  实验二输入数据

      Figure 9.  Inputted data in experiment 2

    • 为了判别本方法的检测效果,从检测速度和检测精度两方面进行检测,制定了空间红外弱小目标状态感知评价体系。检测速度方面:将检测速率作为评价指标,检测速率是考察模型检测目标所耗时间。CNN模型采用误差的梯度反向传播算法来调整神经网络权值,在训练误差趋于收敛的过程中,反向传播迭代次数可能会达到数十万次。TensorFlow支持中央处理器(CPU)和图形处理器(GPU)的并行运算,使得深度学习任务如此庞大的计算量能够在短期内完成。并行计算为检测速度提供了保障。

      检测精度方面:通过计算该模型在测试集上的检测速率和准确率(P)、召回率(R)、F1调和平均(F)等精度评价指标对空间红外弱小目标识别结果进行定量评价。准确率是测量正确提取的信息的比例,而召回率用来测量提取的信息中心有多少是正确的[16]。三者的公式分别为:

      $$ {{P}} = \frac{{{{{X}}_{{\rm{TP}}}}}}{{{{{X}}_{{\rm{TP}}}} + {{{X}}_{{\rm{FP}}}}}}, $$ (8)
      $$ {{R}} = \frac{{{{{X}}_{{\rm{TP}}}}}}{{{{{X}}_{{\rm{TP}}}} + {{{X}}_{{\rm{FN}}}}}}, $$ (9)
      $$ {{F}} = \frac{{{{{X}}_{{\rm{TP}}}} \times {\rm{2}}}}{{{{{X}}_{{\rm{TP}}}} \times {\rm{2}} + {{{X}}_{{\rm{FP}}}} + {{{X}}_{{\rm{FN}}}}}}, $$ (10)

      式中:XTP为正确提取的建成区目标,XFN为遗漏的状态目标,XFP为错误提取的状态目标。所以采用检测速率、准确率、召回率、调和平均等4个指标评估两组实验,考察基于深度学习的空间红外弱小目标状态感知方法的性能。最终实验结果如表2表3所示。

      表 2  实验一模型检测性能

      Table 2.  Model detection performance of experiment 1

      准确率/%召回率/%调和平均/%检测速度/(s)
      目标状态98.8799.6298.730.921

      表 3  实验二模型检测性能

      Table 3.  Model detection performance of experiment 2

      状态准确率/%召回率/%调和平均/%检测速度/(s)
      姿态调整190.8294.0291.940.673
      姿态调整291.2994.3393.160.589
      起旋98.8799.4599.210.421
      旋转92.6695.3993.710.755

      表2表3可看出,针对空间红外弱小目标状态感知任务建立的专用卷积神经网络框架在检测目标处于连续状态变化和单一特定状态时都展现出了极佳的效果。

      用改进后的CNN网络检测空间红外弱小目标状态,与传统CNN网络检测结果进行对比,平均准确率对比结果如图10所示。可以看出,改进后专用框架的平均准确率大于94%,检测效果有明显提升。改进的CNN模型具有特征提取完备准确、判别准确率高、模型训练速度快、模型稳定性强等特点,更适用于空间红外弱小目标的状态感知。

      图  10  改进前后的CNN检测方法检测结果对比

      Figure 10.  Comparison of test results of CNN detection methods before and after improving

    • 通过建立目标状态感知专用的CNN框架,并在局部标注、自适应阈值等方面进行改进,形成了一种全新的基于深度学习的判别算法。为了验证算法的有效性,充分利用实验室自采集的、具有防空应用背景特性的红外目标辐射强度信息,制作了仿真数据集,并将其分为训练集和测试集,对算法进行训练和测试。同时也建立了指标评价体系,对实验结果进行评估。结果表明:本算法对连续完整数据和片段数据均能取得了良好的结果,在输入连续完整的辐射强度信息时,判别准确率为98.27%;输入片段辐射强度信息时,各状态判别准确率皆大于90%。能有效解决当前空间红外弱小目标状态感知方法判别率低、人工干涉较多,对数据质量要求较高等问题,稳健性远超其他空间目标状态感知方法。本研究为深度学习在目标状态感知方面的广泛应用进行了有益的探索。

参考文献 (16)

目录

    /

    返回文章
    返回