-
对空间目标的有效探测一直以来都是天文学和航天科学领域的研究热点。常见的空间目标探测方法包括:雷达探测、可见光相机探测、红外相机探测等。其中,采用可见光相机进行探测具有探测精度高、技术成熟度较高和数据直观便于使用的优点,是天文学和航天科学领域进行空间目标探测的主要发展方向[1-2]。
目前,可见光相机探测系统通常选择CCD或CMOS传感器。CCD传感器具有噪声低、光谱响应范围宽的优点,传统上常选择科学级CCD作为大型天文观测设备的图像传感器。近年来出现了高灵敏度的CMOS传感器,能够对微弱的光信号探测,并具有面阵信号采集、输出图像帧频高的优点,适合对空间运动目标进行探测。CMOS相机与CCD相机相比还具有体积小、功耗低、传感器外围电路简单等优势[3],更适合在对体积重量敏感的航天器上应用。但高灵敏度CMOS传感器的噪声较大,影响了微弱信号的检测精度。如何基于高灵敏度CMOS传感器进行暗弱空间目标检测是亟待解决的问题[4]。
针对该问题,采用CMOS传感器设计了高灵敏度空间点目标探测系统。与传统的CCD传感器系探测统相比,该系统更适合对运动目标进行探测,且具有轻敏性、成本低等特点,是未来空间点目标探测系统的主要发展方向。
-
探测系统由CMOS相机、算法运算单元和上位机三部分构成。CMOS相机主要由CMOS传感器和FPGA相机组成,FPGA驱动CMOS传感器工作后输出图像;算法运算单元主要由FPGA和DSP两部分组成,共同完成点目标的提取。系统的组成如图 1所示。
系统工作的工作步骤如下:
(1) 上位机首先将成像指令发送给CMOS相机,同时将相机的姿态发送给算法运算单元;
(2) 相机接收指令开始成像,并将输出视频给算法运算单元;
(3) 算法运算单元接收图像视频后开始降噪处理、提取像点的质心并进行细分定位;
(4) 算法运算单元根据相机的姿态会自动调出相应姿态下该天区恒星的星表,将此星图和相机视频图像进行三角匹配,剔除恒星星点,提取疑似点目标;
(5) 算法运算单元实时输出测角信息到平台和上位机,平台根据测角信息实时调整位置,使探测目标始终处于CMOS传感器的视场内,则证明该探测方法有效。
-
进行空间探测时,探测目标越暗,对传感器的灵敏度要求也就越高[5]。高灵敏度传感器像元尺寸一般在12~15 μm,可以在较低的光强下产生响应,但其抗噪性能较差。本文以CPRESS公司生产的一款分辨率为2 048×2 048的CMOS传感器为例,对高灵敏度CMOS传感器的成像特点进行分析。此传感器为全色大面阵CMOS传感器,像元尺寸为12 μm,具有体积小、功耗低、抗辐照等特点被广泛应用,结构如图 2所示。传感器由像素阵列、片上驱动器、驱动选择器、位移寄存器和模数转换器构成,采用SPI总线,对外为2个LVDS数据通道。当像素阵列受到光束照射时,像素单元内发生光电效应,将光信号转为电信号;逻辑单元根据SPI总线的配置,进行逻辑运算并选择相应的驱动器工作;模拟信号经过模数转换器变成数字信号,通过LVDS对外接口输出。
当传感器对空间成像时,背景是深空,相机的视场角很小,可以认为所成图像G(x, y, t)灰度值为目标信号S(x, y, t)和噪声信号N(x, y, t)的叠加,如式(1):
(1) 空间目标探测时,一般对目标离焦成像形成弥散斑,弥散斑星点像的能量服从二维高斯分布,故星点像的灰度S(x, y, t)值也服从高斯分布。
CMOS传感器的噪声由随机噪声和固定模式噪声组成[6]。随机噪声主要由散粒噪声、热噪声组成。散粒噪声主要包括输入光子散粒噪声、光生电流散粒噪声与暗电流散粒噪声;热噪声是金属氧化物半导体(MOS)器件固有的噪声,由热电子随机运动的不确定性引起的。固定模式噪声(FPN)是由像素结构中的光电二极管的尺寸、掺杂浓度、生产过程中的污染、以及MOS场效应的参数,如VT、增益、沟道宽度、长度等的偏差造成的,对于单个像素,固定模式噪声中噪点位置是固定的,噪点的灰度值与探测器的温度和曝光时间相关[7]。
建立图像传感器成像模型,如公式(2):
(2) 式中,(x, y)为探测器感光的像元位置,I0为成像时积分时间内投射到CMOS感光面上的光信号总能量,(xc, yc)为像点的真实质心,σ为像点的斯半径,Nr(x, y, t)为传感器的随机噪声,Nf(x, y, t)为传感器的固定模式噪声。
传感器在成像时固定模式噪声对图像质量的影响远大于随机噪声[8]。固定模式噪声只与传感器温度和积分时间有关。在轨CMOS相机和在轨天文望远镜系统一般都有精确地温控分系统,保持相机的工作温度处于设计的最佳工作温度。根据以往的设计经验,CMOS相机焦面部分的温度一般控制在8℃左右。通过存储8 ℃时不同积分时间下的模式噪声,成像时减去固定模式噪声即可以得到降噪图像G′(x, y, t),降噪后的图像见公式(3):
(3) 将探测器置于暗盒内,放置入8 ℃的温箱进行试验,待其温度平衡后,采集积分时间为5 ms、15 ms、25 ms、35 ms、45 ms、55 ms和65 ms时传感器的固定模式噪声,记为N1~N7。探测器原始图像为A(t),经过降噪算法后A′(t)图像见公式(4):
(4) 采用上述方法,可以明显降低图像的噪声,为质心细分定位和点目标的星图匹配做了准备。
-
常用的质心提取算法主要分为基于边缘和基于灰度两大类[9]。基于边缘的方法利用目标的边缘形状信息,对灰度的分布不敏感,适合较大的目标;基于灰度的质心提取方法利用目标的灰度分布特征,对灰度的分布敏感,适用于较小的目标。空间点目标探测时,探测器所成弥散斑一般为十几至二十几个像元,灰度分布明显,且基于灰度的质心提取算法的计算过程简便,容易实现[10],其计算如公式(5):
(5) 式中,(xi, yi)是组成星点弥散斑像元的坐标,gi是该像元对应的灰度值,(x, y)是根据质心提取算法计算的亚像元坐标。提取星点的质心坐标后,可以计算出星点之间的星角距,从而进行星图匹配。
-
将恒星星表信息作为先验知识预先存储起来,利用恒星星表和相机的降噪图像,基于星图匹配方法实现对空间点目标的探测[11],其流程见图 3。
当相机对某天区进行成像时,利用外部输入的相机姿态作为参考值从星表中索引相应天区一定视场范围内的恒星,根据质心的细分定位计算各质心初坐标并分别计算索引出的恒星之间的星角距和图像提取出的星点间的星角距,进行三角形匹配[12-13]。如果匹配成功,利用匹配三角形计算相机的姿态矩阵,得到相机的真实姿态,并利用该姿态信息再次索引星表,进而将视场所在天区的恒星按照相机姿态重投影到像面,得到理论成像位置,比较理论位置和图像中星点位置,剔除掉恒星,其它的星点即为疑似目标星点。如果匹配不成功,则利用外部输入的相机姿态直接将视场所在天区的恒星按照相机姿态重投影到像面,得到理论成像位置,同样比较理论位置和图像中星点位置,剔除掉恒星,其它的星点即为疑似目标星点[14-16]。
-
在得到目标像在图像中的位置信息后,可以进一步计算出目标在测量坐标系下的相对位置,一般通过角度进行表示,称为测角信息。如图 4所示,Z轴为相机的视轴,相机焦距为f,XOY为图像坐标系,XOZ为测量坐标系,目标像点T在图像坐标系下的位置为(x, y)。定义方位角α、俯仰角β如下:
(1) 方位角α:定义为目标与测量坐标系原点连线矢量在测量坐标系XOZ平面的投影与OZ轴的夹角,偏向+X轴为正;
(2) 俯仰角β:定义为目标与测量坐标系原点连线矢量与其在测量坐标系XOZ平面的投影的夹角,偏向+Y轴为正。
可以推知,
(6) 已知方位角α和俯仰角β后,实际探测系统可以通过姿态调整机构(例如卫星平台、转台等)执行闭环控制。如图 4,当系统先沿Y轴旋转α角,再沿X轴旋转β角后,目标T的像将位于图像中心。
-
为了测试系统的星等探测和星点提取能力,在中科院兴隆国家天文台进行了照星试验。试验过程中,CMOS相机通过连接工装固定在望远镜旁,在标定光轴后利用望远镜转台和星图引导系统指向不同天区,调整曝光时间进行成像和测试。
图 5为相机在积分时间123.88 ms时对所指向天区拍摄的图片,表 1为试验中拍摄的恒星的视星等和光谱型。根据测光辅助望远镜拍摄的图像数据处理结果得到消光系数,并根据目标的R星等和观测时的恒星高度角,计算得到消光后的R星等。试验中经过大气消光矫正后,探测相机具备探测不同光谱类型的6星等恒星的能力。
表 1 星点详细信息
Table 1. Details of the stars point
HIP编号 HD编号 V星等 高度角/(°) 光谱型 是否提取 HIP89482 167965 5.56 79 B7IV 是 HIP89604 168322 6.12 85 G8.5IIIbFe-1CH0.5 是 HIP89962 168723 3.23 46 K0III-IV 是 HIP91262 172167 0.03 87.5 A0Va 是 HIP92862 175865 4.08 79.5 M5III 是 HIP93408 177196 5 77 A7V 是 HIP93747 177724 2.99 61.5 A0Vn 是 HIP94481 180163 4.43 75 B2.5IV 是 HIP95501 182640 3.36 49 F3IV 是 HIP95947 183912 3.05 70 K3II+B9.5V 是 HIP95853 184006 3.76 71 A5Vn 是 HIP95853 184006 3.75 77 A5Vn 是 HIP96441 185395 4.45 77 F4V 是 HIP99655 192696 4.25 70 A3IV-Vn 是 HIP99951 192944 5.3 71.5 G8III 是 HIP100453 194093 2.23 67 F8Ib 是 HIP100453 194093 2.2 86 F8Ib 是 -
电子星图模拟器可利用计算机仿真生成包含恒星像点、动态点目标像点的视频,模拟CMOS相机工作时指定视轴拍摄得到的图像。设定相机内参数(图像分辨率、视场角等)和相机视轴指向后,星图模拟器即可索引星表并利用投影变换关系生成对应天区的理论星图,并在模拟星图中加入高斯噪声、椒盐噪声,设定目标的大小和星等调整目标与背景之间的相对运动速度,模拟空间运动的点目标。基于电子星图模拟器进行仿真验证的最小系统如图 6所示,由电子星图模拟器、上位机和算法单元构成。电子星图模拟器接收上位机的姿态信息和遥控指令,输出固定姿态的星图视频给算法处理单元;算法处理单接收模拟星图后即可进行目标提取。
设置星图模拟器输出仿真图像的视场角为8×8°,图像分辨率为1 024×1 024,帧频20 fps,目标与背景相对运动速度为>0.002°/s,背景中添加高斯噪声和椒盐噪声,同时设置信噪比大于6。为了验证系统的可靠性,采用蒙特卡罗方法随机生成了100个初始视轴指向进行试验。其中一次试验的结果如图 7所示。红框恰好框住了两颗像点,经数据比对,该两像点即为预先设定的目标像点,试验成功。仿真测试表明,当信噪比大于6,视轴指向误差小于1°时,探测的正确率和目标脱靶量误差基本保持不变,探测的正确率为100%。
-
本文根据高灵敏度CMOS传感器特性,设计了空间点目标探测系统。分析了高灵敏度CMOS传感器的成像特点并给出了传感器的降噪方法,并根据DPS+FPGA的嵌入式平台处理结构,设计了星图匹配算法。与传统CCD传感器探测系统相比,CMOS传感器更适合对运动目标进行探测,且极大的缩小了相机的体积和功耗。经过照星试验表明,经过大气消光矫正后该系统可以探测到6等星,达到预期灵敏效果。采用电子星图模拟器输出动态模拟星图并对点目标的提取进行验证,测试结果表明:当信噪比大于6,视轴指向误差小于1°时,点目标的探测正确率和目标脱靶量误差基本保持不变,探测的正确率为100%,可以采取此方法进行空间点目标探测。
-
摘要: 本文面向空间点目标探测,设计了基于高灵敏度CMOS传感器的空间点目标探测系统。首先对CMOS传感器图像进行降噪,提高传感器的探测灵敏度;其次,采用DSP+FPGA嵌入式架构,设计了基于星图匹配信息构建的点目标探测算法,并详细介绍了算法原理和步骤。最后,采用电子星图模拟器对该探测系统进行测试。结果表明:该嵌入式系统具备1 024×1 024@20p格式视频的实时处理能力,可以探测6等星。当信噪比大于6,视轴指向误差小于1°时,对于不同运动速度、不同尺寸点目标均能准确探测,识别正确率接近100%。综合而言,该空间点目标探测方法的计算精度高、适应性强、可靠性高,能够应用于空间点目标的有效探测。Abstract: In this paper, a space point target detection system is designed based on highly sensitive CMOS sensor. Firstly, noise reduction of CMOS sensor image is carried out to improve the sensitivity of the detection sensor; secondly, by using DSP+FPGA embedded architecture, a point target detection algorithm based on star map matching is designed and the principle and steps of the algorithm are introduced in detail. Finally, the electronic star map simulator is used to test the detection system. The results show that the embedded system can process 1 024×1 024@20p format videos in real-time, and the sixth-magnitude stars can be detected. When the SNR is greater than 6 and the pointing error is less than 1°, targets which with different speed and size can be detected with a detection accuracy of nearly 100%. In summary, the space point target detection method has high computational precision, strong adaptability and high reliability, and can be effectively applied to the space point target detection.
-
Key words:
- CMOS sensor /
- point target detection /
- star map matching /
- embedded system
-
表 1 星点详细信息
Table 1. Details of the stars point
HIP编号 HD编号 V星等 高度角/(°) 光谱型 是否提取 HIP89482 167965 5.56 79 B7IV 是 HIP89604 168322 6.12 85 G8.5IIIbFe-1CH0.5 是 HIP89962 168723 3.23 46 K0III-IV 是 HIP91262 172167 0.03 87.5 A0Va 是 HIP92862 175865 4.08 79.5 M5III 是 HIP93408 177196 5 77 A7V 是 HIP93747 177724 2.99 61.5 A0Vn 是 HIP94481 180163 4.43 75 B2.5IV 是 HIP95501 182640 3.36 49 F3IV 是 HIP95947 183912 3.05 70 K3II+B9.5V 是 HIP95853 184006 3.76 71 A5Vn 是 HIP95853 184006 3.75 77 A5Vn 是 HIP96441 185395 4.45 77 F4V 是 HIP99655 192696 4.25 70 A3IV-Vn 是 HIP99951 192944 5.3 71.5 G8III 是 HIP100453 194093 2.23 67 F8Ib 是 HIP100453 194093 2.2 86 F8Ib 是 -
[1] 李少敏, 牛威, 马鑫, 等.空间目标探测技术研究[J].国防科技, 2009(3):6-13. http://kns.cnki.net/KCMS/detail/detail.aspx?filename=gfck200903004&dbname=CJFD&dbcode=CJFQ LI SH M, NIU W, MA X, et al.. Research on space target exploration technology[J]. National Defense Science & Technology, 2009(3):6-13.(in Chinese) http://kns.cnki.net/KCMS/detail/detail.aspx?filename=gfck200903004&dbname=CJFD&dbcode=CJFQ [2] 王维, 董吉洪, 孟庆宇.火星探测可见光遥感相机的发展现状与趋势[J].中国光学, 2014, 7(2):208-214. http://www.chineseoptics.net.cn/CN/abstract/abstract9119.shtml WANG W, DONG J H, MENG Q Y. Current status and developing tendency of visible spectral remote sensing camera for mars observation[J]. Chinese Optics, 2014, 7(2):208-214.(in Chinese) http://www.chineseoptics.net.cn/CN/abstract/abstract9119.shtml [3] BULAYEV Y. Advances in CMOS image sensors open doors to many applications[J]. Photonics Spectra, 2015, 49(9):41-43. https://www.researchgate.net/publication/3941826_Single-chip_CMOS_image_sensor_for_mobile_applications [4] 梁斌, 朱海龙, 张涛, 等.星敏感器技术研究现状及发展趋势[J].中国光学, 2016, 9(1):16-29. http://www.chineseoptics.net.cn/CN/abstract/abstract9384.shtml LIANG B, ZHU H L, ZHANG T, et al.. Research status and development tendency of star tracker technique[J]. Chinese Optics, 2016, 9(1):16-29.(in Chinese) http://www.chineseoptics.net.cn/CN/abstract/abstract9384.shtml [5] 杨涛, 吴孙桃, 郭东辉.CMOS图像传感器电路噪声分析[J].厦门大学学报(自然版), 2012, 51(3):321-326. https://www.wenkuxiazai.com/doc/d4219012f01dc281e43af039-2.html YANG T, WU S T, GUO D H. Analysis of noise behavior in CMOS image sensor[J]. Journal of Xiamen University, 2012, 51(3):321-326.(in Chinese) https://www.wenkuxiazai.com/doc/d4219012f01dc281e43af039-2.html [6] KIM D, BAE J, SONG M. A high speed CMOS image sensor with a novel digital correlated double sampling and a differential difference amplifier[J]. Sensors, 2015, 15(3):5081-5095. https://www.researchgate.net/profile/Daehyeok_Kim2/publication/273150376_A_High_Speed_CMOS_Image_Sensor_with_a_Novel_Digital_Correlated_Double_Sampling_and_a_Differential_Difference_Amplifier/links/56e1627a08aec09a8bbec050.pdf?origin=publication_detail [7] 王华, 曹剑中, 王华伟, 等.基于估计方法的CMOS图像传感器列固定模式噪声校正方法[J].红外与激光工程, 2013, 42(7):1928-1932. http://kns.cnki.net/KCMS/detail/detail.aspx?filename=hwyj201307050&dbname=CJFD&dbcode=CJFQ WANG H, CAO J ZH, WANG H W, et al.. Column fixed pattern noise correction of the CMOS image sensor based on estimation method[J]. Infrared & Laser Engineering, 2013, 42(7):1928-1932.(in Chinese) http://kns.cnki.net/KCMS/detail/detail.aspx?filename=hwyj201307050&dbname=CJFD&dbcode=CJFQ [8] SAFFIH F, HORNSEY R. Reduced human perception of FPN noise of the pyramidal readout CMOS image sensor[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2007, 17(7):924-930. https://www.researchgate.net/profile/Faycal_Saffih/publication/3309134_Reduced_Human_Perception_of_FPN_Noise_of_the_Pyramidal_Readout_CMOS_Image_Sensor/links/00b7d53514c49afb8a000000.pdf?inViewer=true&pdfJsDownload=true&disableCoverPage=true&origin=publication_detail [9] 魏新国, 张广军, 江洁.星敏感器中星图图像的星体细分定位方法研究[J].北京航空航天大学学报, 2003, 29(9):812-815. http://kns.cnki.net/KCMS/detail/detail.aspx?filename=bjhk200309014&dbname=CJFD&dbcode=CJFQ WEI X G, ZHANG G J, JIANG J. Subdivided locating method of star image for star sensor[J]. Journal of Beijing University of Aeronautics & Astronautics, 2003, 29(9):812-815.(in Chinese) http://kns.cnki.net/KCMS/detail/detail.aspx?filename=bjhk200309014&dbname=CJFD&dbcode=CJFQ [10] 连月勇, 张超, 谢宗特.星点亚像元细分定位精度分析[J].测绘科学技术学报, 2015, 32(6):578-582. http://www.cnki.com.cn/Article/CJFDTOTAL-GXJS200505006.htm LIAN Y Y, ZHANG CH, XIE Z T. Accuracy analysis for sub-pixel location of star image[J]. Journal of Geomatics Science & Technology, 2015, 32(6):578-582.(in Chinese) http://www.cnki.com.cn/Article/CJFDTOTAL-GXJS200505006.htm [11] 李振伟, 张涛, 孙明国.星空背景下空间目标的快速识别与精密定位[J].光学精密工程, 2015, 23(2):589-599. http://www.cqvip.com/QK/92835A/201502/663914585.html LI ZH W, ZHANG T, SUN M G. Fast recognition and precise orientation of space objects in star background[J]. Opt. Precision Eng., 2015, 23(2):589-599.(in Chinese) http://www.cqvip.com/QK/92835A/201502/663914585.html [12] 李欣璐, 杨进华, 张刘, 等.用于快速星跟踪的双向递推匹配识别[J].光学精密工程, 2015, 23(5):1443-1449. http://kns.cnki.net/KCMS/detail/detail.aspx?filename=gxjm201505031&dbname=CJFD&dbcode=CJFQ LI X L, YANG J H, ZHANG L, et al.. Bidirectional selective rule out matching recognition of fast star tracking[J]. Opt. Precision Eng., 2015, 23(5):1443-1449.(in Chinese) http://kns.cnki.net/KCMS/detail/detail.aspx?filename=gxjm201505031&dbname=CJFD&dbcode=CJFQ [13] 翟优, 曾峦, 熊伟.基于不变特征描述符实现星点匹配[J].光学精密工程, 2012, 20(11):2531-2539. https://www.wenkuxiazai.com/doc/7cf4ea7727284b73f24250e2-2.html ZHAI Y, ZENG L, XIONG W. Star matching based on invariant feature descriptor[J]. Opt. Precision Eng., 2012, 20(11):2531-2539.(in Chinese) https://www.wenkuxiazai.com/doc/7cf4ea7727284b73f24250e2-2.html [14] 刘太阳, 王仕成, 刘志国, 等.基于星三角形角度的竞选式星图识别[J].光电工程, 2011, 38(3):29-34. https://www.wenkuxiazai.com/doc/a17750ed81c758f5f61f67ac.html LIU T Y, WANG S CH, LIU ZH G, et al.. Voting star recognition algorithm with main star triangle angular determination[J]. Opto-Electronic Engineering, 2011, 38(3):29-34.(in Chinese) https://www.wenkuxiazai.com/doc/a17750ed81c758f5f61f67ac.html [15] SCHIATTARELLA V, SPILLER D, CURTI F. A novel star identification technique robust to high presence of false objects:the multi-poles algorithm[J]. Advances in Space Research, 2017, 59(8):2133-2147. doi: 10.1016/j.asr.2017.01.034 [16] 江山, 张锐, 韩广良, 等.复杂背景灰度图像下的多特征融合运动目标跟踪[J].中国光学, 2016, 9(3):320-328. http://www.chineseoptics.net.cn/CN/abstract/abstract9410.shtml JIANG SH, ZHANG R, HAN G L, et al.. Moving object tracking based on multi-feature fusion in the complex background gray image[J]. Chinese Optics, 2016, 9(3):320-328.(in Chinese) http://www.chineseoptics.net.cn/CN/abstract/abstract9410.shtml -