留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

卷帘快门式CMOS探测器的星图像移补偿

张博研 孔德柱 刘金国 武星星

张博研, 孔德柱, 刘金国, 武星星. 卷帘快门式CMOS探测器的星图像移补偿[J]. 中国光学. doi: 10.37188/CO.2020-0089
引用本文: 张博研, 孔德柱, 刘金国, 武星星. 卷帘快门式CMOS探测器的星图像移补偿[J]. 中国光学. doi: 10.37188/CO.2020-0089
ZHANG Bo-yan, KONG De-zhu, LIU Jin-guo, WU Xing-xing. Compensation of star image motion for a cmos image sensor with a rolling shutter[J]. Chinese Optics. doi: 10.37188/CO.2020-0089
Citation: ZHANG Bo-yan, KONG De-zhu, LIU Jin-guo, WU Xing-xing. Compensation of star image motion for a cmos image sensor with a rolling shutter[J]. Chinese Optics. doi: 10.37188/CO.2020-0089

卷帘快门式CMOS探测器的星图像移补偿

doi: 10.37188/CO.2020-0089
基金项目: 国家自然科学基金(No. 61405191)资助项目;吉林省科技发展计划青年科研基金(No. 20150520102JH)资助项目
详细信息
    作者简介:

    张博研(1987—),女,吉林白城人,硕士,助理研究员,2013年3月于西安电子科技大学获得硕士学位,2010年7月于西安电子科技大学获得学士学位,主要从事立体测绘和图像处理等方面的研究。E-mail:boyan1021@163.com

  • 中图分类号: D590.35 D510.40

Compensation of star image motion for a cmos image sensor with a rolling shutter

Funds: Supported by National Science Foundation of China (No.61405191), Project of Science & Technology Development, Jilin Province (No.20150520102JH)
More Information
  • 摘要: 为了解决卷帘快门式CMOS成像器件在拍摄星图时引入的快门效应,根据卷帘快门CMOS图像传感器的成像原理和特点, 分析了星图中由于快门效应导致的星点变化情况,对该成像方式引入的图像变形,提出了一种像移补偿方法。该方法在已知星图拍摄帧频、CMOS图形传感器相邻行曝光时间间隔的基础上,通过对相邻星图中的星点进行目标提取、质心计算以及星点质心匹配等操作,完成景物在像面上像移速度的计算,最后结合该速度值和CMOS图像传感器的行曝光时间间隔,计算星点质心在单帧星图中的像移,逆向补偿。通过实际拍摄的星图对算法的效果进行测试,实验结果表明,利用补偿后的星图解算姿态数据时,其中非机动模式下与两个星敏的夹角误差可达到0.5″以内,机动模式下与两个星敏的夹角误差也可达到0.6″左右,不仅明显优于补偿前,且精度高于很多目前主流的星敏感器。该实验结果不仅证明了算法的有效性,而且在一定程度上推广了卷帘快门式CMOS 相机在航空航天领域的应用。
  • 图  1  典型的CMOS传感器的结构

    Figure  1.  Framework of a typical CMOS sensor

    图  2  卷帘CMOS图像探测器成像过程

    Figure  2.  Imaging process of a rolling shutter CMOS sensor detector

    图  3  卷帘CMOS图像探测器效果示意图

    Figure  3.  Image result of rolling shutter CMOS detector

    图  4  像移补偿算法流程

    Figure  4.  Flow chart of image shift compensation

    图  5  星图局部截图

    Figure  5.  Part of real star image

    图  6  相邻两帧图像的星点提取结果对比

    Figure  6.  Star extraction results comparison between two adjacent star images

    图  7  星点目标提取及质心计算

    Figure  7.  Flow diagrams of star extraction and centroid calculation

    图  8  相邻两帧星图的星点匹配结果

    Figure  8.  Matched stars of two adjacent image

    表  1  非机动模式下星相机光轴与a星敏之间夹角

    Table  1.   Angle error between the star-camera and star sensor a in non- maneuver mode

    序号俯仰角/°侧摆角/°补偿前误差1σ/″补偿后误差1σ/″
    1 0.549 −6.516 4.353 0.540
    2 0.051 −36.699 5.424 0.439
    3 0.152 −16.769 7.147 0.768
    4 0.334 12.903 6.284 0.702
    5 0 −5.542 4.177 0.377
    6 0 8.672 4.491 0.384
    7 0 12.284 5.261 0.546
    8 −0.231 10.533 5.535 0.231
    9 −0.370 −24.558 4.225 0.300
    10 3.023 −25.764 5.360 0.481
    平均值 5.249 0.476
    下载: 导出CSV

    表  2  星相机光轴与b星敏之间夹角

    Table  2.   Angle error between the star-camera and star sensor b in non- maneuver mode

    序号俯仰角/°侧摆角/°补偿前误差1σ/″补偿后误差1σ/″
    1 0.549 −6.516 5.607 0.420
    2 0.051 −36.699 5.186 0.317
    3 0.152 −16.769 4.375 0.211
    4 0.334 12.903 3.876 0.361
    5 0 −5.542 3.968 0.249
    6 0 8.672 3.233 0.297
    7 0 12.284 5.261 0.567
    8 −0.231 10.533 2.984 0.185
    9 −0.370 −24.558 3.889 0.266
    10 3.023 −25.764 3.960 0.202
    平均值 4.234 0.308
    下载: 导出CSV

    表  3  机动模式下星相机光轴与a星敏之间夹角

    Table  3.   Angle error between the star-camera and the star sensor a in maneuver mode

    序号俯仰角/°侧摆角/°补偿前误差1σ/″补偿后误差1σ/″
    10−18.1917.7540.818
    20−31.9616.6860.532
    302.5975.9140.318
    405.1547.3870.714
    503.8557.9960.734
    平均值7.1470.623
    下载: 导出CSV

    表  4  机动模式下星相机光轴与b星敏之间夹角

    Table  4.   Angle error between the star-camera and star sensor b in maneuver mode

    序号俯仰角/°侧摆角/°补偿前误差1σ/″补偿后误差1σ/″
    10−18.1918.1340.543
    20−31.9616.5630.392
    302.5974.7820.241
    405.1545.9730.616
    503.8556.1890.932
    平均值6.3280.545
    下载: 导出CSV
  • [1] SUN ZH Y, ZHANG D, FANG W. An ASIC chip with pipeline ADCs for CCD sensor imaging system[J]. <italic>Sensors and Actuators A</italic>:<italic>Physical</italic>, 2018, 279: 284-292. doi:  10.1016/j.sna.2018.06.014
    [2] 孙振亚, 刘栋斌, 方伟, 等. 高密度模块化TDI CCD成像系统设计[J]. 红外与激光工程,2018,47(6):0618001. doi:  10.3788/IRLA201847.0618001

    SUN ZH Y, LIU D B, FANG W, <italic>et al</italic>. Design of high density modularity TDI CCD imaging system[J]. <italic>Infrared and Laser Engineering</italic>, 2018, 47(6): 0618001. (in Chinese) doi:  10.3788/IRLA201847.0618001
    [3] 宁永慧, 郭汉洲, 余达, 等. 基于LM98640的TDI-CCD暗场扣除方法[J]. 液晶与显示,2019,34(6):592-597. doi:  10.3788/YJYXS20193406.0592

    NING Y H, GUO H ZH, YU D, <italic>et al</italic>. Dark field deduction method of TDI--CCD based on LM98640[J]. <italic>Chinese Journal of Liquid Crystals and Displays</italic>, 2019, 34(6): 592-597. (in Chinese) doi:  10.3788/YJYXS20193406.0592
    [4] 杨成财, 鞠国豪, 陈永平. 集成PIN光敏元的CMOS探测器光电响应特性研究[J]. 中国光学,2019,12(5):1076-1089. doi:  10.3788/co.20191205.1076

    YANG CH C, JU G H, CHEN Y P. Study on the photo response of a CMOS sensor integrated with PIN photodiodes[J]. <italic>Chinese Optics</italic>, 2019, 12(5): 1076-1089. (in Chinese) doi:  10.3788/co.20191205.1076
    [5] 张军亮, 戚涛, 李晖, 等. 基于GL0816传感器的高速线阵CMOS相机系统设计[J]. 液晶与显示,2019,34(1):24-32. doi:  10.3788/YJYXS20193401.0024

    ZHANG J L, QI T, LI H, <italic>et al</italic>. Design of high speed linear CMOS camera system based on GL0816 sensor[J]. <italic>Chinese Journal of Liquid Crystals and Displays</italic>, 2019, 34(1): 24-32. (in Chinese) doi:  10.3788/YJYXS20193401.0024
    [6] XXX XX, et al. Pixel technology for Improving IR quantum efficiency of backside-illuminated CMOS image sensor[J]. International Image Sensor Society,2019,4(R14):1-4.
    [7] XU CH, MO Y W, REN G J, et al. . A stacked global-shutter CMOS imager with SC-Type hybrid-GS pixel and self-knee point calibration single frame HDR and on-chip binarization algorithm for smart vision applications[C]. Proceedings of 2019 IEEE International Solid- State Circuits Conference, IEEE, 2019: 94-96.
    [8] KOBAYASHI M, SEKINE H, MIKI T, <italic>et al</italic>. A 3.4<italic>μ</italic>m pixel pitch global shutter CMOS image sensor with dual in-pixel charge domain memory[J]. <italic>Japanese Journal of Applied Physics</italic>, 2019, 58(SB): SBBL02. doi:  10.7567/1347-4065/ab00f3
    [9] XU J T, SHI X L, NIE K M, <italic>et al</italic>. A global shutter high speed TDI CMOS image sensor with pipelined charge transfer pixel[J]. <italic>IEEE Sensors Journal</italic>, 2018, 18(7): 2729-2736. doi:  10.1109/JSEN.2018.2800743
    [10] 刘智, 柴华, 李娜娜. CMOS图像传感器中卷帘式快门特性及其应用[J]. 光学 精密工程,2009,17(8):2017-2023.

    LIU ZH, CHAI H, LI N N. Shutter mode of CMOS image sensor and its application[J]. <italic>Optics and Precision Engineering</italic>, 2009, 17(8): 2017-2023. (in Chinese)
    [11] 张惠宇宸, 贺小军, 苏志强. 卷帘数字域TDI技术的CMOS成像系统的SNR模型建立[J]. 长春理工大学学报(自然科学版),2018,41(4):68-72.

    ZHANG H Y CH, HE X J, SU ZH Q. SNR model building of CMOS imaging system of rolling digital domain TDI technology[J]. <italic>Journal of Changchun University of Science and Technology </italic>(<italic>Natural Science Edition</italic>)<italic></italic>, 2018, 41(4): 68-72. (in Chinese)
    [12] HERNANDEZ-PALACIOS J, RANDEBERG L L. Intercomparison of EMCCD- and sCMOS-based imaging spectrometers for biomedical applications in low-light conditions[J]. <italic>Proceedings of SPIE</italic>, 2012, 8215: 82150Q. doi:  10.1117/12.909680
    [13] 贾永丹, 王伟之, 孙建, 等. 高精度星相机光学系统像质评价及实现[J]. 空间控制技术与应用,2018,44(3):43-49.

    JIA Y D, WANG W ZH, SUN J. Evaluation and implementation of image quality in high-precision star camera optical system[J]. <italic>Aerospace Control and Application</italic>, 2018, 44(3): 43-49. (in Chinese)
    [14] VAN BEZOOIJEN R W H. SIRTF autonomous star tracker[J]. <italic>Proceedings of SPIE</italic>, 2003, 4850: 108-121. doi:  10.1117/12.461606
    [15] ZHANG P, ZHAO Q L, LIU J N, <italic>et al</italic>. A brightness-referenced star identification algorithm for APS star tracker[J]. <italic>Sensors</italic>, 2014, 14(10): 18498-18514. doi:  10.3390/s141018498
    [16] LI J, WEI X G, ZHANG G J. Iterative algorithm for autonomous star identification[J]. <italic>IEEE Transactions on Aerospace and Electronic Systems</italic>, 2015, 51(1): 536-547. doi:  10.1109/TAES.2014.130729
    [17] ZHU X F, WU F, XU Q G. A fast star image extraction algorithm for autonomous star sensors[J]. <italic>Proceedings of SPIE</italic>, 2012, 8558: 855821. doi:  10.1117/12.999641
    [18] 赵战民, 朱占龙, 王军芬. 改进的基于灰度级的模糊C均值图像分割算法[J]. 液晶与显示,2020,35(5):499-507. doi:  10.3788/YJYXS20203505.0499

    ZHAO ZH M, ZHU ZH L, WANG J F. Improved fuzzy C-means algorithm based on gray-level for image segmentation[J]. <italic>Chinese Journal of Liquid Crystals and Displays</italic>, 2020, 35(5): 499-507. (in Chinese) doi:  10.3788/YJYXS20203505.0499
    [19] 黄冠婷, 韩学辉, 龚晓婷, 等. 基于图像分割和区域匹配的灰度图像彩色化算法[J]. 液晶与显示,2019,34(6):619-626. doi:  10.3788/YJYXS20193406.0619

    HUANG G T, HAN X H, GONG X T, <italic>et al</italic>. Gray image colorization algorithm based on image segmentation and region matching[J]. <italic>Chinese Journal of Liquid Crystals and Displays</italic>, 2019, 34(6): 619-626. (in Chinese) doi:  10.3788/YJYXS20193406.0619
    [20] BOLELLI F, CANCILLA M, BARALDI L, <italic>et al</italic>. Toward reliable experiments on the performance of Connected Components Labeling algorithms[J]. <italic>Journal of Real-Time Image Processing</italic>, 2020, 17(2): 229-244. doi:  10.1007/s11554-018-0756-1
    [21] WANG H Y, XU E SH, LI ZH F, <italic>et al</italic>. Gaussian analytic Centroiding method of star image of star tracker[J]. <italic>Advances in Space Research</italic>, 2015, 56(10): 2196-2205. doi:  10.1016/j.asr.2015.08.027
    [22] 王苹. 高精度视频配准算法中的静态图像配准算法[J]. 液晶与显示,2020,35(6):612-618.

    WANG P. Static image registration algorithm in high-precision video registration algorithm[J]. <italic>Chinese Journal of Liquid Crystals and Displays</italic>, 2020, 35(6): 612-618. (in Chinese)
    [23] 王海涌, 费峥红, 王新龙. 基于高斯分布的星像点精确模拟及质心计算[J]. 光学 精密工程,2009,17(7):1672-1677.

    WANG H Y, FEI ZH H, WANG X L. Precise simulation of star spots and centroid calculation based on Gaussian distribution[J]. <italic>Optics and Precision Engineering</italic>, 2009, 17(7): 1672-1677. (in Chinese)
  • [1] 刘铭鑫, 张新, 王灵杰, 史广维, 吴洪波, 付强.  压缩感知光谱成像技术的编码孔径与探测器匹配优化 . 中国光学, doi: 10.3788/CO.20201302.0290
    [2] 李华东, 齐克奇, 石强, 王少鑫, 王智.  应用于空间惯性传感器的压电驱动器的性能测试 . 中国光学, doi: 10.3788/CO.20201302.0344
    [3] 胡慧然, 但西佐, 赵琪涵, 孙方圆, 王永红.  数字图像相关中的散斑区域自动提取研究 . 中国光学, doi: 10.3788/CO.20191206.1329
    [4] 柴国志, 黄亮, 乔亮, 张冠茂.  星上剩磁对惯性传感器的影响 . 中国光学, doi: 10.3788/CO.20191203.0515
    [5] 王军, 何昕, 魏仲慧, 穆治亚, 吕游, 何家维.  基于区域滤波的模糊星图复原方法 . 中国光学, doi: 10.3788/CO.20191202.0321
    [6] 杨成财, 鞠国豪, 陈永平.  集成PIN光敏元的CMOS探测器光电响应特性研究 . 中国光学, doi: 10.3788/CO.20191205.1076
    [7] 张爽, 朱万彬, 李健, 鲁秀娥.  激光位移传感器传感探头微小型光学系统设计 . 中国光学, doi: 10.3788/CO.20181106.1001
    [8] 齐冰洁, 刘金国, 张博研, 左洋, 吕世良.  高分辨率遥感图像SIFT和SURF算法匹配性能研究 . 中国光学, doi: 10.3788/CO.20171003.0331
    [9] 李长胜, 王伟岐.  基于电致发光效应的光学电压传感器 . 中国光学, doi: 10.3788/CO.20160901.0030
    [10] 高礼圳, 刘书桂, 韩振华.  零件的角点提取及匹配定位 . 中国光学, doi: 10.3788/CO.20160904.0397
    [11] 梁斌, 朱海龙, 张涛, 仝玉婵.  星敏感器技术研究现状及发展趋势 . 中国光学, doi: 10.3788/CO.20160901.0016
    [12] 李杰, 郭盼, 王春哲.  剪切波变换在星点提取中的应用 . 中国光学, doi: 10.3788/CO.20150803.0386
    [13] 王昊京, 王建立, 吴量, 张世学, 贾建禄.  基于粗测位置和方位的三视场快速星图识别方法 . 中国光学, doi: 10.3788/CO.20140705.0768
    [14] 杨洋, 何皓, 李秋顺, 史建国, 李明宇, 董文飞.  TiO2纳米线阵列干涉传感器 . 中国光学, doi: 10.3788/CO.20140703.0421
    [15] 支帅, 张刘, 李欣璐.  带噪声模拟仿真星图的实现 . 中国光学,
    [16] 王二伟, 鱼卫星, 王成, 卢振武.  用表面等离子体共振传感器检测纳米间距 . 中国光学, doi: 10.3788/CO.20130602.0259
    [17] 韩广良.  高频信息矢量匹配实现异源图像配准 . 中国光学,
    [18] 孙宏海, 刘艳滢.  两种高速CMOS图像传感器的应用与测试 . 中国光学,
    [19] 王俣, 张国玉, 高玉军, 孙高飞, 郑茹.  基于TFT-LCD的动态星模拟器星点位置修正方法 . 中国光学,
    [20] 郭敬明, 魏仲慧, 何昕, 张磊.  CCD星图模拟器的设计及验证 . 中国光学,
  • 加载中
图(8) / 表 (4)
计量
  • 文章访问数:  11
  • HTML全文浏览量:  9
  • PDF下载量:  0
  • 被引次数: 0
出版历程

卷帘快门式CMOS探测器的星图像移补偿

doi: 10.37188/CO.2020-0089
    基金项目:  国家自然科学基金(No. 61405191)资助项目;吉林省科技发展计划青年科研基金(No. 20150520102JH)资助项目
    作者简介:

    张博研(1987—),女,吉林白城人,硕士,助理研究员,2013年3月于西安电子科技大学获得硕士学位,2010年7月于西安电子科技大学获得学士学位,主要从事立体测绘和图像处理等方面的研究。E-mail:boyan1021@163.com

  • 中图分类号: D590.35 D510.40

摘要: 为了解决卷帘快门式CMOS成像器件在拍摄星图时引入的快门效应,根据卷帘快门CMOS图像传感器的成像原理和特点, 分析了星图中由于快门效应导致的星点变化情况,对该成像方式引入的图像变形,提出了一种像移补偿方法。该方法在已知星图拍摄帧频、CMOS图形传感器相邻行曝光时间间隔的基础上,通过对相邻星图中的星点进行目标提取、质心计算以及星点质心匹配等操作,完成景物在像面上像移速度的计算,最后结合该速度值和CMOS图像传感器的行曝光时间间隔,计算星点质心在单帧星图中的像移,逆向补偿。通过实际拍摄的星图对算法的效果进行测试,实验结果表明,利用补偿后的星图解算姿态数据时,其中非机动模式下与两个星敏的夹角误差可达到0.5″以内,机动模式下与两个星敏的夹角误差也可达到0.6″左右,不仅明显优于补偿前,且精度高于很多目前主流的星敏感器。该实验结果不仅证明了算法的有效性,而且在一定程度上推广了卷帘快门式CMOS 相机在航空航天领域的应用。

English Abstract

张博研, 孔德柱, 刘金国, 武星星. 卷帘快门式CMOS探测器的星图像移补偿[J]. 中国光学. doi: 10.37188/CO.2020-0089
引用本文: 张博研, 孔德柱, 刘金国, 武星星. 卷帘快门式CMOS探测器的星图像移补偿[J]. 中国光学. doi: 10.37188/CO.2020-0089
ZHANG Bo-yan, KONG De-zhu, LIU Jin-guo, WU Xing-xing. Compensation of star image motion for a cmos image sensor with a rolling shutter[J]. Chinese Optics. doi: 10.37188/CO.2020-0089
Citation: ZHANG Bo-yan, KONG De-zhu, LIU Jin-guo, WU Xing-xing. Compensation of star image motion for a cmos image sensor with a rolling shutter[J]. Chinese Optics. doi: 10.37188/CO.2020-0089
    • 根据成像器件划分,星相机/星敏感器的发展目前经历了两个阶段。七十年代,互补金属氧化物半导体(Complementary Metal Oxide Semiconductor, CMOS)成像传感器和电荷耦合器件(Charge Coupled Device, CCD)成像传感器[1-3]同时起步,CCD由于灵敏度高、噪音小,逐步发展成为成像传感器的主导产品,从而开启了第一代CCD星相机/星敏感器时代。90年代后期,CMOS有源像元传感器(Active Pixel Sensor, APS)技术的发明使CMOS成像传感器[4-7]进入迅猛发展的阶段。并且凭借其集成度高,功耗小,抗辐照能力强等优势,使得星相机迈入了从CCD探测器向CMOS探测器的过渡时期。

      目前市场上的CMOS图像传感器主要分为两大类:全局快门 (Global Shutter, GS)式和卷帘快门(Rolling Shutter, RS)式CMOS图像传感器,全局快门式CMOS图像传感器[8-9]是指所有像素的曝光时刻均相同,同时开始曝光,同时结束曝光,但为了实现全局曝光,器件成本会大幅提高,同时成像质量也要降低。卷帘快门式CMOS图像传感器[10-11]指同一帧图像中,各行的曝光时刻不同,下一行的曝光时刻比上一行推迟一整行读出周期,图像中最后一行的曝光时刻比第一行推迟了一整帧读出周期,因此对于运动物体,卷帘快门CMOS图像传感器拍摄的图像会存在较大的形变。

      星相机[12-14]是实现卫星自主姿态测量的核心设备,通过观测太空中的恒星,以及若干个恒星矢量,从而对卫星在轨飞行阶段的高精度姿态进行测量,因此拍摄星图的质量直接影响着最终的姿态解算精度,卷帘快门式CMOS图像传感器既可以对星等较高的恒星实现高灵敏度探测,同时还能在不发生饱和时,拍摄高动态范围的恒星影像,上述特点使其成为了星相机探测器的优先选项。

      卷帘CMOS图像传感器虽然每行曝光时间不一致的,但时间间隔是可以确定的,尤其对于探测器和目标相对运动速度较稳定的情况,可以通过相应的算法补偿卷帘快门造成的像移。本文针对卷帘快门式CMOS图像传感器拍摄的星图,提出了一种根据星图中星点像移的补偿算法。该算法利用卷帘快门式CMOS图像探测器的拍摄帧频和相邻行曝光时间间隔,通过提取相邻帧星点目标质心位置,计算星点像移速度,从而对单帧图像进行补偿,完成时间对齐的功能。从软件算法的角度合成全局影像。该方法既保留了卷帘CMOS图像传感器成像质量好的优势,又实现了全局图像的效果。

    • CMOS图像传感器的结构原理图如图1所示,一片CMOS图像传感器通常包含像素单元阵列,行、列驱动器,成像控制接口,数据输出接口以及AD转换等几部分组成,上述模块通常被集成在同一芯片上,所以CMOS图像传感器的集成度明显高于CCD。

      图  1  典型的CMOS传感器的结构

      Figure 1.  Framework of a typical CMOS sensor

      传统的CMOS图像探测器只有一条读出电路,行选通信号在每个读出周期内都只能选择一行进行读出,经过信号放大、模数转换等单元后,对各行结果进行顺序输出。由于卷帘快门式CMOS图像探测器在读出时仍然继续曝光,所以每一行相比前一行都有一定的延迟,且每行的读出周期不能发生重叠,并且只有在卷帘快门内的第一行读出之后,新的一行才能开始复位和曝光,具体成像过程如图2所示。

      由此可知,卷帘快门式CMOS图像探测器的工作原理与机械焦平面快门类似,宽度可调节,其帘布的移动速度由每行像素的读出时间决定,而像素的曝光时间则由复位信号和读出信号之间的时间差决定。当 CMOS 图像探测器与被摄景物间存在相对运动时,生成图像便会发生畸变,表现为倾斜、伸长或者缩短等,这就是卷帘快门效应。卷帘快门效应的严重程度与目标景物和探测器的相对运动速度、探测器的读出时间有关。相对运动速度越快,探测器的读出时间越长,则卷帘快门效应产生的畸变越严重。以柱状目标为例,卷帘CMOS探测器的最终成像效果如图3所示。垂直柱状目标将变为图3所示倾斜柱状,其中斜线的直径由曝光时间决定,而该斜线的斜率则由行周期和物体运动速度共同决定。

      图  2  卷帘CMOS图像探测器成像过程

      Figure 2.  Imaging process of a rolling shutter CMOS sensor detector

      根据以上的分析,若CMOS探测器和目标景物的相对运动速度稳定,卷帘快门效应造成的图像变形由探测器的相关参决定,所以在已知参数的前提下,景物在像面的变形情况可以计算,同样,若已知目标的形变量,也可逆推CMOS探测器和目标景物的相对运动速度,进一步结合行间曝光时间间隔,从而实现单幅图像的像移补偿。

      图  3  卷帘CMOS图像探测器效果示意图

      Figure 3.  Image result of rolling shutter CMOS detector

    • 星相机在卫星工作时,同步不间断成像,因此会得到大量的星图序列,且各帧星图的成像间隔是已知的,同时对于选定的CMOS探测器,相邻行曝光时间间隔也可确定。根据卷帘CMOS图像探测器的成像原理以及星图的特点,可按照以下算法对存在快门效应的星图进行像移补偿,具体过程如图4所示。

      图  4  像移补偿算法流程

      Figure 4.  Flow chart of image shift compensation

    • 本论文中分析的数据来源于星相机拍摄的真实星图,使用的探测器是长春辰芯光电技术有限公司研发的四百万像素的CMOS图像传感器,视场角约7.5°×7.5°,像元尺寸为11 μm,有效像元数为2048×2048。且实验室状态下,星相机全视场畸变测量精度优于±0.5个像元,因此光学系统畸变近似可忽略。鉴于光学系统设计和探测器成像质量的优势,本次拍摄的星图记录星空任意区间段最优可拍摄到9等恒星,任意视角7等恒星数目都在10颗以上,星图的局部截图如图5所示

      图  5  星图局部截图

      Figure 5.  Part of real star image

      星点目标提取[15-17]是像移补偿算法的关键环节。为了保证相邻两帧图像之间的精确匹配, 除了星点目标提取的准确率要高以外,低亮度的恒星暂时不予考虑,因为若目标亮度过低,星点目标较小,在像面上占据的像元数较少,计算其质心位置时容易出现较大误差。基于以上考虑,选择亮度在7等以上的恒星作为主要提取目标。

    • 从原始拍摄的星图可知,整帧图像以暗色的星空背景为主,亮度较高的星点只占据了较少的像素,因此选择整帧图像的灰度均值加上60倍灰度均方根作为阈值,60是经过多次测试的最终系数。使用不同阈值对原始星图进行阈值分割[18-19],测试结果表明,该系数过小,分离出的重点范围较多,虚假目标占据比例过大,容易出现误星点误匹配的状况;但若阈值过大,最后提取的星点目标数目又太少,从统计学角度来讲,不利于精确计算像移。因此最后选择图像的灰度均值与60倍均方根的和作为最终预置,分割效果最好。

    • 阈值分割后,可能出现同一星点图像被离散化的现象,因此通过连通区域标注,完善星点目标提取结果。由于使用的是卷帘式CMOS图像传感器,对角线方向的像元完全可能是星点目标,因此选择连通区域标注[20]的方式对分割后的图像进一步处理。最后对可能存在一些噪声点,以及连通区域周围的孤立像素等干扰点进行剔除,最后保留的就是最终提取的星点目标。以某一帧星图为例,星点目标提取结果如图6所示,由于恒星目标较小,图中用红色圆圈标出了所有提取的星点目标。

      图  6  相邻两帧图像的星点提取结果对比

      Figure 6.  Star extraction results comparison between two adjacent star images

    • 经过上述操作提取的星点目标就已经很准确了,像移匹配时比较的是星点质心的位移量,因此还需要进一步筛选星点数据。本文选择的方式就是利用两种质心计算方法——灰度加权[17]和高斯质心计算法[23]分别计算同一星点的质心位置。若两种方式计算的质心差值在0.5个像元以内,则保留该星点,如果误差超过一个像元,则直接放弃该星点,而对于保留下来的星点,统一保留高斯方法计算的质心结果,用于后续的星点匹配。经过以上图像处理手段筛选后,星点目标提取的准确率以及质心计算精度均可满足使用要求了。

      图  7  星点目标提取及质心计算

      Figure 7.  Flow diagrams of star extraction and centroid calculation

    • 目前已经完成了星点目标提取和质心计算的部分,然后需要进行相邻两帧图像之间的对应星点匹配[21-22],匹配过程主要包括三步。首先,由于拍摄星图过程中,边缘星点可能出现越界的现象,所以对于四个边界线附近20个像素以内的星点,直接不予匹配;然后根据星库中每个星点都是唯一确定的这一特点,结合星表,对两帧图像中已经提取到的星点目标进行编号,完成初步匹配;最后利用三角形组合方式进一步验证,确定每个点对的匹配情况都是准确无误的。该方法不仅保证了匹配结果的高可靠性,同时也极大减少了直接利用三角匹配方式庞大的计算量。对图5中所示两帧星图的匹配效果如图8所示,大圆圈是第一帧图像中的星点质心位置,小箭头是像移方向,箭头长度为像移的大小。由于星相机存在三个方向的运动矢量,因此利用匹配点对以及星相机上焦面的安装位置,可计算出星点在像面上两个方向的位移矢量。

      图  8  相邻两帧星图的星点匹配结果

      Figure 8.  Matched stars of two adjacent image

    • 若星相机在成像时帧频为f,则相邻两帧图像的成像时间间隔为1/f,通过检测同一星点在相邻两帧图像中的位置,即可得到在1/f时间内,所有检测出来星点在相对像面光轴中心的角速度$\overrightarrow V $,该速度是1/f时间内星点在像面位置的平均速度,因此可以消减平台不稳定引入的系统误差。目前由于卷帘快门效应引入的像点速度$\overline \omega $、相邻行成像时间间隔${t_{gap}}$、以及初始点位置坐标$({{\rm{X}}_0},{{\rm{Y}}_0})$均已知。若以每帧图像第一行的曝光时间为时间参考点,在重新合成的全局星图中,每个星点坐标的实际位移量为

      $$\Delta {\rm{X}} = {\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\rightharpoonup}$}} {V} _x} \times {t_{{\rm{gap}}}} \times {{\rm{Y}}_0}$$ (1)
      $$\Delta {\rm{Y}} = {\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\rightharpoonup}$}} {V} _y} \times {t_{{\rm{gap}}}} \times {{\rm{Y}}_0}$$ (2)

      其中,$\overrightarrow {{V_x}} $$\overrightarrow {{V_y}} $$\overrightarrow V $沿横纵坐标两个方向的分量,${Y_0}$就是星点质心的行号,所以,${t_{gap}}$${Y_0}$的乘积即为距离时间参考点的时间间隔。从而可知,新的星点中心位置坐标为:

      $${\rm{X'}} = {X_0} + \Delta {\rm{X}} = {X_0} + {\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\rightharpoonup}$}} {V} _x} \times {t_{{\rm{gap}}}} \times {{\rm{Y}}_0}$$ (3)
      $${\rm{Y'}} = {Y_0} + \Delta {\rm{Y}} = {Y_0} + {\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\rightharpoonup}$}} {V} _y} \times {t_{{\rm{gap}}}} \times {{\rm{Y}}_0}$$ (4)
    • 为了验证算法的效果,将其与同时搭载的两外两台星敏感器数据结合,通过对比补偿前和补偿后星相机光轴指向与两个星敏感器光轴指向之间的夹角误差,验证算法的实际效果。分别选择十组卫星在正常工作模式和五组机动模式下的星图数据进行测试,每组数据卫星的姿态均不相同,且各包含100帧星图,其中星相机的帧频f=12 Hz,${t_{gap}} = 25.65\;\mu s$表1表2分别为卫星在非机动模式下,利用补偿前和补偿后星图计算的光轴指向与a、b两台星敏的夹角。

      表 1  非机动模式下星相机光轴与a星敏之间夹角

      Table 1.  Angle error between the star-camera and star sensor a in non- maneuver mode

      序号俯仰角/°侧摆角/°补偿前误差1σ/″补偿后误差1σ/″
      1 0.549 −6.516 4.353 0.540
      2 0.051 −36.699 5.424 0.439
      3 0.152 −16.769 7.147 0.768
      4 0.334 12.903 6.284 0.702
      5 0 −5.542 4.177 0.377
      6 0 8.672 4.491 0.384
      7 0 12.284 5.261 0.546
      8 −0.231 10.533 5.535 0.231
      9 −0.370 −24.558 4.225 0.300
      10 3.023 −25.764 5.360 0.481
      平均值 5.249 0.476

      表 2  星相机光轴与b星敏之间夹角

      Table 2.  Angle error between the star-camera and star sensor b in non- maneuver mode

      序号俯仰角/°侧摆角/°补偿前误差1σ/″补偿后误差1σ/″
      1 0.549 −6.516 5.607 0.420
      2 0.051 −36.699 5.186 0.317
      3 0.152 −16.769 4.375 0.211
      4 0.334 12.903 3.876 0.361
      5 0 −5.542 3.968 0.249
      6 0 8.672 3.233 0.297
      7 0 12.284 5.261 0.567
      8 −0.231 10.533 2.984 0.185
      9 −0.370 −24.558 3.889 0.266
      10 3.023 −25.764 3.960 0.202
      平均值 4.234 0.308

      通过表12中的数据可知,在卫星正常工作模式下,此时卫星无机动速度,通过补偿后的星图解算的星相机光轴与两个星敏的夹角误差精度有明显的提升,均方根误差从5″左右提高至0.5″以内。

      由于目标和景物相对速度越大,卷帘快门式CMOS探测器的快门效应就越明显,因此,采用本文提出的算法,对卫星机动状态下拍摄的星图进行验证,表3表4分别为卫星在机动模式下,利用补偿前和补偿后星图计算的光轴指向与a、b两台星敏的夹角。

      表 3  机动模式下星相机光轴与a星敏之间夹角

      Table 3.  Angle error between the star-camera and the star sensor a in maneuver mode

      序号俯仰角/°侧摆角/°补偿前误差1σ/″补偿后误差1σ/″
      10−18.1917.7540.818
      20−31.9616.6860.532
      302.5975.9140.318
      405.1547.3870.714
      503.8557.9960.734
      平均值7.1470.623

      通过表34中的数据可知,在卫星机动模式下,此时卫星的速度约为0.2°/s,通过补偿后的星图解算的星相机光轴与两个星敏的夹角误差精度比正常模式下提高得更为显著,均方根误差从6″以上提高至0.6″左右,光轴指向精度的解算误差提高一个数量级左右。且以上所有表格中的数据均无明显跳变和较大误差,证明了算法的有效性。

      表 4  机动模式下星相机光轴与b星敏之间夹角

      Table 4.  Angle error between the star-camera and star sensor b in maneuver mode

      序号俯仰角/°侧摆角/°补偿前误差1σ/″补偿后误差1σ/″
      10−18.1918.1340.543
      20−31.9616.5630.392
      302.5974.7820.241
      405.1545.9730.616
      503.8556.1890.932
      平均值6.3280.545
    • 本文针对卷帘CMOS图像传感器拍摄的星图,提出了一种利用相邻帧图像估算像移速度,并据此对完成单帧图像星点的像移补偿方法。通过该方法补偿后的星图解算的姿态精度与补偿前相比,精度可以提高一个数量级以上,其中非机动模式下与两个星敏的夹角误差可达到0.5″以内,机动模式下与两个星敏的夹角误差也可达到0.6″左右,该算法不仅解决了卷帘快门式CMOS图像探测器在拍摄星图时的快门效应问题,并且在一定程度上推广了CMOS图像探测器在航空航天领域的应用。

参考文献 (23)

目录

    /

    返回文章
    返回