留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于航空单目相机的目标定位技术

王鑫 李玉芳 任航 韩松伟 刘立刚 孙明超 宋策

王鑫, 李玉芳, 任航, 韩松伟, 刘立刚, 孙明超, 宋策. 基于航空单目相机的目标定位技术[J]. 中国光学(中英文), 2023, 16(2): 305-317. doi: 10.37188/CO.2022-0147
引用本文: 王鑫, 李玉芳, 任航, 韩松伟, 刘立刚, 孙明超, 宋策. 基于航空单目相机的目标定位技术[J]. 中国光学(中英文), 2023, 16(2): 305-317. doi: 10.37188/CO.2022-0147
WANG Xin, LI Yu-fang, REN Hang, HAN Song-wei, LIU Li-gang, SUN Ming-chao, SONG Ce. Targeting technology based on aerial monocular camera[J]. Chinese Optics, 2023, 16(2): 305-317. doi: 10.37188/CO.2022-0147
Citation: WANG Xin, LI Yu-fang, REN Hang, HAN Song-wei, LIU Li-gang, SUN Ming-chao, SONG Ce. Targeting technology based on aerial monocular camera[J]. Chinese Optics, 2023, 16(2): 305-317. doi: 10.37188/CO.2022-0147

基于航空单目相机的目标定位技术

doi: 10.37188/CO.2022-0147
基金项目: 国家自然科学基金面上项目(No. 62175233);吉林省科技发展计划(No. 20200403057SF)
详细信息
    作者简介:

    王 鑫(1993—),男,黑龙江肇东人,硕士,助理研究员,2016年于哈尔滨工业大学获得控制工程专业硕士学位。现就职于中国科学院长春光学精密机械与物理研究所,主要从事图像处理方面的研究。E-mail:14S104020@hit.edu.cn

    李玉芳(1994—),女,黑龙江肇东人,硕士,中级工程师,2017年于哈尔滨工业大学获得机械设计及理论专业硕士学位。现就职于中国第一汽车集团有限公司,主要从事汽车设计方面的研究。E-mail:910341666@qq.com

  • 中图分类号: TP752.2

Targeting technology based on aerial monocular camera

Funds: Supported by National Natural Science Foundation of China (No. 62175233); Science and Technology Development Program of Jilin Providence (No. 20200403057SF)
More Information
  • 摘要:

    为了提升无人机机载光电吊舱在特殊工况条件下的自主侦察能力,本文结合实际工程项目研发了适用于机载光电吊舱的目标定位技术,并在嵌入式GPU(Graphics Processing Unit,型号为Jetson-TX2i)上实现了功能验证。首先,提出一种改进的SURF(Speeded Up Robust Features)算法与GPU加速数字图像处理方案,对不同焦距下获取的两幅图像进行实时特征检测与匹配。接着,利用几何交比不变性校正图像边缘畸变特征点的位置信息。最后,使用最小二乘法估计目标深度信息并结合四元数空间模型确定目标姿态信息,从而实现目标定位。实验结果表明,改进的SURF算法在特征匹配方面,精度和速度都优于经典的SURF算法。若角点特征位置误差控制在一个像素以内,深度误差不超过2%,方位角、俯仰角和滚转角的角度误差分别小于4°,5°和2°,这一误差满足机载光电吊舱的目标定位准确性需求。此外,处理一组(两帧)分辨率为1080P的图像,利用GPU加速可以将处理时间提升至74 ms,这一速度满足机载光电吊舱数据处理的实时性需求。

     

  • 图 1  获取目标位姿流程图

    Figure 1.  Flowchart of obtaining target depth and attitude

    图 2  特征实时匹配流程图

    Figure 2.  Flowchart of real-time feature matching

    图 3  特征描述示意图

    Figure 3.  Schematic diagram of feature description

    图 4  射影变换示意图

    Figure 4.  Schematic diagram of projective transformation

    图 5  棋盘格投影示意图

    Figure 5.  Schematic diagram of checkerboard projection

    图 6  变焦距系统深度估计原理图

    Figure 6.  Schematic of zoom system depth estimation

    图 7  三种坐标系示意图

    Figure 7.  Schematic diagram of three coordinate systems

    图 8  本文算法在不同条件下的特征提取结果

    Figure 8.  Feature extraction results obtained by the proposed algorithm under different conditions

    图 9  3种算法在不同条件下的角点检测重复率

    Figure 9.  Corner detection repetition rates obtained by three algorithms under different conditions

    图 10  实验用的靶标与坐标系

    Figure 10.  The target and coordinate system used in the experiment

    图 11  特征点偏差引起的深度误差

    Figure 11.  Depth error caused by feature point deviation

    图 12  特征点定位精度与解算姿态角的关系

    Figure 12.  The relation between position accuracy of feature point and calculated attitude angle

    表  1  3种算法的正确匹配率和处理速度

    Table  1.   Correct matching rates and processing speeds of the three algorithms (Unit: ms)

    图像本文算法SURFHarris-SIFT
    ${r_{\rm{c}}}$$ t $${r_{\rm{c}}}$$ t $${r_{\rm{c}}}$$ t $
    16.177.173.0111.836.1710.60
    274.859.2876.8930.2651.3339.25
    350.158.8751.5020.2734.3926.30
    428.447.8229.2111.4919.5114.92
    562.139.0163.8225.6746.2635.27
    639.678.3240.7513.6727.9420.82
    下载: 导出CSV

    表  2  两种相机标定算法的结果对比

    Table  2.   Comparison of the results obtained by two camera calibration algorithms

    参数本文张方法
    使用图像$ {{\boldsymbol{I}}_1} $$ {{\boldsymbol{I}}_{25}} $$ {{\boldsymbol{I}}_{49}} $$ {{\boldsymbol{I}}_1},{{\boldsymbol{I}}_2}, \ldots ,{{\boldsymbol{I}}_{50}} $
    $ {{{k_1}}/ { \times {{10}^{ - 3}}}} $3.1323.1313.1323.129
    $ {{{k_2}}/ { \times {{10}^{ - 3}}}} $3.2273.2253.2263.225
    $ {{{k_3}} /{ \times {{10}^{ - 3}}}} $0.0020.0010.0010.002
    $ {p_1} $−0.0001−0.00009−0.00008−0.0001
    $ {p_2} $0.00010.00010.00030.0001
    下载: 导出CSV

    表  3  两种方案在不同分辨率条件下的处理速度

    Table  3.   The processing speeds of the two algorithms at different resolutions (Unit: ms)

    图像分辨率处理时间
    CPU方案GPU方案
    640×3208417
    640×51216132
    1024×76830452
    1920×108059674
    下载: 导出CSV
  • [1] 张金隆, 吴珊, 龚业明. 中国智能机械制造评价及发展研究[J]. 中国机械工程,2020,31(4):451-458. doi: 10.3969/j.issn.1004-132X.2020.04.012

    ZHANG J L, WU SH, GONG Y M. Research on evaluation and development of intelligent machinery manufacturing in China[J]. China Mechanical Engineering, 2020, 31(4): 451-458. (in Chinese) doi: 10.3969/j.issn.1004-132X.2020.04.012
    [2] WEI M S, XING F, YOU ZH. A real-time detection and positioning method for small and weak targets using a 1D morphology-based approach in 2D images[J]. Light:Science &Applications, 2018, 7: 18006.
    [3] YUAN X Y, JI M Q, WU J M, et al. A modular hierarchical array camera[J]. Light:Science &Applications, 2021, 10(1): 37.
    [4] PINIES P, LUPTON T, SUKKARIEH S, et al. . Inertial aiding of inverse depth SLAM using a monocular camera[C]. IEEE International Conference on Robotics & Automation, IEEE, 2007: 2797-2802.
    [5] 张中, 黄俊杰, 汪明明. 一种基于实时视频的位姿估计方法: 中国, 112419409A[P]. 2021-02-26.

    ZHANG ZH, HUANG J J, WANG M M. A pose estimation method based on real-time video: CN, 112419409A[P]. 2021-02-26. (in Chinese)
    [6] 丁国绅, 乔延利, 易维宁, 等. 基于光谱图像空间的改进SIFT特征提取与匹配[J]. 北京理工大学学报,2022,42(2):192-199.

    DING G SH, QIAO Y L, YI W N, et al. Improved SIFT feature extraction and matching based on spectral image space[J]. Transactions of Beijing Institute of Technology, 2022, 42(2): 192-199. (in Chinese)
    [7] LESHCHENKO V E, KESSEL A, JAHN O, et al. On-target temporal characterization of optical pulses at relativistic intensity[J]. Light:Science &Applications, 2019, 8: 96.
    [8] 左威健, 胡立华, 刘爱琴, 等. 基于动态拓展的特征匹配方法[J]. 计算机工程与设计,2022,43(3):778-785.

    ZUO W J, HU L H, LIU A Q, et al. Feature matching method based on dynamic expansion[J]. Computer Engineering and Design, 2022, 43(3): 778-785. (in Chinese)
    [9] ZHANG ZH Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334. doi: 10.1109/34.888718
    [10] ZHANG Y, DU SH Q, HIRAKAWA K. Deep-nanometer-scale terahertz spectroscopy using a transistor geometry with metal nanogap electrodes[J]. Light:Advanced Manufacturing, 2021, 2(4): 460-472.
    [11] 王月, 李阳, 金映谷, 等. 拼接图像的径向畸变矫正技术[J]. 大连民族大学学报,2021,23(3):228-231. doi: 10.3969/j.issn.1009-315X.2021.03.009

    WANG Y, LI Y, JIN Y G, et al. Radial distortion correction technology of image mosaic[J]. Journal of Dalian Minzu University, 2021, 23(3): 228-231. (in Chinese) doi: 10.3969/j.issn.1009-315X.2021.03.009
    [12] HAJANO S, NAZ B, TALPUR S. Area and feature based image registration using template matching and SURF algorithm[C]. INCCST'20 Second International Conference, 2021: 109-113.
    [13] 雒福佐. 基于小波分析与RANSAC匹配的雷达图像拼接研究[J]. 自动化与仪器仪表,2022(2):199-203,208.

    LUO F Z. Research on radar image mosaic based on wavelet analysis[J]. Automation &Instrumentation, 2022(2): 199-203,208. (in Chinese)
    [14] 杨建柏, 赵建, 孙强. 基于交比不变性的投影仪标定[J]. 中国光学,2021,14(2):320-328. doi: 10.37188/CO.2020-0111

    YANG J B, ZHAO J, SUN Q. Projector calibration based on cross ratio invariance[J]. Chinese Optics, 2021, 14(2): 320-328. (in Chinese) doi: 10.37188/CO.2020-0111
    [15] LI Q, ZENG Y A, JIU ZH X, et al. Distortion correction of optical system based on neural network and automated generation of reference points[J]. Proceedings of SPIE, 2009, 7283: 72831R. doi: 10.1117/12.828680
    [16] HARTLEY R, KANG S B. Parameter-free radial distortion correction with center of distortion estimation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(8): 1309-1321. doi: 10.1109/TPAMI.2007.1147
    [17] 陈天择, 葛宝臻, 罗其俊. 重投影优化的自由双目相机位姿估计方法[J]. 中国光学,2021,14(6):1400-1409. doi: 10.37188/CO.2021-0105

    CHEN T Z, GE B ZH, LUO Q J. Pose estimation for free binocular cameras based on reprojection error optimization[J]. Chinese Optics, 2021, 14(6): 1400-1409. (in Chinese) doi: 10.37188/CO.2021-0105
    [18] 杜明鑫, 闫钰锋, 张燃, 等. 基于透镜阵列的三维姿态角度测量[J]. 中国光学,2022,15(1):45-55.

    DU M X, YAN Y F, ZHANG R, et al. 3D position angle measurement based on a lens array[J]. Chinese Optics, 2022, 15(1): 45-55. (in Chinese)
  • 加载中
图(12) / 表(3)
计量
  • 文章访问数:  457
  • HTML全文浏览量:  127
  • PDF下载量:  228
  • 被引次数: 0
出版历程
  • 收稿日期:  2022-07-04
  • 修回日期:  2022-07-25
  • 网络出版日期:  2023-02-22

目录

    /

    返回文章
    返回

    重要通知

    2024年2月16日科睿唯安通过Blog宣布,2024年将要发布的JCR2023中,229个自然科学和社会科学学科将SCI/SSCI和ESCI期刊一起进行排名!《中国光学(中英文)》作为ESCI期刊将与全球SCI期刊共同排名!