留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

多视高分辨率纹理图像与双目三维点云的映射方法

杜瑞建 葛宝臻 陈雷

杜瑞建, 葛宝臻, 陈雷. 多视高分辨率纹理图像与双目三维点云的映射方法[J]. 中国光学(中英文), 2020, 13(5): 1055-1064. doi: 10.37188/CO.2020-0034
引用本文: 杜瑞建, 葛宝臻, 陈雷. 多视高分辨率纹理图像与双目三维点云的映射方法[J]. 中国光学(中英文), 2020, 13(5): 1055-1064. doi: 10.37188/CO.2020-0034
DU Rui-jian, GE Bao-zhen, CHEN Lei. Texture mapping of multi-view high-resolution images and binocular 3D point clouds[J]. Chinese Optics, 2020, 13(5): 1055-1064. doi: 10.37188/CO.2020-0034
Citation: DU Rui-jian, GE Bao-zhen, CHEN Lei. Texture mapping of multi-view high-resolution images and binocular 3D point clouds[J]. Chinese Optics, 2020, 13(5): 1055-1064. doi: 10.37188/CO.2020-0034

多视高分辨率纹理图像与双目三维点云的映射方法

doi: 10.37188/CO.2020-0034
基金项目: 国家自然科学基金项目(No. 61535008)
详细信息
    作者简介:

    杜瑞建(1995—),男,河北唐山人,硕士研究生,2017年于电子科技大学获得学士学位,现就读于天津大学精密仪器与光电子工程学院,攻读光学工程专业硕士学位,主要研究方向为计算机视觉。E-mail: duruijian@tju.edu.cn

    陈 雷(1980—),男,河北唐山人,教授,硕士生导师,2002年、2005年于河北工业大学分别获得学士、硕士学位,2011年于天津大学获得博士学位,现为天津商业大学信息工程学院教授,主要研究方向为智能信号处理,仿生智能计算。E-mail: chenlei@tjcu.edu.cn

  • 中图分类号: TP391

Texture mapping of multi-view high-resolution images and binocular 3D point clouds

Funds: National Natural Science Foundation of China (No. 61535008)
More Information
  • 摘要: 针对双目立体视觉重建点云模型与高分辨率纹理图像的融合问题,本文提出了一种新的纹理映射方法。在双目立体视觉系统上增设长焦纹理相机拍摄高分辨率纹理图像,利用高分辨率纹理图像与双目图像的二维特征匹配,以双目图像为桥梁,得到纹理图像与三维点云模型的匹配关系,进而实现高分辨率纹理图像到三维点云模型的映射。同时,针对映射过程中多视纹理图像重叠部分的数据冗余,提出一种引导线点云数据分区方法,有效解决了多视纹理图像重叠部分的映射问题。通过实验验证,所提方法能够方便准确地实现多视纹理图像与双目三维点云模型的纹理映射。在本文实验条件下,三维模型的纹理可分辨原始线宽为0.157 mm的线对,与双目系统直接产生的三维模型相比,其纹理分辨率提高了1倍,验证了所提出的多视高分辨率纹理映射方法的有效性。

     

  • 图 1  高分辨率纹理三维成像系统结构示意图

    Figure 1.  Structure diagram of 3D imaging system with high-resolution texture

    图 2  双目立体成像测量原理示意图

    Figure 2.  Schematic diagram of binocular stereo imaging measurement

    图 3  纹理映射原理

    Figure 3.  Implementation mechanism of texture mapping

    图 4  引导线选取过程

    Figure 4.  Process of the guide line selection

    图 5  三角网格模型上的分界面

    Figure 5.  The dividing surface on the triangular patch model

    图 6  三相机系统图

    Figure 6.  Diagram of the three-camera system

    图 7  双目系统采集图像

    Figure 7.  The acquired images of the binocular system

    图 8  重建点云及双目左图映射结果

    Figure 8.  Reconstructed point cloud and the mapping results of the binocular left image

    图 9  多视纹理拍摄示意图

    Figure 9.  Schematic diagram of multi-view texture shooting

    图 10  纹理相机拍摄得到的高分辨率纹理图像

    Figure 10.  High-resolution texture images obtained by the texture camera

    图 11  多视高分辨率图像纹理映射结果

    Figure 11.  Texture mapping results of multi-view high-resolution images

    图 12  纹理图像映射结果的局部效果

    Figure 12.  Local effects of mapping results for the texture image

  • HENG Y SH, WANG CH, QI Y. Key frame-based texture mapping for RGBD human reconstruction[C]. Proceedings of 2018 International Conference on Virtual Reality and Visualization (ICVRV), IEEE, 2018: 1-7.
    杨国林, 韩峰, 王丹英. 基于三维激光扫描技术的工程施工测量应用研究[J]. 中国水能及电气化,2015(2):20-23. doi: 10.3969/j.issn.1673-8241.2015.02.006

    YANG G L, HAN F, WANG D Y. Application research of engineering construction measurement based on three-dimensional laser scanning technology[J]. China Water Power &Electrification, 2015(2): 20-23. (in Chinese) doi: 10.3969/j.issn.1673-8241.2015.02.006
    纪文丽. 基于光栅投影方法的物体三维轮廓重构[D]. 大连: 大连理工大学, 2007.

    JI W L. Three dimensional profile reconstruction based on fringe projection[D]. Dalian: Dalian University of Technology, 2007. (in Chinese)
    ZHU SH P, GAO Y. Noncontact 3-D coordinate measurement of cross-cutting feature points on the surface of a large-scale workpiece based on the machine vision method[J]. IEEE Transactions on Instrumentation and Measurement, 2010, 59(7): 1874-1887. doi: 10.1109/TIM.2009.2030875
    郑少开, 卢启生, 张瑞菊, 等. 基于三维网格模型的点云分割方法[J]. 北京测绘,2019,33(8):916-919.

    ZHENG SH K, LU Q SH, ZHANG R J, et al. Segmentation of point cloud based on 3D mesh model[J]. Beijing Surveying and Mapping, 2019, 33(8): 916-919. (in Chinese)
    王莹, 王延杰, 周渝人, 等. 基于参数平面的自适应调和纹理映射算法[J]. 液晶与显示,2014,29(5):818-823. doi: 10.3788/YJYXS20142905.0818

    WANG Y, WANG Y J, ZHOU Y R, et al. Adaptive harmonic texture mapping algorithm based on harmonic parameter plane[J]. Chinese Journal of Liquid Crystals and Displays, 2014, 29(5): 818-823. (in Chinese) doi: 10.3788/YJYXS20142905.0818
    HALLER H L, DIRNBERGER J, GIRETZLEHNER M, et al. “Understanding burns”: research project burn case 3D—overcome the limits of existing methods in burns documentation[J]. Burns, 2009, 35(3): 311-317. doi: 10.1016/j.burns.2008.07.010
    万燕, 王慧洁, 鲁俊. 基于三角网格模型的纹理映射研究[J]. 计算机应用与软件,2016,33(4):160-163, 201. doi: 10.3969/j.issn.1000-386x.2016.04.038

    WAN Y, WANG H J, LU J. On texture mapping based on triangular mesh model[J]. Computer Applications and Software, 2016, 33(4): 160-163, 201. (in Chinese) doi: 10.3969/j.issn.1000-386x.2016.04.038
    LIU L, STAMOS I. Automatic 3D to 2D registration for the photorealistic rendering of urban scenes[C]. Proceedings of 2005 IEEE Computer Society Conference on Computer Vision & Pattern Recognition, IEEE, 2005: 137-143.
    杨丽萍. 文物模型的简化与纹理映射研究[J]. 液晶与显示,2009,24(2):283-287. doi: 10.3969/j.issn.1007-2780.2009.02.025

    YANG L P. Simplification and texture mapping of cultural relic model[J]. Chinese Journal of Liquid Crystals and Displays, 2009, 24(2): 283-287. (in Chinese) doi: 10.3969/j.issn.1007-2780.2009.02.025
    孙宇臣. 激光三维彩色数字化系统关键技术研究[D]. 天津: 天津大学, 2005.

    SUN Y CH. Study of key techniques of laser 3D and color digitization system[D]. Tianjin: Tianjin University, 2005. (in Chinese)
    孙新领, 谭志伟, 杨观赐. 双目立体视觉在人形机器人三维重建中的应用[J]. 现代电子技术,2016,39(8):80-84, 87.

    SUN X L, TAN ZH W, YANG G C. Application of binocular stereo vision in 3D reconstruction of humanoid robot[J]. Modern Electronics Technique, 2016, 39(8): 80-84, 87. (in Chinese)
    王晓南, 郑顺义. 基于激光扫描和高分辨率影像的文物三维重建[J]. 测绘工程,2009,18(6):53-55, 60. doi: 10.3969/j.issn.1006-7949.2009.06.015

    WANG X N, ZHENG SH Y. Three-dimensional reconstruction of antiques based on LIDAR and high-resolution images[J]. Engineering of Surveying and Mapping, 2009, 18(6): 53-55, 60. (in Chinese) doi: 10.3969/j.issn.1006-7949.2009.06.015
    赵琳敬. 三维点云智能进化拼接与表面纹理映射方法研究[D]. 天津: 天津大学, 2018.

    ZHAO L J. Research on 3D point cloud intelligent evolutionary registration and surface texture mapping method[D]. Tianjin: Tianjin University, 2018. (in Chinese)
    ZHANG ZH Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334. doi: 10.1109/34.888718
    杨景豪, 刘巍, 刘阳, 等. 双目立体视觉测量系统的标定[J]. 光学精密工程,2016,24(2):300-308. doi: 10.3788/OPE.20162402.0300

    YANG J H, LIU W, LIU Y, et al. Calibration of binocular vision measurement system[J]. Optics and Precision Engineering, 2016, 24(2): 300-308. (in Chinese) doi: 10.3788/OPE.20162402.0300
    TSAI R Y. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J]. IEEE Journal on Robotics and Automation, 1987, 3(4): 323-344. doi: 10.1109/JRA.1987.1087109
    KAEHLER A, BRADSKI G. Learning Open CV 3: Computer Vision in C++with the OpenCV Library[M]. Sebastopol: O'Reilly Media, Inc., 2016.
    张来刚, 魏仲慧, 何昕, 等. 面向低纹理图像的快速立体匹配[J]. 液晶与显示,2013,28(3):450-458. doi: 10.3788/YJYXS20132803.0450

    ZHANG L G, WEI ZH H, HE X, et al. New stereo matching method based edge extraction[J]. Chinese Journal of Liquid Crystals and Displays, 2013, 28(3): 450-458. (in Chinese) doi: 10.3788/YJYXS20132803.0450
    汪泽伟, 于有光, 杨付正. 基于HTC Vive的全景视频显示质量评估[J]. 液晶与显示,2018,33(1):85-91. doi: 10.3788/YJYXS20183301.0085

    WANG Z W, YU Y G, YANG F ZH. Panoramic video display quality assessment based on HTC Vive[J]. Chinese Journal of Liquid Crystals and Displays, 2018, 33(1): 85-91. (in Chinese) doi: 10.3788/YJYXS20183301.0085
    ZHANG G X, ZENG ZH, ZHANG SH W, et al. SIFT matching with CNN evidences for particular object retrieval[J]. Neurocomputing, 2017, 238: 399-409. doi: 10.1016/j.neucom.2017.01.081
    张昊骕, 朱晓龙, 胡新洲, 等. 基于SURF和SIFT特征的视频镜头分割算法[J]. 液晶与显示,2019,34(5):521-529. doi: 10.3788/YJYXS20193405.0521

    ZHANG H S, ZHU X L, HU X ZH, et al. Shot segmentation technology based on SURF features and SIFT features[J]. Chinese Journal of Liquid Crystals and Displays, 2019, 34(5): 521-529. (in Chinese) doi: 10.3788/YJYXS20193405.0521
    LOWE D G. Object recognition from local scale-invariant features[C]. Proceedings of IEEE International Conference on Computer Vision, IEEE, 1999: 1150-1157.
    BAY H, TUYTELAARS T, VAN GOOL L. Surf: speeded up robust features[C]. Proceedings of the European Conference on Computer Vision, Springer, 2006, 3951: 404-417.
    RUBLEE E, RABAUD V, KONOLIGE K, et al.. ORB: an efficient alternative to SIFT or SURF[C]. Proceedings of 2011 International Conference on Computer Vision, IEEE, 2011: 2564-2571.
  • 加载中
图(12)
计量
  • 文章访问数:  1788
  • HTML全文浏览量:  429
  • PDF下载量:  144
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-03-02
  • 修回日期:  2020-04-08
  • 网络出版日期:  2020-09-01
  • 刊出日期:  2020-10-01

目录

    /

    返回文章
    返回

    重要通知

    2024年2月16日科睿唯安通过Blog宣布,2024年将要发布的JCR2023中,229个自然科学和社会科学学科将SCI/SSCI和ESCI期刊一起进行排名!《中国光学(中英文)》作为ESCI期刊将与全球SCI期刊共同排名!