留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

多视高分辨率纹理图像与双目三维点云的映射方法

杜瑞建 葛宝臻 陈雷

杜瑞建, 葛宝臻, 陈雷. 多视高分辨率纹理图像与双目三维点云的映射方法[J]. 中国光学, 2020, 13(5): 1055-1064. doi: 10.37188/CO.2020-0034
引用本文: 杜瑞建, 葛宝臻, 陈雷. 多视高分辨率纹理图像与双目三维点云的映射方法[J]. 中国光学, 2020, 13(5): 1055-1064. doi: 10.37188/CO.2020-0034
DU Rui-jian, GE Bao-zhen, CHEN Lei. Texture mapping of multi-view high-resolution images and binocular 3D point clouds[J]. Chinese Optics, 2020, 13(5): 1055-1064. doi: 10.37188/CO.2020-0034
Citation: DU Rui-jian, GE Bao-zhen, CHEN Lei. Texture mapping of multi-view high-resolution images and binocular 3D point clouds[J]. Chinese Optics, 2020, 13(5): 1055-1064. doi: 10.37188/CO.2020-0034

多视高分辨率纹理图像与双目三维点云的映射方法

doi: 10.37188/CO.2020-0034
基金项目: 国家自然科学基金项目(No. 61535008)
详细信息
    作者简介:

    杜瑞建(1995—),男,河北唐山人,硕士研究生,2017年于电子科技大学获得学士学位,现就读于天津大学精密仪器与光电子工程学院,攻读光学工程专业硕士学位,主要研究方向为计算机视觉。E-mail: duruijian@tju.edu.cn

    陈 雷(1980—),男,河北唐山人,教授,硕士生导师,2002年、2005年于河北工业大学分别获得学士、硕士学位,2011年于天津大学获得博士学位,现为天津商业大学信息工程学院教授,主要研究方向为智能信号处理,仿生智能计算。E-mail: chenlei@tjcu.edu.cn

  • 中图分类号: TP391

Texture mapping of multi-view high-resolution images and binocular 3D point clouds

Funds: National Natural Science Foundation of China (No. 61535008)
More Information
  • 摘要: 针对双目立体视觉重建点云模型与高分辨率纹理图像的融合问题,本文提出了一种新的纹理映射方法。在双目立体视觉系统上增设长焦纹理相机拍摄高分辨率纹理图像,利用高分辨率纹理图像与双目图像的二维特征匹配,以双目图像为桥梁,得到纹理图像与三维点云模型的匹配关系,进而实现高分辨率纹理图像到三维点云模型的映射。同时,针对映射过程中多视纹理图像重叠部分的数据冗余,提出一种引导线点云数据分区方法,有效解决了多视纹理图像重叠部分的映射问题。通过实验验证,所提方法能够方便准确地实现多视纹理图像与双目三维点云模型的纹理映射。在本文实验条件下,三维模型的纹理可分辨原始线宽为0.157 mm的线对,与双目系统直接产生的三维模型相比,其纹理分辨率提高了1倍,验证了所提出的多视高分辨率纹理映射方法的有效性。
  • 图  1  高分辨率纹理三维成像系统结构示意图

    Figure  1.  Structure diagram of 3D imaging system with high-resolution texture

    图  2  双目立体成像测量原理示意图

    Figure  2.  Schematic diagram of binocular stereo imaging measurement

    图  3  纹理映射原理

    Figure  3.  Implementation mechanism of texture mapping

    图  4  引导线选取过程

    Figure  4.  Process of the guide line selection

    图  5  三角网格模型上的分界面

    Figure  5.  The dividing surface on the triangular patch model

    图  6  三相机系统图

    Figure  6.  Diagram of the three-camera system

    图  7  双目系统采集图像

    Figure  7.  The acquired images of the binocular system

    图  8  重建点云及双目左图映射结果

    Figure  8.  Reconstructed point cloud and the mapping results of the binocular left image

    图  9  多视纹理拍摄示意图

    Figure  9.  Schematic diagram of multi-view texture shooting

    图  10  纹理相机拍摄得到的高分辨率纹理图像

    Figure  10.  High-resolution texture images obtained by the texture camera

    图  11  多视高分辨率图像纹理映射结果

    Figure  11.  Texture mapping results of multi-view high-resolution images

    图  12  纹理图像映射结果的局部效果

    Figure  12.  Local effects of mapping results for the texture image

  • [1] HENG Y SH, WANG CH, QI Y. Key frame-based texture mapping for RGBD human reconstruction[C]. Proceedings of 2018 International Conference on Virtual Reality and Visualization (ICVRV), IEEE, 2018: 1-7.
    [2] 杨国林, 韩峰, 王丹英. 基于三维激光扫描技术的工程施工测量应用研究[J]. 中国水能及电气化,2015(2):20-23. doi:  10.3969/j.issn.1673-8241.2015.02.006

    YANG G L, HAN F, WANG D Y. Application research of engineering construction measurement based on three-dimensional laser scanning technology[J]. China Water Power &Electrification, 2015(2): 20-23. (in Chinese) doi:  10.3969/j.issn.1673-8241.2015.02.006
    [3] 纪文丽. 基于光栅投影方法的物体三维轮廓重构[D]. 大连: 大连理工大学, 2007.

    JI W L. Three dimensional profile reconstruction based on fringe projection[D]. Dalian: Dalian University of Technology, 2007. (in Chinese)
    [4] ZHU SH P, GAO Y. Noncontact 3-D coordinate measurement of cross-cutting feature points on the surface of a large-scale workpiece based on the machine vision method[J]. IEEE Transactions on Instrumentation and Measurement, 2010, 59(7): 1874-1887. doi:  10.1109/TIM.2009.2030875
    [5] 郑少开, 卢启生, 张瑞菊, 等. 基于三维网格模型的点云分割方法[J]. 北京测绘,2019,33(8):916-919.

    ZHENG SH K, LU Q SH, ZHANG R J, et al. Segmentation of point cloud based on 3D mesh model[J]. Beijing Surveying and Mapping, 2019, 33(8): 916-919. (in Chinese)
    [6] 王莹, 王延杰, 周渝人, 等. 基于参数平面的自适应调和纹理映射算法[J]. 液晶与显示,2014,29(5):818-823. doi:  10.3788/YJYXS20142905.0818

    WANG Y, WANG Y J, ZHOU Y R, et al. Adaptive harmonic texture mapping algorithm based on harmonic parameter plane[J]. Chinese Journal of Liquid Crystals and Displays, 2014, 29(5): 818-823. (in Chinese) doi:  10.3788/YJYXS20142905.0818
    [7] HALLER H L, DIRNBERGER J, GIRETZLEHNER M, et al. “Understanding burns”: research project burn case 3D—overcome the limits of existing methods in burns documentation[J]. Burns, 2009, 35(3): 311-317. doi:  10.1016/j.burns.2008.07.010
    [8] 万燕, 王慧洁, 鲁俊. 基于三角网格模型的纹理映射研究[J]. 计算机应用与软件,2016,33(4):160-163, 201. doi:  10.3969/j.issn.1000-386x.2016.04.038

    WAN Y, WANG H J, LU J. On texture mapping based on triangular mesh model[J]. Computer Applications and Software, 2016, 33(4): 160-163, 201. (in Chinese) doi:  10.3969/j.issn.1000-386x.2016.04.038
    [9] LIU L, STAMOS I. Automatic 3D to 2D registration for the photorealistic rendering of urban scenes[C]. Proceedings of 2005 IEEE Computer Society Conference on Computer Vision & Pattern Recognition, IEEE, 2005: 137-143.
    [10] 杨丽萍. 文物模型的简化与纹理映射研究[J]. 液晶与显示,2009,24(2):283-287. doi:  10.3969/j.issn.1007-2780.2009.02.025

    YANG L P. Simplification and texture mapping of cultural relic model[J]. Chinese Journal of Liquid Crystals and Displays, 2009, 24(2): 283-287. (in Chinese) doi:  10.3969/j.issn.1007-2780.2009.02.025
    [11] 孙宇臣. 激光三维彩色数字化系统关键技术研究[D]. 天津: 天津大学, 2005.

    SUN Y CH. Study of key techniques of laser 3D and color digitization system[D]. Tianjin: Tianjin University, 2005. (in Chinese)
    [12] 孙新领, 谭志伟, 杨观赐. 双目立体视觉在人形机器人三维重建中的应用[J]. 现代电子技术,2016,39(8):80-84, 87.

    SUN X L, TAN ZH W, YANG G C. Application of binocular stereo vision in 3D reconstruction of humanoid robot[J]. Modern Electronics Technique, 2016, 39(8): 80-84, 87. (in Chinese)
    [13] 王晓南, 郑顺义. 基于激光扫描和高分辨率影像的文物三维重建[J]. 测绘工程,2009,18(6):53-55, 60. doi:  10.3969/j.issn.1006-7949.2009.06.015

    WANG X N, ZHENG SH Y. Three-dimensional reconstruction of antiques based on LIDAR and high-resolution images[J]. Engineering of Surveying and Mapping, 2009, 18(6): 53-55, 60. (in Chinese) doi:  10.3969/j.issn.1006-7949.2009.06.015
    [14] 赵琳敬. 三维点云智能进化拼接与表面纹理映射方法研究[D]. 天津: 天津大学, 2018.

    ZHAO L J. Research on 3D point cloud intelligent evolutionary registration and surface texture mapping method[D]. Tianjin: Tianjin University, 2018. (in Chinese)
    [15] ZHANG ZH Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334. doi:  10.1109/34.888718
    [16] 杨景豪, 刘巍, 刘阳, 等. 双目立体视觉测量系统的标定[J]. 光学精密工程,2016,24(2):300-308. doi:  10.3788/OPE.20162402.0300

    YANG J H, LIU W, LIU Y, et al. Calibration of binocular vision measurement system[J]. Optics and Precision Engineering, 2016, 24(2): 300-308. (in Chinese) doi:  10.3788/OPE.20162402.0300
    [17] TSAI R Y. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J]. IEEE Journal on Robotics and Automation, 1987, 3(4): 323-344. doi:  10.1109/JRA.1987.1087109
    [18] KAEHLER A, BRADSKI G. Learning Open CV 3: Computer Vision in C++with the OpenCV Library[M]. Sebastopol: O'Reilly Media, Inc., 2016.
    [19] 张来刚, 魏仲慧, 何昕, 等. 面向低纹理图像的快速立体匹配[J]. 液晶与显示,2013,28(3):450-458. doi:  10.3788/YJYXS20132803.0450

    ZHANG L G, WEI ZH H, HE X, et al. New stereo matching method based edge extraction[J]. Chinese Journal of Liquid Crystals and Displays, 2013, 28(3): 450-458. (in Chinese) doi:  10.3788/YJYXS20132803.0450
    [20] 汪泽伟, 于有光, 杨付正. 基于HTC Vive的全景视频显示质量评估[J]. 液晶与显示,2018,33(1):85-91. doi:  10.3788/YJYXS20183301.0085

    WANG Z W, YU Y G, YANG F ZH. Panoramic video display quality assessment based on HTC Vive[J]. Chinese Journal of Liquid Crystals and Displays, 2018, 33(1): 85-91. (in Chinese) doi:  10.3788/YJYXS20183301.0085
    [21] ZHANG G X, ZENG ZH, ZHANG SH W, et al. SIFT matching with CNN evidences for particular object retrieval[J]. Neurocomputing, 2017, 238: 399-409. doi:  10.1016/j.neucom.2017.01.081
    [22] 张昊骕, 朱晓龙, 胡新洲, 等. 基于SURF和SIFT特征的视频镜头分割算法[J]. 液晶与显示,2019,34(5):521-529. doi:  10.3788/YJYXS20193405.0521

    ZHANG H S, ZHU X L, HU X ZH, et al. Shot segmentation technology based on SURF features and SIFT features[J]. Chinese Journal of Liquid Crystals and Displays, 2019, 34(5): 521-529. (in Chinese) doi:  10.3788/YJYXS20193405.0521
    [23] LOWE D G. Object recognition from local scale-invariant features[C]. Proceedings of IEEE International Conference on Computer Vision, IEEE, 1999: 1150-1157.
    [24] BAY H, TUYTELAARS T, VAN GOOL L. Surf: speeded up robust features[C]. Proceedings of the European Conference on Computer Vision, Springer, 2006, 3951: 404-417.
    [25] RUBLEE E, RABAUD V, KONOLIGE K, et al.. ORB: an efficient alternative to SIFT or SURF[C]. Proceedings of 2011 International Conference on Computer Vision, IEEE, 2011: 2564-2571.
  • [1] 张天一, 朱永田, 侯永辉, 张凯, 胡中文, 王磊, 陈忆, 姜海娇, 汤振, 许明明, 姜明达.  LAMOST高分辨率光谱仪研制 . 中国光学, 2019, 12(1): 148-155. doi: 10.3788/CO.20191201.0148
    [2] 刘志贺, 吴长锋.  超分辨率成像荧光探针材料应用进展 . 中国光学, 2018, 11(3): 344-362. doi: 10.3788/CO.20181103.0344
    [3] 齐冰洁, 刘金国, 张博研, 左洋, 吕世良.  高分辨率遥感图像SIFT和SURF算法匹配性能研究 . 中国光学, 2017, 10(3): 331-339. doi: 10.3788/CO.20171003.0331
    [4] 陈月, 赵岩, 王世刚.  图像局部特征自适应的快速SIFT图像拼接方法 . 中国光学, 2016, 9(4): 415-422. doi: 10.3788/CO.20160904.0415
    [5] 王力, 贾平, 张叶, 马天翔.  复杂地物条件下基于线特征的异源景象匹配 . 中国光学, 2016, 9(1): 81-88. doi: 10.3788/CO.20160901.0081
    [6] 江山, 张锐, 韩广良, 孙海江.  复杂背景灰度图像下的多特征融合运动目标跟踪 . 中国光学, 2016, 9(3): 320-328. doi: 10.3788/CO.20160903.0320
    [7] 何阳, 黄玮, 王新华, 郝建坤.  稀疏阈值的超分辨率图像重建 . 中国光学, 2016, 9(5): 532-539. doi: 10.3788/CO.20160905.0532
    [8] 许廷发, 罗璇, 苏畅, 卞紫阳.  多帧距离选通图像点扩散函数估计的超分辨率重建 . 中国光学, 2016, 9(2): 226-233. doi: 10.3788/CO.20160902.0226
    [9] 郝志成, 吴川, 杨航, 朱明.  基于双边纹理滤波的图像细节增强方法 . 中国光学, 2016, 9(4): 423-431. doi: 10.3788/CO.20160904.0423
    [10] 高礼圳, 刘书桂, 韩振华.  零件的角点提取及匹配定位 . 中国光学, 2016, 9(4): 397-404. doi: 10.3788/CO.20160904.0397
    [11] 吕世良, 刘金国, 王晓茜.  对地观测高分辨率TDICCD相机调焦控制系统设计 . 中国光学, 2015, 8(6): 1013-1019. doi: 10.3788/CO.20150806.1013
    [12] 王晓燕, 王世刚, 姜秀红, 赵晓琳.  亮度优化立体视频视觉舒适度评价 . 中国光学, 2015, 8(3): 394-400. doi: 10.3788/CO.20150803.0394
    [13] 陈燕芹, 段锦, 祝勇, 钱小飞, 肖博.  基于纹理特征的图像复杂度研究 . 中国光学, 2015, 8(3): 407-414. doi: 10.3788/CO.20150803.0407
    [14] 陈健, 高慧斌, 王伟国, 张振东, 路明.  超分辨率复原方法相关原理研究 . 中国光学, 2014, 7(6): 897-910. doi: 10.3788/CO.20140706.0897
    [15] 蔡浩原.  高分辨率表面等离子体显微镜综述 . 中国光学, 2014, 7(5): 691-700. doi: 10.3788/CO.20140705.0691
    [16] 闫辉, 许廷发, 吴青青, 徐磊, 吴威.  多特征融合匹配的多目标跟踪 . 中国光学, 2013, 6(2): 163-170. doi: 10.3788/CO.20130602.0163
    [17] 吉淑娇, 朱明, 胡汉平.  基于特征点匹配的电子稳像技术 . 中国光学, 2013, 6(6): 841-849. doi: 10.3788/CO.20130606.841
    [18] 刘倩倩, 郑玉权.  超高分辨率光谱定标技术发展概况 . 中国光学, 2012, 5(6): 566-577. doi: 10.3788/CO.20120506.0566
    [19] 韩广良.  高频信息矢量匹配实现异源图像配准 . 中国光学, 2011, 4(5): 468-473.
    [20] 汪逸群, 颜昌翔, 苗春安.  星载高分辨率超光谱成像仪分光方式的选择 . 中国光学, 2009, 2(4): 304-308.
  • 加载中
图(12)
计量
  • 文章访问数:  176
  • HTML全文浏览量:  91
  • PDF下载量:  19
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-03-02
  • 修回日期:  2020-04-08
  • 网络出版日期:  2020-09-01
  • 刊出日期:  2020-10-01

多视高分辨率纹理图像与双目三维点云的映射方法

doi: 10.37188/CO.2020-0034
    基金项目:  国家自然科学基金项目(No. 61535008)
    作者简介:

    杜瑞建(1995—),男,河北唐山人,硕士研究生,2017年于电子科技大学获得学士学位,现就读于天津大学精密仪器与光电子工程学院,攻读光学工程专业硕士学位,主要研究方向为计算机视觉。E-mail: duruijian@tju.edu.cn

    陈 雷(1980—),男,河北唐山人,教授,硕士生导师,2002年、2005年于河北工业大学分别获得学士、硕士学位,2011年于天津大学获得博士学位,现为天津商业大学信息工程学院教授,主要研究方向为智能信号处理,仿生智能计算。E-mail: chenlei@tjcu.edu.cn

  • 中图分类号: TP391

摘要: 针对双目立体视觉重建点云模型与高分辨率纹理图像的融合问题,本文提出了一种新的纹理映射方法。在双目立体视觉系统上增设长焦纹理相机拍摄高分辨率纹理图像,利用高分辨率纹理图像与双目图像的二维特征匹配,以双目图像为桥梁,得到纹理图像与三维点云模型的匹配关系,进而实现高分辨率纹理图像到三维点云模型的映射。同时,针对映射过程中多视纹理图像重叠部分的数据冗余,提出一种引导线点云数据分区方法,有效解决了多视纹理图像重叠部分的映射问题。通过实验验证,所提方法能够方便准确地实现多视纹理图像与双目三维点云模型的纹理映射。在本文实验条件下,三维模型的纹理可分辨原始线宽为0.157 mm的线对,与双目系统直接产生的三维模型相比,其纹理分辨率提高了1倍,验证了所提出的多视高分辨率纹理映射方法的有效性。

English Abstract

杜瑞建, 葛宝臻, 陈雷. 多视高分辨率纹理图像与双目三维点云的映射方法[J]. 中国光学, 2020, 13(5): 1055-1064. doi: 10.37188/CO.2020-0034
引用本文: 杜瑞建, 葛宝臻, 陈雷. 多视高分辨率纹理图像与双目三维点云的映射方法[J]. 中国光学, 2020, 13(5): 1055-1064. doi: 10.37188/CO.2020-0034
DU Rui-jian, GE Bao-zhen, CHEN Lei. Texture mapping of multi-view high-resolution images and binocular 3D point clouds[J]. Chinese Optics, 2020, 13(5): 1055-1064. doi: 10.37188/CO.2020-0034
Citation: DU Rui-jian, GE Bao-zhen, CHEN Lei. Texture mapping of multi-view high-resolution images and binocular 3D point clouds[J]. Chinese Optics, 2020, 13(5): 1055-1064. doi: 10.37188/CO.2020-0034
    • 纹理映射是将纹理图像绘制到重建模型表面,它是三维模型重建的重要组成部分,纹理的质量和分辨率对三维模型的真实性感受具有关键性影响[1]。目前获取物体三维模型的光学方法主要有激光扫描法[2]、结构光测量法[3]和双目立体视觉法[4]等。这些方法首先以光学技术为基础进行三维点云数据的获取,点云数据通过模型重建可转化为三角网格模型[5],再利用纹理映射来提高模型的真实感。纹理映射的关键是得到纹理图像二维坐标与模型三维坐标的匹配关系[6]。激光扫描法和结构光测量法,仅能得到包含三维坐标信息的点云数据,要进行纹理映射需要单独采集纹理图像[7]。纹理图像与三维模型的对应关系一般是通过3D-2D特征匹配[8-10]或标定技术[11]得到的。

      双目立体视觉法是通过二维图像恢复三维信息的方法,利用双目相机拍摄图像,通过对图像进行立体匹配结合双目系统的参数得到物体的三维点云数据;同时将双目图像(通常用左图像)作为纹理图像进行映射[12],得到带有纹理的三维模型。受双目图像分辨率的限制,通常情况下的纹理分辨率并不高,因此在对纹理分辨率有较高要求的场合,要对高分辨纹理映射方法进行专门研究。王晓南等[13]通过对高分辨率纹理图像和点云模型人工选取控制点实现特征匹配,求得纹理图像的外方位元素,从而将高分辨率纹理映射到点云模型。赵琳敬[14]通过旋转轴标定的方法,标定纹理相机与双目左相机的相互关系,得出高分辨率纹理图像与点云模型的匹配关系,实现了纹理图像对双目点云模型的映射。

      为了提高三维模型的纹理分辨率,本文以双目立体视觉系统为基础,增加了专门采集高分辨率纹理图像的长焦相机,通过高分辨纹理图像与双目图像的二维特征匹配,以双目图像为桥梁,利用双目图像与三维点云模型在重建过程中形成的对应关系,建立高分辨纹理图像与三维点云模型的匹配关系,从而实现了高分辨率纹理的映射。

      由于高分辨率纹理图像较双目图像视场小,单幅高分辨率图像难以完成对整个物体的映射,因此,通过水平和俯仰旋转操作在多个视角下拍摄高分辨率纹理图像,利用多幅纹理图像的融合,完成多视高分辨率纹理图像对双目点云模型的映射。

    • 高分辨率纹理三维成像系统结构如图1所示。系统由3个相机组成,其中左右相机组成双目立体视觉系统,用于重建三维点云模型;中间为纹理相机,用于拍摄物体的高分辨率纹理图像。纹理相机为长焦相机,通过旋转俯仰来拍摄多个视角的高分辨率纹理图像。

      图  1  高分辨率纹理三维成像系统结构示意图

      Figure 1.  Structure diagram of 3D imaging system with high-resolution texture

    • 理想状态下的双目立体视觉模型如图2所示,两台相机的像平面严格前向平行对准,两相机基线距离为$T$,物理焦距相同,均为$f$,像元尺寸记为$a$。空间中一点$P(x,y,z)$在两像平面中的投影点分别为${P_l}$${P_r}$,坐标分别表示为$({u_l},v)$$({u_r},v)$,可以定义视差$d = {u_l} - {u_r}$

      图  2  双目立体成像测量原理示意图

      Figure 2.  Schematic diagram of binocular stereo imaging measurement

      根据相似三角形原理可得$P$点的深度坐标$Z$为:

      $$Z = \frac{{fT}}{{ad}}.$$ (1)

      在理想模型中,空间中一点$P$,在系统参数$f$$T$$a$确定的情况下,它的深度只与其视差有关。双目立体视觉三维重建的流程如下:

      (1)双目相机立体标定[15]得出双目系统的内外参数[16]

      (2)对相机拍摄的双目图像根据系统内外参数进行立体校正[17]

      (3)对校正后的双目图像进行立体匹配[18-19]

      立体匹配得到匹配视差图,此处的匹配视差图是基于双目左图的。已知双目左图像素点的二维坐标$(x',y')$和与其关联的视差$d$,可以将此点投影到三维空间中:

      $${{Q}}\left[ {\begin{array}{*{20}{c}} {x'} \\ {y'} \\ d \\ 1 \end{array}} \right] = W\left[ {\begin{array}{*{20}{c}} X \\ Y \\ Z \\ 1 \end{array}} \right],$$ (2)

      其中,$W = ({c_x} - c_x'){T_x} - \dfrac{d}{{{T_x}}}$

      $${{Q}} = \left[ {\begin{array}{*{20}{c}} 1&0&0&{ - {c_x}} \\ 0&1&0&{ - {c_y}} \\ 0&0&0&f \\ 0&0&{ - \dfrac{1}{{{T_x}}}}&{({c_x} - c_x'){T_x}} \end{array}} \right],$$ (3)

      式中,${c_x}$${c_y}$表征左相机光轴在图像坐标系中的偏移量;${c'}_x$表征右相机光轴在图像坐标系中的偏移量;$f$为立体校正后的左相机焦距,以像素为单位;${T_x}$为右相机指向左相机的平移向量在$x$方向的分量。

      式(2)描述了双目左图与点云模型之间的对应关系,双目左图的像素坐标$(x',y')$通过重投影矩阵${{Q}}$对应到点云模型的三维坐标为$(X,Y,Z)$。值得注意的是,式(2)描述的关系中,双目左图并非左相机拍摄的原始图像,而是立体校正后的双目左图。

    • 点云模型的最小单元为三角面片,三角面片的3个顶点为点云模型的三维点。如图3所示,左侧为双目左图像,每个像素都包含颜色信息$(R,G,B)$;右侧为点云模型的一个三角面片。根据公式(2),可以确定双目左图点$(x_{\rm{1}}',y_1')$ $(x_{\rm{2}}',y_2')$$(x_{\rm{3}}',y_3')$与三角面片顶点$({X_1},{Y_1},{Z_1})$ $({X_2},{Y_2},{Z_2})$ $({X_3},{Y_3},{Z_3})$的对应关系,因而可以将双目左图相应图像部分的颜色信息$(R,G,B)$插值到三角面片上进行渲染显示[20]。对于本文提出的高分辨率纹理映射方法,是通过寻找高分辨率纹理图像与双目左图的对应关系,利用双目左图作为桥梁,得到高分辨率纹理图像与点云模型的匹配关系,从而实现纹理映射。

      图  3  纹理映射原理

      Figure 3.  Implementation mechanism of texture mapping

    • 图1所示的高分辨纹理映射系统,由于用于拍摄纹理图像的长焦相机的视场角较小,为了满足一幅双目左图的尺寸,纹理相机要通过水平、垂直旋转多个视角获取多幅图像,相邻图像还要有一定的重叠部分,因此,需要研究多视图像的纹理映射方法。

    • 首先利用二维特征匹配[21-22]建立纹理图像与校正后双目左图的对应关系。

      图像匹配的流程如下:对图像提取特征点,再通过特征点对匹配,求解单应性矩阵,变换到同一个坐标系下。设纹理图像上一点的像素坐标为$(x,y)$,与其匹配的双目左图对应点的像素坐标为$(x',y')$,则在齐次坐标模式下其对应关系为:

      $$s\left[ {\begin{array}{*{20}{c}} x \\ y \\ 1 \end{array}} \right] = {{H}}\left[ {\begin{array}{*{20}{c}} {x'} \\ {y'} \\ 1 \end{array}} \right],$$ (4)

      其中,${{H}}$为单应矩阵,$s$是尺度因子,为一个非零常数,一般取1。

      $${{H}} = \left[ {\begin{array}{*{20}{c}} {{h_{{\rm{11}}}}}&{{h_{{\rm{12}}}}}&{{h_{{\rm{13}}}}} \\ {{h_{{\rm{21}}}}}&{{h_{{\rm{22}}}}}&{{h_{{\rm{23}}}}} \\ {{h_{{\rm{31}}}}}&{{h_{{\rm{32}}}}}&{{h_{{\rm{33}}}}} \end{array}} \right].$$ (5)

      单应矩阵${{H}}$由匹配的特征点对计算得出。由式(4)可以得到纹理图像与双目左图的对应关系。并由式(2)可以得到点云模型的三维坐标$(X,Y,Z)$与纹理图像同名点二维坐标$(x,y)$的匹配关系为:

      $$s\left[ {\begin{array}{*{20}{c}} x \\ y \\ 1 \end{array}} \right] = {{{H}}_{{D}}}{{{Q}}^{{{ - 1}}}}W\left[ {\begin{array}{*{20}{c}} X \\ Y \\ Z \\ 1 \end{array}} \right],$$ (6)

      其中,${{{Q}}^{{{ - 1}}}}$为双目重建中重投影矩阵${{Q}}$的逆矩阵,${{{H}}_{{D}}}$来源于单应矩阵${{H}}$,只是与单应矩阵结构不同:

      $${{{H}}_{{D}}} = \left[ {\begin{array}{*{20}{c}} {{h_{11}}}&{{h_{12}}}&0&{{h_{13}}} \\ {{h_{21}}}&{{h_{22}}}&0&{{h_{23}}} \\ {{h_{31}}}&{{h_{32}}}&0&{{h_{33}}} \end{array}} \right].$$ (7)

      由上可知,以双目左图作为匹配桥梁可以得到式(6)所示的纹理图像二维坐标与双目点云模型三维坐标的匹配关系,通过确定的匹配关系可以将单视纹理图像映射到双目点云模型上。

    • 采用上述纹理映射方法,将多幅存在重叠部分的纹理图像分别向三维模型进行映射。但是对于图像的重叠部分,三维点只能指向一个纹理图像坐标,要对三维点选取唯一一幅纹理图像进行指定。

      本文提出引导线点云数据分区方法,该方法主要分为三步:(1)确定纹理图像的重叠区域;(2)在重叠区域划定引导线;(3)将引导线重投影至三维模型,作为分界面。

      首先,确定纹理图像的重叠区域,以两幅纹理图像与双目左图匹配为例,图4(彩图见期刊电子版)中的两个小四边形区域表示不同视角的纹理图像,灰色矩形区域表示双目左图,此处的双目左图为立体校正后的双目左图。两幅纹理图像分别与双目左图进行特征匹配,完成匹配后,它们在双目左图的位置将确定,如图4(a)图4(b)所示。以双目左图为模板,可以确定两幅纹理图像的相对位置,如图4(c)所示,图中紫色区域为两幅纹理图像的重叠区域。

      确定纹理图像重叠区域后,在重叠区域划定引导线,引导线为穿过两幅纹理图像重叠区域的一条直线,如图4(c)中直线a所示。本文选择纹理图像重叠区域的中线作为引导线,并记录引导线在双目左图中的位置。

      最后,利用重投影矩阵${{Q}}$将引导线投影至已重建出的三维模型上,作为重建模型的分界面,如图5(彩图见期刊电子版)所示,分界面c实现了对三角网格模型的“剖分”。

      分界面的作用是对三维点选取的唯一的纹理图像进行指定。分界面左侧的三维点选取其中一幅纹理图像进行映射,分界面右侧的三维点选择另一幅含有重叠部分的纹理图像进行映射,这样就可以保证每个三维点只匹配一个纹理图像坐标,从而实现多视纹理图像的融合。

      图  4  引导线选取过程

      Figure 4.  Process of the guide line selection

      图  5  三角网格模型上的分界面

      Figure 5.  The dividing surface on the triangular patch model

      引导线点云数据分区方法解决了映射过程中多视纹理图像重叠部分的融合问题,但当其映射为分界面对三维点进行选择分类时,影响了原有三角面片的完整性。由图5可见,分界面穿过了7个三角面片,这些三角面片无法完成纹理映射操作。为了消除引入分界面造成的影响,对三角面片提取纹理图像的过程进行修复。采用以下原则:

      (1) 三角面片3个顶点有两个是红色的,另一个蓝色的顶点被修复为红色。

      (2) 三角面片3个顶点有两个是蓝色的,另一个红色的顶点被修复为蓝色。

      (3) 三角面片3个顶点颜色相同,则不进行修改。

      红蓝颜色的修改是通过三维点选取不同的纹理图像进行纹理映射实现的。

    • 为了验证所提出的纹理映射方法的可行性与准确性,对分辨率板进行三维重建,并拍摄多视高分辨率纹理图像进行映射实验。搭建如图6所示的三相机系统。其中:相机1和相机2为佳能5D mark Ⅲ,镜头焦距为70 mm,组成双目立体视觉系统,基线为560 mm;相机3为佳能5D mark Ⅳ,镜头焦距为135 mm;拍摄距离约为2500 mm。

      图  6  三相机系统图

      Figure 6.  Diagram of the three-camera system

    • 采用宽为1000 mm、高为750 mm的分辨率板作为纹理映射实验被测物,实验中分辨率板靠墙斜放。分辨率板线对纹理可用于对比查看纹理映射效果。同时,在多视纹理融合阶段,分辨率板线对纹理也可用于观察多视纹理的融合对准效果。

      双目系统采集的左右图像如图7所示,其拍摄范围为1100 mm×800 mm,图像大小为1152 pixel×768 pixel,重建分辨率板的点云结果如图8(a)8(c)所示,图8(a)8(c)依次为所拍场景的三维点云主视图和左、右视图。由图8可见,分辨率板、墙面及桌面的相互关系较为清晰,三维重建效果良好。

      图  7  双目系统采集图像

      Figure 7.  The acquired images of the binocular system

      图  8  重建点云及双目左图映射结果

      Figure 8.  Reconstructed point cloud and the mapping results of the binocular left image

      进一步将分辨率板的点云数据生成三角网格模型,将图7(a)所示图像与三角网格模型进行纹理映射,可得到如图8(d)所示的映射模型。

      为了得到具有高分辨率纹理的三维模型,通过长焦相机从多个视角拍摄被测物的高分辨率纹理图像,本文以4幅图像为例进行实验,拍摄示意图如图9所示。单幅纹理图像的拍摄范围为600 mm×400 mm,图像大小为1344 pixel×896 pixel,其分辨率为图7所示图像分辨率的2倍。4幅高分辨率纹理图像如图10所示。

      图  9  多视纹理拍摄示意图

      Figure 9.  Schematic diagram of multi-view texture shooting

      图  10  纹理相机拍摄得到的高分辨率纹理图像

      Figure 10.  High-resolution texture images obtained by the texture camera

    • 首先对各幅纹理图像和双目左图自动检测SIFT(Scale-Invariant Feature Transform)特征点[23],然后用FLANN(Fast Library for Approximate Nearest Neighbors)匹配方法[18]自动完成二维特征匹配。

      完成纹理图像与双目左图的特征匹配后,结合双目左图与三维点云模型的对应关系,得到各幅纹理图像与点云模型的匹配关系。得到的4个${{{H}}_{{D}}}$矩阵分别如下:

      $${{{{H}}_{{{D1}}}} = \left[ {\begin{array}{*{20}{c}} {{\rm{2}}{\rm{.330\;41}}}&{{\rm{ - 0}}{\rm{.016\;087\;6}}}&0&{{\rm{ - 182}}{\rm{.738}}} \\ {{\rm{0}}{\rm{.050\;877\;1}}}&{{\rm{2}}{\rm{.389\;01}}}&0&{{\rm{ - 134}}{\rm{.411}}} \\ {{\rm{2}}{\rm{.080\;54e - 05}}}&{3.814\;04{\rm{e - 05}}}&0&{\rm{1}} \end{array}} \right]};$$
      $${{{{H}}_{{{D2}}}} = \left[ {\begin{array}{*{20}{c}} {{\rm{2}}{\rm{.397\;18}}}&{{\rm{ - 0}}{\rm{.063\;067\;5}}}&0&{{\rm{ - 1\;086}}{\rm{.85}}} \\ {{\rm{0}}{\rm{.080\;155\;3}}}&{{\rm{2}}{\rm{.454\;47}}}&0&{{\rm{ - 166}}{\rm{.159}}} \\ {{\rm{7}}{\rm{.955\;65e - 05}}}&{3.{\rm{556\;08e - 05}}}&0&{\rm{1}} \end{array}} \right]};$$
      $${{{{H}}_{{{D3}}}} = \left[ {\begin{array}{*{20}{c}} {{\rm{2}}{\rm{.341\;44}}}&{{\rm{ - 0}}{\rm{.031\;417\;3}}}&0&{{\rm{ - 182}}{\rm{.637}}} \\ {{\rm{0}}{\rm{.018\;260\;8}}}&{{\rm{2}}{\rm{.404\;62}}}&0&{{\rm{ - 738}}{\rm{.985}}} \\ {{\rm{ - 6}}{\rm{.848\;08e - 06}}}&{{\rm{9}}{\rm{.186\;36e - 05}}}&0&{\rm{1}} \end{array}} \right]};$$
      $${{{{H}}_{{{D4}}}} = \left[ {\begin{array}{*{20}{c}} {{\rm{2}}{\rm{.484\;99}}}&{{\rm{ - 0}}{\rm{.011\;911\;4}}}&0&{{\rm{ - 111\;7}}{\rm{.15}}} \\ {{\rm{0}}{\rm{.034\;339\;8}}}&{{\rm{2}}{\rm{.524\;43}}}&0&{{\rm{ - 804}}{\rm{.513}}} \\ {{\rm{8}}{\rm{.923\;78e - 05}}}&{{\rm{9}}{\rm{.609\;88e - 05}}}&0&{\rm{1}} \end{array}} \right]}.$$

      在4幅纹理图像匹配阶段引入引导线,利用引导线点云数据分区方法实现选择性映射,最终得到完整的纹理映射结果,如图11(a)所示。由图11可以看出,4幅图像成功映射为一幅完整的纹理图。由于被分界面穿过的三角面片无法正确完成纹理映射操作,在映射模型上被分界面剖分的区域形成细微“裂缝”。利用上节提出的裂缝修复方法对该映射结果进行修复,修复后的结果如图11(b)所示,可见,相比于图11(a),“裂缝”现象得到了改善,4幅纹理图像在重建的三维模型上的对齐效果良好。为了进一步改善图11(b)的“裂缝”现象,可以采用数字图像处理方法进行处理,如采用对裂缝区域邻域像素灰度求平均的方法进行处理,结果如图11(c)所示。由图11(c)可见,裂缝现象得到了进一步改善。

      为了验证本文提出的高分辨率纹理映射方法的效果,对图11(b)图8(d)的映射模型的分辨率进行比较,将图11(b)中的方框区域进行放大显示,结果如图12(a)所示。图8(d)中相同区域的放大结果如图12(b)所示。可以看出,在图12(a)中,最多可分辨原始线宽为0.157 mm的线对(组编号为1,元素编号为5);而在图12(b)中,最多仅可分辨原始线宽为0.315 mm的线对(组编号为0,元素编号为5)。由此可知,本文所提方法可以有效实现多视高分辨率纹理图像映射,提高三维重建模型的表面纹理分辨率。

      图  11  多视高分辨率图像纹理映射结果

      Figure 11.  Texture mapping results of multi-view high-resolution images

      图  12  纹理图像映射结果的局部效果

      Figure 12.  Local effects of mapping results for the texture image

      为了进一步研究不同特征点提取算法和不同自动匹配算法对纹理映射结果的影响,又采用SURF(Speeded Up Robust Features)和ORB(ORiented Brief)特征检测算法[24-25]与SIFT算法进行了实验对比。结果显示,对于纹理图像和双目左图这种具有分辨率差异的图像进行同名特征匹配,采用具有尺度不变性的SIFT特征点检测算法更加适合。同时,采用常用的BF(Brute Force)[18]自动匹配方法与FLANN自动匹配方法进行了实验对比,结果显示,两种匹配方法都能够得到较好的映射结果,但FLANN匹配方法的速度更快。

    • 本文通过对多个视角的多幅高分辨率纹理图像进行融合映射,提高了双目立体视觉重建点云模型的表面纹理分辨率。将双目左图作为桥梁,通过二维特征匹配得到纹理图像与点云模型的匹配关系,从而实现高分辨率图像的纹理映射,结合引导线点云数据分区方法完成了多视纹理图像的融合,从而实现了多视高分辨率图像的纹理映射。

      通过本文搭建的实验系统验证了多视高分辨率图像纹理映射方法可行、有效。在本文的实验条件下,采用双目左图进行纹理映射,点云模型最多仅可分辨原始线宽为0.315 mm的线对;而采用高二倍分辨率的纹理图像进行映射时,点云模型可分辨原始线宽为0.157 mm的线对。本文所提方法可以不用标定,有效实现多视高分辨率纹理映射,可以应用于对表面纹理分辨率要求较高的三维模型重建场合。

参考文献 (25)

目录

    /

    返回文章
    返回