留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于交比不变性的投影仪标定

杨建柏 赵建 孙强

杨建柏, 赵建, 孙强. 基于交比不变性的投影仪标定[J]. 中国光学. doi: 10.37188/CO.2020-0111
引用本文: 杨建柏, 赵建, 孙强. 基于交比不变性的投影仪标定[J]. 中国光学. doi: 10.37188/CO.2020-0111
YANG Jian-bai, ZHAO Jian, SUN Qiang. Projector calibration based on cross ratio invariance[J]. Chinese Optics. doi: 10.37188/CO.2020-0111
Citation: YANG Jian-bai, ZHAO Jian, SUN Qiang. Projector calibration based on cross ratio invariance[J]. Chinese Optics. doi: 10.37188/CO.2020-0111

基于交比不变性的投影仪标定

doi: 10.37188/CO.2020-0111
基金项目: 国家重点研发计划(No. 2018YFC0308100,No. 2018YFC0307900);吉林省科技发展计划项目(No. 20190302102GX,No. 20180201048GX);中国科学院青年创新促进会会员资助项目(No. 2019226)
详细信息
    作者简介:

    杨建柏(1986—),男,黑龙江人,博士研究生,2009年于中国石油大学获得学士学位,主要从事机器视觉及三维重建方面的研究。E-mail:yang9769@163.com

    赵 建(1967—),女,吉林长春人,研究员,博士生导师,主要从事数字图像处理、目标识别与跟踪、视频编解码等方面的研究。E-mail:zhaojian6789@126.com

  • 中图分类号: TB96;TP391

Projector calibration based on cross ratio invariance

Funds: National Key Research and Development Project (No. 2018YFC0308100 and No. 2018YFC0307900), The Projects of Science Technology Development Plan of Jilin Province under Grant (No. 20190302102GX and No. 20180201048GX), Youth Innovation Promotion Association, CAS (No. 2019226)
More Information
  • 摘要: 为了提高数字光栅投影三维测量中投影仪标定的准确性,提出了一种新的投影仪标定方法。该方法结合二次投影技术和交比不变性进行投影仪标定。采用二次投影技术解决投射图案与标定板图案互相干扰的问题;采用交比不变性方法以避免引入相机的标定误差。进行了对比实验,以验证所提方法的有效性。与需要相机参数的传统投影仪标定方法以及根据全局单应性的投影仪标定方法相比较,采用本方法的反投影误差标准差分别从(0.2275, 0.2264)像素和(0.1397, 0.0997)像素降低到(0.0645, 0.0601)像素,反投影误差的最大值分别从1.222像素和0.5617像素降低到0.2421像素。另外,该方法还可同时标定相机,从而获得整个三维测量系统的参数。上述结果表明,本文提出的方法可以避免相机标定参数的误差传递,提高投影仪的标定精度。
  • 图  1  测量系统简化示意图

    Figure  1.  Simplified schematic diagram of the measurement system

    图  2  基于二次投影的防图案干扰方法

    Figure  2.  Method for preventing pattern interference based on secondary projection

    图  3  射影变换示意图

    Figure  3.  Schematic diagram of projective transformation

    图  4  交比构成示意图

    Figure  4.  Schematic diagram of cross-ratio construction

    图  5  实验系统示意图

    Figure  5.  Schematic diagram of the experimental system

    图  6  第一次投影并采集的图像:(a)姿态1,(b)姿态2,(c)姿态3

    Figure  6.  The acquired image for the first projection: (a) gesture 1, (b) gesture 2, (c) gesture 3

    图  7  投射位置示意图

    Figure  7.  Schematic diagram of the projection position

    图  8  各姿态投射位置示意图:(a)姿态1,(b)姿态2,(c)姿态3

    Figure  8.  Schematic diagram of projection position of each gesture: (a) gesture 1, (b) gesture 2, (c) gesture 3

    图  9  各姿态生成投射标志点图案:(a)姿态1,(b)姿态2,(c)姿态3

    Figure  9.  The generated projection mark point pattern of each gesture: (a) gesture 1, (b) gesture 2, (c) gesture 3

    图  10  二次投影后采集的标定板图案:(a)姿态1,(b)姿态2,(c)姿态3

    Figure  10.  Calibration plate pattern acquired after the second projection: (a) gesture 1, (b) gesture 2, (c) gesture 3

    图  11  反投影误差示意图:(a)需要相机参数法,(b)全局单应性变换法,(c)本文方法

    Figure  11.  Reprojection error distribution diagram: (a) using the method requiring camera parameters, (b) using the global homography transformation method, (c) using the method in this paper

    图  12  相机标定反投影误差示意图

    Figure  12.  Schematic diagram of reprojection error in camera calibration

    图  13  整体系统三维示意图

    Figure  13.  3D schematic diagram of the system

    表  1  标定的投影仪内部参数(像素)

    Table  1.   Calibrated intrinsic parameters of the projector (pixel)

    参数fufvu0v0
    需要相机参数3033.90203037.0319976.0815546.6816
    全局单应性变换3040.38783042.7892993.4626553.0046
    本文3060.75943059.84791006.0491540.8452
    下载: 导出CSV

    表  2  标定的投影仪镜头畸变系数

    Table  2.   Calibrated lens distortion coefficient of the projector

    系数k1k2p1p2
    需要相机参数0.1102−0.70580.0025−0.0050
    全局单应性变换0.0215−0.41570.0033−0.0014
    本文−0.10650.00580.0011−0.0007
    下载: 导出CSV

    表  3  几种方法的反投影误差(像素)

    Table  3.   Reprojection errors of different methods (pixel)

    x轴(MAX)y轴(MAX)x轴(STD)y轴(STD)
    需要相机参数1.2221.0220.22750.2264
    全局单应性变换0.56170.51300.13970.0997
    本文0.23450.24210.06450.0601
    下载: 导出CSV

    表  4  相机内部参数和畸变系数标定结果

    Table  4.   Calibration results of camera intrinsic parameters and distortion coefficients

    fufvu0v0k1k2p1p2
    2644.922644.11646.56508.34−0.2220.313−0.00010.0001
    下载: 导出CSV
  • [1] ZHANG S. High-speed 3D shape measurement with structured light methods: a review[J]. Optics and Lasers in Engineering, 2018, 106: 119-131.
    [2] 安东, 陈李, 丁一飞, 等. 光栅投影相位法系统模型及标定方法[J]. 中国光学,2015,8(2):248-254. doi:  10.3788/co.20150802.0248

    AN D, CHEN L, DING Y F, et al. Optical system model and calibration of grating projection phase method[J]. Chinese Optics, 2015, 8(2): 248-254. (in Chinese) doi:  10.3788/co.20150802.0248
    [3] 孟晓亮, 于晓洋, 吴海滨, 等. 基于三维傅里叶变换的胸腹表面测量[J]. 光学 精密工程,2018,26(4):778-787. doi:  10.3788/OPE.20182604.0778

    MENG X L, YU X Y, WU H B, et al. Measurement of thoraco-abdominal surface using 3D Fourier transform[J]. Optics and Precision Engineering, 2018, 26(4): 778-787. (in Chinese) doi:  10.3788/OPE.20182604.0778
    [4] 张旭, 邵双运, 祝祥, 等. 光学三维扫描仪光强传递函数的测量和校正[J]. 中国光学,2018,11(1):123-130. doi:  10.3788/co.20181101.0123

    ZHANG X, SHAO SH Y, ZHU X, et al. Measurement and calibration of the intensity transform function of the optical 3D profilometry system[J]. Chinese Optics, 2018, 11(1): 123-130. (in Chinese) doi:  10.3788/co.20181101.0123
    [5] 吴坤帅, 魏仲慧, 何昕, 等. 基于笔划三维深度特征的签名识别[J]. 液晶与显示,2019,34(10):1013-1020. doi:  10.3788/YJYXS20193410.1013

    WU K SH, WEI ZH H, HE X, et al. Signatures recognition based on strokes 3 D depth feature[J]. Chinese Journal of Liquid Crystals and Displays, 2019, 34(10): 1013-1020. (in Chinese) doi:  10.3788/YJYXS20193410.1013
    [6] 马国庆, 刘丽, 于正林, 等. 大型复杂曲面三维形貌测量及应用研究进展[J]. 中国光学,2019,12(2):214-228. doi:  10.3788/co.20191202.0214

    MA G Q, LIU L, YU ZH L, et al. Application and development of three-dimensional profile measurement for large and complex surface[J]. Chinese Optics, 2019, 12(2): 214-228. (in Chinese) doi:  10.3788/co.20191202.0214
    [7] 任国印, 吕晓琪, 杨楠, 等. 心脏体素化三维模型感兴趣血管交互式显示方法研究[J]. 液晶与显示,2018,33(5):433-442. doi:  10.3788/YJYXS20183305.0433

    REN G Y, LV X Q, YANG N, et al. Interactive display methods of vessel of interest within voxelized three-dimensional cardiac model[J]. Chinese Journal of Liquid Crystals and Displays, 2018, 33(5): 433-442. (in Chinese) doi:  10.3788/YJYXS20183305.0433
    [8] ZHANG ZH Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334. doi:  10.1109/34.888718
    [9] 王谭, 王磊磊, 张卫国, 等. 基于张正友标定法的红外靶标系统[J]. 光学 精密工程,2019,27(8):1828-1835. doi:  10.3788/OPE.20192708.1828

    WANG T, WANG L L, ZHANG W G, et al. Design of infrared target system with Zhang Zhengyou calibration method[J]. Optics and Precision Engineering, 2019, 27(8): 1828-1835. (in Chinese) doi:  10.3788/OPE.20192708.1828
    [10] 赵亚凤, 胡峻峰. 一种双正交消隐点的双目相机标定方法[J]. 液晶与显示,2016,31(10):958-966. doi:  10.3788/YJYXS20163110.0958

    ZHAO Y F, HU J F. Binocular self calibration using two pairs of orthogonal vanishing points[J]. Chinese Journal of Liquid Crystals and Displays, 2016, 31(10): 958-966. (in Chinese) doi:  10.3788/YJYXS20163110.0958
    [11] DAVIES E R. 计算机与机器视觉: 理论、算法与实践[M]. 北京: 机械工业出版社, 2013.

    DAVIES E R. Computer and Machine Vision: Theory, Algorithms, Practicalities[M]. Beijing: China Machine Press, 2013. (in Chinese).
    [12] ZHANG S, HUANG P S. Novel method for structured light system calibration[J]. Optical Engineering, 2006, 45(8): 083601. doi:  10.1117/1.2336196
    [13] LI ZH W, SHI Y SH, WANG C J, et al. Accurate calibration method for a structured light system[J]. Optical Engineering, 2008, 47(5): 053604. doi:  10.1117/1.2931517
    [14] ZHANG W, LI W SH, YU L D, et al. Sub-pixel projector calibration method for fringe projection profilometry[J]. Optics Express, 2017, 25(16): 19158-19169. doi:  10.1364/OE.25.019158
    [15] 吴海滨, 于晓洋. 应用市售设备的结构光系统模型及标定[J]. 光学 精密工程,2008,16(4):617-623.

    WU H B, YU X Y. Structured light system model using off-the-shelf components and its calibration[J]. Optics and Precision Engineering, 2008, 16(4): 617-623. (in Chinese)
    [16] AUDET S, OKUTOMI M. A user-friendly method to geometrically calibrate projector-camera systems[C]. 2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, IEEE, 2009: 47-54.
    [17] ANWAR H. Calibrating projector flexibly for a real-time active 3D scanning system[J]. Optik, 2018, 158: 1088-1094. doi:  10.1016/j.ijleo.2018.01.005
    [18] 高治华, 王昭, 黄军辉, 等. 基于射影变换的结构光测量系统中投影仪标定方法[J]. 中国激光,2012,39(10):154-161.

    GAO ZH H, WANG ZH, HUANG J H, et al. Projector calibration method based on projective transformation for structured light measurement system[J]. Chinese Journal of Lasers, 2012, 39(10): 154-161. (in Chinese)
    [19] HARTLEY R, ZISSERMAN A. Multiple View Geometry in Computer Vision[M]. Cambridge: Cambridge University Press, 2003.
  • [1] 尹云飞, 刘兆武, 吉日嘎兰图 , 于宏柱, 王玮, 李晓天, 鲍赫, 李文昊, 郝群.  二维光栅位移测量技术综述 . 中国光学, doi: 10.37188/CO.2020-0237
    [2] 刘兆武, 尹云飞, 吉日嘎兰图, 于宏柱, 王玮, 李晓天, 鲍赫, 李文昊, 郝群.  二维光栅位移测量技术综述 . 中国光学, doi: 10.37188/CO.2019-0237
    [3] 吕强, 王玮, 刘兆武, 宋莹, 姜珊, 刘林, 巴音贺希格, 李文昊.  五维自由度衍射光栅精密测量系统 . 中国光学, doi: 10.3788/CO.20201301.0189
    [4] 王与烨, 陈霖宇, 徐德刚, 石嘉, 冯华, 姚建铨.  太赫兹波三维成像技术研究进展 . 中国光学, doi: 10.3788/CO.20191201.0001
    [5] 冯思悦, 梁静秋, 梁中翥, 吕金光, 陶金, 王维彪, 秦余欣, 孟德佳.  LED微阵列投影系统设计 . 中国光学, doi: 10.3788/CO.20191201.0088
    [6] 马国庆, 刘丽, 于正林, 曹国华.  大型复杂曲面三维形貌测量及应用研究进展 . 中国光学, doi: 10.3788/CO.20191202.0214
    [7] 王建华, 杨延西.  基于彩色编码光栅投影的双N步相移轮廓术 . 中国光学, doi: 10.3788/CO.20191203.0616
    [8] 卜禹铭, 杜小平, 曾朝阳, 赵继广, 宋一铄.  无扫描激光三维成像雷达研究进展及趋势分析 . 中国光学, doi: 10.3788/CO.20181105.0711
    [9] 张旭, 邵双运, 祝祥, 宋志军.  光学三维扫描仪光强传递函数的测量和校正 . 中国光学, doi: 10.3788/CO.20181101.0123
    [10] 吕源治, 孙强, 毕国玲.  三维激光扫描系统中曲面空洞的识别与修复 . 中国光学, doi: 10.3788/CO.20160901.0114
    [11] 曾震湘, 郑华东, 卢小仟, 高洪跃, 于瀛洁.  空间光调制器曲面拼接实现全息三维显示视角拓展 . 中国光学, doi: 10.3788/CO.20150802.0227
    [12] 安东, 陈李, 丁一飞, 邓连杰, 王永红.  光栅投影相位法系统模型及标定方法 . 中国光学, doi: 10.3788/CO.20150802.0248
    [13] 王飞.  实时激光三维成像焦平面阵列研究进展 . 中国光学, doi: 10.3788/CO.20130603.0297
    [14] 许伟琳, 武春风, 逯力红, 侯晴宇.  基于光谱角时序不变性的红外目标识别 . 中国光学, doi: 10.3788/CO.20120503.0257
    [15] 魏孜洵, 付秀华, 石澎, 梅禹珊.  三维腹腔镜端面宽带增透膜的研制 . 中国光学,
    [16] 谢宏斌, 杨勇, 赵星, 方志良, 袁小聪.  狭缝光栅、柱面透镜光栅及其新构型在三维显示中的应用 . 中国光学,
    [17] ZHOU Zhe-hai, TAN Qiao-feng, JIN Guo-fan.  利用高偏振级次轴对称偏振光束实现三维光学捕获 . 中国光学,
    [18] 陈建华, 朱明, 黄德天.  数字微镜器件动态红外场景投影技术 . 中国光学,
    [19] 王丽萍.  极紫外投影光刻光学系统 . 中国光学,
    [20] 孔令胜, 南敬实, 荀显超, .  平面三维显示技术的研究现状 . 中国光学,
  • 加载中
图(13) / 表 (4)
计量
  • 文章访问数:  13
  • HTML全文浏览量:  7
  • PDF下载量:  1
  • 被引次数: 0
出版历程

基于交比不变性的投影仪标定

doi: 10.37188/CO.2020-0111
    基金项目:  国家重点研发计划(No. 2018YFC0308100,No. 2018YFC0307900);吉林省科技发展计划项目(No. 20190302102GX,No. 20180201048GX);中国科学院青年创新促进会会员资助项目(No. 2019226)
    作者简介:

    杨建柏(1986—),男,黑龙江人,博士研究生,2009年于中国石油大学获得学士学位,主要从事机器视觉及三维重建方面的研究。E-mail:yang9769@163.com

    赵 建(1967—),女,吉林长春人,研究员,博士生导师,主要从事数字图像处理、目标识别与跟踪、视频编解码等方面的研究。E-mail:zhaojian6789@126.com

  • 中图分类号: TB96;TP391

摘要: 为了提高数字光栅投影三维测量中投影仪标定的准确性,提出了一种新的投影仪标定方法。该方法结合二次投影技术和交比不变性进行投影仪标定。采用二次投影技术解决投射图案与标定板图案互相干扰的问题;采用交比不变性方法以避免引入相机的标定误差。进行了对比实验,以验证所提方法的有效性。与需要相机参数的传统投影仪标定方法以及根据全局单应性的投影仪标定方法相比较,采用本方法的反投影误差标准差分别从(0.2275, 0.2264)像素和(0.1397, 0.0997)像素降低到(0.0645, 0.0601)像素,反投影误差的最大值分别从1.222像素和0.5617像素降低到0.2421像素。另外,该方法还可同时标定相机,从而获得整个三维测量系统的参数。上述结果表明,本文提出的方法可以避免相机标定参数的误差传递,提高投影仪的标定精度。

English Abstract

杨建柏, 赵建, 孙强. 基于交比不变性的投影仪标定[J]. 中国光学. doi: 10.37188/CO.2020-0111
引用本文: 杨建柏, 赵建, 孙强. 基于交比不变性的投影仪标定[J]. 中国光学. doi: 10.37188/CO.2020-0111
YANG Jian-bai, ZHAO Jian, SUN Qiang. Projector calibration based on cross ratio invariance[J]. Chinese Optics. doi: 10.37188/CO.2020-0111
Citation: YANG Jian-bai, ZHAO Jian, SUN Qiang. Projector calibration based on cross ratio invariance[J]. Chinese Optics. doi: 10.37188/CO.2020-0111
    • 数字光栅投影三维测量技术作为主要的非接触测量方法,因其高精度、高分辨率、成本低、速度快等优点,在工业检测、文物重建、逆向工程、辅助医疗等领域得到了广泛的应用[1-7]。光栅投影三维测量技术是将正弦光栅图案由投影仪投射到场景中并采集相应的变形光栅图案;然后通过算法处理获取的调制光栅图像,提取相位分布;进而用已经标定好的几何关系在三维空间中重建被测物表面。

      在光栅投影三维测量中,系统的参数标定精度是保证测量精度的关键。相机的标定技术已经发展的很成熟[8-11],而投影仪不能像相机那样找到准确的像素点与世界坐标的关系,因此一直是研究的重点。为解决这一问题,研究人员提出了很多有效的方法,包括基于坐标映射的投影仪标定方法[12-15]和基于坐标变换的投影仪标定方法[16-18]。基于坐标变换的投影仪标定方法是将生成的带有特征点的图案投射到标定板上,采集到同时带有标定板特征和投射特征点的图像,然后提取投射特征点在图像中的坐标,再使用已标定的相机参数,求得投射特征点在标定板上的位置。和坐标映射的标定方法相比较,基于坐标变换的标定方法因其不需投射大量的图案,操作简单,易于计算,应用十分广泛。

      然而传统的基于坐标变换的投影仪标定方法存在两个主要问题:投射到标定板上的图案会与已有的标定板图案发生干扰,影响投射特征点与板上特征点的提取;使用已标定好的相机参数计算投影仪的像素变换,产生了相机参数的误差传递,限制了标定的精度。为了解决图案干扰问题,Audet[16]提出了使用二次投影的方式将特征点投射到标定板空白位置,这样便可同时采集标定板上特征点图案和投射特征点图案。为了防止相机参数的误差传递,Anwar等[17]提出了一种固定相机和标定板,移动投影仪进行标定的方法,避免了相机的标定误差转递,但是该方法无法计算系统整体参数。高治华等[18]使用全局单应性矩阵进行坐标变换,避免了相机参数的误差传递,但全局单应性矩阵不能准确反映投影平面与标定板平面的变换关系,需要对误差使用四次函数进行拟合并补偿,计算复杂,操作不便。

      为了解决上述问题,本文提出了一种新的投影仪标定方法:采用二次投影技术解决图案干扰问题;对投射特征点及周围标定板特征点进行建模,使用交比不变性计算投射特征点在标定板的位置。这种坐标变换方法未使用相机参数,避免了误差传递,有较高的精度。

    • 投影仪可以看作是相机的逆过程,因此与相机相同,投影仪也可以用针孔模型以及径向和切向镜头畸变来描述[12]。如图1所示,为了描述标定板上的特征点与相机成像平面上的像素点以及投影仪平面像素点之间的对应关系,设置多个坐标系,包括世界坐标系${O_W} - {X_W}{Y_W}{Z_W}$、相机坐标系${O_c} - {X_c}{Y_c}{Z_c}$、投影仪坐标系${O_p} - {X_p}{Y_p}{Z_p}$

      图  1  测量系统简化示意图

      Figure 1.  Simplified schematic diagram of the measurement system

      图1$P({X_W},{Y_W},{Z_W})$表示标定板上的特征点三维坐标,${P_p}({u_p},{v_p})$ 表示在投影仪平面投射到该特征点的对应像素点坐标,则${P_p}({u_p},{v_p})$$P({X_W},{Y_W},{Z_W})$之间的关系为:

      $${s_p}\left[ {\begin{array}{*{20}{c}} {{u_p}} \\ {{v_p}} \\ 1 \end{array}} \right] = {{\bf{A}}_p}[{{\bf{R}}_p},{{\bf{T}}_p}]\left[ {\begin{array}{*{20}{c}} {{X_W}} \\ {{Y_W}} \\ {{Z_W}} \\ 1 \end{array}} \right],$$ (1)
      $${{\bf{A}}_p} = \left[ {\begin{array}{*{20}{c}} {{\alpha _p}}&{{\gamma _p}}&{{u_{p0}}} \\ 0&{{\beta _p}}&{{v_{p0}}} \\ 0&0&1 \end{array}} \right],$$ (2)
      $$[{{\bf{R}}_p},{{\bf{T}}_p}] = \left[ {\begin{array}{*{20}{c}} {{r_{11}}}&{{r_{12}}}&{{r_{13}}}&{{t_1}} \\ {{r_{21}}}&{{r_{22}}}&{{r_{23}}}&{{t_2}} \\ {{r_{31}}}&{{r_{32}}}&{{r_{33}}}&{{t_3}} \end{array}} \right],$$ (3)

      其中${s_p}$为尺度因子,${{\bf{A}}_p}$为投影仪的内参矩阵,${\alpha _p} = {{{f_p}} / {{d_{u{\rm{p}}}}}}$${\beta _p} = {{{f_p}} / {{d_{vp}}}}$${f_p}$为投影仪镜头的焦距,${d_{up}}$${d_{vp}}$是两个坐标轴上像素尺寸,$({u_{p0}},{v_{p0}})$为投影仪的主点坐标,${\gamma _p}$为两个坐标轴的倾斜程度。${{\bf{R}}_p}$${{\bf{T}}_p}$为投影仪的旋转和平移矩阵。如果将世界坐标系设置在标定板的表面,则Z=0,上式简化为:

      $${s_p}\left[ {\begin{array}{*{20}{c}} {{u_p}} \\ {{v_p}} \\ 1 \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{\alpha _p}}&{{\gamma _p}}&{{u_{p0}}} \\ 0&{{\beta _p}}&{{v_{p0}}} \\ 0&0&1 \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{r_{11}}}&{{r_{12}}}&{{t_1}} \\ {{r_{21}}}&{{r_{22}}}&{{t_2}} \\ {{r_{31}}}&{{r_{32}}}&{{t_3}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{X_W}} \\ {{Y_W}} \\ 1 \end{array}} \right].$$ (4)

      投影仪的镜头也存在畸变,需要对其进行校正。存在畸变的情况下,理想的投影仪平面像素坐标$({u_p},{v_p})$和畸变后像素坐标$({u_{pd}},{v_{pd}})$之间的关系为:

      $$\left\{\begin{aligned} {u_{pd}} =\;& {u_p}(1 + {k_{p1}}{r_p}^2 + {k_{p2}}{r_p}^4) \\ &+ 2{p_{p1}}{u_p}{v_p} + {p_{p2}}(r_p^2 + 2{u_p}^2), \\ \\ {v_{pd}} =\;& {v_p}(1 + {k_{p1}}{r_p}^2 + {k_{p2}}{r_p}^4) \\ &+ 2{p_{p2}}{u_p}{v_p} + {p_{p1}}(r_p^2 + 2{v_p}^2) , \end{aligned} \right.$$ (5)

      其中,$r_p^2 = u_p^2 + v_p^2$${k_{p1}}$${k_{p2}}$为径向畸变系数,${p_{p1}}$${p_{p2}}$为切向畸变系数。更高阶的畸变系数对测量值影响很小,因此可以忽略。可以看出,投影仪的模型与相机相同,因此标定过程也可以使用与相机相同的方法。

    • 在二次投影的方法中,首先需要找到相机和标定板之间的单应性,

      $${P^W} = {\bf{H}}_C^W{P^C},$$ (6)

      其中${P^W}$为标定板平面中的特征点,${P^C}$为对应的图像平面中的特征点,${\bf{H}}_C^W$为两个平面的单应性矩阵,也是张正友相机标定方法中的所需要的初始信息[8]。接着,我们需要根据投影图案,找到投影仪平面与图像平面之间的关系,

      $${P^C} = {\bf{H}}_P^C{P^P},$$ (7)

      其中${P^P}$为投影仪平面中投影图案的特征点,${P^C}$为对应的图像平面的特征点,${\bf{H}}_P^C$为投影仪平面与相机平面的单应性矩阵。由式(6)和式(7),可以得到标定板平面与投影仪平面之间的对应关系,

      $${P^W} = {\bf{H}}_C^W{\bf{H}}_P^C{P^P},$$ (8)

      也可以写成,

      $${P^W} = {\bf{H}}_P^W{P^P},$$ (9)

      其中${\bf{H}}_P^W = {\bf{H}}_C^W{\bf{H}}_P^C$。因此可以通过这个变换将投影仪平面中${P^P}$点投影到我们所希望的标定板平面中的${P^W}$点上,就可以将投影特征点投射到标定板中的空白位置上,实现对标定板图案互不干扰。如图2所示,左上图可求出标定板平面与投影仪平面的射影变换矩阵${\bf{H}}_P^W$,左下图红色标志显示了投射特征点在标定板的位置坐标,这两者结合即可生成二次投影图案如中图所示,将其投射到标定板上,就可以采集到投影图案与标定板图案互不干扰的图像如右图所示。

      图  2  基于二次投影的防图案干扰方法

      Figure 2.  Method for preventing pattern interference based on secondary projection

      相对于其他防图案干扰方法,这种方法操作简单,空间利用率高,一张图即可包含两种模式的特征点,对于相应特征点的提取更加有效、准确,应用十分广泛。

    • 如果忽略相机的畸变,则相机成像即为标定板平面的射影变换,所以可以利用射影变换中的性质来计算成像平面与标定板平面的变换。其中,交比是射影变换中最重要的不变量之一[19]。如果平面中A,B,C,D为共线的四个点,则它们的交比可以写成:

      $$(A,B;C,D) = \frac{{\left\| {{{\left. {AC} \right\|} / {\left. {\left\| {AD} \right.} \right\|}}} \right.}}{{\left\| {{{\left. {BC} \right\|} / {\left. {\left\| {BD} \right.} \right\|}}} \right.}}.$$ (10)

      图3所示,由射影变换将直线L1上共线的四个点a,b,c,d映射到L2上的四个共线点A,B,C,D,则有:

      图  3  射影变换示意图

      Figure 3.  Schematic diagram of projective transformation

      $$(A,B;C,D) = (a,b;c,d).$$ (11)

      在标定板平面和成像平面找到对应的共线点也满足上式。在投影仪标定算法中,最重要的便是找到标定板上特征点与投影仪图像上相应点的对应关系。在标定过程中,投影仪投射出的特征点坐标是已知的,因此如何找到特征点在标定板上的对应位置是投影仪标定能否准确的关键。在采集到的有投射特征点的标定板图像中,通过图像处理可以获得较高精度的标定板特征点的像素位置和投射特征点的像素位置。而在标定板平面坐标系中,已知特征点的位置。这样只要找到其中共线点的对应关系,即可通过射影几何中的交比不变性关系求得在标定板平面上投射特征点的位置,进而完成投影仪的标定。

    • 利用交比不变性来求取投射特征点在标定板坐标系中的坐标值,首先需要构造出四个共线点,其中包含所要求取的位置[14]。如图4所示,${A_W},{B_W},{C_W},{D_W}$为标定板上相邻的四个已知位置的标志点,${E_W}$为直线${A_W}{C_W}$${B_W}{D_W}$的交点,${P_W}$为投影仪投射的特征点在标定板上的位置。因为使用二次投影的技术,所以投影特征点的位置范围可以基本确定。假设${P_W}$点位置如图所示,则连接${B_W}{P_W}$与直线${A_W}{C_W}$交于点${F_W}$,连接${A_W}{P_W}$与直线${B_W}{D_W}$交于点${G_W}$

      图  4  交比构成示意图

      Figure 4.  Schematic diagram of cross-ratio construction

      ${A_W},{B_W},{C_W},{D_W}$通过射影变换在图像平面的对应点为${A_C},{B_C},{C_C},{D_C}$,如图4所示。由于镜头的畸变,所有的连线都会有一定的失真,但是,由于${A_W},{B_W},{C_W},{D_W}$包围的区域较小,因此可以近似的认为该区域与${A_C},{B_C},{C_C},{D_C}$所包围的区域为一个平面,形成没有畸变影响的射影变换。因此,点${E_C}$${F_C}$${G_C}$${P_C}$对应图中的${E_W}$${F_W}$${G_W}$${P_W}$。这样通过射影变换,共线的两组点${A_W}{E_W}{F_W}{C_W}$${B_W}{E_W}{G_W}{D_W}$的交比不变性表示为:

      $$({A_W},{E_W};{F_W},{C_W}) = ({A_C},{E_C};{F_C},{C_C}),$$ (12)
      $$({B_W},{E_W};{G_W},{D_W}) = ({B_C},{E_C};{G_C},{D_C}).$$ (13)

      设向量${\bf{a = }}{{\bf{A}}_{\bf{W}}}$${\bf{b = }}{{\bf{E}}_{\bf{W}}}{\bf{ - }}{{\bf{A}}_{\bf{W}}}$${\bf{c = }}{{\bf{B}}_{\bf{W}}}$${\bf{d = }}{{\bf{E}}_{\bf{W}}}{\bf{ - }}{{\bf{B}}_{\bf{W}}}$,则

      $$\left\{ {\begin{aligned} & {{{\bf{A}}_{\bf{W}}}{\bf{ = a + }}{\lambda _1}{\bf{b}}} \\ & {{{\bf{E}}_{\bf{W}}}{\bf{ = a + }}{\lambda _2}{\bf{b}}} \\ & {{{\bf{F}}_{\bf{W}}}{\bf{ = a + }}{\lambda _3}{\bf{b}}} \\ & {{{\bf{C}}_{\bf{W}}}{\bf{ = a + }}{\lambda _4}{\bf{b}}} \end{aligned}} ,\right.$$ (14)
      $$\left\{ \begin{aligned} & {{{\bf{B}}_{\bf{W}}}{\bf{ = c + }}{{\lambda '}_1}{\bf{d}}} \\ & {{{\bf{E}}_{\bf{W}}}{\bf{ = c + }}{{\lambda '}_2}{\bf{d}}} \\ & {{{\bf{G}}_{\bf{W}}}{\bf{ = c + }}{{\lambda '}_3}{\bf{d}}} \\ & {{{\bf{D}}_{\bf{W}}}{\bf{ = c + }}{{\lambda '}_4}{\bf{d}}} \end{aligned},\right.$$ (15)

      其中${\lambda _1}$~${\lambda _4}$${\lambda '_1}$~${\lambda '_4}$均为系数。在实际标定板中,相邻四个点组成正方形,且交点为正方形中心,所以很容易得出,${\lambda _1} = 0$${\lambda _2} = 1$${\lambda _4} = 2$;以及${\lambda _1}^\prime = 0$${\lambda _2}^\prime = 1$${\lambda _4}^\prime = 2$。将向量方程带入交比定义中可得,

      $$({A_W},{E_W};{F_W},{C_W}) = \frac{{{{({\lambda _1} - {\lambda _3})} / {({\lambda _1} - {\lambda _4})}}}}{{{{({\lambda _2} - {\lambda _3})} / {({\lambda _2} - {\lambda _4})}}}},$$ (16)
      $$({B_W},{E_W};{G_W},{D_W}) = \frac{{{{({\lambda _1}^\prime - {\lambda _3}^\prime )} / {({\lambda _1}^\prime - {\lambda _4}^\prime )}}}}{{{{({\lambda _2}^\prime - {\lambda _3}^\prime )} / {({\lambda _2}^\prime - {\lambda _4}^\prime )}}}},$$ (17)

      根据采集到的图像提取的特征点坐标可以求得交比$({A_C},{E_C};{F_C},{C_C})$$({B_C},{E_C};{G_C},{D_C})$,也就是交比$({A_W},{E_W};{F_W},{C_W})$$({B_W},{E_W};{G_W},{D_W})$的值,不妨分别设为$k$$k'$,则可求得

      $${\lambda _3} = \frac{{2k}}{{2k - 1}},$$ (18)
      $${\lambda _3}^\prime = \frac{{2k'}}{{2k' - 1}},$$ (19)

      由公式可求得点${F_W}$${G_W}$,即可得到直线${A_W}{G_W}$${B_W}{F_W}$,它们的交点即为所需要求的投射到标定板上的位置${P_W}$。这样就可以求得投影仪特征点与标定板位置之间的对应关系。再利用张正友提出的相机标定方法,即可对投影仪进行精确标定。投射特征点在标定板位置的计算是通过对相机采集图像进行特征点提取,进而计算出来的,因此与相机标定结果无关,不会受到它的误差干扰。与全局单应性矩阵方法相比,构造交比的区域更符合射影变换的性质,因此精度更高,且整体实验不用复杂的操作即可完成,更简单准确。

    • 根据上述的基于交比不变性的投影仪标定方法,标定过程可归纳为以下几个步骤:

      1)将投影仪和相机固定在实验台上,标定板放置在相机视野内,将带有已知位置十字标记的图案输入到投影仪中,投射到标定板上,保证四个十字图案均在标定板上呈现且十字中心尽量没有遮挡,用相机采集图像并保存(见图6)。

      2)提取出1)步骤中标定板上投射的十字中心坐标,并与已知投影仪图案中十字坐标,计算出投影仪平面与图像平面的单应性矩阵${\bf{H}}_P^C$

      3)步骤1)采集到的第一次投影图像中,包含标定板原有的黑色标志点,使用opencv中用于相机标定的函数findCirclesGrid提取出这些标志点在图像中的中心像素坐标,并结合已知标定板位置坐标,计算出标定板平面与图像平面的单应性矩阵${\bf{H}}_C^W$,根据式(9)计算出投射位置在投影仪平面的坐标,然后生成新的投影仪图案(见图9)。

      4)将新的投影图案输入到投影仪,投射到标定板上,并用相机采集图像并保存(见图10)。

      5)步骤4)采集的二次投影图像中,投射标志点呈现为白色圆点,将图像进行灰度翻转,使用opencv中用于相机标定的函数findCirclesGrid提取出这些投射标志点在图像中的中心像素坐标,并找到其对应的邻近的标定板标志点的坐标,在标定板坐标系中找到这些标志点的位置,使用3.3节所提出的交比不变性的方法计算出投射标志点在标定板坐标系中的位置。

      6)变换标定板的姿态,并重复1)到5)的步骤,至少需要三种不同的姿态。

      7)用张正友相机标定方法[8]估计投影仪的内部参数和畸变系数。

      为验证本文提出方法的正确性,我们搭建了实验系统,根据上述步骤对提出方法的有效性进行验证。图5为搭建的实验系统图,由相机、投影仪及标定板构成。本实验所用相机为大恒水星系列MER-131-210,分辨率为1280×1024;投影仪为DLP6500,分辨率为1920×1080;标定板为白色底板,黑色圆形标志点作为特征点,这样在空白位置投射标志点,更加清晰,易于提取。投射的标志点为圆形,这样从图像中提取的标志点中心更加准确。

      图  5  实验系统示意图

      Figure 5.  Schematic diagram of the experimental system

      根据上述步骤,在每个姿态下采集一幅带有投射十字标志的标定板图像,如图6所示,本实验将标定板放置了九个不同的姿态,选取其中三个姿态来示意说明。

      图  6  第一次投影并采集的图像:(a)姿态1,(b)姿态2,(c)姿态3

      Figure 6.  The acquired image for the first projection: (a) gesture 1, (b) gesture 2, (c) gesture 3

      为了方便求取交比值,本文将投射位置定为四个邻近标志点的中心下方。如图7所示,假设临近点在标定板上坐标分别为(0,0)、(0,20)、(20,0)、(20,20),则其中心点坐标为(10,10)。将投射标志点坐标定为中心点下方,坐标为(10,15)。根据采集的图像提取标定板上标志点坐标和十字中心坐标,计算${\bf{H}}_P^C$${\bf{H}}_C^W$,再根据式(9)计算投射位置。

      图  7  投射位置示意图

      Figure 7.  Schematic diagram of the projection position

      投射位置示意图和生成的二次投影图像如图8图9所示。第一次投影处理完毕,将得到的二次投影图案输入到投影仪中,投射到标定板并采集,如图10所示。从二次采集的图像中提取出投射标志点的像素坐标,即可根据3.3小节中的方法计算出在标定板坐标系下,投射标志点的坐标,完成标定。

      图  8  各姿态投射位置示意图:(a)姿态1,(b)姿态2,(c)姿态3

      Figure 8.  Schematic diagram of projection position of each gesture: (a) gesture 1, (b) gesture 2, (c) gesture 3

      图  9  各姿态生成投射标志点图案:(a)姿态1,(b)姿态2,(c)姿态3

      Figure 9.  The generated projection mark point pattern of each gesture: (a) gesture 1, (b) gesture 2, (c) gesture 3

      图  10  二次投影后采集的标定板图案:(a)姿态1,(b)姿态2,(c)姿态3

      Figure 10.  Calibration plate pattern acquired after the second projection: (a) gesture 1, (b) gesture 2, (c) gesture 3

      根据上述实验步骤,我们获得了较精确的标定结果。表12列出了本方法和需要相机参数标定法以及全局单应性标定法的实验结果。

      表 1  标定的投影仪内部参数(像素)

      Table 1.  Calibrated intrinsic parameters of the projector (pixel)

      参数fufvu0v0
      需要相机参数3033.90203037.0319976.0815546.6816
      全局单应性变换3040.38783042.7892993.4626553.0046
      本文3060.75943059.84791006.0491540.8452

      表 2  标定的投影仪镜头畸变系数

      Table 2.  Calibrated lens distortion coefficient of the projector

      系数k1k2p1p2
      需要相机参数0.1102−0.70580.0025−0.0050
      全局单应性变换0.0215−0.41570.0033−0.0014
      本文−0.10650.00580.0011−0.0007

      为了验证该方法的有效性,我们对三种方法的反投影误差进行了评估,得到的反投影误差图如图11所示。表3列出了反投影误差在各轴上的标准差(STD)和最大值(MAX)。

      图  11  反投影误差示意图:(a)需要相机参数法,(b)全局单应性变换法,(c)本文方法

      Figure 11.  Reprojection error distribution diagram: (a) using the method requiring camera parameters, (b) using the global homography transformation method, (c) using the method in this paper

      表 3  几种方法的反投影误差(像素)

      Table 3.  Reprojection errors of different methods (pixel)

      x轴(MAX)y轴(MAX)x轴(STD)y轴(STD)
      需要相机参数1.2221.0220.22750.2264
      全局单应性变换0.56170.51300.13970.0997
      本文0.23450.24210.06450.0601

      图11表3可以明显看出,需要相机参数辅助计算的标定方法,因为引入了相机的标定误差,因此反投影误差是最大的,其标准差是(0.2275, 0.2264)像素,误差的最大值是1.222像素。而使用全局单应性变换的标定方法,避免了相机标定误差的传递,反投影误差有所降低,其标准差是(0.1397, 0.0997)像素,误差的最大值是0.5617像素。本文提出的基于交比不变性的投影仪标定方法,采用二次投影技术解决了图案干扰问题,利用交比不变性求取投射在标定板上的特征点位置,避免了相机标定误差的引入,而且构造交比的区域更符合射影变换的性质,反投影误差最低,其标准差是(0.0645, 0.0601)像素,其最大值是0.2421像素。

      采用本方法可以同时直接标定相机,获得整个三维测量系统的参数。相机内部参数标定结果如表4所示:

      表 4  相机内部参数和畸变系数标定结果

      Table 4.  Calibration results of camera intrinsic parameters and distortion coefficients

      fufvu0v0k1k2p1p2
      2644.922644.11646.56508.34−0.2220.313−0.00010.0001

      相机的反投影误差的标准差在x,y两坐标轴分别为0.0658和0.0539像素,与投影仪的反投影误差的标准差在同一个量级。误差示意图如图12所示。

      图  12  相机标定反投影误差示意图

      Figure 12.  Schematic diagram of reprojection error in camera calibration

      同时标定相机和投影仪之后,即可得到以投影仪作为参考,两设备的相对外部参数矩阵,如式(20)和式(21)所示。

      $${\bf{R}} = \left[ {\begin{array}{*{20}{c}} {0.957\;071}&{ - 0.029\;441}&{0.288\;355} \\ {0.033\;283}&{0.999\;410}&{ - 0.084\;318} \\ { - 0.287\;937}&{0.017\;667}&{0.957\;486} \end{array}} \right]$$ (20)
      $${\bf{T}} = \left[ { - 156.162\;0}\;\;\;\;{13.589\;1}\;\;\;\;{216.437\;4} \right]$$ (21)

      得到外部参数后,结合内部参数即可获得整体测量系统的参数,完成系统的标定。根据标定的内外参数,以投影仪作为世界坐标系原点,标定后的三维测量系统示意图如图13所示。其中左侧为投影仪,右侧为相机,不同颜色的特征点代表不同的标定板姿态。从图中可以看出相机和投影仪的空间相对位置关系,以及标定过程中每个姿态下标定板上各个特征点的世界坐标。

      图  13  整体系统三维示意图

      Figure 13.  3D schematic diagram of the system

    • 在数字光栅投影三维测量系统中,投影仪的参数标定直接影响着整个系统的测量精度。本文为了提高投影仪的标定精度,使用二次投影方法解决了投射图案与标定板图案的干扰问题;使用交比不变性求取标定板上投射标志点的位置,避免了相机标定参数的误差传递,并且交比的构造区域更符合射影变换的性质,因此具有更高的精度。与需要相机参数的传统标定方法以及使用全局单应性变换的标定方法进行了实验对比。结果表明,采用本方法,其反投影误差的最大值分别从1.222像素和0.5617像素降到了0.2421像素,标准差分别从(0.2275,0.2264)像素和(0.1397,0.0997)像素降到了(0.0645,0.0601)像素。另外,采用本文的方法,在标定投影仪的同时可以直接标定相机,从而获得整个三维测量系统的标定参数。

参考文献 (19)

目录

    /

    返回文章
    返回