Influence of CCD nonlinearity effect on the three-dimensional shape measurement of dual frequency grating
-
摘要: 在测量系统中,CCD的非线性效应会影响复杂光学三维面形的测量精度,针对这一问题,提出采用双频光栅投影消除CCD的非线性效应以提高测量精度。首先,分析了CCD非线性效应对三维面形测量的影响,给出了该情况下出现频谱混叠的解析推导和物理解释。然后,讨论了CCD非线性效应下的双频光栅测量原理,分析了此时变形条纹的光强分布及其经傅立叶变换后得到混叠频谱的原理。最后,给出了由等效波长来衡量测量精度的方法,推出了使用双频光栅投影测量三维面形高度信息的基本公式,并进行了理论分析。对最大绝对值与平均绝对值分别为24.3181 mm和1.0839 mm的物体进行仿真分析,测量值与实际值之间的最大绝对高度误差与平均绝对高度误差分别为0.8950 mm和0.0622 mm,提高双频光栅基频后,其对应值分别减小为0.3710 mm和0.0232 mm;在实验结果显示,当双频光栅的基频都增加2.5倍后,频谱中的基频与高级频谱间分离较好,测量精度提高。因此,采用双频光栅投影消除CCD非线性效应具有较强的实用性和很好的发展前景。Abstract: The CCD nonlinearity effect in the measurement system will affect the measurement accuracy of complex optical three-dimensional surface. Therefore, a method to eliminate the CCD nonlinearity effect by using dual frequency grating projection is proposed, which can improve the measurement accuracy. Firstly, the influence of CCD nonlinearity effect on three-dimensional shape measurement is analyzed. The analytical derivation and physical explanation of spectrum aliasing are given. Then, the measurement principle of dual frequency grating under the CCD nonlinearity effect is discussed. The light intensity distribution of deformed fringe and the principle of obtaining aliasing spectrum by Fourier transform are analyzed. Finally, the method to judge the measurement accuracy by the equivalent wavelength is given. The basic formula of measuring the height information of three-dimensional surface by using dual frequency grating projection is derived, and the theoretical analysis is carried out. The object is simulated as the maximum absolute value and average absolute value are 24.3181 mm and 1.0839 mm, respectively. The maximum absolute height error and average absolute height error between the measured value and the actual value are 0.8950 mm and 0.0622 mm, respectively. After increasing the fundamental frequency of the dual frequency grating, the corresponding values are reduced to 0.3710 mm and 0.0232 mm, respectively. When the fundamental frequency of the dual frequency grating is increased by 2.5 times, the separation between the fundamental frequency and the advanced spectrum becomes better, and the measurement accuracy is improved. Therefore, using dual frequency grating projection to eliminate CCD nonlinearity effect has strong practicability and is highly advisable.
-
1. 引 言
三维面形测量系统具有非接触、高精度、快速、自动化等优点,广泛应用于机械零件的在线质量检测、服装制作、医学诊断等领域[1-6],已在国内外取得了较多的研究成果[7-13]。但在测量过程中,CCD非线性效应会导致频谱混叠,从而影响三维面形的测量精度,在这方面不少学者开展了大量研究[14-19]。如杜永兆等[6]分析了CCD非线性效应导致频谱混叠的原因,提出了消除频谱混叠的方法。于杰[7]提出了一种用于相移点衍射干涉仪的加权最小二乘相位提取算法,完全避免了CCD的二阶响应非线性。苏轲等[8]采用最佳的加权滤波窗口减弱了CCD非线性引起的频谱混叠对测量的影响。
双频光栅投影的复杂物体三维面形测量应用广泛,研究意义重大[9-12]。如FU Y等[9]采用计算机编制双频光栅程序投射到测量对象上,经拼接得到目标图像,设计滤波器对高频和低频进行滤波,在低频相位差的基础上,计算出高频相位差,实现了三维轮廓测量。武迎春等[10]提出了一种包含两个调制频率的复合光栅投影方法,利用低频指导高频进行相位展开提高解相精度,降低了相邻载波通道中交流分量之间的傅立叶频谱重叠度。PENG K等[11]提出将双频光栅用于在线三维测量,在相位计算中避免了滤波过程中的有效信息损失,将被测物体的整个调制方式与像素匹配,提高了三维重建精度。ERYI H等[12]通过获取两幅图像中物体表面同一点对应的图像强度,采用双频技术提取出无相位模糊的真实相位,对大台阶试样的表面形貌进行了测量,取得了较好的实验效果。
由于是用等效波长来衡量三维面形测量精度的[1],为了减小双频光栅三维测量中由于CCD非线性效应导致频谱混叠而影响测量精度,本文通过增大双频光栅的频率。
针对CCD非线性效应对双频光栅三维测量的影响,本文分析了CCD非线性效应产生频谱混叠的原因,讨论了CCD非线性效应下的双频光栅测量原理,对双频光栅投影输出的变形条纹进行了仿真与实际实验测量,仿真与实验结果得到的数据验证了所提方法的正确性与有效性。
2. 基本原理
2.1 CCD非线性效应对三维面形测量的影响
三维面形测量系统光路图如图1所示,
P1P2 是投影仪光轴,L0 是CCD光心I2 与参考平面之间的距离,d 是CCD光心I2 与投影仪光心P2 之间的距离,A和C是参考平面上的两点,D是物体表面上某点,h 是点D到参考平面间的距离。设
ϕ(x,y) 表示包含被测物体高度信息h(x,y) 的相位。对于图1所示的测量系统,当L0≫h(x,y) 时,h(x,y) 与ϕ(x,y) 之间的关系可简单地表示为[1]:h(x,y)=−L02πf0dϕ(x,y), (1) 式中
f0 为光栅基频。由式(1)可见,三维物体面形的高度信息
h(x,y) 可通过相位ϕ(x,y) 求出。在实际工作中,现在的CCD精度很高,CCD输出光强与输入光强之间存在的二阶与三阶非线性效应是影响测量精度的主要因素,其他的四阶和五阶等高阶非线性效应对测量精度的影响非常小,可以忽略不计。CCD输出的干涉条纹光强为:
g(x,y)=3∑λ=0{eλ[g0(x,y)]λ}, (2) 式中
g0(x,y) 为输入的归一化光强度条纹,g(x,y) 为实际捕获的归一化光强分布,eλ 为系数。对式(2)进行傅立叶变换可得频谱为:
G(fx,fy)=3∑λ=0Qλ(fx−λf0,fy−λf0)+3∑λ=0Q∗λ(fx+λf0,fy+λf0). (3) 由式(3)可见,当CCD存在着非线性效应时,频谱上多出了二倍频、三倍频等高级频谱成份。因此在相位恢复过程中,二级与三级等高级频谱分量可能会与包含物体高度信息的基频分量发生混叠,从而影响基频分量信息的提取,最终影响相位恢复及物体高度信息的三维测量。
2.2 CCD非线性效应影响下的双频光栅测量原理
复杂物体三维面形测量方法中,所采用的双频光栅测量集中了低频光栅和高频光栅各自的优点。投影低频光栅产生条纹得到的包裹相位为
φ1(x,y) ,其展开相位ϕ1(x,y) 相对容易展开,但精度较低。投影高频光栅产生条纹得到的包裹相位为φ2(x,y) ,其展开相位ϕ2(x,y) 相对较难展开,但精度较高。在CCD存在着二阶与三阶非线性效应情况下,投影双频光栅产生的变形条纹的光强分布为:
g′(x,y)=3∑λ=0aλ(x,y)+2∑k=13∑λ=0{ckλ(x,y)⋅exp[i2πλfkλ(x+y)]+c∗kλ(x,y)⋅exp[−i2πλfkλ(x+y)]}, (4) 式中
3∑λ=0aλ(x,y) 为背景光强,ckλ(x,y)=0.5bkλ(x,y) exp[iλϕkλ(x,y)] ,∗ 表示复数共轭,bkλ(x,y) 表示条纹模式中调制幅度相关的光强度,ϕkλ(x,y) 表示包含物体高度信息的相位,fkλ(x,y) 表示光栅的频率。对式(4)进行傅立叶变换可得频谱为:
G′(fx,fy)=3∑λ=0Aλ(fx,fy)+2∑k=13∑λ=0[Qkλ(fx−λfk,fy−λfk)+Q∗kλ(fx+λfk,fy+λfk)], (5) 式(5)中当
k=1 时,fk 表示低频光栅的基频,当k=2 时,表示高频光栅的基频(以下同),背景光强产生的系列频谱3∑λ=0Aλ(fx,fy) 能够通过π 相移技术消除[13], 其中Qkλ(fx−λfk,fy−λfk) 和Q∗kλ(fx+λfk, fy+λfk) 分别是ckλ(x,y)exp[i2πλfk(x+y) 和c∗kλ(x,y) exp[−i2πλfk(x+y) 经过傅立叶变换后得到的系列频谱。由式(5)可见,投影双频光栅产生的变形条纹经傅立叶变换后,频谱中除了产生基频外,还会产生二阶、三阶等高阶非线性引起的高级频谱成份,这些高级频谱成份可能会与基频发生混叠,从而影响基频中包含物体高度信息的提取,使测量精度降低。
由于CCD非线性效应导致双频光栅测量中基频与高级频谱发生混叠,减小混叠使各级频谱相互分离可以提高测量精度。测量精度是由等效波长来衡量的,等效波长由
L0/d 与fk 来决定[1]。它们之间有以下关系:|∂h(x,y)∂ϕ(x,y)|=L02πfkd=L0/d2πfk, (6) 式中
L0/d 与fk 的比值越小则测量精度越大,而降低L0/d 会影响测量范围[1]。因而,在理想情况下保持L0/d 不变,在保证CCD分辨率的前提下,通过增大光栅的基频fk 来增大测量精度,测量精度增大了也就意味着基频与高级频谱间的混叠减小了,这样也就减小或消除了CCD的非线性效应。根据式(1),在使用双频光栅投影测量三维物体面形时,对于高度为
h(x,y) 的物体上的某点,可得到如下关系:h(x,y)=−L02πf1dϕ1(x,y)=−L02πf2dϕ2(x,y). (7) 由式(7)可得
mf=ϕ2(x,y)ϕ1(x,y)=f2f1. (8) 由于只考虑了来自低频光栅与高频光栅的基频。选择适合的双频光栅基频
f1 和f2 ,采用低通滤波器对消除了频谱混叠的式(5)中的频谱进行滤波,滤出双频光栅产生的基频成份Q11(fx−f1, fy−f1) 和Q21(fx−f2,fy−f2) ,可得到展开相位ϕ1(x,y) 与ϕ2(x,y) 。展开相位ϕk(x,y) 与包裹相位φk(x,y) 之间的关系为:ϕk(x,y)=φk(x,y)+2πnk(x,y)k=1,2, (9) 式中
n1(x,y) 和n2(x,y) 分别为低频光栅和高频光栅产生的条纹整数级数。对于物体的同一点,存在如下关系:n2(x,y)n1(x,y)=f2f1. (10) 联合式(7)~式(10)可得
n2(x,y)=(INT){mfn1(x,y)+12π[mfϕ1(x,y)−ϕ2(x,y)]}, (11) 式中
(INT){⋅} 表示整数运算符,可以准确地确定与较高频率相关的展开相位ϕ2(x,y) 。可见,
n2(x,y) 能够由mf 、n1(x,y) 、φ1(x,y) 及φ2(x,y) 确定,代入式(9)可得到ϕ2(x,y) ,最后可由式(7)得到包含物体高度信息的三维物体面形。3. 计算机仿真及实验结果分析
为了验证基本原理分析的正确性,现用计算机仿真与实验进行验证。
3.1 计算机仿真结果及分析
设测量系统的几何参数为
L0/d=4 ,低频光栅的频率为f1=1/27mm−1 ,高频光栅的频率为f2= 1/9mm−1 ,则mf=3 模拟物体如图2(a)所示,大小为512pixel×512pixel 。设CCD为线性且存在着非线性效应,投影双频光栅产生的变形条纹光强分布为:g1(x,y)=g(x,y) 、g2(x,y)=0.18+1.32g(x,y)− 0.42g2(x,y) 。两种情况下的变形条纹光强经傅立叶变换后得到的沿着x轴方向的频谱分布分别如图2(b)、2(c)所示。可见,图2(b)中只有低频光栅与高频光栅各自产生的基频,而图2(c)中因CCD的非线性效应的存在,还含有低频光栅与高频光栅各自产生的高阶频谱成份,且与基频等频谱发生了混叠。
设测量系统的几何参数为
L0/d=2.25 ,低频光栅与高频光栅的基频分别为f1=1/32mm−1 、f2= 1/8mm−1 ,来自理想CCD系统的变形条纹光强为g(x,y)=0.5+0.5[cos(2πf1x+φ(x,y))+cos(2πf2x+φ (x,y))] ,来自存在非线性效应系统输出的变形条纹光强为g1(x,y)=0.15−0.13g(x,y)+2.34g2(x,y) 。模拟物体如图3(a)所示,其高度的最大绝对值与平均绝对值分别为24.3181 mm和1.0839 mm;通过双频光栅后的变形条纹光强如图3(b)所示;变形条纹光强经傅立叶变换后得到的沿着x轴方向频谱如图3(d)所示;恢复物体面形后的绝对高度差如图3(f)所示,测量值与实际值之间的最大绝对高度误差与平均绝对高度误差分别为0.8950 mm和0.0622 mm。
保持系统的测量参数不变,使低频光栅与高频光栅的基频分别增加为
f1=1/16mm−1 、f2= 1/4mm−1 ,模拟物体通过双频光栅后的变形条纹、变形条纹光强经傅立叶变换后得到沿着x轴方向的频谱及绝对高度差分别如图3(c)、3(e)、3(g)所示,测量值与实际值之间的最大绝对高度误差与平均绝对高度误差分别为0.3710 mm和0.0232 mm。比较图3(d)与3(e)可见,增大双频光栅各自的基频,可以使双频光栅各自产生的基频较好地分离,同时使同一光栅产生的基频与高级频谱较好地分离。比较图3(f)与3(g)可见,增大双频光栅各自的基频,可以明显提高三维物体的测量精度。
3.2 实验结果及分析
为了进一步证明基本原理分析的正确性,采用如图4所示的实验装置进行实验。通过MATLAB软件编写程序得到低频光栅与高频光栅的基频分别为
f1=1/40mm−1 、f2=1/10mm−1 ,则其频率比为mf=4 。再由式(4)得到双频光栅的变形条纹光强,投影双频光栅条纹到被测物体表面。系统为非线性时,在满足抽样条件下,投影双频光栅条纹到被测物体上产生的变形条纹如图5(a)所示,变形条纹经傅立叶变换后所得到的频谱如图5(c)所示,恢复的三维物体面形如图5(e)所示。再根据实验结果,由MATLAB软件编写程序,得到提升的低频光栅与高频光栅的基频分别为
f′1=1/16mm−1 、f′2=1/4mm−1 ,因而使低频光栅与高频光栅的基频都同等增加了2.5倍,此时得到新的双频光栅变形条纹、变形条纹经傅立叶变换后的频谱、恢复的三维物体面形分别如图5(b)、5(d)、5(f)所示。比较图5(c)与5(d)可见,两个图的频谱中除了低频光栅与高频光栅各自的包含物体高度信息的基频成份外,还有由各自产生的二阶、三阶等高阶非线性引起的高级频谱成份,两图中的基频都与各自的二级、三级等高级频谱成份混叠了。但是图5(c)的基频与二级、三级等高级频谱间混叠较多,而图5(d)的基频与各高级频谱间分离较好且混叠很少。
比较图5(e)与5(f)可见,图5(f)的恢复效果明显比图5(e)的效果好很多。图5(f)的额头、下巴、鼻子、脸颊等轮廓表面都比图5(e)的清晰且平滑,图5(e)的额头恢复效果较差,明显多出一道沟壑。
4. 结 论
为了减小CCD非线性效应对复杂光学三维面形测量精度的影响,提出了采用双频光栅投影消除CCD非线性效应并提高测量精度的方法。分析了CCD非线性效应及高级频谱成份产生的基本原因,讨论了CCD非线性效应下的双频光栅测量原理,并给出了理论分析和解析推导。仿真物体最大绝对值与平均绝对值分别为24.3181 mm和1.0839 mm,得到最大绝对高度误差与平均绝对高度误差分别为0.8950 mm和0.0622 mm,双频光栅基频都提高后,两个值分别减小为0.3710 mm和0.0232 mm。在实验结果中,当双频光栅的基频都同等增加2.5倍后,频谱中的基频与高级频谱间分离较好,测量精度明显提高。
-
[1] TAKEDA M, MUTOH K. Fourier transform profilometry for the automatic measurement of 3-D object shapes[J]. Applied Optics, 1983, 22(24): 3977. doi: 10.1364/AO.22.003977 [2] QIAO N SH, QUAN CH G. A novel phase retrieval method in fringe projection based on phase-shifting algorithm[J]. Journal of Optics, 2018, 47(4): 534-541. doi: 10.1007/s12596-018-0480-z [3] AO M, ZHANG L, SHI X G, et al. Measurement of the three-dimensional surface deformation of the Jiaju landslide using a surface-parallel flow model[J]. Remote Sensing Letters, 2019, 10(8): 776-785. doi: 10.1080/2150704X.2019.1608601 [4] 祝祥, 邵双运, 宋志军. 基于线结构光传感器的轨道板几何形貌检测方法[J]. 中国光学,2018,11(5):841-850. doi: 10.3788/co.20181105.0841ZHU X, SHAO SH Y, SONG ZH J. A detection method based on line-structured light sensor for geometrical morphology of track slab[J]. Chinese Optics, 2018, 11(5): 841-850. (in Chinese) doi: 10.3788/co.20181105.0841 [5] 张旭, 邵双运, 祝祥, 等. 光学三维扫描仪光强传递函数的测量和校正[J]. 中国光学,2018,11(1):123-130. doi: 10.3788/co.20181101.0123ZHANG X, SHAO SH Y, ZHU X, et al. Measurement and calibration of the intensity transform function of the optical 3D profilometry system[J]. Chinese Optics, 2018, 11(1): 123-130. (in Chinese) doi: 10.3788/co.20181101.0123 [6] 杜永兆, 冯国英, 张凯, 等. CCD非线性效应对剪切干涉法波前检测的影响[J]. 强激光与粒子束,2010,22(8):1775-1779. doi: 10.3788/HPLPB20102208.1775DU Y ZH, FENG G Y, ZHANG K, et al. Effect of CCD nonlinearity on wavefront detection by shearing interferometry[J]. High Power Laser and Particle Beams, 2010, 22(8): 1775-1779. (in Chinese) doi: 10.3788/HPLPB20102208.1775 [7] 于杰. 用于相移点衍射干涉仪的加权最小二乘相位提取算法[J]. 中国光学与应用光学,2010,3(6):605-615.YU J. Weighted least square phase extraction algorithm for phase-shifting point diffraction interferometer[J]. Chinese Journal of Optics and Applied Optics, 2010, 3(6): 605-615. (in Chinese) [8] 苏轲, 陈文静. 小波变换轮廓术抑制CCD非线性的分析[J]. 光学技术,2009,35(1):37-40, 44. doi: 10.3321/j.issn:1002-1582.2009.01.006SU K, CHEN W J. Analyzing wavelet transform profilometry in the restraining CCD nonlinear characteristic[J]. Optical Technique, 2009, 35(1): 37-40, 44. (in Chinese) doi: 10.3321/j.issn:1002-1582.2009.01.006 [9] FU Y J, JIANG G Y, CHEN F Y. A novel Fourier transform profilometry based on dual-frequency grating[J]. Optik, 2012, 123(10): 863-869. doi: 10.1016/j.ijleo.2011.06.055 [10] 武迎春, 曹益平, 肖焱山. 基于双频复合光栅投影的陡变物体三维面形测量[J]. 光电子·激光,2012,23(12):2362-2367.WU Y CH, CAO Y P, XIAO Y SH. 3D shape measurement for a discontinuous object based on a dual frequency composite grating[J]. Journal of Optoelectronics·Laser, 2012, 23(12): 2362-2367. (in Chinese) [11] PENG K, CAO Y P, WU Y CH, et al. A dual-frequency online PMP method with phase-shifting parallel to moving direction of measured object[J]. Optics Communications, 2017, 383: 491-499. doi: 10.1016/j.optcom.2016.09.048 [12] HU E Y, FANG H F. Surface profile inspection of a moving object by using dual-frequency Fourier transform profilometry[J]. Optik, 2011, 122: 1245-1248. doi: 10.1016/j.ijleo.2010.08.007 [13] LI J, SU X Y, GUO L R. Improved Fourier transform profilometry for the automatic measurement of three-dimensional object shapes[J]. Proceedings of SPIE, 1990, 29(12): 1439-1444. [14] LU F, WU CH D, YANG J K. Optimized dithering technique for three-dimensional shape measurement with projector defocusing[J]. Optics Communications, 2019, 430: 246-255. doi: 10.1016/j.optcom.2018.08.034 [15] FU G K, CAO Y P, WANG Y P, et al. Three-dimensional shape measurement based on binary fringe conventional projection[J]. Transactions of the Institute of Measurement and Control, 2019, 41(14): 4073-4083. doi: 10.1177/0142331219848029 [16] WANG Y W, LIU L, WU J, et al. Enhanced phase-coding method for three-dimensional shape measurement with half-period codeword[J]. Applied Optics, 2019, 58(27): 7359-7366. doi: 10.1364/AO.58.007359 [17] 王月敏, 张宗华, 高楠. 基于全场条纹反射的镜面物体三维面形测量综述[J]. 光学 精密工程,2018,26(5):1014-1027. doi: 10.3788/OPE.20182605.1014WANG Y M, ZHANG Z H, GAO N. Review on three-dimensional surface measurements of specular objects based on full-field fringe reflection[J]. Optics and Precision Engineering, 2018, 26(5): 1014-1027. (in Chinese) doi: 10.3788/OPE.20182605.1014 [18] 陈瑜, 潘永强, 刘丙才, 等. 基于窗口傅里叶变换的线性相位误差抑制[J]. 光学 精密工程,2020,28(6):1314-1322. doi: 10.3788/OPE.20202806.1314CHEN Y, PAN Y Q, LIU B C, et al. Linear phase error suppression technique based on window Fourier transform[J]. Optics and Precision Engineering, 2020, 28(6): 1314-1322. (in Chinese) doi: 10.3788/OPE.20202806.1314 [19] 尚万祺, 张文喜, 伍洲, 等. 全视场外差干涉三维测量系统[J]. 光学 精密工程,2019,27(10):2097-2104. doi: 10.3788/OPE.20192710.2097SHANG W Q, ZHANG W X, WU ZH, et al. Three-dimensional measurement system based on full-field heterodyne interferometry[J]. Optics and Precision Engineering, 2019, 27(10): 2097-2104. (in Chinese) doi: 10.3788/OPE.20192710.2097 期刊类型引用(4)
1. 乔闹生,尚雪. 抽样对三维形貌测量的影响(英文). 中国光学(中英文). 2024(06): 1512-1520 . 百度学术
2. 乔闹生,尚雪. 非线性系统中双频光栅相位测量(英文). 中国光学(中英文). 2023(03): 726-732 . 百度学术
3. 嵇晓强,刘振瑶,李炳霖,饶治,李贵文,粟立威. 面部视频非接触式生理参数感知. 中国光学. 2022(02): 276-285 . 百度学术
4. 刘飞,罗惠方,江翰立,张茵楠,严谨. 改进的三频三步相移结构光三维重建方法. 红外与激光工程. 2022(04): 304-312 . 百度学术
其他类型引用(2)
-