Processing math: 100%

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

激光散斑目标探测技术综述

郜魏柯 杜小平 王阳 杨步一

郜魏柯, 杜小平, 王阳, 杨步一. 激光散斑目标探测技术综述[J]. 中国光学(中英文), 2020, 13(6): 1182-1193. doi: 10.37188/CO.2020-0049
引用本文: 郜魏柯, 杜小平, 王阳, 杨步一. 激光散斑目标探测技术综述[J]. 中国光学(中英文), 2020, 13(6): 1182-1193. doi: 10.37188/CO.2020-0049
GAO Wei-ke, DU Xiao-ping, WANG Yang, YANG Bu-yi. Review of laser speckle target detection technology[J]. Chinese Optics, 2020, 13(6): 1182-1193. doi: 10.37188/CO.2020-0049
Citation: GAO Wei-ke, DU Xiao-ping, WANG Yang, YANG Bu-yi. Review of laser speckle target detection technology[J]. Chinese Optics, 2020, 13(6): 1182-1193. doi: 10.37188/CO.2020-0049

激光散斑目标探测技术综述

基金项目: 国家自然科学基金(No. 61805284)
详细信息
    作者简介:

    郜魏柯(1996—),男,河南沁阳人,硕士研究生,2018年于哈尔滨工业大学获得学士学位,主要从事激光雷达探测方面的研究。E-mail:361497549@qq.com

    王 阳(1991—),男,山东泰安人,博士,讲师,2018年于航天工程大学获得博士学位,主要从事空间目标光学特性分析及特征反演的研究。E-mail:youngerpla@163.com

    通讯作者:

    王阳(1991—),男,山东泰安人,博士,讲师,2018年于航天工程大学获得博士学位,主要从事空间目标光学特性分析及特征反演的研究。E-mail:youngerpla@163.com

  • 中图分类号: TN249

Review of laser speckle target detection technology

Funds: Supported by National Natural Science Foundation of China (No. 61805284)
More Information
  • 摘要: 基于激光散斑的目标探测技术是一种长期以来被人们忽略的激光探测技术,该技术将传统激光探测技术中视为噪声的激光散斑视为新的信息来源,通过分析激光散斑形成机理探究散斑统计特性与目标物理特性间的关系,并结合行之有效的分析反演方法来获得包括目标形状、尺寸、表面粗糙度以及动力学参数等信息。与传统激光探测技术相比,基于激光散斑的目标探测技术具有结构简单,对光学系统要求低,对目标表面物理特性及微动特性敏感等特点,目前已广泛应用于航天、医学、工业、军事等多个领域。本文对近年来各类基于激光散斑的目标探测技术进行了分类总结,对各类探测方法的用途和优缺点以及适用环境进行了对比分析,对未来基于激光散斑的目标探测方法的发展趋势加以分析。

     

  • 自上世纪60年代激光器诞生以来,研究人员便发现了一种十分奇怪的现象—即使实验所使用的激光光束相对均匀,在接收从纸或墙壁等粗糙表面上反射的激光回波时,仍能观察到对比度高而尺寸细微的颗粒图样,即激光散斑。激光散斑的存在严重影响了光学系统的成像质量,干扰了人们对图像信息的判别和提取。因此,长期以来激光散斑一直被视为影响图像质量的噪声而需加以抑制[1-8]。然而,随着对激光散斑现象研究的不断深入,人们逐渐认识到激光散斑是相干光场与目标表面物理特性相互作用的结果,即激光散斑携带着大量与目标表面物理特性有关的信息。

    为提取这些信息,美国林肯实验室的Lyle G. Shirley将散斑的基本特性分为:(1)散斑图案的空间结构特性;(2)散斑的波长依赖性;(3)动态散斑基本特性,并据此逐渐形成了基于散斑的目标探测技术的3种应用思路,通过结合行之有效的分析反演方法,可分别得到探测目标的表面粗糙度、材料、形状、尺寸、动力学参数等信息[9-15]。近年来,随着计算机技术的快速发展,激光散斑探测技术展现出新的发展活力,其中基于散斑的透过散射介质成像技术与基于散斑指纹的目标识别技术成为新的研究热点。

    如前所述,激光散斑的空间结构特性与目标表面物理特性密切相关[16],其基本物理模型如图1所示[17],图中P1为入射点坐标,Pm为入射点在粗糙物体平均表面上的投影,P0为观察点坐标,k为入射波矢量,oxyzoξηζ分别为物体表面坐标系以及观察平面坐标系,由于粗糙表面高低起伏,粗糙物体各基元距观察点的光路长度也不同。因此,各观察点所接收到的激光光强会产生与粗糙表面起伏相关的光强波动,波动的光强信息中也必然蕴含着目标表面物理特性的各项信息。

    图  1  粗糙目标散射模型示意图[17]
    Figure  1.  Schematic diagram of the rough target scattering model[17]

    综上所述,开展对激光散斑统计特性的研究有助于对目标物理特性的反演。目前,常用的散斑图案的统计特征指标主要包括散斑对比度[18-19]、散斑相关特性[20]等,可用于目标表面粗糙度、形状等物理特性的反演。

    近年来,新的数学理论与图像分析方法的结合,使得分形维数等统计指标也逐渐被应用于散斑图案统计特性分析中[21]

    基于散斑对比度的表面粗糙度探测方法(Speckle Contrast Method,SCM)起步较早,且发展较为成熟。早在1974年,日本北海道大学的H. FUJII便率先提出并通过实验验证了利用散斑对比度对目标表面粗糙度进行探测的可行性[9]。该方法凭借其非接触无损探测的优点,一经提出便引起了广泛关注与研究。

    随着研究的不断深入以及对探测精度要求的不断提高,如何实现基于激光散斑的高精度探测成为研究的重点。2008年至2014年间,哈尔滨工业大学赵学增团队在该领域展开了深入研究,其主要贡献包括:(1)推导建立了对比度与表面粗糙度、表面相关长度的理论表达式,定量说明了制约精度极限的因素为被测粗糙表面的相关长度;(2)针对散斑对比度方法探测精度受表面相关长度影响的问题,提出了一种新的粗糙度探测方法—镜像强度分量法(Specular Intensity Component Method, SICM),解决了传统对比度方法中存在的因对横向相关长度敏感而导致的探测结果失准的问题[22](其中粗糙物体的镜像回波分量的提取可参照文献[23]);(3)提出利用数字散斑的空间平均消除SICM对镜像光分量依赖的特点,并证实该方法对机械振动不敏感,有效扩展了该方法的实用性[24-25]

    2017年,新加坡南洋理工大学的P.Prabhathan通过实验说明了探测角度对探测精度的影响,即随着入射角度的不断增加,基于散斑对比度的粗糙度探测方法的探测精度不断降低,而探测范围不断扩大。因此,在实际应用中,需要根据实际情况选择恰当的探测角度[26]

    2019年,德国不来梅大学的Stefan Patzelt等人针对散斑对比度法的粗糙度探测不确定度影响因素开展了深入研究,文中将对比度法与探针法得出的结果进行了对比,各影响因素的影响结果如图2所示,图中纵坐标中的u(Sa)表示表面粗糙度的不确定度,Sa为所选表面区域粗糙度。结果表明:散斑对比度法的探测不确定度主要由校准参考平面的精度决定,受散粒噪声与激光束轮廓变化影响,在光照条件良好的情况下,暗电流噪声可以忽略不计。未来,在应用具有高光束轮廓稳定性的激光光源的情况下,该方法能够在物理不确定性极限附近工作,具有很好的应用前景[27]

    图  2  各粗糙度样本不确定度来源[27]
    Figure  2.  Uncertainty source of each roughness sample[27]

    2002年,西班牙Ricardo G. Berlasso推导建立了基尔霍夫近似下的微粗糙圆柱表面散射强度自相关函数解析表达式,指出强度相关函数与散斑大小、形状相关联,由圆柱表面的相关长度决定,证实了散斑图案的相关特性可用来对粗糙圆柱表面质量进行探测[28]

    2017年,Kapil Dev指出基于散斑角度相关特性的粗糙度探测方法对入射角度敏感,探测范围及探测精度随入射角的变化而改变,其入射角越大则探测范围越大,探测精度越低,同时该方法对机械振动敏感,是影响探测精度的主要因素[29]。同年,P.Prabhathan对基于激光散斑图案的光谱相关特性的表面粗糙度探测方法进行了研究。通过与校准样板的对比实验,该团队发现该方法对入射角度变化不敏感,而对样本光轴偏差极其敏感。因此,在实际应用中应尽可能减小光轴偏差以获得更高的探测精度[30]

    2017年,Stefan Patzelt等人开展了基于散斑相关法的粗糙度探测不确定度影响因素分析。研究结果表明,相干散射光探测系统的不确定性主要取决于激光源以及具有高量子效率的CCD相机,而可忽略读出噪声,热噪声等的影响。可有针对性地提高特定探测装置的不确定度。此外,可以通过使用更高的激光功率和更短的曝光时间来最大程度地提高该探测装置的探测精度[31]

    基于图像分形参数的粗糙度探测方法是近年来逐渐形成的新的表面评估指标,与传统的对比度、相关特性方法相比,其比仅需极少的计算资源,在实时探测领域具有很好的应用前景。

    2017年,Aswin Haridas采用连接的组分数、具有最大连接性的像素总数、盒计数分形维数3个参数完成了对航天器表面结构质量的评估[32]。结果表明3个参数均能够反映材料表面质量的好坏,但其准确性受阈值选择影响。因此,未来的工作方向将转为进一步探索3个参数与目标表面质量间的定量关系,研究最佳阈值的选择方法。

    2018年,北京科技大学的徐东通过研究表面粗糙度对激光散斑图案统计特性和分形参数的影响,提出可用分形参数作为表面粗糙度及加工方式识别的评估指标。实验结果表明,分形参数对机加工类型敏感,在对打磨和机铣两种不同加工方式的评估中表现出不同的变化趋势。未来,分形参数或可作为识别材料及材料加工方式的新型参数投入应用[33]

    综合分析上述文献,基于散斑统计特性提出的目标表面粗糙度探测方法主要包括散斑对比度法、镜向分量法、角度散斑相关法、光谱相关法、分形参数法5种,各种方法的特点与局限性对比结果如表1所示。

    表  1  基于散斑的表面粗糙度探测方法对比
    Table  1.  Comparison of the surface roughness detection methods based on speckles
    方法优势特点缺陷
    散斑对比度法-------快速,非接触,非破坏性,光学装置简单,
    可在线测量
    测量精度受限于被测表面的相关长度
    镜像强度分量法克服了对比度方法中
    存在的精度极限问题
    更快的速度,更高的精度,依赖于镜像光分量仅适用于测量有镜像回波的微粗糙表面
    相关方法(角度相关和
    光谱相关)
    更高的测量精度更高的测量精度,对角度变化敏感需要精确的角度校准,在非合作情况以及有机加工振动情况下探测精度差
    散斑分形更少的计算资源需求,
    更简洁的光学装置
    对机加工过程敏感,可用于对材料和
    机加工方式的识别
    探测精度还不能满足现有需求
    下载: 导出CSV 
    | 显示表格

    其中,基于散斑对比度的表面粗糙度探测方法起步较早且发展较为成熟,具有结构简单,易于实现,探测精度高的优点(在适当条件下可提供nm级别的探测精度),其探测范围可通过改变入射角或照明波长进行调整。该方法对机加工类型不敏感,适用于各种机加工场景,但因对横向相关长度敏感而存在精度极限问题。因此,在更为复杂的实际应用中,该方法应与其他探测方法搭配使用,以弥补其不足。基于镜向分量的粗糙度探测方法是在散斑对比度方法基础上的改进方法,该方法消除了散斑对比度方法中存在的精度极限问题,获得了更高的探测精度,但该类方法依赖于较强的镜面反射分量,仅适用于对微粗糙物体表面粗糙度的探测,在针对工业精加工环境下的在线探测领域中有很大的应用潜力。角度散斑相关方法可通过调节入射角度获得不同的探测范围,但该类方法对入射角度变动极其敏感,需要精确校正回路才能够实现高精度探测,在非合作或存在机械振动的情况下探测精度较差,具有很大的局限性。而光谱相关方法主要受被测样品角度偏差的影响,对入射角度变化不敏感,在保证被测样品高度平稳且无机械振动的情况下具有较高的精确度,该方法不适合工业加工中的在线探测应用。除上述方法外,近年来基于分形参数的粗糙度探测方法也逐渐引起人们的注意,该方法对机加工方式敏感,对于不同加工工艺的表面粗糙度有着不同的变化趋势,未来或可基于此类关系建立与表面材料、加工方式等有关的目标识别方法,但总体来说该方法与上述成熟方法相比,相关实验还比较少,与粗糙度间的定量关系还没有建立,精度也还不能满足人们的需要,距离实际运用还有很多的工作要做。

    随着计算机技术、计算成像及图像处理技术的飞速发展,基于计算光学的计算成像方法逐渐引起人们的重视。在激光探测领域,基于激光散斑的成像方法是计算成像领域的重要组成部分。目前,散斑成像方法主要包括Joseph C. Marron于上世纪90年代提出的基于波长独立性散斑的波长去相关方法以及近年来J. Bertolotti提出的基于光学记忆效应的散射成像方法。前者主要用来对遥感粗糙物体三维轮廓的探测提取,而后者主要用来解决透过浓雾、烟尘等厚散射介质的散射成像问题。两种方法均通过散斑图案进行相关运算获取目标的傅立叶振幅,进而结合有效的相位恢复算法对缺失的傅立叶相位信息进行恢复,从而实现目标信息的重建。两种方法对于光源、介质和系统的要求都比较低,可以实现超分辨率的散射成像,对未来新型成像系统的应用研究有着重要意义。

    当激光的波长(频率)发生改变时,由该激光照射形成的散斑图案也会随之改变,该现象称作沸腾或波长去相关[10]。其阶梯模型如图3(彩图见期刊电子版)所示。由图3可见,激光波长的变化改变了观察点处与散射基元间原有的相位关系,影响了观察点处的光强,进而使得散斑图案的空间结构发生变化。其去相关的程度取决于物体本身的物理特性以及波长的变化程度。

    图  3  阶梯模型波长去相关示意图
    Figure  3.  Schematic diagram of wavelength decorrelation of the step model

    1976年,美国加利福尼亚大学Nicholas Geroge从电磁波角度入手,针对电磁波中存在的、被具有特定形状特征的粗糙物体散射时形成的散斑特征,采用双频互相关法进行提取,并将该方法引入激光探测领域,阐述并验证了采用激光散斑对目标进行探测的可行性[13, 34]

    此后,美国密歇根环境研究所与林肯实验室等研究机构相继开展了此类研究,并逐渐形成了基于波长去相关的散斑成像方法。

    美国密歇根环境研究所关于此类工作的研究主要由Joseph C. Marron团队完成,该项研究起始于上世纪90年代,先后共持续了近十年时间。该团队主要工作包括:(1)率先发现并提出目标波长依赖性散斑的互谱相关函数与物体距离轮廓之间存在傅立叶变换关系,为通过散斑图案反演目标距离轮廓提供了理论基础[35];(2)提出具有更加严格迭代上限的相位恢复算法,显著提高了从傅立叶幅度恢复缺失相位信息的速度[36];(3)阐述了用于重构不透明物体的三维图像的系统和方法,并提出串行频率照明和并行频率照明两种照明方式以满足不同场景的需要[37]

    美国林肯实验室的该类研究主要由Lyle G. Shirley团队完成,其研究过程自上世纪90年代延续至今。

    该探测方法采用调频激光器进行泛光照明,通过获得的波长独立性散斑图案实现对目标的高分辨探测[38]。其主要工作包括以下几个部分:(1)在间接探测方面,其主张的设置参考点的全息成像方法显著减轻了直接探测中相位恢复算法的算法压力,实现了目标像的三维重构[39-40];(2)在直接探测方面,该团队提出的双光谱分析方法成功实现了缺失相位信息的恢复,实现了激光雷达距离分辨截面的提取[41];(3)在三维重构方面,该团队提出的混合相位恢复算法初步完成了无参考情况下的三维重构,但算法往往耗时过长且针对复杂散射体时效果受限,具有一定的局限性[42];(4)发表专利阐述了通过波长独立性散斑图案来提取有关物体尺寸和形状信息的系统和方法[43-45]

    当一束激光照射一个圆孔时,在观察屏上可以看到一个圆斑。当入射激光的方向以圆孔为中心偏转一个角度时,观察屏上的圆斑发生一个平移,平移距离等于偏转角度和圆孔到屏的距离的乘积。如果圆孔内有大量随机分布的散射颗粒(散射屏),由于折射率的随机涨落,这时在屏幕上看到的是一幅散斑图。入射激光偏转时,散斑图案相对不变,只是整体位置发生了平移,如图4所示,这种现象就是光学记忆效应。即经过散射后,光子仍然保留对初始入射方向的记忆。

    图  4  激光经过(a)圆孔和(b)散射位相屏时所成图像
    Figure  4.  Images obtained when lasers passing through (a) a circular aperture and (b) a scattering phase screen

    近年来,随着光学记忆效应研究的不断深入,结合相应的相位恢复算法,实现透过散射介质的三维成像和光谱成像成为研究热点[46]

    2012年,荷兰特温特大学J. Bertolotti等人在Nature杂志上首次提出了利用散斑相关技术实现非侵入式的透过散射介质成像方法[47]。实验中,激光束通过一散射介质对目标物体进行照射,并在同一端利用探测器接收激光回波。他们通过改变激光照射角度,获得了一系列激光散斑图像。又由于光学记忆效应,激光器在空间中扫描不同角度θ时相机接收到的光强I(θ)具有高度相关性,上述成像过程可表述为式(1):

    I(θ)=+O(r)S(rθd)d2r=[OS](θ), (1)

    其中,I(θ)为接收平面处的光强,“*”代表卷积计算,r为入射点的空间坐标向量。由于散射介质的随机性,I(θ)不与目标直接相似,O(r)为原目标响应,S(r)为成像系统点扩散函数。

    即散斑可以看成是原目标与成像系统点扩散函数的卷积,目标信息已经被“编码”至散斑中。为了从散斑中分离出物体形状,对上述结果运用卷积定理进行自相关计算,结果如式(2)所示:

    II=OSOS=[OOSS], (2)

    其中代表相关符号,即散斑的自相关可看作是目标的自相关与点扩散函数自相关的卷积。根据这一关系,结合必要的退相关算法可得到目标的原始图像。

    2014年,兰格文研究所的O. Katz等人在J. Bertolotti研究基础上提出了一种基于单帧散斑图案的高分辨率散射成像方法,结果如图5(彩图见期刊电子版)实验结果表明初始散斑图像的自相关图像与理想目标像的自相关图像基本一致,并推导论证了这一结果。

    图  5  基于散斑相关的透过强散射介质的非侵入成像[48] 。(a)实验原理示意图;(b)初始散斑图像;(c)初始散斑图像的自相关;(d)重构图像;(e-g)理想的衍射极限自由空间成像
    Figure  5.  Non-invasive imaging through strong scattering media based on speckle correlation[48]. (a) Schematic diagram of experimental principle; (b) raw speckle image; (c) autocorrelation of raw speckle image; (d) reconstructed image; (e-g) ideal diffraction-limited free-space imaging

    该方法充分利用了位于记忆效应范围内的点透过散射层后在相机平面产生的移位散斑图案几乎相同的特点,将该成像系统等价为具有平移不变点扩散函数的非相干成像系统,其中点扩散函数等于S(θ)[48]。实验中,对相机平面图案进行自相关运算可得到式(3):

    II(θ)=[OOSS](θ). (3)

    又由于散斑本质上可看作一种宽带噪声,其自相关SS是一个尖峰函数,因此等式右侧等于目标图像的自相关OO,即相机平面图像自相关等于目标图像的自相关。与理想的衍射极限自由空间成像相比,两者仅相差一个常数,如式(4)所示。因此,结合适当的去相关算法便可从单帧图像的自相关中恢复目标图像。

    II(θ)=IideaIidea(θ)+C, (4)

    其中Iidea是理想自由空间像。

    O. Katz提出的无透镜成像方法结构简单,不仅避免了原有成像方法需要扫描的缺陷,还避免了成像系统像差带来的影响,节省了成像时间,成为散射成像方法的又一次突破。然而,该方法依然受限于光学记忆效应,存在诸如难以实现大视场成像等问题,并且实现非侵入式成像条件比较苛刻,距离实际的应用依旧存在很多障碍。与此同时,该方法的成像效果受到相位恢复算法影响,其成像存在不确定性。

    针对迭代相位恢复算法中存在的局部错误收敛问题,2016年,卡斯特勒·布鲁塞尔实验室的吴腾飞等人从天文学中受到启发,并通过实验证明了除傅立叶振幅外,用于天文学中的双谱方法(三重傅立叶变换)也可以被用来从单帧高分辨率散斑图像中恢复物像信息。该方法解决了相位恢复算法所引起的重建结果慢与不确定等问题,实现了基于散斑图像的单帧重构[49]

    综合分析上述文献,基于相位恢复算法的散斑成像方法主要包括基于波长独立性散斑的目标轮廓重构方法与基于光学记忆效应的散射成像方法两种。前者起步较早且发展较为成熟,适合应用于对遥远粗糙表面物体的三维成像探测,该方法具有极高的距离分辨能力但其成像装置较为复杂且依赖于可调频激光器的多波长扫描。而后者虽起步较晚,但发展迅速,其成像装置结构简单,在特定情况下能够通过分析单帧散斑图像获得高清晰度的目标重构图像,但其应用受光学记忆效应的限制,难以实现透过散射介质的大视场成像,未来应加大对光学记忆效应的机理研究,拓展光学记忆效应的应用范围,从而实现透过散射介质的大视场成像。此外,上述两种方法均受到相位恢复算法发展的影响和限制,成像结果及成像质量均依赖于相位恢复算法的发展。未来应着力寻找一种更加高效、普适的相位恢复算法,增强该类方法的时效性,使其更能满足实际应用的需要。

    近年来,随着计算机技术的快速发展,机器学习技术已经越来越广泛地应用于图像识别和分类。与此同时,人们也越来越认识到,无论散斑图案之间如何相似,不同物体仍然可以通过散斑图案的微小差异进行区分。因此,基于散斑“指纹”的机器学习目标识别方法也越来越引起人们的重视。该方法在安全检测,生物医学,目标识别等领域有着广阔的应用前景。目前,已形成了支持向量机和神经网络两类主流方法。

    在分类识别问题中,支持向量机是通过将线性不可分的样本数据从有限维空间映射到高维空间,并在高维空间中构造超平面或超平面集合来使数据线性可分从而达到分类的目的。其分类边界距离最近的训练数据点越远,分类的泛化误差便越小。

    基于支持向量机的目标识别方法主要由日本大阪大学Ryoichi Horisaki团队完成,其主要工作包括:(1)通过进行机器学习完成了对人脸图像的识别,证实了基于散斑图案直接进行机器学习的可行性,实验装置如图6所示。实验结果表明,在对500张图片预学习的前提下,该方法的识别准确率在95%以上[50]

    (2)改进并完成了基于单帧散斑图案的图像恢复过程,通过大量目标-散斑对的初期训练,在光学恢复过程完全未知的情况下,完成了非线性回归算法的逆散射过程,实现了基于散斑图案的无模型感知。并将该方法与模式匹配方法做了对比,结果显示支持向量机方法表现良好,如图7所示[51]

    图  6  散斑识别实验装置[50]
    Figure  6.  Experimental setup of speckle recognition[50]
    图  7  10个训练对象的(a)原始图像[51]及(b)对应的散斑图案。10个测试图像的(c)原始图像及(d)对应的散斑图案。基于(e)SVR方法和(f)模式匹配方法重构的目标像。
    Figure  7.  (a) Object images and (b) their measured speckle patterns for ten training examples. (c) Object images and (d) their measured speckle patterns for ten test examples. Reconstruction images obtained by (e) the SVR method and (f) the pattern matching method.

    (3)完成了支持向量机,自适应提升和神经网络3种机器学习方法的对比,所有方法均表现出了约90%的正确率[52]

    人工神经网络通常也被称为神经网络,该算法通过模拟生物神经网络结构,构建相互连接作用的人工神经元来计算处理信息,是近年来非线性系统的有效建模工具。

    与常见的基于材料光谱对材料进行识别不同[53-54],2018年,以色列魏茨曼科学研究院的Eadan Valent和Yaron Silberberg在探究散斑图案可作为材料指纹的物理机理时,首先采用卷积神经网络验证了散斑图案与材料的关联性,随后进一步分析了不同散斑特性作为材料识别特征时的准确率变化,确定了散斑平均自相关函数能很好地反映不同材料间的微小差异,达到区分材料的目的。因此可将散斑自相关函数作为区分材料的便捷方法[55]

    2019年,上海光机所的MengLyu等人成功利用混合神经网络(hybrid neural network)完成了通过厚散射介质后的物体计算成像,成功重构了隐藏在3 mm厚的白色聚苯乙烯后的数字图像,并对手写字母图像有很好的适应性。此外,该团队还证明了散斑图案用于图像重构的高度冗余性,即可以通过目标散斑图案中很小的一部分图像恢复出完整图像的可能,这极大地增强了散斑技术的应用前景[56]

    2019年合刃科技公司LeiXin等人成功利用深度神经网络实现了视线外(Non-Line-Of-Sight)物体的识别,成功解决了视线被墙壁等障碍遮挡的主动视觉问题,其相机的位置和激光器的位置可以视情况改变。实验结果表明,该方法对数字目标的识别准确率达到95%以上,对十种人类姿态的识别也有70%的准确性[57]

    综上所述,基于散斑指纹的机器学习目标识别方法与传统探测识别思路显著不同,其不关心激光散斑与物体相互作用的内在机理,而仅从图像角度出发,将获得的散斑图案作为探测目标的一种类似于“指纹”的特有的图像特征而加以利用,具有很高的准确性。但由于该方法依赖于深度学习技术,往往需要依赖于大数据的支撑,在仅能提供有限数据,先验知识不足或应用场景复杂的情况下,其往往不能够对数据进行有效的估计和分类。同时,图形和数据库的不断增大也会导致算法的复杂性急剧提升,算法时效性变差,不能很好地满足实际应用的需要。因此,未来应进一步开展基于深度学习的算法研究使其更加高效、快捷,更能满足实际应用的需要。

    通过光学系统获得的激光散斑图案蕴含着丰富的目标特征信息,研究基于激光散斑对目标特征进行反演具有重要意义。本文系统梳理了3类基于散斑的目标探测识别方法的原理、应用、发展及优缺点,总结分析了各种方法的适用场景与局限,在粗糙度探测方面,基于散斑对比度的粗糙度探测方法具有更广泛的适用性和较高的探测精度,而在散斑成像方面,基于波长去相关的散斑成像方法可以反演更多的目标特征,具有更大的吸引力,在散斑识别方面,基于神经网络的目标识别方法展现出了更加强大的适应能力。

  • 图 1  粗糙目标散射模型示意图[17]

    Figure 1.  Schematic diagram of the rough target scattering model[17]

    图 2  各粗糙度样本不确定度来源[27]

    Figure 2.  Uncertainty source of each roughness sample[27]

    图 3  阶梯模型波长去相关示意图

    Figure 3.  Schematic diagram of wavelength decorrelation of the step model

    图 4  激光经过(a)圆孔和(b)散射位相屏时所成图像

    Figure 4.  Images obtained when lasers passing through (a) a circular aperture and (b) a scattering phase screen

    图 5  基于散斑相关的透过强散射介质的非侵入成像[48] 。(a)实验原理示意图;(b)初始散斑图像;(c)初始散斑图像的自相关;(d)重构图像;(e-g)理想的衍射极限自由空间成像

    Figure 5.  Non-invasive imaging through strong scattering media based on speckle correlation[48]. (a) Schematic diagram of experimental principle; (b) raw speckle image; (c) autocorrelation of raw speckle image; (d) reconstructed image; (e-g) ideal diffraction-limited free-space imaging

    图 6  散斑识别实验装置[50]

    Figure 6.  Experimental setup of speckle recognition[50]

    图 7  10个训练对象的(a)原始图像[51]及(b)对应的散斑图案。10个测试图像的(c)原始图像及(d)对应的散斑图案。基于(e)SVR方法和(f)模式匹配方法重构的目标像。

    Figure 7.  (a) Object images and (b) their measured speckle patterns for ten training examples. (c) Object images and (d) their measured speckle patterns for ten test examples. Reconstruction images obtained by (e) the SVR method and (f) the pattern matching method.

    表  1  基于散斑的表面粗糙度探测方法对比

    Table  1.   Comparison of the surface roughness detection methods based on speckles

    方法优势特点缺陷
    散斑对比度法-------快速,非接触,非破坏性,光学装置简单,
    可在线测量
    测量精度受限于被测表面的相关长度
    镜像强度分量法克服了对比度方法中
    存在的精度极限问题
    更快的速度,更高的精度,依赖于镜像光分量仅适用于测量有镜像回波的微粗糙表面
    相关方法(角度相关和
    光谱相关)
    更高的测量精度更高的测量精度,对角度变化敏感需要精确的角度校准,在非合作情况以及有机加工振动情况下探测精度差
    散斑分形更少的计算资源需求,
    更简洁的光学装置
    对机加工过程敏感,可用于对材料和
    机加工方式的识别
    探测精度还不能满足现有需求
    下载: 导出CSV
  • [1] 郭冠军, 邵芸. 地面对激光雷达信号散射的统计研究[J]. 物理学报,2001,51(2):228-234.

    GUO G J, SHAO Y. Statistical properties of the back-scattered signals from ground in laser radar applications[J]. Acta Physica Sinica, 2001, 51(2): 228-234. (in Chinese)
    [2] 李自勤, 王骐, 李琦, 等. 激光成像雷达系统中散斑像的乘法模型及其滤除[J]. 中国激光,2003,30(8):717-720.

    LI Z Q, WANG Q, LI Q, et al. Multiplication model of speckle image and speckle suppression in imaging lidar[J]. Chinese Journal of Lasers, 2003, 30(8): 717-720. (in Chinese)
    [3] 郭冠军, 邵芸. 激光散斑效应对激光雷达探测性能的影响[J]. 物理学报,2004,53(7):2089-2093.

    GUO G J, SHAO Y. Rough surfaces induced speckle effects on detection performance of pulsed laser radar[J]. Acta Physica Sinica, 2004, 53(7): 2089-2093. (in Chinese)
    [4] LAURENZIS M, LUTZ Y, CHRISTNACHER F, et al. Homogeneous and speckle-free laser illumination for range-gated imaging and active polarimetry[J]. Optical Engineering, 2012, 51(6): 061302. doi: 10.1117/1.OE.51.6.061302
    [5] 王锐, 史瑞新. 基于多光束照明的回波光场散斑抑制机理[J]. 光学 精密工程,2017,25(9):2333-2338. doi: 10.3788/OPE.20172509.2333

    WANG R, SHI R X. Suppression mechanics of returning wave speckle with multibeams illumination[J]. Optics and Precision Engineering, 2017, 25(9): 2333-2338. (in Chinese) doi: 10.3788/OPE.20172509.2333
    [6] 任淑艳, 张琢, 刘国栋, 等. 精密测量中激光成像系统散斑的抑制因素[J]. 光学 精密工程,2007,15(3):331-336.

    REN SH Y, ZHANG ZH, LIU G D, et al. Restraining speckle of laser imaging system in accurate measurement[J]. Optics and Precision Engineering, 2007, 15(3): 331-336. (in Chinese)
    [7] 宋少华, 仝召民. 用于激光背光源电视的扫描分光与消散斑系统[J]. 光学 精密工程,2019,27(2):271-278. doi: 10.3788/OPE.20192702.0271

    SONG SH H, TONG ZH M. Scanning beam splitting and speckle reduction system for laser backlight TV[J]. Optics and Precision Engineering, 2019, 27(2): 271-278. (in Chinese) doi: 10.3788/OPE.20192702.0271
    [8] 王锐. 多束部分相干光抑制光强闪烁效应的仿真实验研究[J]. 发光学报,2014,35(7):835-839. doi: 10.3788/fgxb20143507.0835

    WANG R. Simulation experiment of using multiple partially coherent beams to limit laser intensity scintillation effect[J]. Chinese Journal of Luminescence, 2014, 35(7): 835-839. (in Chinese) doi: 10.3788/fgxb20143507.0835
    [9] FUJII H, ASAKURA T. Effect of surface roughness on the statistical distribution of image speckle intensity[J]. Optics Communications, 1974, 11(1): 35-38. doi: 10.1016/0030-4018(74)90327-7
    [10] GEORGE N, JAIN A. Space and wavelength dependence of speckle intensity[J]. Applied Physics, 1974, 4(3): 201-212. doi: 10.1007/BF00884230
    [11] GOODMAN J W. Dependence of image speckle contrast on surface roughness[J]. Optics Communications, 1975, 14(3): 324-327. doi: 10.1016/0030-4018(75)90328-4
    [12] ERDMANN J C, GELLERT R I. Speckle field of curved, rotating surfaces of Gaussian roughness illuminated by a laser light spot[J]. Journal of the Optical Society of America, 1976, 66(11): 1194-1204. doi: 10.1364/JOSA.66.001194
    [13] GEORGE N. Speckle from rough, moving objects[J]. Journal of the Optical Society of America, 1976, 66(11): 1182-1194. doi: 10.1364/JOSA.66.001182
    [14] YOSHIMURA T. Statistical properties of dynamic speckles[J]. Journal of the Optical Society of America A, 1986, 3(7): 1032-1054. doi: 10.1364/JOSAA.3.001032
    [15] 武颖丽, 吴振森. 旋转粗糙圆柱的激光散射功率谱分析[J]. 光学 精密工程,2012,20(12):2654-2660. doi: 10.3788/OPE.20122012.2654

    WU Y L, WU ZH S. Analysis of power spectra for laser scattering intensity on rotating cylinder targets[J]. Optics and Precision Engineering, 2012, 20(12): 2654-2660. (in Chinese) doi: 10.3788/OPE.20122012.2654
    [16] FUJI H, ASAKURA T, SHINDO Y. Measurement of surface roughness properties by means of laser speckle techniques[J]. Optics Communications, 1976, 16(1): 68-72. doi: 10.1016/0030-4018(76)90052-3
    [17] 张耿. 粗糙目标激光散斑统计特性及微运动特征分析[D]. 西安: 西安电子科技大学, 2013.

    ZHANG G. Statistical properties of laser speckle from rough objects and analysis on micro-motion characteristic[D]. Xi’an: Xidian University, 2013. (in Chinese)
    [18] TCHVIALEVA L, MARKHVIDA I, ZENG H SH, et al. Surface roughness measurement by speckle contrast under the illumination of light with arbitrary spectral profile[J]. Optics and Lasers in Engineering, 2010, 48(7-8): 774-778. doi: 10.1016/j.optlaseng.2010.03.004
    [19] LOUIE D C, TCHVIALEVA L, ZENG H SH, et al. Findings toward the miniaturization of a laser speckle contrast device for skin roughness measurements[J]. Proceedings of SPIE, 2017, 10037: 100370J.
    [20] LEHMANN P. Surface-roughness measurement based on the intensity correlation function of scattered light under speckle-pattern illumination[J]. Applied Optics, 1999, 38(7): 1144-1152. doi: 10.1364/AO.38.001144
    [21] NIPPOLAINEN E, SEMENOV D V, KAMSHILIN A A, et al. Fast distance sensing by use of the speckle effect[J]. Proceedings of SPIE, 2005, 5856: 691-697. doi: 10.1117/12.612576
    [22] GAO ZH, ZHAO X Z. On-line surface roughness measurement based on specular intensity component of speckle patterns[C]. Proceedings of 2008 International Conference on Information and Automation, IEEE, 2008: 1050-1055.
    [23] 赵博华, 王伯雄, 张金, 等. 粗糙金属表面光条中心提取方法[J]. 光学 精密工程,2011,19(9):2138-2145. doi: 10.3788/OPE.20111909.2138

    ZHAO B H, WANG B X, ZHANG J, et al. Extraction of laser stripe center on rough metal surface[J]. Optics and Precision Engineering, 2011, 19(9): 2138-2145. (in Chinese) doi: 10.3788/OPE.20111909.2138
    [24] ZHAO X Z, GAO ZH. Surface roughness measurement using spatial-average analysis of objective speckle pattern in specular direction[J]. Optics and Lasers in Engineering, 2009, 47(11): 1307-1316. doi: 10.1016/j.optlaseng.2009.04.012
    [25] GAO ZH, ZHAO X Z. Roughness measurement of moving weak-scattering surface by dynamic speckle image[J]. Optics and Lasers in Engineering, 2012, 50(5): 668-677. doi: 10.1016/j.optlaseng.2011.11.014
    [26] PRABHATHAN P, SONG CH L, HARIDAS A, et al. Intensity and contrast based surface roughness measurement approaches for rough and shiny surfaces[J]. Proceedings of SPIE, 2017, 10449: 1044912.
    [27] PATZELT S, STÖBENER D, FISCHER A. Laser light source limited uncertainty of speckle-based roughness measurements[J]. Applied Optics, 2019, 58(23): 6436-6445. doi: 10.1364/AO.58.006436
    [28] BERLASSO R G, QUINTIAN F P, REBOLLO M A, et al. Speckle size of light scattered from slightly rough cylindrical surfaces[J]. Applied Optics, 2002, 41(10): 2020-2027. doi: 10.1364/AO.41.002020
    [29] DEV K, A. S. G P, ASWIN H, et al. Surface roughness measurement of additive manufactured samples using angular speckle correlation[J]. Proceedings of SPIE, 2017, 10449: 104492W.
    [30] PRABHATHAN P, SONG CH L, HARIDAS A, et al. Experimental investigations and parametric studies of surface roughness measurements using spectrally correlated speckle images[J]. Proceedings of SPIE, 2017, 10449: 1044913.
    [31] PATZELT S, STÖBENER D, STRÖBEL G, et al. Uncertainty of scattered light roughness measurements based on speckle correlation methods[J]. Proceedings of SPIE, 2017, 10329: 103291P.
    [32] HARIDAS A, CRIVOI A, PRABHATHAN P, et al. Fractal speckle image analysis for surface characterization of aerospace structures[J]. Proceedings of SPIE, 2017, 10449: 104491T.
    [33] XU D, YANG Q, DONG F, et al. Evaluation of surface roughness of a machined metal surface based on laser speckle pattern[J]. The Journal of Engineering, 2018, 2018(9): 773-778. doi: 10.1049/joe.2018.5057
    [34] GEORGE N, LIVANOS A, ROTH J, et al. Remote sensing of large roughened spheres[J]. Optica Acta:International Journal of Optics, 1976, 23(5): 367-387. doi: 10.1080/713819273
    [35] MARRON J C. Wavelength decorrelation of laser speckle from three-dimensional diffuse objects[J]. Optics Communications, 1992, 88(4-6): 305-308. doi: 10.1016/0030-4018(92)90046-T
    [36] CRIMMINS T R, FIENUP J R, THELEN B J. Improved bounds on object support from autocorrelation support and application to phase retrieval[J]. Journal of the Optical Society of America A, 1990, 7(1): 3-13. doi: 10.1364/JOSAA.7.000003
    [37] PAXMAN R G, MARRON J C. System and method for three-dimensional imaging of opaque objects using frequency diversity and an opacity constraint: US, 5627363[P]. 1997-05-06.
    [38] SHIRLEY L G, ARIEL E D, HALLERMAN G R, et al. Advanced techniques for target discrimination using laser speckle[J]. The Lincoln Laboratory Journal, 1992, 5(3): 367-440.
    [39] SHIRLEY L G, HALLERMAN G R. Applications of tunable lasers to laser radar and 3D imaging[R]. Lexington Massachusetts: MIT Lincoln Laboratory, 1996.
    [40] SHIRLEY L G, HALLERMAN G R. Nonconventional 3D imaging using wavelength-dependent speckle[J]. The Lincoln Laboratory Journal, 1996, 9(2): 153-186.
    [41] SHIRLEY L G, LO P A. Bispectral analysis of the wavelength dependence of speckle: remote sensing of object shape[J]. Journal of the Optical Society of America A, 1994, 11(3): 1025-1046. doi: 10.1364/JOSAA.11.001025
    [42] FINI J M. Three dimensional image reconstruction from fourier magnitude measurements[D]. Cambridge, MA: Massachusetts Institute of Technology, 1997.
    [43] SHIRLEY L G. Method and apparatus for remote sensing of objects utilizing radiation speckle: US, 8265375[P]. 2012-09-11.
    [44] SHIRLEY L G. Method and apparatus for remote sensing of objects utilizing radiation speckle: US, 20170138722[P]. 2017-05-18.
    [45] SHIRLEY L G. Method and apparatus for remote sensing of objects utilizing radiation speckle: US, 10281257[P]. 2019-05-07.
    [46] 朱磊, 邵晓鹏. 散射成像技术的研究进展[J]. 光学学报,2020,40(1):0111005. doi: 10.3788/AOS202040.0111005

    ZHU L, SHAO X P. Research progress on scattering imaging technology[J]. Acta Optica Sinica, 2020, 40(1): 0111005. (in Chinese) doi: 10.3788/AOS202040.0111005
    [47] BERTOLOTTI J, VAN PUTTEN E G, BLUM C, et al. Non-invasive imaging through opaque scattering layers[J]. Nature, 2012, 491(7423): 232-234. doi: 10.1038/nature11578
    [48] KATZ O, HEIDMANN P, FINK M, et al. Non-invasive single-shot imaging through scattering layers and around corners via speckle correlations[J]. Nature Photonics, 2014, 8(10): 784-790. doi: 10.1038/nphoton.2014.189
    [49] WU T F, KATZ O, SHAO X P, et al. Single-shot diffraction-limited imaging through scattering layers via bispectrum analysis[J]. Optics Letters, 2016, 41(21): 5003-5006. doi: 10.1364/OL.41.005003
    [50] ANDO T, HORISAKI R, TANIDA J. Speckle-learning-based object recognition through scattering media[J]. Optics Express, 2015, 23(26): 33902-33910. doi: 10.1364/OE.23.033902
    [51] HORISAKI R, TAKAGI R, TANIDA J. Learning-based imaging through scattering media[J]. Optics Express, 2016, 24(13): 13738-13743. doi: 10.1364/OE.24.013738
    [52] TAKAGI R, HORISAKI R, TANIDA J. Object recognition through a multi-mode fiber[J]. Optical Review, 2017, 24(2): 117-120. doi: 10.1007/s10043-017-0303-5
    [53] 万剑华, 韩仲志. 多模式融合下的海洋溢油高光谱成像油种识别方法[J]. 发光学报,2016,37(4):473-480. doi: 10.3788/fgxb20163704.0473

    WAN J H, HAN ZH ZH. Oil spills identification using hyperspectral imaging based on multi-pattern method[J]. Chinese Journal of Luminescence, 2016, 37(4): 473-480. (in Chinese) doi: 10.3788/fgxb20163704.0473
    [54] 丁佳兴, 杨晓玉. 可见/近红外高光谱成像技术对鸡蛋种类无损判别[J]. 发光学报,2018,39(3):394-402. doi: 10.3788/fgxb20183903.0394

    DING J X, YANG X Y. Non-destructive discrimination of different kinds egg by Vis/NIR hyperspectral imaging technique[J]. Chinese Journal of Luminescence, 2018, 39(3): 394-402. (in Chinese) doi: 10.3788/fgxb20183903.0394
    [55] VALENT E, SILBERBERG Y. Scatterer recognition via analysis of speckle patterns[J]. Optica, 2018, 5(2): 204-207. doi: 10.1364/OPTICA.5.000204
    [56] LYU M, WANG H, LI G W, et al. Learning-based lensless imaging through optically thick scattering media[J]. Advanced Photonics, 2019, 1(3): 036002.
    [57] LEI X, HE L Y, TAN Y X, et al.. Direct object recognition without line-of-sight using optical coherence[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, IEEE, 2019: 11729-11738.
  • 期刊类型引用(13)

    1. 刘明桥,张盛龙,钟源鑫,刘正,龚艳丽,高椿明. 基于次级散斑图案的实时声音提取. 激光与光电子学进展. 2025(03): 176-185 . 百度学术
    2. 宗思光,杨劭鹏,张鑫,彭丹,段子科,陈报. 复杂水文微弱多目标激光探测仿真与实验. 中国光学(中英文). 2024(03): 560-571 . 百度学术
    3. 古戈,刘畅,孔令蝶,黄梦莎,李云,王若涵. 新型无损检测技术对林木种子活力筛选及资源保护的应用. 西部林业科学. 2024(03): 126-132+143 . 百度学术
    4. 贺锋涛,吴倩倩,杨祎,张建磊,王炳辉,张依. 基于深度学习的激光散斑图像识别技术研究. 激光技术. 2024(03): 443-448 . 百度学术
    5. 阮健,曾华林,何宇,郝雪营. 激光侦听系统的自动聚焦优化实现. 电子设计工程. 2023(14): 23-28 . 百度学术
    6. 王倩,蔡伟伟,陶波. 基于层析成像的激光强度分布测量方法. 中国光学(中英文). 2023(04): 743-752 . 百度学术
    7. 任明阳,王立忠,付白强,陈仁虹,邬宏,王岩鹏. 高温数字图像相关法变形测量中玻璃介质误差校正. 中国光学. 2022(02): 327-338 . 百度学术
    8. 聂建林,胡小英,肖生柱. 偏振激光散斑的偏振态测量研究. 自动化与仪器仪表. 2022(03): 199-202 . 百度学术
    9. 何俊达,丁焕林,许惠敏,雷豪洁,黄若楠,罗劲明. 基于数字散斑相关法的固体折射率测量误差研究. 光源与照明. 2022(01): 97-99 . 百度学术
    10. 杨仕轩,赵柏秦,王立晶,王宁. 采用GaN HEMT的可调窄脉冲激光器驱动电路. 红外与激光工程. 2022(10): 146-153 . 百度学术
    11. 郭继平,李名兆,周迎春,李阿蒙,张俊杰. 基于快速散斑结构光三维重建的在线测量系统. 计测技术. 2022(06): 48-52 . 百度学术
    12. 刘红,舒伟,刘默晗,许传林. 激光显示中的彩色散斑测量研究. 上海电机学院学报. 2021(05): 262-266 . 百度学术
    13. 管雯璐,谭逢富,侯再红,秦来安,何枫,张巳龙,吴毅. 探测器阵列靶散射取样衰减单元设计. 红外与激光工程. 2021(12): 286-293 . 百度学术

    其他类型引用(5)

  • 加载中
图(7) / 表(1)
计量
  • 文章访问数:  3769
  • HTML全文浏览量:  1863
  • PDF下载量:  548
  • 被引次数: 18
出版历程
  • 收稿日期:  2020-03-31
  • 修回日期:  2020-05-11
  • 网络出版日期:  2020-10-29
  • 刊出日期:  2020-12-01

目录

/

返回文章
返回