留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

线扫描虚拟结构调制共聚焦显微成像

赵家旺 张运海 王发民 缪新 施辛

赵家旺, 张运海, 王发民, 缪新, 施辛. 线扫描虚拟结构调制共聚焦显微成像[J]. 中国光学. doi: 10.37188/CO.2020-0120
引用本文: 赵家旺, 张运海, 王发民, 缪新, 施辛. 线扫描虚拟结构调制共聚焦显微成像[J]. 中国光学. doi: 10.37188/CO.2020-0120
ZHAO Jia-wang, ZHANG Yun-hai, WANG Fa-ming, MIAO Xin, SHI Xin. Line-scanning confocal microscopy through virtual structured modulation[J]. Chinese Optics. doi: 10.37188/CO.2020-0120
Citation: ZHAO Jia-wang, ZHANG Yun-hai, WANG Fa-ming, MIAO Xin, SHI Xin. Line-scanning confocal microscopy through virtual structured modulation[J]. Chinese Optics. doi: 10.37188/CO.2020-0120

线扫描虚拟结构调制共聚焦显微成像

doi: 10.37188/CO.2020-0120
基金项目: 国家重点研发计划资助(No. 2017YFC0110303);济南市“高校20条”资助项目(No. 2018GXRC018);山东省自然科学基金(No. ZR2019BF012);苏州市民生科技项目(No. SS201643)
详细信息
    作者简介:

    赵家旺(1996—),男,安徽安庆人,硕士研究生,2018年于安徽大学取得学士学位,现就读于中国科学技术大学生物医学工程学院,攻读光学工程专业硕士学位,主要从事超分辨显微光学方面的研究。E-mail:1762975674@qq.com

    张运海(1975—),男,湖北襄阳人,博士,研究员,博士生导师,1998年于南京航空航天大学获得学士学位,2006年于南京航空航天大学获得博士学位,现于中国科学院苏州生物医学工程技术研究所工作,现为江苏省医用光学重点实验室副主任,主要从事激光扫描共聚焦成像,超分辨显微光学方面的研究。E-mail:zhangyh@sibet.ac.cn

  • 中图分类号: O436.1;O439

Line-scanning confocal microscopy through virtual structured modulation

Funds: National Key R&D Program of China (No. 2017YFC0110303); Twenty Subsidized Projects of Colleges and Universities of Jinan (No. 2018GXRC018); Provincial Natural Science Foundation of Shandong, China (No. ZR2019BF012); People’s Livelihood Foundation of Suzhou (No. SS201643)
More Information
  • 摘要: 共聚焦显微镜的分辨率受光学衍射极限限制。结构调制已经证明在共聚焦显微镜中可以实现超分辨成像,但是图像采集速度有限,该方法的实际应用具有局限性。为了提高系统成像速度,本文介绍了一种将线扫描应用到结构调制共焦显微镜的方法。利用柱面透镜产生线照明,余弦数字掩模用于探测端的解扫描线斑图像调制,与虚拟结构探测方法不同之处在于无需后续的移频过程。为了提高各项同性分辨率,采用样本转动的方式实现0°、90°两角度扫描。仿真和实验结果表明,相干传递函数频谱宽度增大,成像分辨率达到传统共聚焦显微镜的1.4倍。与采集单点图像的结构调制共焦显微镜相比,图像采集速度提高104倍。
  • 图  1  反射式共聚焦系统示意图

    Figure  1.  The schema of a reflective confocal microscope

    图  2  IPSF理论仿真结果。(a)普通线扫描共聚焦IPSF,(b) IPSF的傅里叶变换,(c)(a)中 X和Y方向上的归一化强度分布

    Figure  2.  Theoretical simulation results of IPSF. (a) IPSF of the traditional line-scanning confocal microscope. (b) Fourier transform of IPSF. (c) Normalized intensity distribution of (a) in the X and Y directions, respectively.

    图  3  系统CTF仿真。(a) 传统线扫描共聚焦(CLSM) 的CTF,(b) 线扫描结构调制共聚焦(LVSM)的CTF,(c) 黑色曲线为(a)中Y方向归一化频率分布(WM),蓝色和红色曲线分别为(a)、(b)中X方向归一化频率分布(CLSM、LVSM)

    Figure  3.  CTF of the system. (a) CTF of conventional line-scanning confocal microscopy (CLSM), (b) CTF of line-scanning confocal microscopy with structured modulation (LVSM)., (c) The black curve is the normalized frequency profiles along the Y axis in (a) (WM), the blue and red curves are the normalized frequency distribution in the X axis in (a) and (b), respectively

    图  4  图像重建过程流程图

    Figure  4.  Flow chart of image reconstruction

    图  5  线扫描共聚焦虚拟结构调制仿真(LVSM)。(a)仿真使用的辐条状样品。(b)普通共聚焦图像。(c)取0°、90°两个扫描方向,结合对应方向上的结构检测函数重建后图像。(d)、(e)、(f)分别是(a)、(b)、(c)的傅里叶变换,即对应的频域图像

    Figure  5.  Simulation of line-scanning confocal microscopy with virtual structured modulation (LVSM). (a) Spoke-like sample, (b) Image from conventional confocal microscopy. (c) two scanning directions of 0 ° and 90 ° were selected and combined with the corresponding structure detection function to reconstruct the image. (d)-(f) are the Fourier transform of (a)-(c), respectively.

    图  6  实验系统原理图

    Figure  6.  Schema of the experiment setup

    图  7  分辨率测试目标的线扫描虚拟结构调制共聚焦实现。(a)扫描方向为0°时,采集的第20、205、360、490条线斑图像。(b)扫描方向为90°时,采集的第20、205、360、490条线斑图像。(c)扫描方向为90°时,常规线扫描共聚焦获得的分辨率测试靶图片。(d) LVSM.超分辨重建后图像

    Figure  7.  Implementation of line-scanning confocal virtual structured modulation imaging on the resolution test target. (a) the 20th, 205th, 360th and 490th line images collected with a scanning direction of 0°. (b) the 20th, 205th, 360th and 490th line images collected with a scanning direction of 90°. (c) when the scanning direction is 90°, the resolution test target image obtained by the conventional line-scanning confocal method. (d) reconstructed super-resolution image by LVSM.

    图  8  常规线扫描共聚焦和线扫描虚拟结构调制共聚焦在特定区域的归一化强度曲线。(a)图7(c)(d)中蓝色线段标记区域归一化强度分布对比。(b)图7(c)(d)中黄色线段标记区域归一化强度对比。(c)图7(c)(d)中绿色线段标记区域归一化强度对比

    Figure  8.  Normalized intensity curves of conventional line-scanning confocal microscope and line-scanning confocal with virtual structured modulation in specified areas. (a) Normalized intensity of the area specified bythe blue curve in Fig. 7(c) and Fig. 7(d). (b) Normalized intensity of the area specified by the yellow curve in Fig. 7(c) and Fig. 7(d). (c) Normalized intensity of the area specified by the green curve in Fig. 7(c) and Fig. 7(d)

  • [1] HELL S W. Microscopy and its focal switch[J]. Nature Methods, 2009, 6(1): 24-32. doi:  10.1038/nmeth.1291
    [2] 王雪, 刘虹遥, 路鑫超, 等. 无透镜全息显微细胞成像[J]. 光学 精密工程,2020,28(8):1644-1650.

    WANG X, LIU H Y, LU X CH, et al. Cell imaging by holographic lens-free microscopy[J]. Optics and Precision Engineering, 2020, 28(8): 1644-1650. (in Chinese)
    [3] 徐宝腾, 杨西斌, 刘家林, 等. 高速扫描激光共聚焦显微内窥镜图像校正[J]. 光学 精密工程,2020,28(1):60-68. doi:  10.3788/OPE.20202801.0060

    XU B T, YANG X B, LIU J L, et al. Image correction for high speed scanning confocal laser endomicroscopy[J]. Optics and Precision Engineering, 2020, 28(1): 60-68. (in Chinese) doi:  10.3788/OPE.20202801.0060
    [4] 缪新, 张运海, 黄维. 皮肤反射式共聚焦显微成像自适应图像亮度调节[J]. 光学 精密工程,2019,27(6):1270-1276. doi:  10.3788/OPE.20192706.1270

    MIAO X, ZHANG Y H, HUANG W. Image brightness adaptive adjustment during skin imaging by reflectance confocal microscopy[J]. Optics and Precision Engineering, 2019, 27(6): 1270-1276. (in Chinese) doi:  10.3788/OPE.20192706.1270
    [5] WANG F M, XIAO Y, ZHAO M M, et al. 3D resolution improvement in confocal microscopy by mirror refection interference and fluorescence emission difference[J]. Optics and Lasers in Engineering, 2020, 134: 106198. doi:  10.1016/j.optlaseng.2020.106198
    [6] WILSON T, CARLINI A R. Size of the detector in confocal imaging systems[J]. Optics Letters, 1987, 12(4): 227-229. doi:  10.1364/OL.12.000227
    [7] HELL S W, WICHMANN J. Breaking the diffraction resolution limit by stimulated emission: stimulated-emission-depletion fluorescence microscopy[J]. Optics Letters, 1994, 19(11): 780-782. doi:  10.1364/OL.19.000780
    [8] GUSTAFSSON M G L. Surpassing the lateral resolution limit by a factor of two using structured illumination microscopy[J]. Journal of Microscopy, 2000, 198(2): 82-87. doi:  10.1046/j.1365-2818.2000.00710.x
    [9] SALES T R M, MORRIS G M. Fundamental limits of optical superresolution[J]. Optics Letters, 1997, 22(9): 582-584. doi:  10.1364/OL.22.000582
    [10] RUST M J, BATES M, ZHUANG X W, et al. Sub-diffraction-limit imaging by stochastic optical reconstruction microscopy (STORM)[J]. Nature Methods, 2006, 3(10): 793-796. doi:  10.1038/nmeth929
    [11] HESS S T, GIRIRAJAN T P K, MASON M D. Ultra-high resolution imaging by fluorescence Photoactivation localization microscopy[J]. Biophysical Journal, 2006, 91(11): 4258-4272. doi:  10.1529/biophysj.106.091116
    [12] GUSTAFSSON M G L. Nonlinear structured-illumination microscopy: wide-field fluorescence imaging with theoretically unlimited resolution[J]. Proceedings of the National Academy of Sciences of the United States of America, 2005, 102(37): 13081-13086. doi:  10.1073/pnas.0406877102
    [13] NI H, ZOU L M, GUO Q Y, et al. Lateral resolution enhancement of confocal microscopy based on structured detection method with spatial light modulator[J]. Optics Express, 2017, 25(3): 2872-2882. doi:  10.1364/OE.25.002872
    [14] LU J, MIN W, CONCHELLO J A, et al. Super-resolution laser scanning microscopy through spatiotemporal modulation[J]. Nano Letters, 2009, 9(11): 3883-3889. doi:  10.1021/nl902087d
    [15] LU R W, WANG B Q, ZHANG Q X, et al. Super-resolution scanning laser microscopy through virtually structured detection[J]. Biomedical Optics Express, 2013, 4(9): 1673-1682. doi:  10.1364/BOE.4.001673
    [16] XXX XX, et al. Rapid super-resolution line-scanning microscopy through virtually structured detection[J]. Optics Letters,2015,40(8):1683-1686.
    [17] WANG B K, ZOU L M, ZHANG S, et al. Super-resolution confocal microscopy with structured detection[J]. Optics Communications, 2016, 381: 277-281. doi:  10.1016/j.optcom.2016.07.005
    [18] WOLLESCHENSKY R, ZIMMERMANN B, KEMPE M, et al. High-speed confocal fluorescence imaging with a novel line scanning microscope[J]. Journal of Biomedical Optics, 2006, 11(6): 064011. doi:  10.1117/1.2402110
    [19] GUSTAFSSON M G L, SHAO L, CARLTON P M, et al. Three-dimensional resolution doubling in wide-field fluorescence microscopy by structured illumination[J]. Biophysical Journal, 2008, 94(12): 4957-4970. doi:  10.1529/biophysj.107.120345
  • [1] 李彦清, 范海琦, 朱奎名, 刘双宇.  激光扫描阵列结构增强不锈钢与塑料的连接强度 . 中国光学, doi: 10.3788/CO.20201302.0313
    [2] 王巍, 李野, 陈卫军, 宋德, 王新.  EBCMOS近贴聚焦结构及电场分布对电子运动轨迹的影响 . 中国光学, doi: 10.37188/CO.2020-0063
    [3] 邹景武, 余卿, 程方.  差动式彩色共聚焦粗糙度评定系统及实验研究 . 中国光学, doi: 10.37188/CO.2020-0029
    [4] 邵洪禹, 李英超, 王超, 史浩东, 刘壮, 李冠霖.  超分辨望远光学系统像差影响及优化设计 . 中国光学, doi: 10.3788/CO.20201301.0106
    [5] 迟明波, 韩欣欣, 徐阳, 舒风风, 吴一辉.  宽谱段高分辨扫描光谱定标技术 . 中国光学, doi: 10.3788/CO.20201302.0249
    [6] 田晓, 张俊, 黄宝玉, 杨航, 现嘉裕.  用于超冷原子囚禁的一体式结构三维光晶格系统 . 中国光学, doi: 10.3788/CO.20191206.1295
    [7] 张佳茹, 管迎春.  超快激光制备生物医用材料表面功能微结构的现状及研究进展 . 中国光学, doi: 10.3788/CO.20191202.0199
    [8] 李文丽, 虞益挺.  实用化平面超振荡透镜的研究进展 . 中国光学, doi: 10.3788/CO.20191206.1155
    [9] 祝祥, 邵双运, 宋志军.  基于线结构光传感器的轨道板几何形貌检测方法 . 中国光学, doi: 10.3788/CO.20181105.0841
    [10] 刘志贺, 吴长锋.  超分辨率成像荧光探针材料应用进展 . 中国光学, doi: 10.3788/CO.20181103.0344
    [11] 张智敏, 匡翠方, 王子昂, 朱大钊, 陈友华, 李传康, 刘文杰, 刘旭.  双色荧光辐射差分超分辨显微系统研究 . 中国光学, doi: 10.3788/CO.20181103.0329
    [12] 许廷发, 罗璇, 苏畅, 卞紫阳.  多帧距离选通图像点扩散函数估计的超分辨率重建 . 中国光学, doi: 10.3788/CO.20160902.0226
    [13] 何阳, 黄玮, 王新华, 郝建坤.  稀疏阈值的超分辨率图像重建 . 中国光学, doi: 10.3788/CO.20160905.0532
    [14] 卢洋, 王世刚, 赵文婷, 武伟.  基于人脸姿态估计的虚拟眼镜试戴技术 . 中国光学, doi: 10.3788/CO.20150804.0582
    [15] 陈健, 高慧斌, 王伟国, 张振东, 路明.  超分辨率复原方法相关原理研究 . 中国光学, doi: 10.3788/CO.20140706.0897
    [16] 王军.  基于谱间和帧内差分脉冲编码调制的超光谱图像无损压缩 . 中国光学, doi: 10.3788/CO.20130606.863
    [17] 陈伟, 丁亚林, 惠守文, 许永森.  碳化硅扫描反射镜支撑结构设计 . 中国光学, doi: 10.3788/CO.20120502.0161
    [18] 张鑫淼, 魏光耀, 王英帅, 王睿, 于永江, 姚卫国, 董文飞.  基于虚拟仪器的高精度Z扫描实验系统设计 . 中国光学, doi: 10.3788/CO.20120505.0531
    [19] 汪逸群, 颜昌翔, 苗春安.  星载高分辨率超光谱成像仪分光方式的选择 . 中国光学,
    [20] 刘妍妍, 张 新, 张建萍.  超分辨重建技术及其研究进展 . 中国光学,
  • 加载中
图(9)
计量
  • 文章访问数:  10
  • HTML全文浏览量:  4
  • PDF下载量:  7
  • 被引次数: 0
出版历程

线扫描虚拟结构调制共聚焦显微成像

doi: 10.37188/CO.2020-0120
    基金项目:  国家重点研发计划资助(No. 2017YFC0110303);济南市“高校20条”资助项目(No. 2018GXRC018);山东省自然科学基金(No. ZR2019BF012);苏州市民生科技项目(No. SS201643)
    作者简介:

    赵家旺(1996—),男,安徽安庆人,硕士研究生,2018年于安徽大学取得学士学位,现就读于中国科学技术大学生物医学工程学院,攻读光学工程专业硕士学位,主要从事超分辨显微光学方面的研究。E-mail:1762975674@qq.com

    张运海(1975—),男,湖北襄阳人,博士,研究员,博士生导师,1998年于南京航空航天大学获得学士学位,2006年于南京航空航天大学获得博士学位,现于中国科学院苏州生物医学工程技术研究所工作,现为江苏省医用光学重点实验室副主任,主要从事激光扫描共聚焦成像,超分辨显微光学方面的研究。E-mail:zhangyh@sibet.ac.cn

  • 中图分类号: O436.1;O439

摘要: 共聚焦显微镜的分辨率受光学衍射极限限制。结构调制已经证明在共聚焦显微镜中可以实现超分辨成像,但是图像采集速度有限,该方法的实际应用具有局限性。为了提高系统成像速度,本文介绍了一种将线扫描应用到结构调制共焦显微镜的方法。利用柱面透镜产生线照明,余弦数字掩模用于探测端的解扫描线斑图像调制,与虚拟结构探测方法不同之处在于无需后续的移频过程。为了提高各项同性分辨率,采用样本转动的方式实现0°、90°两角度扫描。仿真和实验结果表明,相干传递函数频谱宽度增大,成像分辨率达到传统共聚焦显微镜的1.4倍。与采集单点图像的结构调制共焦显微镜相比,图像采集速度提高104倍。

English Abstract

赵家旺, 张运海, 王发民, 缪新, 施辛. 线扫描虚拟结构调制共聚焦显微成像[J]. 中国光学. doi: 10.37188/CO.2020-0120
引用本文: 赵家旺, 张运海, 王发民, 缪新, 施辛. 线扫描虚拟结构调制共聚焦显微成像[J]. 中国光学. doi: 10.37188/CO.2020-0120
ZHAO Jia-wang, ZHANG Yun-hai, WANG Fa-ming, MIAO Xin, SHI Xin. Line-scanning confocal microscopy through virtual structured modulation[J]. Chinese Optics. doi: 10.37188/CO.2020-0120
Citation: ZHAO Jia-wang, ZHANG Yun-hai, WANG Fa-ming, MIAO Xin, SHI Xin. Line-scanning confocal microscopy through virtual structured modulation[J]. Chinese Optics. doi: 10.37188/CO.2020-0120
    • 由于光波衍射效应,传统光学显微镜的分辨率受到限制[1-2]。激光扫描共焦显微镜(LSCM)具有比宽场显微镜更高的分辨率,因为它使用紧密聚焦的激发光束和针孔检测来抑制离焦背景光[3-4]。但是受到针孔大小的限制,在共焦显微镜中,减小针孔的尺寸提高分辨率的同时也降低了信噪比。为了保持二者的平衡,针孔尺寸一般较大,导致横向分辨率低于理想结果,仍处于衍射极限之内[5-6]。近二十年来,许多超分辨光学显微方法得到了推广,如受激发射损耗显微镜(STED)[7]、结构光照明显微镜(SIM)[8]等,这些方法有两个主要原理,分别是缩小点扩散函数(PSF)的尺寸和增加光传递函数(OTF)带宽[9]。除此之外,随机光学重建显微镜(STORM)[10]和光激活定位显微镜(PALM)[11]通过使用光开关荧光探针定位单个分子来实现超分辨率。上述这些方法在荧光标记成像分辨率上都有突破,但也都有其局限性。PALM和STORM长期以来一直受到成像速度的限制,STED显微镜要求激发光谱和发射光谱必须与给定的激发和耗尽波长相匹配,SIM只能成像光学薄样品[12]

      结构探测显微镜来源于结构照明原理,分辨率增强的概念类似于莫尔条纹。通过在不同扫描位置用光掩模获取图像,使传统显微镜的光学传递函数带宽增大了一倍[13]。然而,宽场空间结构光照明需要在照明端添加光栅等图案化掩模,不适用于扫描显微镜。时间调制扫描显微镜(SPIN)和空间调制扫描显微镜(SPADE)的提出实现了超分辨激光扫描显微镜,这些方法利用时间和空间调制在点扫描系统中实现了与SIM相同的效果[14]。SPADE已经被证明是正确的,也被称为虚拟结构探测(VSD)。然而,由于VSD需要得到每个扫描点的光斑图像,成像速度受到严重限制[15]

      针对上述缺点,结合线扫描的成像方法[16],将虚拟结构调制应用到大孔径共焦显微镜中(LVSM),提高了共焦显微成像的速度和分辨率。与虚拟结构探测方法不同之处在于无需后续的移频过程。同时由于共焦显微镜的独特的切片能力,可以成像厚样品。不同于其他大部分超分辨成像方法,本方法可以对非荧光样本成像,具有高分辨率、成像速度快的特点。

    • 反射式共聚焦相干成像系统如图1所示,假设照明强度和系统放大倍数为1。在解扫描的情况下,照明光场与样本相互作用后,忽略相位因子,样本表面处振幅分布为:

      图  1  反射式共聚焦系统示意图

      Figure 1.  The schema of a reflective confocal microscope

      $${A_1}(x,y,{x_1},{y_1}) = {h_{il}}(x,y) \times s({x_1} - x,{y_1} - y)$$ (1)

      式(1)中,${h_{il}}(x,y)$为照明路径的二维振幅点扩散函数,s为样本振幅分布,$({x_1},{y_1})$为样本所在位置。样本与照明光场作用后的光场振幅分布${A_1}(x,y,{x_1},{y_1})$经过探测光路后对图像平面上某一点$({x_2},{y_2})$的振幅贡献值可以表示为:

      $$\begin{split}&{A_2}(x,y,{x_1},{y_1},{x_2},{y_2}) \\ &\;\;\;\;={h_{il}}(x,y) \times s({x_1} - x,{y_1} - y) \times {h_{de}}({x_2} - x,{y_2} - y)\end{split}$$ (2)

      式(2)中,${h_{de}}(x,y)$为探测路径的二维振幅点扩散函数,${A_2}(x,y,{x_1},{y_1},{x_2},{y_2})$为样本上$({x_{\rm{1}}},{y_{\rm{1}}})$处与照明光场作用后产生的振幅分布在图像平面$({x_2},{y_2})$处的贡献值。所有样本点对该处振幅的贡献值叠加,即图像平面上探测到的振幅值。整个图像平面上振幅分布为:

      $$\begin{split}&{A_3}({x_1},{y_1},i,j) \\ &\;\;\;\;= \iint {{h_{il}}(x,y)s({x_1} - x,{y_1} - y)}{h_{de}}(i - x,j - y)dxdy\end{split}$$ (3)

      式(3)中,${A_3}({x_1},{y_1},i,j)$为图像平面处的振幅分布。取检测函数$D(i,j)$

      $$\begin{split}A({x_1},{y_1}) =& \iint \iint {{h_{il}}(x,y)s({x_1} - x,{y_1} - y)}\\ &\times {h_{de}}(i - x,j - y)dxdyD(i,j)didj\end{split}$$ (4)

      式(4)中,$A({x_1},{y_1})$为探测器最终探测到的振幅图像。${h_{il}}(x,y)$${h_{de}}(x,y)$均为偶函数,应用卷积的定义:

      $$\begin{split} & A({x_1},{y_1}) = \iint {s({x_1} - x,{y_1} - y)}{h_{il}}(x,y)\\ &\quad\quad\quad\quad \times \iint {{h_{de}}(x - i,y - j)}D(i,j)didjdxdy \\ &\quad = \iint {s({x_1} - x,{y_1} - y)}{h_{il}}(x,y)[{h_{de}}(x,y) \otimes D(x,y)]dxdy \\ &\quad= s({x_1},{y_1}) \otimes \{ {h_{il}}({x_1},{y_1})[{h_{de}}({x_1},{y_1}) \otimes D({x_1},{y_1})]\} \\ \end{split} $$ (5)

      从式(5)可以看出,最终的振幅图像表现为样本不同位置振幅的叠加,为相干成像过程,系统的成像特性取决于振幅点扩散函数:

      $$APSF({x_1},{y_1}) = {h_{il}}({x_1},{y_1}) \times [{h_{de}}({x_1},{y_1}) \otimes D({x_1},{y_1})]$$ (6)

      则系统的相干传递函数(CTF)可以表示为APSF的傅里叶变换:

      $$CTF({f_{x1}},{f_{y1}}) = {H_{il}}({f_{x1}},{f_{y1}}) \otimes \{ {H_{de}}({f_{x1}},{f_{y1}}) \times \mathcal{F}\left[ {D({x_1},{y_1})} \right]\} $$ (7)

      式(11)中${H_{il}}({f_{x1}},{f_{y1}})$${H_{de}}({f_{x1}},{f_{y1}})$为照明和探测端相干传递函数,$ \otimes $表示二维卷积,$\mathcal{F}$为傅里叶变换符号。由式(6),系统强度点扩散函数(IPSF)可以表示为[17]

      $$IPSF({x_1},{y_1}) = {\left| {{h_{il}}({x_1},{y_1}) \times [{h_{de}}({x_1},{y_1}) \otimes D({x_1},{y_1})]} \right|^2}$$ (8)

      因为系统的成像性能最终受到透镜、照明方式以及检测函数限制,分别讨论不同情况下系统振幅点扩散函数的形式。

      当照明方式为点照明、$D({x_1},{y_1})$为虚拟针孔时,即点扫描模式。照明和探测路径振幅点扩散函数可以由透镜孔径的傅里叶变换计算,有效探测点扩散函数为探测点扩散函数和孔径函数$D({x_1},{y_1})$的卷积。

      当照明方式为线照明、$D({x_1},{y_1})$为虚拟狭缝时,即线扫描模式。相比较点扫描,探测路径振幅点扩散函数不变,由于在照明路径引入了柱面透镜对光斑进行聚焦,照明路径振幅点扩散函数发生变化,在一个方向上为高斯分布而另一个方向为常数分布。假定扫描方向沿X轴方向,即照明点扩散函数在Y方向上是常数分布,在傍轴近似下有[18]

      $${h_{il}}({x_1},{y_1}) = \exp \left\{ - {(\Phi {y_1})^2}\frac{{{w^2}}}{4}\right\} \left[\frac{{2\sin (\Phi {x_1})}}{{(\Phi {x_1})}}\right]$$ (9)

      式中$\Phi = 2\pi NA/\lambda $,w<<1,所以式(9)中第一项因子可以忽略。这意味着照明路径的振幅点扩散函数在沿着直线方向有一个恒定的激发。

      当照明方式为线照明、$D({x_1},{y_1})$在矩形狭缝基础上叠加了余弦掩模时,即本文提出的LVSM方法。照明和探测路径振幅点扩散函数与线扫描模式相同,但检测函数$D({x_1},{y_1})$变为:

      $${D({x_1},{y_1}) = \left\{ {\begin{array}{*{20}{c}} {{\rm{1 + }}\cos [2\pi {f_0}({x_1}\cos \theta + {y_1}\sin \theta ) + \varphi ]}&{\left| {{x_1}} \right| < \dfrac{p}{2},\left| {{y_1}} \right| < \dfrac{s}{2}} \\ 0&{others} \end{array}} \right.}$$ (10)

      式(9)中p为狭缝宽度,s为CCD上线斑的长度,在基于上述线扫描点扩散函数模型分析时取无限小。本文主要在线扫描模式的基础上,研究检测函数为(10)式所表示的形式时系统的相干成像特性。由于单个线扫描模式下只能提取当前扫描方向下的超分辨信息,只考虑一维方向(沿x轴),公式(5)可以重写为:

      $$A({x_1}) = s({x_1}) \otimes \{ {h_{il}}({x_1})[{h_{de}}({x_1}) \otimes D({x_1})]\} $$ (11)

      将式(10)代入式(11),则式(11)的傅里叶变换

      $${\begin{array}{l} \tilde A({f_{x1}}) = \tilde s({f_{x1}})\{ {H_{il}}({f_{x1}}) \otimes [{H_{de}}({f_{x1}}) \times \tilde D({f_{x1}})]\} \\ = \tilde s({f_{x1}}){H_{il}}({f_{x1}}) \otimes \Bigg\{ {H_{de}}({f_{x1}}) \times \\ \Bigg\{ [\delta ({f_{x1}}) + \dfrac{{\rm{1}}}{{\rm{2}}}\delta ({f_{x1}} - {f_0}){e^{i\varphi }} + \dfrac{{\rm{1}}}{{\rm{2}}}\delta ({f_{x1}} + {f_0}){e^{ - i\varphi }}] \otimes \dfrac{{{J_1}(2\pi p{f_{x1}})}}{{{f_{x1}}}}\Bigg\} \Bigg\} \\ \end{array}} $$ (12)

      由于在高空间频率分量中存在有三个未知量,因此需要三个具有虚拟结构调制的振幅图像和三个给定的相位(0、$\dfrac{\pi }{{\rm{2}}}$$\pi $):

      $$\left[ {\begin{array}{*{20}{c}} {{{\tilde A}_{\rm{1}}}({f_{x1}})} \\ {{{\tilde A}_{\rm{2}}}({f_{x1}})} \\ {{{\tilde A}_{{\rm{33}}}}({f_{x1}})} \end{array}} \right]{\rm{ = }}\left[ {\begin{array}{*{20}{c}} {\rm{1}}&{\rm{1}}&{\rm{1}} \\ {\rm{1}}&{\rm{i}}&{{\rm{ - i}}} \\ 1&{ - 1}&{ - 1} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{U_{\rm{c}}}({f_{x1}})} \\ {{U_{\rm{l}}}({f_{x1}})} \\ {{U_{\rm{r}}}({f_{x1}})} \end{array}} \right]$$ (13)
      $${\left[ {\begin{array}{*{20}{c}} {{U_{\rm{c}}}({f_{x1}})} \\ {{U_{\rm{l}}}({f_{x1}})} \\ {{U_{\rm{r}}}({f_{x1}})} \end{array}} \right]{\rm{ = }}\left[ {\begin{array}{*{20}{c}} {\tilde s({f_{x1}}){H_{il}}({f_{x1}}) \otimes \left(\left\{ {H_{de}}({f_{x1}})\dfrac{{{J_1}(2\pi p({f_{x1}})}}{{{f_{x1}}}}\right)\right.} \\ {\tilde s({f_{x1}}){H_{il}}({f_{x1}}) \otimes \left(\left\{ {H_{de}}({f_{x1}})\dfrac{{{J_1}(2\pi p({f_{x1}} + {f_0})}}{{{f_{x1}} + {f_0}}}\right)\right.} \\ {\tilde s({f_{x1}}){H_{il}}({f_{x1}}) \otimes \left(\left\{ {H_{de}}({f_{x1}})\dfrac{{{J_1}(2\pi p({f_{x1}} - {f_0})}}{{{f_{x1}} - {f_0}}}\right)\right.} \end{array}} \right]}$$ (14)

      上式中${U_{\rm{c}}}({f_{x1}})$是低频分量、${U_{\rm{l}}}({f_{x1}})$${U_{\rm{r}}}({f_{x1}})$是高频分量,这些分量可以很容易的从公式(13)中确定。

    • 模拟照明激光波长$\lambda $为488 nm,物镜数值孔径0.4,余弦函数调制频率${f_0}$取0.9NA/$\lambda $$\theta $$\varphi $均取0。扫描模式为沿X方向,即0°方向。取极限情况,即狭缝宽度s无限小时,按照式(8)仿真普通线扫描共聚焦的IPSF如图2所示。根据图2(c),X方向上的半高全宽(FWHM)降低到 Y方向上的0.71倍,这是由于在X方向上是共聚焦成像,Y方向上是宽场成像的原因。从图2(b)中的光学传递函数也可以看出来,X方向上的截止频率高于Y方向上的截止频率,传递高频信息能力增强。

      图  2  IPSF理论仿真结果。(a)普通线扫描共聚焦IPSF,(b) IPSF的傅里叶变换,(c)(a)中 X和Y方向上的归一化强度分布

      Figure 2.  Theoretical simulation results of IPSF. (a) IPSF of the traditional line-scanning confocal microscope. (b) Fourier transform of IPSF. (c) Normalized intensity distribution of (a) in the X and Y directions, respectively.

      按照式(7)仿真系统CTF如图3所示,狭缝宽度取一个艾里斑大小。由图3(c)可以看到,在图像扫描方向上,相比较宽场成像(WM),CLSM和LVSM显微镜的截止频率相等,是宽场(WM)的2倍,对应空间域中分辨率提高。在相同的截止频率下,LVSM中高频信息的比例明显高于CLSM。说明LVSM具有更强的高频信息传递能力。这是由余弦函数的调制作用,它提高了高频比。

      图  3  系统CTF仿真。(a) 传统线扫描共聚焦(CLSM) 的CTF,(b) 线扫描结构调制共聚焦(LVSM)的CTF,(c) 黑色曲线为(a)中Y方向归一化频率分布(WM),蓝色和红色曲线分别为(a)、(b)中X方向归一化频率分布(CLSM、LVSM)

      Figure 3.  CTF of the system. (a) CTF of conventional line-scanning confocal microscopy (CLSM), (b) CTF of line-scanning confocal microscopy with structured modulation (LVSM)., (c) The black curve is the normalized frequency profiles along the Y axis in (a) (WM), the blue and red curves are the normalized frequency distribution in the X axis in (a) and (b), respectively

      基于线扫描共聚焦的结构探测方式中,结构检测函数$D(x,y)$直接作用于探测器平面的解扫描图像,因此无需与样本共轭,检测函数图像保持不变。这与虚拟结构探测(VSD)超分辨方法的不同之处在于,VSD方法中,结构检测函数作用于非解扫描图像,而成像系统本身是解扫描的,所以结构函数图像需要与样本共轭,以此来达到非解扫描调制的效果,进而得到扫描成像下类似于宽场SIM的图像数据。采用宽场SIM完全相同的重建算法将高频信息移动到正确的位置上,以此来达到超分辨的效果,而上述方法在线扫描共聚焦的解扫描图像下直接使用检测函数进行调制,系统CTF的截止频率扩展,无需进行移频,即使不采用后续的图像处理过程,图像分辨率仍然有所提高。只是存在图3(c)红色曲线所示的高频信息透过率低的问题,所以提高的效果并不明显。如图4所示,可以改变调制函数相位建立如式(13)所示的等式关系,解算出沿着这些方向上的频率分量,采用维纳滤波对其进行降噪处理,随后使用广义维纳滤波器对处理后的频域信息进行加权叠加恢复,达到增强高频分量的效果。使用广义维纳滤波器加权叠加时,各分量权重因子主要取决于不同频率分量的信噪比,可以通过文献[19]中的方法进行估计。将加权叠加后的频域图像傅里叶逆变换到空间域后,得到最终重建的振幅图像,再进行平方运算即得到强度图像。

      图  4  图像重建过程流程图

      Figure 4.  Flow chart of image reconstruction

      由于线扫描共聚焦只在一个方向上是共焦成像,利用特定的检测函数只能扩大系统单一方向上CTF的截止频率。为了说明各向同性的分辨率提高的可行性,需要旋转图像场获得不同方向下的线扫描数据进行虚拟调制。调制方向越多,各向同性分辨率提高越明显,同时成像速率降低,但是相比较于点扫描方式仍然有很大提升,可以根据实际情况选择合适的调制方向。用结构化检测函数调制每个扫描位置得到的线斑图像,计算线斑内图像沿一个方向上的积分,得到一系列代表当前扫描位置的值,这些值和他们的对应位置即代表结构调制后的图像,并用于之后的重建过程。由于调制方式是虚拟调制,数字掩模的方向和相位都可以精确的知道,因此不存在调制模式和相位的估计误差。

      为了说明上述方法的有效性,我们模拟了LVSM的成像结果,如图5所示,样本扫描方向取0°和90°,从图5(e)5(f)可以看出,高频部分信息被截止,样品的细节信息丢失,经过LVSM重建后,对应方向上的高频信息被移入系统频域通带内并处于正确的位置上,扫描方向上的频谱扩大。将频域图像变换到空间域,由图5(b)5(c)对比可以看到,分辨率明显提高。

      图  5  线扫描共聚焦虚拟结构调制仿真(LVSM)。(a)仿真使用的辐条状样品。(b)普通共聚焦图像。(c)取0°、90°两个扫描方向,结合对应方向上的结构检测函数重建后图像。(d)、(e)、(f)分别是(a)、(b)、(c)的傅里叶变换,即对应的频域图像

      Figure 5.  Simulation of line-scanning confocal microscopy with virtual structured modulation (LVSM). (a) Spoke-like sample, (b) Image from conventional confocal microscopy. (c) two scanning directions of 0 ° and 90 ° were selected and combined with the corresponding structure detection function to reconstruct the image. (d)-(f) are the Fourier transform of (a)-(c), respectively.

    • 图6展示了基于激光线扫描结构探测共聚焦显微镜的(LVSM)示意图。采用波长为633 nm单模氦氖激光器产生偏振激光,光衰减器用于降低光的强度,柱面透镜CL(f=180 mm)仅在一个方向上有聚焦特性,将衰减后的激光聚焦成一条直线入射到扫描振镜上,单轴扫描振镜(Mode 6215 CTI)在扫描方向上振动,用于引导聚焦直线通过自制的扫描透镜、筒镜(TTL 180-A Olympus)、物镜,在样本上沿着确定的方向移动。为了减小渐晕效果,控制振镜中心与物镜瞳孔平面共轭。来自样本的反射光被一维扫描系统解扫描,并通过中间光学系统中继到图像平面。探测器收集当前扫描位置的线斑图像,随着扫描振镜的摆动,探测器平面上的解扫描图像位置不变但图像信息不断更新,对应当前扫描位置,连续采集512条不同扫描位置的线斑图像,用于得到二维图像。

      图  6  实验系统原理图

      Figure 6.  Schema of the experiment setup

      使用二维图像采集器件sCMOS采集单个线斑图像(ORCA-Flash4.0 V2,Hamamatsu),相比较EMCCD,sCMOS具有更高的量子效率和低噪声输出,线斑图像ROI区域设为512*64像素时,单个方向理论图像采集速度可以达到3206 fps。实际实验过程中考虑到器件的响应时间和程序的延时,图像采集速率降低,单个方向图像采集时间约为0.25 s。虚拟狭缝取一个艾里斑直径大小,用于采集到的图像做检测处理。

      使用数值孔径为0.13的4X平场半复消色差物镜(Olympus)。实验中的样本为标准光学分辨率靶(USAF 1951 1X,Edmund),为了验证最终的各项同性分辨率提高,采用了步进电机驱动的电动旋转位移台转动样本的方式,最大转动速率为50°每秒,取0°、90°两个图像采集方向,整个图像旋转过程约需要2s。

    • 图7所示为采集到的部分线斑图像和最终的图像重建结果。图中蓝色线段标记区域是分辨率测试板Y方向线对的8.2至8.6组,黄色线段标记区域为X方向线对的8.5组,绿色线段标记区域为8.6组。由图8(a)可知,Y方向上,常规线扫描共聚焦显微镜能分辨8.2组,不能分辨8.3组,8.2组的线对数为287 lp/mm,对应空间周期为3.48μm。LVSM显微镜可以分辨到8.5组,不能分辨8.6组,8.5组的线对数为406 lp/mm,对应空间周期为2.46 μm,LVSM显微镜的分辨率比具有相同狭缝大小的线扫描共聚焦显微镜高。从图8(b)8(c)可知,X方向上,线扫描共聚焦均不能分辨8.5组和8.6组,相比之下,LVSM.显微镜可以分辨到8.5组,不能分辨8.6组。因此,LVSM显微镜将X方向和Y方向分辨率均提高到2.46 μm,是普通线扫描共聚焦显微镜的1.4倍。

      图  7  分辨率测试目标的线扫描虚拟结构调制共聚焦实现。(a)扫描方向为0°时,采集的第20、205、360、490条线斑图像。(b)扫描方向为90°时,采集的第20、205、360、490条线斑图像。(c)扫描方向为90°时,常规线扫描共聚焦获得的分辨率测试靶图片。(d) LVSM.超分辨重建后图像

      Figure 7.  Implementation of line-scanning confocal virtual structured modulation imaging on the resolution test target. (a) the 20th, 205th, 360th and 490th line images collected with a scanning direction of 0°. (b) the 20th, 205th, 360th and 490th line images collected with a scanning direction of 90°. (c) when the scanning direction is 90°, the resolution test target image obtained by the conventional line-scanning confocal method. (d) reconstructed super-resolution image by LVSM.

      图  8  常规线扫描共聚焦和线扫描虚拟结构调制共聚焦在特定区域的归一化强度曲线。(a)图7(c)(d)中蓝色线段标记区域归一化强度分布对比。(b)图7(c)(d)中黄色线段标记区域归一化强度对比。(c)图7(c)(d)中绿色线段标记区域归一化强度对比

      Figure 8.  Normalized intensity curves of conventional line-scanning confocal microscope and line-scanning confocal with virtual structured modulation in specified areas. (a) Normalized intensity of the area specified bythe blue curve in Fig. 7(c) and Fig. 7(d). (b) Normalized intensity of the area specified by the yellow curve in Fig. 7(c) and Fig. 7(d). (c) Normalized intensity of the area specified by the green curve in Fig. 7(c) and Fig. 7(d)

      上述实验证明了LVSM显微镜可以突破衍射极限,同时可以进行高速成像。该理论表明,LVSM显微镜可以通过2个方向的调制因子来提高横向分辨率和成像速度。标准分辨率靶的实验证实,基于高速成像的线扫描方式的同时,LVSM显微镜显示了常规共聚焦显微镜无法检测到的详细结构。

    • 本文提出了一种基于结构调制的线扫描共聚焦显微成像方法, 推导了相关理论及重建方法,并进行了实验验证。仿真和实验结果表明,系统CTF扩大,成像分辨率是普通共焦显微镜的1.4倍。与点扫描光斑虚拟结构调制成像相比,可以大幅度提高系统的成像速率,需要2.5 s完成两个方向的图像扫描,图像大小为512×512像素。在同样的图像场大小下,前者约需要260 s来完成数据采集。图像采集速度提高104倍。

参考文献 (19)

目录

    /

    返回文章
    返回