留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于压缩感知的三维单分子定位显微成像方法研究

张赛文 林丹樱 于斌 冷潇泠 张光富 田野 谭伟石

张赛文, 林丹樱, 于斌, 冷潇泠, 张光富, 田野, 谭伟石. 基于压缩感知的三维单分子定位显微成像方法研究[J]. 中国光学. doi: 10.37188/CO.2020-0003
引用本文: 张赛文, 林丹樱, 于斌, 冷潇泠, 张光富, 田野, 谭伟石. 基于压缩感知的三维单分子定位显微成像方法研究[J]. 中国光学. doi: 10.37188/CO.2020-0003
ZHANG Sai-wen, LIN Dan-ying, YU Bin, LENG Xiao-ling, ZHANG Guang-fu, TIAN Ye, TAN Wei-shi. Research on three-dimensional single-molecule localization microscopy imaging based on compressed sensing[J]. Chinese Optics. doi: 10.37188/CO.2020-0003
Citation: ZHANG Sai-wen, LIN Dan-ying, YU Bin, LENG Xiao-ling, ZHANG Guang-fu, TIAN Ye, TAN Wei-shi. Research on three-dimensional single-molecule localization microscopy imaging based on compressed sensing[J]. Chinese Optics. doi: 10.37188/CO.2020-0003

基于压缩感知的三维单分子定位显微成像方法研究

doi: 10.37188/CO.2020-0003
基金项目: 国家自然科学基金资助项目(No. 11947088,No. 11604091,No. 11547186,No. 61775144,No. 61975131);湖南省自然科学基金项目(No. 2019jj50025,No. 2018JJ2019);湖南省教育厅科学研究项目优秀青年项目(No. 19B100,No. 19B098)
详细信息
    作者简介:

    张赛文(1988—),男,湖南益阳人,讲师,2018年于深圳大学获得博士学位,现为湖南城市学院物理与光电工程系系主任,主要从事生物医学光子学和压缩感知方面的研究。E-mail: zhangsaiwen2012@163.com

    于 斌(1976—),男,江苏丰县人,博士, 教授, 博士生导师, 1998 年于长春光学精密机械学院(现长春理工大学)获得学士学位,2003 年于中国科学院长春光学精密机械与物理研究所获博士学位,主要从事超分辨显微成像技术、纳米尺度单分子示踪方面的研究。E-mail: yubin@szu.edu.cn

  • 中图分类号: O439

Research on three-dimensional single-molecule localization microscopy imaging based on compressed sensing

Funds: Supported by National Natural Science Foundation of China (No.11947088, No.11604091, No.11547186, No.61775144, No.61975131); Natural Science Foundation of Hunan Province (No.2019jj50025, 2018JJ2019) ; Scientific Research Fund of Hunan Provincial Education Department (No.19B100, No.19B098)
More Information
  • 摘要: 本文建立了一种三维压缩感知模型以实现对高密度荧光分子图像的快速三维定位。首先,根据荧光显微的三维点扩展函数成像理论,设计测量矩阵,并建立压缩感知模型。接着,对荧光显微成像过程进行了模拟,并采用基于凸优化方法(Convex Programming System,CVX)方法、正交匹配追踪(Orthogonal Matching Pursuit,OMP)算法和同伦算法对建立的压缩感知模型中模拟生成的图像进行了定位分析,分别从恢复率、定位精度、重构时间几方面进行了对比。最后,采用同伦算法对模拟的生物样品和实验室采集的细胞进行了三维定位,并获得了三维超分辨图像。对比结果表明:在重构密度和定位精度接近的情况下,同伦算法比CVX方法的重构速度快2个数量级。同伦算法较OMP算法的定位精度要高一倍。结果表明,采用同伦算法实现三维超分辨荧光显微成像可以节约计算时间,实现实时成像。
  • 图  1  荧光图像对应样本进行三维网格细分图。 (a)模拟生成荧光分子成像;(b)荧光图像对应的荧光分子三维空间细分;(c)一个像素和整个图像对应网格细分数

    Figure  1.  3D mesh subdivision process of fluorescence image corresponding sample. (a) Simulated fluorescence molecular image; (b) the three-dimensional subdivision of sample corresponding to fluorescent image; (c) the number of the subdivision corresponding to a pixel and the whole image .

    图  2  对整个图像进行分块处理。(a)从一帧图像里取一小块;(b)重合边缘;(c)对取出的小块图像进行边缘扩展;(d)对重构结果保留有效区域

    Figure  2.  The original image subdivided into smaller patches. (a) A small patch taken from one frame of image; (b) buperposition edges; (c) edge expansion of the small block of image; (d) the retaining valid areas of reconstruction results.

    图  3  绿色星号为三维空间随机分布的荧光分子;三维空间的底面图像为荧光分子模拟生成的图像

    Figure  3.  The fluorescent molecules of 3D space random distribution are indicated in green star. The simulated measured image is shown in the bottom of the 3D space.

    图  4  CVX,OMP和L1-H3种算法对模拟生成的荧光分子图像的重构结果。(a)恢复率;(b)横向XY用标准差Stdev显示定位精度;(c)轴向Z用标准差显示定位精度;(d)算法运行时间

    Figure  4.  Reconstructed results of simulated fluorescnce molecule image by three kinds of algorithms. (a) Recovery rate; (b) localization accuracy of horizontal XY shown with the standard deviation; (c) localization accuracy of axial Z shown with the standard deviation; (d) algorithm running time.

    图  5  模拟生物实验的三维重构结果,图中的比例尺为800 nm。 (a)模拟生成随机分布的荧光分子累加结果,横向范围为6.9 μm × 6.9 μm,轴向范围为−200 ~ −200 nm;(b)随机生成一帧图像;(c)随机生成200幅图像进行累加结果;(d)用算法分别对200帧图像进行重构定位出分子整合成的一张三维超分辨图像。

    Figure  5.  3D reconstructed results of simulated bioexperiment (scale bar is 800 nm). (a) Accumulation results of randomly distributed fluorescent molecules with a transverse range of 6.9 μm×6.9 μm and an axial range from −200 nm to 200 nm. (b) A randomly generated frame of image. (c) Accumulation results of randomly generated 200 frames of images. (d) A 3D super-resolution image obtained by reconstructing 200 frames of images.

    图  6  三维超分辨图像的重构结果。(a)由2 000帧荧光图像累加得到的宽场图像;(b)本文算法重构的三维超分辨图像

    Figure  6.  Reconstructed results of 3D super-resolution image (scale bar is 2 μm). (a) Wide-field image obtained by accumulating 2 000 frames of fluorescent images. (b) 3D super-resolution image reconstructed by the proposed algorithm.

    图  7  图6(a)中白线所在位置的宽场图像与对应位置在图6(b)中的重构结果

    Figure  7.  Comparison of reconstructed resutts and wide-field tesults along the white line in Fig.6

  • [1] 张颖, 朱爱美, 张迎秋, 等. 波长与能量色散复合式X射线荧光光谱技术测定海洋沉积物元素[J]. 分析化学,2019,47(7):1090-1097.

    ZHANG Y, ZHU A M, ZHANG Y Q, <italic>et al</italic>. Fast analysis of major and minor elements in marine sediments by wavelength and energy dispersive X-Ray fluorescence spectrometer[J]. <italic>Chinese Journal of Analytical Chemistry</italic>, 2019, 47(7): 1090-1097. (in Chinese)
    [2] 王肖莉, 姚猛, 李引, 等. 新型比色荧光双通道探针用于硫化氢的检测[J]. 分析化学,2019,47(12):1915-1921.

    WANG X L, YAO M, LI Y, <italic>et al</italic>. A novel colorimetric and fluorescent probe for detection of hydrogen sulfide[J]. <italic>Chinese Journal of Analytical Chemistry</italic>, 2019, 47(12): 1915-1921. (in Chinese)
    [3] 陈兆辉, 李媛媛, 韩娟, 等. 一种基于香豆素衍生物的铁离子水溶性荧光探针的合成及其应用[J]. 分析化学,2018,46(1):20-26. doi:  10.11895/j.issn.0253-3820.170114

    CHEN ZH H, LI Y Y, HAN J, <italic>et al</italic>. Synthesis and biological application of a water-soluble fluorescent probe based on coumarin derivatives for detection of ferric ion[J]. <italic>Chinese Journal of Analytical Chemistry</italic>, 2018, 46(1): 20-26. (in Chinese) doi:  10.11895/j.issn.0253-3820.170114
    [4] 杜晓辉, 刘霖, 张静, 等. 基于LBP纹理特征的白带显微图像中上皮细胞检测方法[J]. 液晶与显示,2019,34(9):871-878. doi:  10.3788/YJYXS20193409.0871

    DU X H, LIU L, ZHANG J, <italic>et al</italic>. Detection of epithelial cells in leucorrhea microscopic images based on LBP texture features[J]. <italic>Chinese Journal of Liquid Crystals and Displays</italic>, 2019, 34(9): 871-878. (in Chinese) doi:  10.3788/YJYXS20193409.0871
    [5] 全廷伟, 曾绍群, 吕晓华. 超分辨成像中荧光分子定位算法性能比较[J]. 中国激光,2010,37(11):2714-2718. doi:  10.3788/CJL20103711.2714

    QUAN T W, ZENG S Q, LV X H. Comparison of algorithms for localization of single fluorescent molecule in super resolution imaging[J]. <italic>Chinese Journal of Lasers</italic>, 2010, 37(11): 2714-2718. (in Chinese) doi:  10.3788/CJL20103711.2714
    [6] BETZIG E, PATTERSON GH, SOUGRAT R, <italic>et al</italic>. Imaging intracellular fluorescent proteins at nanometer resolution[J]. <italic>Science</italic>, 2006, 313(5793): 1642-1645. doi:  10.1126/science.1127344
    [7] LOMMERSE P H M, BLAB G A, COGNET L, <italic>et al</italic>. Single-molecule imaging of the H-ras membrane-anchor reveals domains in the cytoplasmic leaflet of the cell membrane[J]. <italic>Biophysical Journal</italic>, 2004, 86(1): 609-616. doi:  10.1016/S0006-3495(04)74139-9
    [8] JONES S A, SHIM S H, HE J, <italic>et al</italic>. Fast, three-dimensional super-resolution imaging of live cells[J]. <italic>Nature Methods</italic>, 2011, 8(6): 499-505. doi:  10.1038/nmeth.1605
    [9] HUANG B, WANG W Q, BATES M, <italic>et al</italic>. Three-dimensional super-resolution imaging by stochastic optical reconstruction microscopy[J]. <italic>Science</italic>, 2008, 319(5864): 810-813. doi:  10.1126/science.1153529
    [10] HOLTZER L, MECKEL T, SCHMIDT T. Nanometric three-dimensional tracking of individual quantum dots in cells[J]. <italic>Applied Physics Letters</italic>, 2007, 90(5): 053902. doi:  10.1063/1.2437066
    [11] PAVANI S R P, THOMPSON M A, BITEEN J S, <italic>et al</italic>. Three-dimensional, single-molecule fluorescence imaging beyond the diffraction limit by using a double-helix point spread function[J]. <italic>Proceedings of the National Academy of Sciences of the United States of America</italic>, 2009, 106(9): 2995-2999. doi:  10.1073/pnas.0900245106
    [12] 李恒, 于斌, 陈丹妮, 等. 高效双螺旋点扩展函数相位片的设计与实验研究[J]. 物理学报,2013,62(12):124201. doi:  10.7498/aps.62.124201

    LI H, YU B, CHEN D N, <italic>et al</italic>. Design and experimental demonstration of high-efficiency double-helix point spread function phase plate[J]. <italic>Acta Physica Sinica</italic>, 2013, 62(12): 124201. (in Chinese) doi:  10.7498/aps.62.124201
    [13] 武兴睿. 基于PSF重构和改进的最大后验估计的自适应光学图像复原算法[J]. 液晶与显示,2019,34(9):921-927. doi:  10.3788/YJYXS20193409.0921

    WU X R. Adaptive optical image restoration method based on PSF reconstruction and improved Maximum A Posteriori estimation[J]. <italic>Chinese Journal of Liquid Crystals and Displays</italic>, 2019, 34(9): 921-927. (in Chinese) doi:  10.3788/YJYXS20193409.0921
    [14] RAM S, PRABHAT P, WARD E S, <italic>et al</italic>. Improved single particle localization accuracy with dual objective multifocal plane microscopy[J]. <italic>Optics Express</italic>, 2009, 17(8): 6881-6898. doi:  10.1364/OE.17.006881
    [15] SHTENGEL G, GALBRAITH J A, GALBRAITH C G, <italic>et al</italic>. Interferometric fluorescent super-resolution microscopy resolves 3D cellular ultrastructure[J]. <italic>Proceedings of the National Academy of Sciences of the United States of America</italic>, 2009, 106(9): 3125-3130. doi:  10.1073/pnas.0813131106
    [16] BABCOCK H, SIGAL Y M, ZHUANG X W. A high-density 3D localization algorithm for stochastic optical reconstruction microscopy[J]. <italic>Optical Nanoscopy</italic>, 2012, 1(1): 6. doi:  10.1186/2192-2853-1-6
    [17] 谢斌, 黄安, 黄辉. 本征图像分解的稀疏表示彩色图像去噪算法[J]. 液晶与显示,2019,34(11):1104-1114. doi:  10.3788/YJYXS20193411.1104

    XIE B, HUANG A, HUANG H. Colorimage denoising algorithm based on intrinsic image decomposition and sparse representation[J]. <italic>Chinese Journal of Liquid Crystals and Displays</italic>, 2019, 34(11): 1104-1114. (in Chinese) doi:  10.3788/YJYXS20193411.1104
    [18] BARSIC A, GROVER G, PIESTUN R. Three-dimensional super-resolution and localization of dense clusters of single molecules[J]. <italic>Scientific Reports</italic>, 2015, 4: 5388. doi:  10.1038/srep05388
    [19] GU L S, SHENG Y, CHEN Y, <italic>et al</italic>. High-density 3D single molecular analysis based on compressed sensing[J]. <italic>Biophysical Journal</italic>, 2014, 106(11): 2443-2449. doi:  10.1016/j.bpj.2014.04.021
    [20] ZHANG S W, CHEN D N, NIU H B. 3D localization of high particle density images using sparse recovery[J]. <italic>Applied Optics</italic>, 2015, 54(26): 7859-7864. doi:  10.1364/AO.54.007859
    [21] SHUANG B, WANG W X, SHEN H, <italic>et al</italic>. Generalized recovery algorithm for 3D super-resolution microscopy using rotating point spread functions[J]. <italic>Scientific Reports</italic>, 2016, 6: 30826. doi:  10.1038/srep30826
    [22] 张赛文. 基于压缩感知的单分子定位显微超分辨图像重建方法研究[D]. 深圳: 深圳大学, 2018.

    ZHANG S W. Study on super-resolution image reconstruction algorithms based on compressed sensing for single-molecule localization microscopy[D]. Shenzhen: Shenzhen University, 2018. (in Chinese)
    [23] WADA A, OHTANI T, MIYAMOTO Y, <italic>et al</italic>. Propagation analysis of the Laguerre-Gaussian beam with astigmatism[J]. <italic>Journal of the Optical Society of America A</italic>, 2005, 22(12): 2746-2755. doi:  10.1364/JOSAA.22.002746
    [24] ZHU L, ZHANG W, ELNATAN D, <italic>et al</italic>. Faster STORM using compressed sensing[J]. <italic>Nature Methods</italic>, 2012, 9(7): 721-723. doi:  10.1038/nmeth.1978
    [25] 张赛文, 于斌, 陈丹妮, 等. 基于压缩感知的高密度分子定位算法比较[J]. 中国激光,2018,45(3):0307014. doi:  10.3788/CJL201845.0307014

    ZHANG S W, YU B, CHEN D N. Comparison of algorithms of high-density molecule localization based on compressed sensing[J]. <italic>Chinese Journal of Lasers</italic>, 2018, 45(3): 0307014. (in Chinese) doi:  10.3788/CJL201845.0307014
    [26] BABCOCK H P, MOFFITT J R, CAO Y L, <italic>et al</italic>. Fast compressed sensing analysis for super-resolution imaging using L1-homotopy[J]. <italic>Optics Express</italic>, 2013, 21(23): 28583-28596. doi:  10.1364/OE.21.028583
    [27] HUGELIER S, DE ROOI J J, BERNEX R, <italic>et al</italic>. Sparse deconvolution of high-density super-resolution images[J]. <italic>Scientific Reports</italic>, 2016, 6: 21413. doi:  10.1038/srep21413
  • [1] 刘铭鑫, 张新, 王灵杰, 史广维, 吴洪波, 付强.  压缩感知光谱成像技术的编码孔径与探测器匹配优化 . 中国光学, doi: 10.3788/CO.20201302.0290
    [2] 胡琪, 王喆, 刘洪顺, 薛智文, 邓家春.  基于单次傅里叶变换的分段衍射算法 . 中国光学, doi: 10.3788/CO.20181104.0568
    [3] 谭翠媚, 许廷发, 马旭, 张宇寒, 王茜, 闫歌.  图-谱结合的压缩感知高光谱视频图像复原 . 中国光学, doi: 10.3788/CO.20181106.0949
    [4] 闫歌, 许廷发, 马旭, 张宇寒, 王茜, 谭翠媚.  动态测量的高光谱图像压缩感知 . 中国光学, doi: 10.3788/CO.20181104.0550
    [5] 齐冰洁, 刘金国, 张博研, 左洋, 吕世良.  高分辨率遥感图像SIFT和SURF算法匹配性能研究 . 中国光学, doi: 10.3788/CO.20171003.0331
    [6] 王浩, 张叶, 沈宏海, 张景忠.  图像增强算法综述 . 中国光学, doi: 10.3788/CO.20171004.0438
    [7] 陈世伟, 杨小冈, 张胜修, 刘云峰.  基于自适应扩散模型的单帧红外条纹非均匀性校正算法 . 中国光学, doi: 10.3788/CO.20160901.0106
    [8] 许佳佳.  结合Harris与SIFT算子的图像快速配准算法 . 中国光学, doi: 10.3788/CO.20150804.0574
    [9] 冯萍, 刘震.  舵面角度测量中结构光光条图像自动定位方法 . 中国光学, doi: 10.3788/CO.20140706.0911
    [10] 王永伟, 艾华, 卓仁善, 曹艳波.  干涉测量波面重构DCT算法研究 . 中国光学, doi: 10.3788/CO.20140706.1012
    [11] 杜小平, 刘明, 夏鲁瑞, 陈杭.  基于光谱角累加的高光谱图像异常检测算法 . 中国光学, doi: 10.3788/CO.20130603.0325
    [12] 杜永成, 杨立, 刘天.  基于数字粒子图像测速的水雾粒径测量算法及实验 . 中国光学, doi: 10.3788/CO.20130603.0408
    [13] 阎春生, 廖延彪, 田芊.  层析成像图像重建算法综述 . 中国光学, doi: 10.3788/CO.20130605.0617
    [14] 阎雪飞, 许廷发, 白廷柱.  改进的固定点图像复原算法 . 中国光学, doi: 10.3788/CO.20130603.0318
    [15] 王军.  基于谱间和帧内差分脉冲编码调制的超光谱图像无损压缩 . 中国光学, doi: 10.3788/CO.20130606.863
    [16] 刘廷霞, 王伟国, 陈健.  车载惯性平台稳定位置解算算法 . 中国光学, doi: 10.3788/CO.20120505.0537
    [17] 李光鑫, 吴伟平, 胡君.  红外和彩色可见光图像亮度-对比度传递融合算法 . 中国光学,
    [18] 朱明, 高文, 郭立强.  压缩感知理论在图像处理领域的应用 . 中国光学,
    [19] 李渊渊, 孟伟.  一种用硬件实现的Bayer格式图像恢复算法 . 中国光学,
    [20] 刘春香, 李洪祚.  实时图像增强算法研究 . 中国光学,
  • 加载中
图(7)
计量
  • 文章访问数:  41
  • HTML全文浏览量:  39
  • PDF下载量:  7
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-01-08
  • 修回日期:  2020-02-22
  • 网络出版日期:  2020-09-02

基于压缩感知的三维单分子定位显微成像方法研究

doi: 10.37188/CO.2020-0003
    基金项目:  国家自然科学基金资助项目(No. 11947088,No. 11604091,No. 11547186,No. 61775144,No. 61975131);湖南省自然科学基金项目(No. 2019jj50025,No. 2018JJ2019);湖南省教育厅科学研究项目优秀青年项目(No. 19B100,No. 19B098)
    作者简介:

    张赛文(1988—),男,湖南益阳人,讲师,2018年于深圳大学获得博士学位,现为湖南城市学院物理与光电工程系系主任,主要从事生物医学光子学和压缩感知方面的研究。E-mail: zhangsaiwen2012@163.com

    于 斌(1976—),男,江苏丰县人,博士, 教授, 博士生导师, 1998 年于长春光学精密机械学院(现长春理工大学)获得学士学位,2003 年于中国科学院长春光学精密机械与物理研究所获博士学位,主要从事超分辨显微成像技术、纳米尺度单分子示踪方面的研究。E-mail: yubin@szu.edu.cn

  • 中图分类号: O439

摘要: 本文建立了一种三维压缩感知模型以实现对高密度荧光分子图像的快速三维定位。首先,根据荧光显微的三维点扩展函数成像理论,设计测量矩阵,并建立压缩感知模型。接着,对荧光显微成像过程进行了模拟,并采用基于凸优化方法(Convex Programming System,CVX)方法、正交匹配追踪(Orthogonal Matching Pursuit,OMP)算法和同伦算法对建立的压缩感知模型中模拟生成的图像进行了定位分析,分别从恢复率、定位精度、重构时间几方面进行了对比。最后,采用同伦算法对模拟的生物样品和实验室采集的细胞进行了三维定位,并获得了三维超分辨图像。对比结果表明:在重构密度和定位精度接近的情况下,同伦算法比CVX方法的重构速度快2个数量级。同伦算法较OMP算法的定位精度要高一倍。结果表明,采用同伦算法实现三维超分辨荧光显微成像可以节约计算时间,实现实时成像。

English Abstract

张赛文, 林丹樱, 于斌, 冷潇泠, 张光富, 田野, 谭伟石. 基于压缩感知的三维单分子定位显微成像方法研究[J]. 中国光学. doi: 10.37188/CO.2020-0003
引用本文: 张赛文, 林丹樱, 于斌, 冷潇泠, 张光富, 田野, 谭伟石. 基于压缩感知的三维单分子定位显微成像方法研究[J]. 中国光学. doi: 10.37188/CO.2020-0003
ZHANG Sai-wen, LIN Dan-ying, YU Bin, LENG Xiao-ling, ZHANG Guang-fu, TIAN Ye, TAN Wei-shi. Research on three-dimensional single-molecule localization microscopy imaging based on compressed sensing[J]. Chinese Optics. doi: 10.37188/CO.2020-0003
Citation: ZHANG Sai-wen, LIN Dan-ying, YU Bin, LENG Xiao-ling, ZHANG Guang-fu, TIAN Ye, TAN Wei-shi. Research on three-dimensional single-molecule localization microscopy imaging based on compressed sensing[J]. Chinese Optics. doi: 10.37188/CO.2020-0003
    • 荧光光谱和荧光探针在检测和测量领域有着广泛的应用[1-3]。为了使光学显微镜分辨率达到电子显微镜的水平是一个长远的目标[4],提高空间分辨率的,一个常用方法就是超分辨荧光显微成像中的单分子定位方法[5],其横向分辨率通常能够达到2~25 nm[6]。此方法已广泛应用于二维活体组织细胞的研究,如在细胞膜中跟踪独立蛋白[7- 8]。在活体细胞动力学过程的研究,如细胞内的转换、传输等过程,都是三维 (Three Dimension, 3D)的情形,所以大量科研工作者对三维的单分子定位进行了深入研究,得到一系列成果:如柱透镜引入像散 (Cylindrical Lens)[9-10]、通过改变相位形成双螺旋点扩展函数 (Double Helix Point Spread Function, DH-PSF)[11-13]、双焦面探测 (dDual Focus Imaging) 和荧光干涉等[14-15]。但上述方法通常都存在一定的限制,例如要求成像分子密度不能太高。后来,科研人员以提高单帧图像里荧光分子数的识别率为目标,即荧光分子密度,又发展了一些三维高密度荧光分子定位算法,如3D-DAOSYORM(Three Dimension Dominion Astrophysical Observatory Stochastic Optical Reconstruction Microscopy)。从横向投影密度看,3D-DAOSYORM可以识别1 μm−2以下的荧光分子图像,其横向定位精度达到20 nm,轴向定位精度达到50 nm,当图像里的分子密度超过1 μm−2时,其定位精度会显著降低[16-17]。BARSICA[18]采用DH-PSF方法,对荧光分子图像用匹配追踪(Matching Pursuit, MP)法进行粗略定位,然后对粗略定位的结果再用凸最优化 (Convex Optimization, CO)进行精确的分子定位。此方法虽然采用了MP方法进行提速,但是由于CO算法计算速度太慢,导致算法总体上计算速度过慢,对于重构成百上千幅荧光分子图像而言,耗时太久。2014年,Lusheng Gu等人提出采用双层面成像进行三维的单分子定位。其重构算法采用的是基于MATLAB工具箱的CVX算法进行重构定位的,此方法对于重构一张大的超分辨图像来说,速度太慢[19-20]。2016年,Christy F. Landes课题组采用DH-PSF方法进行荧光成像,并采用并行计算来缩短算法的重构时间,但该算法对电脑配置要求比较高[21]

      针对上述问题,本文通过像散成像,即在成像光路中引入柱透镜形成像散,然后对图像采集过程建立三维压缩感知模型,并采用L1范数最小化的同伦算法(L1-Homotopy, L1-H)来重构三维超分辨图像,以提高算法的运行速度和荧光分子识别密度,减少图像采集时间和算法的重构时间,提高时空分辨率。

    • 基于压缩感知的超分辨荧光显微成像方法,根据光学系统采用的点扩展函数来建立测量矩阵,根据成像过程建立压缩感知模型,然后采用合适的算法对模型进行重构。

    • 在成像光路中引入一个弱的柱透镜可以在轴向产生像散,通过改变荧光分子的轴向位置,可以在探测平面形成不同形状的椭圆光斑,从而可以实现轴向定位,以及提高轴向分辨能力[9]。包含轴向像散的单个辐射源的强度分布为[10, 20]

      $$I\left( {x,y} \right) = \frac{{4N\ln 2}}{{{\text{π}} {\sigma _r}^2}}{{\rm{e}}^{ - 4\ln 2\left[\textstyle\frac{{{{( {x - {\mu _x}} )}^2}}}{{\sigma _r^2/{\varepsilon ^2}}} + \textstyle\frac{{{{( {y - {\mu _y}})}^2}}}{{\sigma _r^2{\varepsilon ^2}}}\right]}},$$ (1)

      其中,椭圆率$\varepsilon = \sqrt {{\sigma _y}/{\sigma _x}} $,一个广义的半峰全宽(Full Width at Half Maximum, FWHM)值为$\sigma _r^2 = \sqrt {\sigma _x^2\sigma _y^2} $。式(1)中间(${\mu _x},{\mu _y}$)代表荧光分子的横向位置坐标${\sigma _x}$${\sigma _y}$分别表示在xy方向强度分布的FWHM值。除了在xy两个焦面的中间位置外(z = 0),${\sigma _x}$${\sigma _y}$都不相等。${\sigma _x}$${\sigma _y}$与轴向位置z有以下关系[20, 22]

      $$\sigma _x^2 = \left({\left(\frac{{\gamma + {\textit{z}}}}{{{{\textit{z}}_r}}}\right)^2} + 1\right)*\sigma _0^2,$$ (2)
      $$\sigma _y^2 = \left({\left(\frac{{\gamma - {\textit{z}}}}{{{{\textit{z}}_r}}}\right)^2} + 1\right)*\sigma _0^2,$$ (3)

      其中,${\sigma _0}$表示点光源衍射极限的FWHM值,${\sigma _0} = 0.51\dfrac{\lambda }{{NA}}$$NA$为光学系统的数值孔径,$\lambda $为辐射点源的波长。所以,对于同样波长的荧光分子,${\sigma _0}$值唯一。像散值γ由光学系统的柱透镜、管镜和物镜的焦距来确定。而${{\textit{z}}_r }$由成像系统决定[23]

      $${{\textit{z}}_r} = \frac{{{\text{π}} {w_{xw}}{w_{yw}}}}{\lambda },$$ (4)

      其中,${w_{xw}}$${w_{yw}}$等于XZYZ两个对应焦平面的FWHM值。

    • 利用压缩感知方法分析大量重叠的荧光分子图像,在二维单分子定位中取得了一定的成功[24-25]。在本文中,需采用三维的点扩展函数才能得到三维超分辨图像。这表示分子的轴向坐标z不同,其辐射的光子在探测器上所成的像也不同,即二维点扩展函数的形式不同。可从三维荧光分子分布与三维点扩展函数的卷积中得到探测器图像I。为便于采用三维压缩感知方法进行处理,做如下设定:探测器图像I记录矢量b、3D-PSF记录矩阵A,荧光分子三维分布记录矢量s

      如果已知光学系统参数或者采集的荧光分子图像非常稀疏,那么可以通过计算或拟合得到点扩展函数,进而可以通过点扩展函数来构造测量矩阵A。在得到高密度荧光分子图像形成的列矢量b的情况下,可以建立压缩感知模型,而荧光分子的位置分布s,作为包含了荧光位置信息的矢量,可以被重构。考虑在获得图像的过程中存在噪声,无约束优化问题可表示如下[26]

      $$\min imi{\textit{z}}e:\left\| {{{Ax}} - {{b}}} \right\|_2^2 + \lambda {\left\| {{x}} \right\|_1},$$ (5)

      其中,稀疏性与求解误差之间的平衡是$\lambda $的值进行控制。本文,采用L1范数的同伦算法对其进行求解。算法对其进行求解。

      压缩感知算法用于三维单分子定位时,采用的是二维网格方法[24],如果要实现三维的单分子定位,需要运用三维网格和三维的点扩展函数,如图1所示。在STORM中,分子位置与图像间具有线性平移不变性,使用如图1所示的三维网格,4 × 4 × 10个网格点正好是单位像素对应的三维网格。80 nm × 80 nm为单个像素所具有的有效像元尺寸。将每个像素横向细分成4 × 4的网格后,横向就可以达到期望的20 nm的精度,轴向分成10层轴向就可以达到期望40 nm的定位精度。

      图  1  荧光图像对应样本进行三维网格细分图。 (a)模拟生成荧光分子成像;(b)荧光图像对应的荧光分子三维空间细分;(c)一个像素和整个图像对应网格细分数

      Figure 1.  3D mesh subdivision process of fluorescence image corresponding sample. (a) Simulated fluorescence molecular image; (b) the three-dimensional subdivision of sample corresponding to fluorescent image; (c) the number of the subdivision corresponding to a pixel and the whole image .

      可使用压缩感知的方法从一幅单一的高密度图像中恢复出粒子的三维空间位置。粒子的位置在最终的超分辨图像中不是用坐标点来表示的,而是用一些离散的三维网格来表示的。相应坐标轴方向所期望的精度必须大于网格的轴向距离与横向距离。利用2.1节中的方法生成模拟图像(图1(a)),假设图像大小为46 pixel × 46 pixel,分成184 × 184 × 10个网格点(图1(b))。使用的三维网格如图1(c)所示。由三维网格点[s]mp依次连接构成一维矢量[sj], 图1(b)给出了三维网格点的连接顺序。在矢量s中,坐标网格中分子发射的光子数是用元素值的大小表示的,当网格点中没有分子时元素值大小等于零。利用系统的三维点扩展函数计算矩阵[Aij],当且仅当只有一个分子在位置sj产生的图像排列成列向量时,可得到矩阵A 的第jth列。许多荧光粒子产生的图像排列而成的列向量可构成矢量b。当然,也可通过已知三维点扩展函数恢复分子的三维空间位置坐标,即使荧光分子形成的光斑图像出现重叠实现。如果直接对整幅图像进行处理,需要对整个样品进行三维空间划分,这样会导致由三维点扩展函数形成的观测矩阵比较大,从而导致重构时间长矩阵存储量较大。因此,考虑到点扩展函数的展宽比较窄,对原始图像进行分块处理不会影响定位精度,具体步骤如下:

      (1)探测图像I大小为46 pixel × 46 pixel。超分辨图像为S,184 × 184 × 10个网格点。定义R为对横向像素进行细分的比例,R = 4,轴向的分层数L为10,见图1(c)

      (2)考虑重构时间和点扩展函数所占像素的情况,将原图像分成大小为16 pixel×16 pixel情况的小图像块I0图2),小块处理后的图像,相邻块之间共享6个像素,这是由系统的点扩展函数的半高全宽决定的,如图2(b)所示。

      图  2  对整个图像进行分块处理。(a)从一帧图像里取一小块;(b)重合边缘;(c)对取出的小块图像进行边缘扩展;(d)对重构结果保留有效区域

      Figure 2.  The original image subdivided into smaller patches. (a) A small patch taken from one frame of image; (b) buperposition edges; (c) edge expansion of the small block of image; (d) the retaining valid areas of reconstruction results.

      (3)对于每一小块I0,横向细分(16 × 4) × (16 × 4),分块边缘外的样本分子决定了边缘的像素强度值,所以在细分后的网格点周围加上6个网格点,网格点总数为(16 × 4 + 12) × (16 × 4 + 12) × 10,如图2(c)所示。

      (4)对小块进行处理,使得分块图像I0的每列与超分辨图像S的每列依次连接同一个列向量,I0为256 × 1,s为57760 × 1;s为仅第j个元素有分子发光时得到的图像,即为点扩展函数矩阵A的第j列,A大小为256 × 57 760。利用已知的I0A得到s,然后把s转换成超分辨图像。为了避免相邻块边缘对每个小块的影响,使其外围18个网格点为零。这18个网格点是由12个相邻块重置的网格和在第(3)步中考虑边缘外影响的6个网格点组成的。如图2(d)所示。

      (5)最后组合而成的一幅三维超分辨图像是由每一小块重构出的三维矩阵而得到的。

    • 通过分析一系列高密度荧光分子图像可知道三维压缩感知重构方法的性能。在本节中,一个样本体积为2.76 μm × 2.76 μm × 0.4 μm,分子随机分布在其中。虽然本次模拟生物样品时取的样本体积比较小,但不会影响算法的性能分析,因为文中对图像进行分块处理。在处理整幅图像时,对每次处理的一个小块都做了分块操作,所以精度并不会随着体积横向投影的增加而衰减。又由于超出轴向范围的都当作背景处理了,所以轴向大小会对精度有一定的影响。相机的有效像元大小为80 nm,设v为实际探测器的尺寸, M为探测光路的放大率,则其有效像元尺寸为v/M。通过一个100倍物镜和实际像元尺寸为8 μm EMCCD的组合可以实现80 nm × 80 nm的有效像元尺寸。将点扩展函数的半高全宽τ0设置为200 nm,相当于2.5个像素的大小。由衍射极限公式知,其数值孔径大小为1.4,波长λ为560 nm。设置焦深zr为500 nm,设置像散参数γ为200 nm。根据大量荧光分子图像的分析结果,设置每个荧光分子所发射的光子数服从对数正态分布, 峰值为5000, 标准差为1700。探测器所能接收的光子数由荧光分子的曝光时间、辐射效率以及探测效率共同决定。实际上,信噪比越好代表采集的光子数越多,这就意味着拟合结果以及定位精度更好。将坐标原点设置为样品中心。在模拟生成荧光分子图像时,让32个分子(横向投影密度为4 μm−2) 随机分布在三维空间内,如图3(彩图见期刊电子版)所示。给图像添加一个高斯噪声(均值为零,方差为2个光子)和50个光子数的均匀背景噪声。为了使模拟更接近实际情况在整个图像上添加泊松化的噪声,添加噪声后,图像的峰值信噪比为 (PSNR) 24.2746 dB,由公式(1)产生的图像如图3中底面所示,图像的尺寸应略大于样品的成像区域,以避免图像边缘对重构算法的影响。

      图  3  绿色星号为三维空间随机分布的荧光分子;三维空间的底面图像为荧光分子模拟生成的图像

      Figure 3.  The fluorescent molecules of 3D space random distribution are indicated in green star. The simulated measured image is shown in the bottom of the 3D space.

    • 为了验证基于压缩感知的L1-H算法的有效性,通过比较CVX方法,OMP算法与L1-H三种算法的性能,模拟生成不同荧光分子的密度图像,其密度从0.5到16变化,每张图像大小为46 pixel × 46 pixel,有效像元大小设置为80 nm。为了定量分析几种算法性能,采用模拟生成的不同方法对生成的荧光分子图像进行重构,分别从恢复率,横向与轴向定位精度,算法运行时间对3种算法做了对比(图4)。恢复率和定位精度的定义与计算方法可参考文献[27]。从图4可以看出:随着分子密度的增加,恢复率会降低,但密度小于16 时,3种算法的恢复率都大于70%,并且比较接近(图4(a));随着荧光分子密度的增加,横向定位精度与轴向定位精度会变差,CVX方法和L1-H两种方法的定位性能相近,OMP算法相对其它两种算法,定位精度差很多(图4(b)4(c));算法的运行时间是重构一张46 pixel × 46 pixel的荧光分子图像所用的时间,从图4(d)可以看出,采用OMP算法和L1-H算法的运行速度比CVX方法快了两个量级。综合考虑,L1-H算法最适合用于三维荧光分子的定位。

      图  4  CVX,OMP和L1-H3种算法对模拟生成的荧光分子图像的重构结果。(a)恢复率;(b)横向XY用标准差Stdev显示定位精度;(c)轴向Z用标准差显示定位精度;(d)算法运行时间

      Figure 4.  Reconstructed results of simulated fluorescnce molecule image by three kinds of algorithms. (a) Recovery rate; (b) localization accuracy of horizontal XY shown with the standard deviation; (c) localization accuracy of axial Z shown with the standard deviation; (d) algorithm running time.

    • 本文对有结构的生物样品和实际生物样品进行了超分辨图像重构,以验证算法的实用性。通过上文分析知,L1-H与CS-CVX的重构密度和定位精度相近,都比OMP算法好,而且L1-H的执行时间比CS-CVX算法快近两个量级,所以接下来仅采用L1-H算法进行分析。

    • 根据荧光显微成像原理,采用模拟软件使八条射线束上随机分布荧光分子,并且使八条射线逆时针分布在不同的三维空间内,如图5(彩图见期刊电子版)所示。轴向范围为−200 ~ nm (图5(a)),分子处在不同的轴向位置时,其颜色不同,图5(a)中的颜色条表示分子的轴向位置。为准确对比清晰度,将−250 nm设置为所有的背景值,黑色为图像的背景颜色。为实现荧光分子的稀疏分布,对三维空间内的荧光分子进行随机激发。图5(b)即为经过光学系统后所成的像,其中白色比例尺为800 nm,随机分布的图像里分子数为54。为了让射线束连续,随后模拟随机生成200帧不同分子分布的图像。然后,进行图像叠加,这200帧图像的分子叠加结果如图5(a)所示。图5(c)为直接进行叠加的宽场图像。对每张图像进行重构,图5(d)是把所有的结果进行叠加而得到的三维超分辨图像。其轴向范围由图5(a)5(d)中的颜色条所表示,单位为nm。光子数由图5(b)5(c)的颜色标尺表示。从8条射线形状可以看出横向定位基本正确,从颜色可以看出轴向定位结果非常接近真实结果,由此验证了算法的实用性。

      图  5  模拟生物实验的三维重构结果,图中的比例尺为800 nm。 (a)模拟生成随机分布的荧光分子累加结果,横向范围为6.9 μm × 6.9 μm,轴向范围为−200 ~ −200 nm;(b)随机生成一帧图像;(c)随机生成200幅图像进行累加结果;(d)用算法分别对200帧图像进行重构定位出分子整合成的一张三维超分辨图像。

      Figure 5.  3D reconstructed results of simulated bioexperiment (scale bar is 800 nm). (a) Accumulation results of randomly distributed fluorescent molecules with a transverse range of 6.9 μm×6.9 μm and an axial range from −200 nm to 200 nm. (b) A randomly generated frame of image. (c) Accumulation results of randomly generated 200 frames of images. (d) A 3D super-resolution image obtained by reconstructing 200 frames of images.

    • 通过上述的模拟实验可知,超分辨成像可以应用于模拟的生物样品中。接下来,选取实际的生物样品对此算法进行验证。选取非洲绿猴肾细胞进行了荧光显微成像实验,然后对采集到的非洲绿猴肾细胞荧光图像进行重构处理,如图6(彩图见期刊电子版)所示。宽场图像是由2 000帧图像直接累加而成,在图6(a)右边的颜色标尺表示归一化的光子数;对每帧荧光图像用L1-H算法进行定位,然后对所有帧定位之后的图像进行累加,最后获得的三维超分辨成像如图6(b)所示。图右边的颜色标尺表示分子所处在的轴向深度。从图6(a),6(b)分别取出图6(a)白线位置对应时像素值,然后对其进行归一化,如图7所示。从图可以看出横向分辨率有了很大的提高。从而验证此算法具有一定的实用性。

      图  6  三维超分辨图像的重构结果。(a)由2 000帧荧光图像累加得到的宽场图像;(b)本文算法重构的三维超分辨图像

      Figure 6.  Reconstructed results of 3D super-resolution image (scale bar is 2 μm). (a) Wide-field image obtained by accumulating 2 000 frames of fluorescent images. (b) 3D super-resolution image reconstructed by the proposed algorithm.

      图  7  图6(a)中白线所在位置的宽场图像与对应位置在图6(b)中的重构结果

      Figure 7.  Comparison of reconstructed resutts and wide-field tesults along the white line in Fig.6

    • 本文提出将L1范数最小化的同伦算法应用于三维分子定位中,并在传统的荧光显微镜中引入柱透镜,形成三维的点扩展函数,然后建立压缩感知模型。此模型可以应用于各种三维点扩展函数中,其随压缩感知模型中观测矩阵的变化而变化。根据模拟和实验结果可得出以下结论:基于L1-H的三维压缩感知方法比采用MATLAB 工具箱CVX方法的计算速度快了两个数量级,并且其定位精度优于OMP算法。L1-H算法可对高密度的STORM数据实现三维的超分辨成像,同时还可以实现纳米精度的快速定位。

参考文献 (27)

目录

    /

    返回文章
    返回