留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

空间变化PSF非盲去卷积图像复原法综述

郝建坤 黄玮 刘军 何阳

郝建坤, 黄玮, 刘军, 何阳. 空间变化PSF非盲去卷积图像复原法综述[J]. 中国光学, 2016, 9(1): 41-50. doi: 10.3788/CO.20160901.0041
引用本文: 郝建坤, 黄玮, 刘军, 何阳. 空间变化PSF非盲去卷积图像复原法综述[J]. 中国光学, 2016, 9(1): 41-50. doi: 10.3788/CO.20160901.0041
HAO Jian-kun, HUANG Wei, LIU Jun, HE Yang. Review of non-blind deconvolution image restoration based on spatially-varying PSF[J]. Chinese Optics, 2016, 9(1): 41-50. doi: 10.3788/CO.20160901.0041
Citation: HAO Jian-kun, HUANG Wei, LIU Jun, HE Yang. Review of non-blind deconvolution image restoration based on spatially-varying PSF[J]. Chinese Optics, 2016, 9(1): 41-50. doi: 10.3788/CO.20160901.0041

空间变化PSF非盲去卷积图像复原法综述

doi: 10.3788/CO.20160901.0041
基金项目: 应用光学国家重点实验室基金资助项目(No.Y4223FQ141)
详细信息
    通讯作者: 郝建坤(1991-),女,山西大同人,硕士研究生,主要从事图像复原等方面的研究。E-mail:haojiankunlj@163.com黄玮(1965-),男,吉林长春人,研究员,博士生导师,主要从事光学系统设计方面的研究。E-mail:huangw@ciomp.ac.cn
  • 中图分类号: TN911.73

Review of non-blind deconvolution image restoration based on spatially-varying PSF

  • 摘要: 传统的图像复原一般认为点扩散函数(PSF)是空间不变的,实际光学系统由于受到像差等因素的影响,并非严格的线性空间不变系统,基于空间变化PSF的非盲去卷积图像复原法逐渐体现其优越性。空间变化PSF的非盲去卷积图像复原法先准确估计图像空间变化的PSF,再利用非盲去卷积算法对图像进行复原,有利于恢复出高质量图像。本文从算法的角度综述了近几年提出的基于空间变化PSF的非盲去卷积图像复原方法,并对比了基于强边缘预测估计PSF的非盲去卷积法、基于模糊噪声图像对PSF估计非盲去卷积法等算法的优缺点,各算法分别在PSF估计精确度、振铃效应抑制效果、适用范围等方面体现出各自的优劣。空间变化PSF的非盲去卷积图像复原法的研究,有利于推进图像复原技术向更高水平发展,使光学系统往轻小型化方向发展,从而在多个科学领域发挥其重要作用。
  • 图  1  Joshi等人实验的恢复图像

    Figure  1.  Recoverd image in the experiment by Joshi,et al

    图  2  估计失败的PSF和改进后的PSF

    Figure  2.  Unsuccessfully estimated PSF and adjusted PSF

    图  3  改进RL算法和能量最小化算法恢复图像

    Figure  3.  Recovered images by variant RL and energy minimization

    图  4  模糊图像和恢复图像

    Figure  4.  Blurred image and recovered image

    图  5  Christian J.Schuler等人实验的恢复图像

    Figure  5.  Recovered image in the experiment by Christian J.Schuler,et al

    图  6  Heide等人实验的恢复图像

    Figure  6.  Recovered image in the experiment by Heide,et al

    表  1  5种算法实例对比结果

    Table  1.   Comparison results of five examples using different algorithms

    PSF估计去卷积适用范围优点缺点
    Joshi强边缘预测法Richardson-Lucy运动、离焦以及相 机的固有属性 所引起的模糊①速度快 ②PSF估计较准确 ③亚像素分辨率下 复原图像 不适用于模糊核 为多峰的情况
    Michal S orel模糊/噪声图 像对估计法改进的RL算法 运动模糊①比单幅图像复 原速度更快 ②振铃效应抑 制效果好 拍摄两幅不同曝 光度的图像不 易控制
    Hao Lin刀刃法+ 分段插值最小二乘共轭梯度像差引起的模糊 避免振铃效应像质提高不明显
    Christian J.Schuler频域直接计算Hyper-Laplacian先 验+demosaicing 运动模糊、 像差模糊 ①PSF估计快速有效 ②恢复图像全彩色 ③能用于单透镜 成像复原 单透镜复原效 果差一些,PSF 有待改进
    Heide一阶原始对 偶算法一阶原始对 偶算法像差引起的模糊 ①速度快,鲁棒性好 ②振铃效应抑制 效果好 ③可用于多种相 机图像复原 简单透镜系统的 图像复原效果 差一些
    下载: 导出CSV
  • [1]

    [1] JADHAV R D,DESHMUKH P P.Parameter assumption for blind and non-blind deblurring in image processing[J].International J.Electrical,Electronics and Computer Engineering,2014,3(1):1-9.
    [2] KUNDUR D,HATZINAKOS D.Blind image deconvolution[J].Signal Processing Magazine,IEEE,1996,13(3):43-64.
    [3] YAP K H,GUAN L,LIU W.A recursive soft-decision approach to blind image deconvolution[J].Signal Processing,IEEE Transactions on,2003,51(2):515-526.
    [4] CAMPISI AND K.EGIAZARIAN.Blind Image Deconvolution:Theory and Applications[M].CRC Press,2007.
    [5] YIN H,HUSSAIN I.Blind source separation and genetic algorithm for image restoration[C].2006 International Conference on Advances in Space Technologies,IEEE,2006:167-172.
    [6] JUSTEN L,RAMLAU R.A non-iterative regularization approach to blind deconvolution[J].Inverse Problems,2006,22(3):771.
    [7] BABACAN S D,MOLINA R,KATSAGGELOS A K.Variational Bayesian blind deconvolution using a total variation prior[J].IEEE Transactions on Image Processing,2009,18(1):12-26.
    [8] KRAHMER F,LIN Y,MCADOO B,et al.Blind image deconvolution:Motion blur estimation[J].IMA Preprints Series,2006:2133-5.
    [9] OLIVEIRA J P,FIGUEIREDO M A T,BIOUCAS-DIAS J M.Blind Estimation of Motion Blur Parameters for Image Deconvolution[M].Berlin Heidelberg:Springer,2007:604-611.
    [10] WIENER N.Extrapolation,Interpolation,and Smoothing of Stationary Time Series[M].Cambridge,MA:MIT Press,1949.
    [11] RICHARDSON W H.Bayesian-based iterative method of image restoration[J].J.Optical Society of Ameirica,1972,62(1):55-59.
    [12] LUCY L B.An iterative technique for the rectification of observed distributions[J].The astronomical J.,1974,79:745.
    [13] HUNT B R.The application of constrained least squares estimation to image restoration by digital computer[J].IEEE Transaction on Computers,1973,100(9):805-822.
    [14] LOHMANN A W,PARIS D P.Space-variant image formation[J].J.Optical Society of America,1965,55(8):1007-1013.
    [15] KLAPP I,YITZHAKY Y.Angular motion point spread function modelconsidering aberrations and defocus effects[J].J.Opt.Soc.Am.A,2006,23(8):1856-1864.
    [16] TRUSSELL H,HUNT B.Image restoration of space variant blurs by sectioned methods[J].IEEE Trans.Acoustics,Speech and Signal Process(S0096-3518),1978,26(6):608-609.
    [17] TRUSSEL H,HUNT B.Sectioned methods for image restoration[J].IEEE Trans.Acoustics,Speech and Signal Process(S0096-3518),1978,26(2):157-164.
    [18] COBB M L,HERTZ P L,WHALEY R O.Space variant point function deconvolution of hubbleimagery using the connection machine[J].SPIE,1993,2029:202-208.
    [19] FAISAL M,LANTERMAN A D,SNYDER D L,et al..Implementation of a modified richardson-lucy method for image restoration on a massively parallel computer to compensate for space-variant point spread function of a charge-coupled device camera[J].J.Optical Society of America A,1995,12:2593-2603.
    [20] BODEN A F,REDDING D C,HANISCH R J.Massively parallel spatially-variant maximum likelihood restoration of hubble space telescope imagery[J].J.Optical Society of America A,1996,13:1537-1545.
    [21] COSTELLO T P,MIKHAEL W B.Efficient restoration of space-variant blurs from physical optics by sectioning with modified Wiener filtering[J].Digital Signal Processing,2003,13(1):1-22.
    [22] GUO Y P,LEE H P,TEO C L.Blind restoration of images degraded byspace-variant blurs using iterative algorithms for both blur identification and image restoration[J].Image and Vision Computing,1997,15(5):399-410.
    [23] KIM J,TSAI A,CETIN M,et al..A curve evolution-based variational approach to simultaneous image restoration and segmentation[J].IEEE International Conference on Image Processing,2002,1:109-112.
    [24] BAR L,SOCHEN N A,KIRYATI N.Restoration of Images with Piecewise Space-Variant Blur[M].Berlin Heidelberg:Springer-Verlag,2007,4485:533-544.
    [25] OZKAN M K,TEKALP A M,SEZAN M I.POCS-based restoration of space-varying blurredimages[J].IEEE Transactions on Image Processing(S1057-7149),1994,3(4):450-454.
    [26] WELK M,THEIS D,WEICKERT J.Variation Aldeblurring of Images with Uncertain and Spatially Variant Blurs[M].Berlin Heidelberg:Springer-Verlag,2005,3663:485-492.
    [27] 朱明,杨航,贺柏根,等.联合梯度预测与导引滤波的图像运动模糊复原[J].中国光学,2013,6(6):850-855.ZHU M,YANG H,HE B G,et al..Image motion blurring restoration of joint gradient prediction and guided filter[J].Chinese Optics,2013,6(6):850-855.(in Chinese)
    [28] JOSHI N,SZELISKI R,KRIEGMAN D J.PSF estimation using sharp edge prediction[C].Computer Vision and Pattern Recognition,2008.CVPR 2008.IEEE Conference on.IEEE,2008:1-8.
    [29] LIM S H,SILVERSTEIN D A.Method for deblurring an image:U.S.8654201[P].2014-2-18.
    [30] YUAN L,SUN J,QUAN L,et al..Image deblurring with blurred/noisy image pairs[J].ACM Transactions on Graphics,2007,26(3):1.
    [31] ŠOREL M,ŠROUBEK F,FLUSSER J.Recent advances in space-variant deblurring and image stabilization[M].Netherlands:Springer,2009:259-272.
    [32] ŠOREL M,FLUSSER J.Space-variant restoration of images degraded by camera motion blur[J].Image Processing,IEEE Transactions on,2008,17(2):105-116.
    [33] YUAN L,SUN J,QUAN L,et al..Progressive inter-scale and intra-scale non-blind image deconvolution[J].ACM Transactions on Graphics,2008,27(3):74.
    [34] HIRSCH M,SRA S,SCH LKOPF B,et al..Efficient filter flow for space-variant multiframe blind deconvolution[J].In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2010:607-614.
    [35] STOCKHAM J T G.High-speed convolution and correlation[C].Proceedings of the April 26-28,1966,Spring joint computer conference.ACM,1966:229-233.
    [36] KRISHNAN D,FERGUS R.Fast image deconvolution using hyper-Laplacian priors[C].Advances in Neural Information Processing Systems,Springer,2009:1033-1041.
    [37] LEVIN A,WEISS Y,DURAND F,et al..Understanding and evaluating blind deconvolution algorithms[C].IEEE Conference on Computer Vision and Pattern Recognition,2009(CVPR 2009) IEEE,2009:1964-1971.
    [38] SCHULER C J,HIRSCH M,HARMELING S,et al..Non-stationary correction of optical aberrations[C].2011 IEEE International Conference on Computer Vision(ICCV),IEEE,2011:659-666.
    [39] CHAMBOLLE A,POCK T.A first-order primal-dual algorithm for convex problems with applications to imaging[J].J.Mathematical Imaging and Vision,2011,40(1):120-145.
    [41] 郝玲.基于空变系统图像恢复的点扩散函数获取研究[D].哈尔滨:哈尔滨工业大学航天学院,2012.HAO L.Point spread function obtaining research based on the linear space variant image restoration[D].Harbin:Harbin Institute of Technology,2012.(in Chinese)
    [42] HEIDE F,ROUF M,HULLIN M B,et al..High-quality computational imaging through simple lenses[J].ACM Transactions on Graphics,2013,32(5):149.
    [43] FERGUS R,SINGH B,HERTZMANN A,et al..Removing camera shake from a single photograph[J].ACM Transactions on Graphics,2006,25(3):787-794.

  • [1] 周文舟, 范晨, 胡小平, 何晓峰, 张礼廉.  多尺度奇异值分解的偏振图像融合去雾算法与实验 . 中国光学, 2020, 13(6): 1-10. doi: 10.37188/CO.2020-0099
    [2] 郑云达, 黄玮, 徐明飞, 潘云, 贾树强, 张晓菲, 卢勇男.  大视场高像质简单光学系统的光学-算法协同设计 . 中国光学, 2019, 12(5): 1090-1099. doi: 10.3788/CO.20191205.1090
    [3] 王军, 何昕, 魏仲慧, 穆治亚, 吕游, 何家维.  基于区域滤波的模糊星图复原方法 . 中国光学, 2019, 12(2): 321-331. doi: 10.3788/CO.20191202.0321
    [4] 郑云达, 黄玮, 潘云, 徐明飞, 贾树强, 张晓菲, 卢勇男.  简单光学系统的宽光谱点扩散函数估计 . 中国光学, 2019, 12(6): 1418-1430. doi: 10.3788/CO.20191206.1418
    [5] 谭翠媚, 许廷发, 马旭, 张宇寒, 王茜, 闫歌.  图-谱结合的压缩感知高光谱视频图像复原 . 中国光学, 2018, 11(6): 949-957. doi: 10.3788/CO.20181106.0949
    [6] 杨航, 吴笑天, 王宇庆.  基于结构字典学习的图像复原方法 . 中国光学, 2017, 10(2): 207-218. doi: 10.3788/CO.20171002.0207
    [7] 许廷发, 苏畅, 罗璇, 卞紫阳.  基于梯度和小波变换的水下距离选通图像去噪 . 中国光学, 2016, 9(3): 301-311. doi: 10.3788/CO.20160903.0301
    [8] 李正炜, 王建立, 吴元昊, 王国聪, 刘帅.  基于单站地基望远镜的空间目标姿态估计方法 . 中国光学, 2016, 9(3): 371-378. doi: 10.3788/CO.20160903.0371
    [9] 许廷发, 罗璇, 苏畅, 卞紫阳.  多帧距离选通图像点扩散函数估计的超分辨率重建 . 中国光学, 2016, 9(2): 226-233. doi: 10.3788/CO.20160902.0226
    [10] 朱瑞飞, 魏群, 王超, 贾宏光, 吴海龙.  基于随机点扩散函数的多帧湍流退化图像自适应复原方法 . 中国光学, 2015, 8(3): 368-377. doi: 10.3788/CO.20150803.0368
    [11] 曹雷, 陈洪斌, 邱琪, 张建林, 任戈, 徐智勇, 张彬.  盲图像复原研究现状 . 中国光学, 2014, 7(1): 68-78. doi: 10.3788/CO.20140701.068
    [12] 朱明, 杨航, 贺柏根, 鲁剑锋.  联合梯度预测与导引滤波的图像运动模糊复原 . 中国光学, 2013, 6(6): 850-855. doi: 10.3788/CO.20130606.850
    [13] 曹海霞, 巴音贺希格, 崔继承, 张永超.  基于图像复原的高光谱图像前向像移补偿 . 中国光学, 2013, 6(6): 856-862. doi: 10.3788/CO.20130606.856
    [14] 吴笑天, 鲁剑锋, 贺柏根, 吴川, 朱明.  雾天降质图像的快速复原 . 中国光学, 2013, 6(6): 892-899. doi: 10.3788/CO.20130606.892
    [15] 阎雪飞, 许廷发, 白廷柱.  改进的固定点图像复原算法 . 中国光学, 2013, 6(3): 318-324. doi: 10.3788/CO.20130603.0318
    [16] 孙宏海, 刘艳滢.  改进的盲解卷积技术在远距离激光光斑图像复原中的应用 . 中国光学, 2013, 6(6): 868-875. doi: 10.3788/CO.20130606.868
    [17] 孙辉, 李志强.  基于相位相关的匀速直线运动 模糊图像位移参数估计 . 中国光学, 2012, 5(2): 174-180. doi: 10.3788/CO.20120502.0174
    [18] 杨利红, 赵变红, 张星祥, 任建岳.  点扩散函数高斯拟合估计与遥感图像恢复 . 中国光学, 2012, 5(2): 181-188. doi: 10.3788/CO.20120502.0181
    [19] 邸男, 付东辉, 王毅楠.  利用加权预测的图像迭代盲解卷积 . 中国光学, 2011, 4(5): 514-518.
    [20] 罗潇, 孙海江, 陈秋萍, 陈静, 王延杰.  Bayer格式图像的实时彩色复原 . 中国光学, 2010, 3(2): 182-187.
  • 加载中
图(6) / 表 (1)
计量
  • 文章访问数:  586
  • HTML全文浏览量:  153
  • PDF下载量:  1523
  • 被引次数: 0
出版历程
  • 收稿日期:  2015-09-11
  • 录用日期:  2015-11-13
  • 刊出日期:  2016-01-25

空间变化PSF非盲去卷积图像复原法综述

doi: 10.3788/CO.20160901.0041
    基金项目:  应用光学国家重点实验室基金资助项目(No.Y4223FQ141)
    通讯作者: 郝建坤(1991-),女,山西大同人,硕士研究生,主要从事图像复原等方面的研究。E-mail:haojiankunlj@163.com黄玮(1965-),男,吉林长春人,研究员,博士生导师,主要从事光学系统设计方面的研究。E-mail:huangw@ciomp.ac.cn
  • 中图分类号: TN911.73

摘要: 传统的图像复原一般认为点扩散函数(PSF)是空间不变的,实际光学系统由于受到像差等因素的影响,并非严格的线性空间不变系统,基于空间变化PSF的非盲去卷积图像复原法逐渐体现其优越性。空间变化PSF的非盲去卷积图像复原法先准确估计图像空间变化的PSF,再利用非盲去卷积算法对图像进行复原,有利于恢复出高质量图像。本文从算法的角度综述了近几年提出的基于空间变化PSF的非盲去卷积图像复原方法,并对比了基于强边缘预测估计PSF的非盲去卷积法、基于模糊噪声图像对PSF估计非盲去卷积法等算法的优缺点,各算法分别在PSF估计精确度、振铃效应抑制效果、适用范围等方面体现出各自的优劣。空间变化PSF的非盲去卷积图像复原法的研究,有利于推进图像复原技术向更高水平发展,使光学系统往轻小型化方向发展,从而在多个科学领域发挥其重要作用。

English Abstract

郝建坤, 黄玮, 刘军, 何阳. 空间变化PSF非盲去卷积图像复原法综述[J]. 中国光学, 2016, 9(1): 41-50. doi: 10.3788/CO.20160901.0041
引用本文: 郝建坤, 黄玮, 刘军, 何阳. 空间变化PSF非盲去卷积图像复原法综述[J]. 中国光学, 2016, 9(1): 41-50. doi: 10.3788/CO.20160901.0041
HAO Jian-kun, HUANG Wei, LIU Jun, HE Yang. Review of non-blind deconvolution image restoration based on spatially-varying PSF[J]. Chinese Optics, 2016, 9(1): 41-50. doi: 10.3788/CO.20160901.0041
Citation: HAO Jian-kun, HUANG Wei, LIU Jun, HE Yang. Review of non-blind deconvolution image restoration based on spatially-varying PSF[J]. Chinese Optics, 2016, 9(1): 41-50. doi: 10.3788/CO.20160901.0041
    • 图像退化是指在图像获取传输过程中,由成像系统、传输介质方面的原因造成图像质量下降,典型的表现为图像模糊、失真等。产生图像退化的原因有很多,常见的有以下几种:

      (1)目标或拍摄装置的移动造成的运动模糊,长时间曝光引起的模糊等;

      (2)焦点未对准、广角引起的模糊,大气扰动引起的模糊,曝光时间太短导致拍摄装置捕获的光子太少引起的模糊等;

      (3)散焦引起的图像扭曲;

      (4)图像在成像、数字化、采集和处理过程引入的噪声;

      (5)成像系统本身的像差引起的模糊。

      根据点扩散函数(PSF)是否已知,图像去模糊的方法大致可以分为两类[1]:(1)盲去卷积,即图像的PSF是未知的;(2)非盲去卷积,即图像的PSF已知。

      对于盲去卷积,由于PSF未知,在恢复清晰图像的过程中,还要对PSF进行估计,这是一个具有挑战性的病态逆问题。现实生活中绝大多数模糊图像的PSF未知,这使得图像盲复原更接近实际情况,因此大量盲去卷积的算法涌现出来[2, 3, 4, 5, 6, 7],其中针对运动模糊[8, 9]和离焦模糊[5]等不同的模糊情况有不同的算法。

      对于非盲去卷积,PSF要求已知,或者可以由算法来估计。根据模糊和PSF是否为空间变化,非盲去卷积可以分为空间不变PSF非盲去卷积和空间变化PSF非盲去卷积。空间不变PSF非盲去卷积认为光学系统点扩散函数空间不变,整幅图像利用同一个PSF去卷积。经典的空间不变PSF非盲去卷积算法有维纳滤波算法[10]、Richardson-Lucy算法[11, 12]、约束最小二乘算法[13]等,这些算法在图像复原过程中会出现振铃效应、噪声放大等问题。空间变化PSF非盲去卷积基于光学系统点扩散函数的空间变化性去卷积,其整体思路为先对成像系统的点扩散函数作评估,使其尽量接近真实值,再利用非盲去卷积的方法对图像进行复原。若能较精确估计图像空间变化的PSF,则更有利于恢复出高质量的图像。

      本文将简单介绍空间变化PSF非盲去卷积算法的发展史,并对近几年提出的几种算法进行介绍与分析,并针对各算法图像复原结果对它们的优缺点进行评述,最后做出总结与展望。

    • 图像的退化模型可用下面的数学表达式表述: 式中,g(x,y)是指退化的图像,h(x,y)是指点扩散函数,f(x,y)为原图像,n(x,y)为加性噪声,*代表卷积运算。

      从图像退化模型来看,恢复清晰图像是一个反卷积的过程,利用非盲去卷积对图像进行复原,则需对图像的PSF进行估计。传统的图像复原方法认为PSF空间不变,而实际上光学系统受像差等因素的影响并非是严格的线性空间不变系统,系统的点扩散函数会随着视场的变化而改变,因此空间变化PSF非盲去卷积图像复原法的提出,更有利于提高复原质量。

      空间变化图像复原建模困难,计算量大,从20世纪60年代开始很多学者对此展开了深入研究。1965年,罗曼和帕尔斯[14]首先对各视场退化不同这一现象进行了讨论;2006年,加纳[15]在考虑像差和离焦的情况下对运动模糊所产生的空间变化点扩散函数进行了讨论。空间变化PSF非盲去卷积算法主要利用分块复原的方法对图像去模糊。

      分块复原法由Trussell和Hunt于1978 年首先提出[16, 17],其主要步骤为将图像划分为子块,认为每一子块图像的点扩散函数是空间不变的,然后对每个子块利用维纳滤波算法去卷积,最后将复原后的子图像块拼接到一起,重构整幅清晰图像。1993年,Michael L.Cobb等人利用大型并行计算机实现了Richardson-Lucy算法及最大熵算法,恢复了哈勃图像[18]。1995 年,Faisal等人在更为先进的并行计算机上,基于空间变化PSF,采用Richardson-Lucy恢复了哈勃图像[19]。1996年,Boden[20]等人考虑了点扩散函数分块插值的结果,使用Richardson-Lucy算法成功恢复了哈勃图像。1997年,Thomas[21]对分块复原展开深入研究,应用等晕区对图像划分,进而对图像各区域进行复原。由于分块复原法将复原图像块拼接后容易出现边缘效应,因此随后许多学者对此展开研究,Guo等人[22]将图像分块后利用期望最大化算法(Expectation-Maximization,EM)估计各图像块的PSF,得到图像空间变化PSF,再用空间自适应限制最小二乘法复原图像,图像细节多的区域使用较松的规则化参数及较快的收敛速度,而在图像相对平坦的区域使用较严格的规则化参数及较慢的收敛速度,从而抑制了边缘效应;Junmo Kim[23]以及Leah Bar[24]等人分别在2002年,2007年先后针对局部模糊图像先使用交替最小化方法寻找模糊图像边界,然后利用Mumford-Shah 规整化方法复原图像,抑制边缘振铃效应。

      除了分块复原,还可以利用直接复原的方法,其步骤为先测得整幅图像空间变化的PSF,再使用非盲去卷积对图像进行恢复。Berger等人[25]提出一种空变自适应方法,将正则化和幻影抑制约束同时集成到算法中,利用凸集投影法复原图像,不仅提高了像质,还消除了振铃效应;2005年,Martin[26]利用直接复原法对图像进行恢复,使用非凸的 Perona-Malik规整化方法提高算法的鲁棒性,取得较好的效果。

      随着图像处理技术的发展,近几年许多学者在前人研究的基础上,提出了更多基于空间变化PSF的非盲去卷积图像复原法,这些算法处理速度快、鲁棒性好、适用范围广,具有较好的性能。接下来将对2008年至今所提出的一些方法进行介绍与分析。

    • 对于仅已知一幅模糊图像的盲复原问题,准确估计PSF是核心问题。由于图像强边缘经模糊后对图像质量影响较大[27],因而通过强边缘预测法[28]寻找图像的强边缘,在预测到的强边缘信息中,选择半径为r区域内的像素值作为有效像素用来估计空间变化的PSF。评估PSF时,基于贝叶斯框架,可表述为求解最大后验概率(MAP)问题[43],进而转化为求负对数似然比之和的最小值。 式中,第一项数据项L(B|K)=‖M(B)-M(I*K)2/σ2,其中M为掩膜函数,表示该项只需上述的有效像素进行估计,σ为测得的噪声;第二项L(K)=λγ‖Δ K2为平滑先验项,其中λ是权重因子,γ将模糊核归一化。整个问题可化解为求以下误差函数的最小值: 式中,Ki≥0,用牛顿投影梯度法求解该非负线性最小二乘问题。

      图像空间变化PSF估计得到后,可以用各种非盲去卷积算法对图像去模糊,但必须保证算法整体的有效性。

    • 利用两幅不同曝光度的图像对模糊图像进行复原的想法,最早由S.H.Lim和D.A.Silverstein提出[29]。该算法估计图像空间变化的PSF,需要对同一场景拍摄两幅图像:一幅模糊图像,一幅噪声图像[30]。将两幅图像分成相同的N×N个图像块,先测得每个图像块中心的PSF值,图像其余位置的PSF利用双线性插值近似得到。分块图像的模糊可表示为[31]: 式中,zTi,j表示模糊图像块的转置,ui,j为相对应的噪声图像块,hi,j是对应的模糊核,ni,j是相应噪声图像块所包含的高斯噪声。评估模糊核可表示为如下最小二乘形式: 式中,第一项为误差项,表示清晰图像与模糊核卷积所得的模糊图像和输入的模糊图像之间的误差,其越接近0越好;第二项为正则项,减少由模型的不精准度所引入的噪声。

      如此估计得到的PSF是失败的,部分模糊核形状异常,因此需要对无效的模糊核进行判断,进而对其修正。判定无效模糊核位置的方法有两种:(1)计算各子窗口模糊核的熵,超过某阈值的即为无效模糊核;(2)由像素饱和引起的PSF估计失败则更为严重,解决此问题需计算各子窗口模糊核值的和,对于有效模糊核,其值之和应该接近于1,因而模糊核值之和与其他偏差较大的即为无效模糊核。确定无效模糊核位置后,用与其相邻的有效模糊核的平均值作为其修正值。

      PSF确定后,通过能量函数最小化的方法对图像去卷积: 式中,第一项为误差项;第二项为全变分正则项,它不仅能有效去除噪声,而且不会过平滑图像边缘,除此之外,某种程度上能够抑制由像素饱和引起的振铃效应。通过半二次迭代法[32]求解式(6)最小值。

      用参考文献[30][33]提出的改进的Richardson-Lucy(RL)算法对图像去卷积,先利用残余RL算法(residual RL)对图像初步恢复,再用增益控制RL算法(Gain-controlled RL)进一步去除振铃效应,其速度比能量函数最小化法更快。

    • PCGLS算法与分块复原法相近,但并不是分别对每个区域进行复原再拼接到一起,而是将每一区域点扩散函数进行插值预处理,再利用最小二乘共轭梯度法对图像全局复原,可有效避免传统分块复原法造成的边缘振铃效应。

      首先将图像分为N×N个矩形区域,然后测部分区域的PSF。测量PSF的方法有点脉冲法、脉冲法、刀刃法。接着对点扩散函数进行插值预处理,获得其他区域的点扩散函数,经过插值预处理得到的PSF更为精确,避免了实验设备条件不完善引入的误差,有利于后续对图像的复原。插值预处理的方法有线性插值、三次样条插值、及分段三次Hermite插值多项式插值。线性插值一般插值效果不理想,实际应用较少。分段三次Hermite插值函数比线性插值函数光滑性好,但不具有收敛性,而且会产生Runge现象,插值效果不理想。三次样条插值效果最好,应用比较广泛。

      图像复原问题可转化为求解最小二乘法问题: 共轭梯度法是一种求解最优化问题最有效的迭代方法,将其引入求解该最小二乘问题中,可获得较好的复原效果。
    • Hirsch[34]等人提出的EFF(Efficient Filter Flow)法,基于频域来计算图像空间变化的PSF。在不考虑噪声的情况下,图像模糊可用矩阵向量相乘(MVM,matrix-vector-multiplication)线性表示y=Ax。参考文献[35]提出的叠加(OLA,overlap-add )的方法,能够在频域中快速有效地计算空间变化的PSF。主要思想为将模糊图像重叠分为p块,其中一块模糊图像表示为[34]: 式中,x为清晰图像,a(r)为第r个图像块的滤波器,其长度为k,w(r)是一个长度与x相同的窗口函数,使得第r个图像块与清晰图像x相对应的位置像素值不为0。
      整幅图像空间变化的PSF可表示为: 式中,A(r)表示a(r)的矩阵形式,Diag(v)表示向量v的对角矩阵形式,将式(9)转化到频域中: 式中,Cr是剪切矩阵,Za,Zy为补零矩阵,F表示离散傅里叶变换。
      对于图像去模糊问题,自然场景的图像梯度符合重尾分布是一个非常有效的先验知识,而这种分布可以由Hyper-Laplacian(p(x)∝e-k|x|a)来很好地描述。参考文献[36]利用Hyper-Laplacian先验对图像进行去卷积(PSF由参考文献[37]的方法测得),复原图像的像质有很大提高。Christian J.Schuler[38]等人不仅基于Hyper-Laplacian先验加入正则项‖Δ x1r使图像更平滑,而且在去卷积的同时加入正则项2(‖xR22/4+‖xG22/2+‖xB22/4)对图像进行去马赛克变换(Demosaicing),恢复图像的全彩色。 式中,第一项为数据保真项,对于‖Δ x1r,在正则化之前将RGB图像转换到YUV色彩空间,可以保证对图像色度通道的正则化比重大于对亮度通道的正则化,最后一项为拜耳矩阵正则项。
    • 交叉通道先验去卷积就是不同的颜色通道在去卷积过程中共享信息,那么特征频率保存较完好的某一颜色通道就可以帮助其他颜色通道重构图像。凸的交叉通道先验图像复原法,不仅保证了全局收敛至最佳值,而且即使图像存在较严重的模糊,也能恢复出质量较好的图像。

      评估空间变化的PSF,需要对同一场景拍摄一幅模糊图像(正常光圈大小下拍摄)和一幅清晰图像(光圈缩小至接近小孔拍摄),将模糊图像和清晰图像划分成若干个大小相同的图像块。设j为模糊图像的一个图像块,I表示相对应的清晰图像块,估计PSF的最佳值bopt相当于求解下面的最小化问题: 式中,第一项是线性最小方差的数据融合项,是某个图像块的清晰图像与模糊图像像素值之比,表示清晰图像块和模糊图像块之间的差异;第二项为全变分先验;第三项表示能量约束项。式(12)是一个凸优化问题,采用一阶原始对偶优化算法[39],通过不断迭代得到最优PSF。得到最佳PSF以后,利用去卷积算法最终恢复清晰图像。将该交叉通道先验运用到所有颜色通道的去卷积过程中,可以用以下优化问题来描述: 式中,第一项为最小二乘数据拟合项,第二项为图像先验项,第三项为交叉通道先验项。其中c表示不同颜色通道,i为清晰图像,j为模糊图像,B是模糊核,H是卷积矩阵,λβ均为权重因子。式(13)类似于式(12),同样使用一阶原始对偶优化算法来求解,最终恢复出清晰的图像。
    • 基于强边缘预测估计PSF的非盲去卷积法适用于由运动、离焦以及相机的固有属性所引起的模糊,运行速度快,对各种图像都能较准确地估计其模糊核,且能够在亚像素分辨率条件下,估计图像空间变化的PSF。然而,它也有一定的局限性,只能求解具有单峰的模糊核,一旦模糊核为多峰,该算法就不再有效。这种局限性主要来源于对边缘检测器的依赖,对于每个模糊边缘,边缘检测器只能找到一个位置。Joshi[28]等人利用上述方法对同时存在离焦和运动模糊的图像进行复原,测得整幅图像的PSF后(其中噪声由参考文献[40]提出的方法测得),利用经典的Richardson-Lucy算法进行去卷积,有效抑制振铃效应,并校正色差,实验结果如图 1

      图  1  Joshi等人实验的恢复图像

      Figure 1.  Recoverd image in the experiment by Joshi,et al

      基于模糊/噪声图像对PSF估计非盲去卷积法主要用于运动模糊,其独特之处在于用两幅不同曝光度的图像进行图像复原。相比于单幅图像复原,其速度更快,且能分割处理拍摄目标运动引起的模糊。算法整体鲁棒性好,但抑制振铃效应的效果相比多幅图的图像复原差一些。Michal Sorel[31]等人将图像分为7×7的图像块,利用该算法对图像进行复原,分别用能量函数最小化法和参考文献[33]提出的改进的RL算法去卷积,后者速度更快,实验结果见图 2图 3,两种方法复原图像像质都有所提升,虽然利用改进的RL算法去卷积速度较快,但是图像复原质量相比能量函数最小化法差一些。

      图  2  估计失败的PSF和改进后的PSF

      Figure 2.  Unsuccessfully estimated PSF and adjusted PSF

      图  3  改进RL算法和能量最小化算法恢复图像

      Figure 3.  Recovered images by variant RL and energy minimization

      基于预处理的空变PSF的最小二乘共轭梯度法(PCGLS)主要对成像光学系统像差所引起的图像模糊进行复原,引入点扩散函数的全局思想,进而进行全局图像复原。利用插值对PSF进行预处理从而避免了边缘振铃效应,与未经过预处理的空间变化PSF最小二乘共轭梯度法相比,其迭代速度较快,但是像质没有明显提高。郝玲[41]将图像分为5×5个图像块,先用刀刃法测部分区域的PSF,再利用分段插值对PSF进行预处理,最后利用最小二乘共轭梯度法对图像复原,实验结果见图 4

      图  4  模糊图像和恢复图像

      Figure 4.  Blurred image and recovered image

      基于频域估计PSF与Hyper-Laplacian先验的非盲去卷积法主要用于运动模糊和光学系统像差引起的图像模糊。该算法使用重叠分块,在频域中能够快速有效地计算空间变化的PSF。利用Hyper-Laplacian先验对图像进行去卷积,可平滑图像。该算法不仅对复杂成像光学系统图像复原效果很好,而且对于模糊程度非常大的单透镜相机同样有较好的效果,其适用范围广。Christian J.Schuler[38]等人利用该算法,在去卷积的同时加入去马赛克变化,不仅去除模糊还恢复了图像的全彩色,实验结果见图 5,复杂系统和单透镜复原像质都明显提升。

      图  5  Christian J.Schuler等人实验的恢复图像

      Figure 5.  Recovered image in the experiment by Christian J.Schuler,et al

      基于一阶原始对偶算法的凸交叉通道先验图像复原法主要用于光学系统像差导致的图像模糊,运行速度快,鲁棒性好,并且能够使全局收敛至最佳值,交叉通道先验使不同颜色通道能够共享更多图像细节,抑制各通道产生的振铃效应,从而恢复出像质较高的图像。该算法不仅适用于普通商用镜头图像恢复,而且适用于模糊严重的简单透镜系统,同时也可用于多光谱相机的图像复原,适用范围非常广。对简单透镜系统的图像恢复,虽然像质提升至可接受的结果,但是与高端单反相机拍摄的照片相比,像质差一些。Heide[42]等人用焦距为130 mm、F#为4.5的平凸透镜制成单透镜相机并获取模糊图像,其实验恢复结果见图 6,像质明显提高。

      图  6  Heide等人实验的恢复图像

      Figure 6.  Recovered image in the experiment by Heide,et al

      下面分别从估计PSF的方法、去卷积的方法、适用范围、优点以及缺点5个方面,对5种算法实例进行对比,其对比结果见表 1

      表 1  5种算法实例对比结果

      Table 1.  Comparison results of five examples using different algorithms

      PSF估计去卷积适用范围优点缺点
      Joshi强边缘预测法Richardson-Lucy运动、离焦以及相 机的固有属性 所引起的模糊①速度快 ②PSF估计较准确 ③亚像素分辨率下 复原图像 不适用于模糊核 为多峰的情况
      Michal S orel模糊/噪声图 像对估计法改进的RL算法 运动模糊①比单幅图像复 原速度更快 ②振铃效应抑 制效果好 拍摄两幅不同曝 光度的图像不 易控制
      Hao Lin刀刃法+ 分段插值最小二乘共轭梯度像差引起的模糊 避免振铃效应像质提高不明显
      Christian J.Schuler频域直接计算Hyper-Laplacian先 验+demosaicing 运动模糊、 像差模糊 ①PSF估计快速有效 ②恢复图像全彩色 ③能用于单透镜 成像复原 单透镜复原效 果差一些,PSF 有待改进
      Heide一阶原始对 偶算法一阶原始对 偶算法像差引起的模糊 ①速度快,鲁棒性好 ②振铃效应抑制 效果好 ③可用于多种相 机图像复原 简单透镜系统的 图像复原效果 差一些
    • 图像复原是一种逆问题,具有病态性质。实际复原过程中,对PSF测量越准确越有利于恢复出更真实的原图像。传统的图像复原简化了PSF随空间变化的这一实际特性,认为PSF空间不变。基于空间变化PSF的非盲去卷积图像复原从更精确的PSF出发对模糊图像进行复原,更加贴合成像系统的实际成像过程。本文对空间变化PSF的非盲去卷积图像复原法的发展史进行简单描述,重点介绍了近几年提出的一些空间变化PSF非盲去卷积算法,同时对各算法进行评述。

      虽然这些算法已经取得了很多创造性的成果,但是仍然存在一些不足之处:

      (1)准确评估空间变化的PSF是一项具有挑战性的任务,这些算法依然有一定的改进空间。

      (2)对于复原简单透镜系统所成像,若光学系统在设计时能够校正一部分像差,在后期处理时会有更好的恢复效果,从而达到与复杂光学系统相媲美的像质,实现光学设计与后续图像处理算法设计的联合设计将成为新的挑战。

      (3)目前这些算法只是处于实验室研究阶段,还不够完善,并且考虑到嵌入式计算机性能问题,难以运用到实际中。

      我们相信,对这些问题深入细致的研究将有利于完善基于空间变化PSF的非盲去卷积图像复原法,推进图像复原技术向更高水平发展,使光学系统向更小、更轻、更便宜的方向发展,从而在多个科学领域发挥其重要作用。

参考文献 (1)

目录

    /

    返回文章
    返回