Processing math: 52%

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于图像块分解融合的水下标定图像增强

常志文 王立忠 梁晋 李壮壮 龚春园 巫志辉 徐建宁

常志文, 王立忠, 梁晋, 李壮壮, 龚春园, 巫志辉, 徐建宁. 基于图像块分解融合的水下标定图像增强[J]. 中国光学(中英文), 2024, 17(4): 810-822. doi: 10.37188/CO.2023-0218
引用本文: 常志文, 王立忠, 梁晋, 李壮壮, 龚春园, 巫志辉, 徐建宁. 基于图像块分解融合的水下标定图像增强[J]. 中国光学(中英文), 2024, 17(4): 810-822. doi: 10.37188/CO.2023-0218
CHANG Zhi-wen, WANG Li-zhong, LIANG Jin, LI Zhuang-zhuang, GONG Chun-yuan, WU Zhi-hui, XU Jian-ning. Underwater calibration image enhancement based on image block decomposition and fusion[J]. Chinese Optics, 2024, 17(4): 810-822. doi: 10.37188/CO.2023-0218
Citation: CHANG Zhi-wen, WANG Li-zhong, LIANG Jin, LI Zhuang-zhuang, GONG Chun-yuan, WU Zhi-hui, XU Jian-ning. Underwater calibration image enhancement based on image block decomposition and fusion[J]. Chinese Optics, 2024, 17(4): 810-822. doi: 10.37188/CO.2023-0218

基于图像块分解融合的水下标定图像增强

cstr: 32171.14.CO.2023-0218
基金项目: 国家重点研发计划项目(No. 2022YFB4601802);国家自然科学基金资助项目(No. 52275543)
详细信息
    作者简介:

    王立忠(1968—),男,山东梁山人,博士,教授,博士生导师,2004年于西安交通大学获得博士学位,主要从事三维光学测量技术的研究。E-mail:wanglz@mail.xjtu.edu.cn

  • 中图分类号: TP394.1;TH691.9

Underwater calibration image enhancement based on image block decomposition and fusion

Funds: Supported by the National Key R&D Program of China (No. 2022YFB4601802); National Natural Science Foundation of China (No. 52275543)
More Information
  • 摘要:

    针对水下视觉测量中相机标定采集的水下标定图像退化造成标志点信息缺损的问题,提出了一种基于图像块分解融合的水下标定图像增强算法。首先,针对水下标定图像光照不均匀造成图像去雾困难的问题,基于同态滤波实现图像分割并计算全局背景光强,以实现图像去雾。然后,针对水下图像去雾后仍然存在噪声、模糊、光照不均匀等问题,分别进行对比度增强与细节信息增强以获得两幅互补增强图像,将互补图像划分成多个图像块,将图像块分解为平均强度、信号强度和信号结构3个独立分量,3个分量分开融合并求解最终增强图像。最后,采用主客观评价及标志点检测实验评价水下标定图像增强后的质量。实验结果表明,本文方法的视觉效果及客观评价得分均高于UDCP、MSR及ACDC方法,浑浊度为7.6NTU、11.4NTU、15.7NTU、18.4NTU时,标志点检测数量分别提高了2.0%、2.3%、9.3%、21.2%。因此,本文方法可以有效提高水下标定图像质量,为水下视觉测量提供一种稳定可靠的水下标定图像增强方法。

     

  • 随着海洋工程,如海底勘探、考古、管道及船体检测等的快速发展,对水下三维测量精度提出了更高的要求。水下三维测量主要包括声学和光学两种方法:声纳测量距离远,但其精度低且成本高,无法满足实际测量需求[1];水下视觉测量由于具有成本低、测量精度较高的优点,被广泛应用于水下三维测量[2]。水下相机的标定精度会直接影响水下视觉测量系统的测量精度,为了抵消水下折射的影响、保证水下相机的标定精度,通常需将标定板置于水下进行标定[3]。但在进行水下相机标定时,受水对光的吸收、散射和水下杂质等的影响,会导致水下标定图像退化[4],图像中标志点信息缺失,标志点检测数量降低进而会导致标定精度降低,甚至标定失败。因此,研究水下图像增强算法以提高水下标定图像质量有重要意义。

    目前,水下图像增强主要包括基于物理模型和非物理模型两种方法[3]。基于物理模型的方法是通过分析水下图像退化诱因,建立水下图像退化模型,根据退化模型反求未退化图像[5-7]。常见的基于模型的方法有基于点扩散函数模型的方法[8]、基于湍流模型的方法[9]、基于Jaffe-McGlamery水下成像模型的方法[10]和基于去雾模型的方法[11]。这类方法大多只针对特定环境,图像恢复程度有限,基于点扩散函数模型的方法还需特定仪器,价格昂贵。非物理模型的方法是从传统图像处理方法发展而来的,其在像素层级对图像进行处理,以增强图像的特定属性,如对比度、清晰度等。该方法无需环境的先验信息,通用性更好,主要包括滤波[12]、色彩校正[13]、图像融合[14]等方法。该类方法由于未考虑成像特性,可能会引入额外噪声,造成信息缺失等问题。此外,由于深度学习强大的学习能力,基于深度学习的方法也在不断的被尝试应用于水下图像增强,但深度学习的方法受限于大量训练数据,而水下数据集实际中难以采集[15]

    为了解决上述水下标定图像退化给水下相机标定带来的困难,本文提出了一种基于图像块分解融合的水下标定图像增强方法。先分析水下图像退化的诱因,实现水下标定图像去雾,再通过图像块分解融合不同输入图像的互补信息,从而实现图像增强,最后在不同浑浊度下进行主客观评价及标志点检测实验。

    水介质的光学特性不同于空气介质,由于水的密度远高于空气的密度,水对光的吸收和散射作用更明显[16]图1为水下成像模型,在水下成像过程中水对光的散射和吸收会造成水下图像退化。其中,水对光的散射主要包括前向散射与后向散射。前向散射是反射光线受悬浮微粒作用会造成光向前的散射,点光源扩散成一个模糊的圆,使得图像细节模糊;后向散射则是入射光在遇到悬浮微粒后发生向后散射,部分光线传播至图像传感器造成水下图像雾化,导致对比度下降。而水对光的吸收是由于水分子对不同波长的光具有不同的吸收能力,在光线传播过程中将光能转化为其它形式的能量,溶于水中的微小颗粒或分子等也会增加水对光的吸收能力。此外,光线与水分子作用会产生散射,导致光线方向改变。这些因素均使光束在水下传输的距离受限,远远低于在空气中的传输距离,虽然人工照明可以增加可见距离,但水对光的散射影响也会更加严重。水下杂质如漂浮颗粒、悬浮微生物等以及水下成像系统的固有噪声均会影响水下成像质量。

    图  1  水下成像模型
    Figure  1.  Underwater imaging model

    水下湍流对水下光学成像的影响也不可忽视。湍流会引起光波波前相位起伏,造成模糊与拖影。此外,随着光波传输距离的增大,湍流作用累积,使得成像质量变差。缩小测量距离与短曝光可有效缓解水下湍流带来的影响[17]

    Jaffe-McGlamery[10]提出的水下成像模型是最常见的模型之一,该模型定义为:

    ET=Ed+Efs+Ebs. (1)

    该模型将相机接收到的光分为3部分:物体直接反射分量Ed、前向散射分量Efs和后向散射分量Ebs

    物体直接反射分量因水对光的吸收作用而发生衰减,其定义为:

    Ed=Jeηd=Jt (2)

    式中J表示场景亮度,d表示场景深度,t表示介质透射率,η表示衰减系数。

    后向散射分量不是来源于物体的反射光,而是由环境光源和分散在介质中的粒子之间的相互作用产生的。因此,简化后的后向散射模型可以写成:

    Ebs=A(1eηd)=A(1t) (3)

    式中A表示全局背景光强,是一个依赖于波长的标量。

    假设测量场景相距相机不远,忽略前向散射带来的影响。因此水下成像模型可以简化为:

    I(x)=J(x)t(x)+A(1t(x)) (4)

    式中x表示图像中像素的位置,I(x)J(x)分别表示实际图像和理想图像在像素点x的像素值。

    简化后的水下成像模型基于Jaffe-McGlamery成像模型推导而得。该模型为自然光照下的水下成像模型。自然光照为平行光,在只有自然光的情况下,水下图像亮度几乎一致,此时基于去雾模型(简化后的水下成像模型)计算的全局背景光强A较为准确。然而,本文采用的人工光源为点光源,这会造成水下图像中间亮、边缘暗。此时计算的全局背景光强A更多代表图像中间区域的背景光强,因此图像去雾后会存在明显的光照不均匀问题,还需进一步处理。

    根据上述分析,基于退化模型可以补偿后向散射的影响,但无法补偿其他诱因带来的如模糊、噪声等的影响。本文首先基于上述退化模型实现图像去雾,然后对去雾图像进行预处理获取两幅互补增强图像,最后对互补增强图像进行块分解融合,实现水下标定图像增强。

    由式(4)可知,水下图像去雾的关键在于全局背景光强A和透射率图t(x)的计算。本文分别采用基于图像分割的方法和模糊深度估计的方法计算全局背景光强和透射率图。

    3.1.1   基于图像分割的全局背景光强计算

    通常,计算全局背景光强A时取暗通道图像前0.1%像素均值作为全局背景光强值,而暗通道图像像素值一般是彩色图像中相应像素的RGB三通道中的最小值。但在工业场景中,为保证三维测量的精度,通常采用黑白相机采集图像,此时通过彩色图像计算暗通道方法并不可行。图2是浑浊度为18.4浊度单位(Nephelometric Turbidity Units, NTU)时采集的水下标定图像及卷积核为3×3时的最小值滤波结果。可见,滤波前后从图像中仍可观察到标定板边框信息。因此本文认为在图像小区域范围内总存在一个像素符合暗通道值,可通过最小值滤波方法计算暗通道图像。

    图  2  (a) 水下标定图像及(b) 最小值滤波结果
    Figure  2.  (a) Underwater calibration image and (b) minimum value filtering results

    图像中的白色标志点会在一定程度上干扰暗通道图像的计算,从而影响全局背景光强的计算,甚至出现前0.1%的像素全部落在白色区域,导致全局背景光强数值偏大,影响图像去雾效果。

    本文通过图像分割方法分割出白色标志点后计算暗通道图像,求取全局背景光强。由于自然光在水中的传输距离很短,水下相机标定时需使用外部光源解决水下光线不足的问题,使用点光源垂直照射标定板,如图3(a)所示。由于光线传播长度L不同,导致不同位置光线的衰减程度不一样,造成中心区域偏亮,并且亮度以中心O为原点向外逐渐降低[18],造成水下图像光照不均匀,结果如图3(b)所示。

    图  3  水下不均匀光照示意图。(a)光源垂直照射示意图;(b)水下光照不均匀图像
    Figure  3.  Schematic diagram of uneven underwater illumination. (a) Schematic diagram of light source vertical irradiation; (b) underwater uneven illumination image

    图4(a)所示的水下标定图像进行实验。图4(b)为Ostu法分割结果,光照不均匀会造成全局阈值分割效果不佳,图像中心区域灰度值大于边缘部分标志点灰度值会造成分割错误。而图像雾化及水下噪声引起的灰度值跳动则会影响局部阈值分割效果,图4(c)为Sauvola法分割结果,可见,由于局部区域内灰度值跳动大导致分割后存在噪声。

    图  4  水下标定图像及图像分割结果。(a) 水下标定图像;(b) Ostu法分割结果;(c) Sauvola法分割结果;(d) 本文方法分割结果
    Figure  4.  Underwater calibration image and image segmentation results. (a) Underwater calibration image; segmentation results of (b) Ostu method, (c) Sauvola method and (d) the method proposed in this paper

    针对上述问题,本文通过同态滤波方法改善图像光照不均匀现象。将图像f(x,y)建模为照射强度i(x,y)和反射强度r(x,y)的乘积:

    f(x,y)=i(x,y)r(x,y). (5)

    将图像转换至对数空间:

    z(x,y)=lnf(x,y)=lni(x,y)+lnr(x,y). (6)

    对两边分别进行傅立叶变换转换至频域:

    Z(u,v)=Fi(u,v)+Fr(u,v). (7)

    引入频域滤波器H(u,v)

    S(u,v)=H(u,v)Z(u,v). (8)

    滤波器形式为:

    H(u,v)=(γHγL)[1ec[D2(u,v)/D20]]+γL, (9)

    式中γH表示高频增益,γL表示低频增益,D0表示截止频率,常数c用于控制坡面锐化度。

    最后将滤波后的结果映射回原始域:

    s(x,y)=F1S(u,v)g(x,y)=es(x,y) (10)

    式中F1表示傅立叶反变换,g(x,y)表示同态滤波后的结果。

    同态滤波可以在频域实现照射分量和反射分量的线性分离,照射分量可以视为环境中的照明,在图像中更多表现为低频信息,而反射分量主要表现为高频信息。因此,通过频域高斯高通滤波器H(u,v)压制低频分量,增强高频分量来改善光照不均匀现象。

    同态滤波后通过Ostu法实现图像分割,结果如图4(d)所示,虽然分割效果并不完美,但其相较于直接使用Ostu法与Sauvola法效果提升显著。

    最后,通过掩模计算剔除白色标志点的影响,计算暗通道图像,并取其前0.1%像素均值作为全局背景光强A

    3.1.2   基于模糊深度估计的透射率图计算

    基于深度模糊估计的方法是估计每个场景点距相机的距离,计算出每个像素点的透射率[19]。主要分为四步:

    第一步:计算原始图与多尺度高斯滤波差分图,获得像素模糊图B(x),即:

    B(x)=1nni=1(I(x)Gri,ri(x)) (11)

    式中ri=2in+1,表示高斯滤波器方差,n表示模糊次数。

    第二步:认为图像局部区域模糊程度相同,对像素模糊图进行极大值滤波,得到粗略透射率图tc(x)

    第三步:通过形态学闭运算来填充粗略透射率图像平坦区域的孔,并使用引导滤波进行细化处理即:

    ˆt(x)=iWxiI(x)(tc(x)S), (12)

    式中I(x)表示引导图像,S表示形态学运算,Wxi表示引导滤波。

    其中形态学闭运算通过滑动圆形结构元素遍历图像,先进行膨胀运算,然后进行腐蚀运算,实现孔洞填充,边界平滑。而引导滤波则利用局部线性模型,能够在平滑透射率图的同时起到保持边界的作用,极大程度保证了图像边缘的去雾效果。

    最后一步则是将细化后的透射率图ˆt(x)拉伸至合适的范围[r0,r1]

    t(x)=[ˆt(x)min (13)

    为避免图像去雾后整体偏白,{r_0}通常取0.3至0.5之间的值,{r_1}取经验值为0.95。

    在已知全局背景光强A和透射率图t(x)之后,可根据式(4)求解去雾后图像,结果如图5所示。

    图  5  去雾图像
    Figure  5.  Dehazed image

    水下图像去雾可以很大程度地消除水下后向散射对图像带来的影响,增加图像可视度,但基于简化后的水下成像模型进行去雾会导致明显的光照不均匀,且细节模糊、噪声等问题仍会干扰标志点检测。

    本文采用基于图像块分解融合的方法解决上述问题。该方法关键在于确定图像需要改进的属性,以及如何将不同单属性增强结果融合至最终的增强图像中。 技术路线如图6所示。首先,利用不同算法对去雾图像进行预处理获取互补增强图像; 然后,将两种改进后的图像分别划分成多个图像块, 将每个图像块分解为平均强度、信号强度和信号结构3部分,该分解是可逆的;最后,根据不同分量的特点采用不同的融合策略实现各个分量的融合并求解获得最终增强图像[20]

    图  6  图像块分解融合技术路线
    Figure  6.  Technical route of image block decomposition and fusion
    3.2.1   去雾图像预处理

    本文从对比度和细节信息两方面进行增强,首先通过同态滤波改善图像去雾后光照不均匀的问题。然后,通过gamma校正同态滤波后,得到光照充足的图像作为对比度增强图像{I_C}。最后,对同态滤波后的图像进行非锐化掩模(Unsharp Masking, USM)操作以强化图像细节与边缘信息,得到细节信息增强图像{I_S}

    3.2.2   图像块分解

    将两个输入图像划分成多个图像块,每个图像块对应不同输入图像的同一空间位置。将这些图像块分解为平均强度,信号强度和信号结构3部分,即:

    \begin{split} {\boldsymbol{P}}_{k}=&{\mu }_{k}+\left|\right|{\boldsymbol{P}}_{k}-{\mu }_{k}|{|}_{2}\cdot\dfrac{{\boldsymbol{P}}_{k}-{\mu }_{k}}{\left|\right|{\boldsymbol{P}}_{k}-{\mu }_{k}|{|}_{2}} =\\&{\mu }_{k}+\left|\right|{\tilde{\boldsymbol{P}}}_{k}|{|}_{2}\cdot\dfrac{{\tilde{\boldsymbol{P}}}_{k}}{\left|\right|{\tilde{\boldsymbol{P}}}_{k}|{|}_{2}} =\\&{L}_{k}+{C}_{\text{k}}\cdot{{\boldsymbol{S}}}_{k}\quad \text{,} \end{split} (14)

    式中 \left\{ {{\boldsymbol{P}_k}} \right\} = \{ {\boldsymbol{P}_k},\;k \in \{ {I_C},\;{I_S}\} \} ,表示图像块内像素组成的列向量,{\mu _k}表示该图像块的灰度平均值。{L_k}{C_k}{{\boldsymbol{S}}_k}分别表示平均强度,信号强度和信号结构。

    3.2.3   图像块融合

    图像块分解之后需对各个分量进行融合,如图7所示,根据不同分量的特点采用不同的融合策略,不同分量间的融合单独进行,不会产生任何的信息交互和损失,最后组合得到增强后的图像。

    图  7  不同分量融合策略
    Figure  7.  Fusion strategies for different component

    (1)平均强度融合

    平均强度主要指的是低频信息,采用加权融合的方法融合:

    \hat{L}=\frac{{W}_{c}\cdot{L}_{c}}{{W}_{c}+{W}_{s}}+\frac{{W}_{s}\cdot{L}_{s}}{{W}_{c}+{W}_{s}}\quad , (15)

    式中{L_c}{L_s}分别表示对比度增强图像块和细节信息增强图像块的平均强度。{W_c}{W_s}分别表示其对应权重。

    平均强度融合的关键在于权重的确定,权重大小直接反应其视觉重要性。根据文献[21]所述,Rayleigh分布是高质量水下图像灰度直方图的最佳分布。但不同于普通水下图像,本文针对的是水下标定图像,其图像灰度分布单一,假设其灰度分布符合某种统计先验。在清水中(3.2NTU)采集高质量水下标定图像,通过不同的概率密度函数拟合其灰度分布,图8(彩图见期刊电子版)为采用T位置尺度分布拟合时,不同灰度出现的概率及累计概率的拟合结果。T位置尺度概率密度函数如下:

    图  8  高质量水下标定图像的(a) 灰度分布及理论分布和(b) 灰度累计分布及理论累计分布
    Figure  8.  (a) Grayscale distribution and theoretical distribution and (b) grayscale cumulative distribution and theoretical cumulative distribution of high-quality underwater calibration images
    f(x) = \dfrac{{\Gamma \left(\dfrac{{v + 1}}{2}\right)}}{{\sigma \sqrt {v{\text{π}} } \Gamma \left(\dfrac{v}{2}\right)}}{\left[ {1 + \dfrac{{{{\left(\dfrac{{x - u}}{\sigma }\right)}^2}}}{v}} \right]^{ - \tfrac{{v + 1}}{2}}} \quad\text{,} (16)

    式中v表示形状参数,拟合结果为1.533;\sigma 表示尺度参数,拟合结果为2.123;u表示位置参数,拟合结果为22.627; \Gamma ( \cdot ) 表示伽马函数。

    通过柯尔莫哥洛夫检验进行分布拟合检验,显著性水平\alpha = 0.05时,观测数据与理论分布基本一致。由此可以确定T位置尺度分布为先验统计计算平均强度的权重信息。

    因此,{L_c}{L_s}的权重{W_c}{W_s}分别为:

    {W_c} = \dfrac{{\Gamma \left(\dfrac{{v + 1}}{2}\right)}}{{\sigma \sqrt {v{\text{π}} } \Gamma \left(\dfrac{v}{2}\right)}}{\left[ {1 + \dfrac{{{{\left(\dfrac{{{L_c} - u}}{\sigma }\right)}^2}}}{v}} \right]^{ - \tfrac{{v + 1}}{2}}} \text{.} (17)
    {W_s} = \dfrac{{\Gamma\left (\dfrac{{v + 1}}{2}\right)}}{{\sigma \sqrt {v{\text{π}} } \Gamma \left(\dfrac{v}{2}\right)}}{\left[ {1 + \dfrac{{{{\left(\dfrac{{{L_s} - u}}{\sigma }\right)}^2}}}{v}} \right]^{ - \tfrac{{v + 1}}{2}}}\quad \text{.} (18)

    将式(17)~式(18)代入式(15) 可得融合后的平均强度\hat L

    (2)信号强度的融合。信号强度的大小很大程度上反应了图像块对比度的强弱[22]。通常局部对比度越高,局部图像块结构的可见性越好,不同输入中具有最高对比度的图像块对应真实水下标定图像约束条件下具有最佳可见性的图像块。为保证图像有更好的可见性,融合后图像块的信号强度 \hat C 由输入中的最高信号强度确定:

    \hat C = \max \{ {C_c},{C_s}\}\quad \text{,} (19)

    式中{C_c}{C_s}分别表示对比度增强图像块和细节信息增强图像块的信号强度。

    (3)信号结构的融合。信号结构主要包括尖锐边缘、细节等高频信息。信号结构融合的权重与高频信息的可见性相关,因此在融合信号结构时引入了信号强度,但若直接以信号强度作为权重直接进行加权融合,则会出现伪影、噪声等现象。为缓解这一问题,采用多尺度融合策略,将信号结构构建为拉普拉斯金字塔,信号强度构建为高斯金字塔。通过拉普拉斯金字塔可以计算信号结构不同尺度上的细节信息,能够较好地融合信号结构所代表的结构和纹理信息。而通过对信号强度构建高斯金字塔能够更好地捕捉信号结构的整体强度。融合时两个金字塔都有相同数量的层次,而且拉普拉斯输入与高斯分量的融合在每层上独立执行:

    {\hat{S}}_{l}={G}^{l}\{{\hat{C}}_{c}\cdot1\}\cdot{L}^{l}\left\{{S}_{c}\right\}+{G}^{l}\{{\hat{C}}_{s}\cdot1\}\cdot{L}^{l}\left\{{S}_{s}\right\}\quad \text{,} (20)

    式中 {\hat C_c} = \dfrac{{{C_c}}}{{{C_c} + {C_s}}} {\hat C_s} = \dfrac{{{C_s}}}{{{C_c} + {C_s}}} {G^l}{L^l}分别表示高斯和拉普拉斯金字塔的第l层。

    通过上采样,将每层结果相加得到融合后的信号结构 \hat {\boldsymbol{S}}

    \hat {\boldsymbol{S}} = \uparrow ( \uparrow ( \uparrow ({\hat {\boldsymbol{S}}^l}) + {\hat {\boldsymbol{S}}^{l - 1}}) + \cdot \cdot \cdot ) + {\hat {\boldsymbol{S}}^1} \text{,} (21)

    本文中金字塔层数为3,上下采样均为两倍采样。

    最后对融合后的平均强度,信号强度和信号结构进行组合,得到增强后的图像块 \hat {\boldsymbol{P}}

    \hat {\boldsymbol{P}} = \hat L + \hat C \cdot \hat {\boldsymbol{S}} \quad\text{.} (22)

    在已知每个图像块之后便可求得最终的增强图像。虽然同态滤波在一定程度上可使图像整体灰度更加统一,在融合时可从一定程度上避免相邻块之间灰度不一致的问题,但当图像块过大时相邻块之间仍会存在灰度不一致的情况。本文研究了采用不同数量块时的图像增强效果。可见,随着块数量的增加,图像块效应不断变弱,但图像处理效率也会降低,如图9~图10所示。为了同时兼顾图像质量和效率,本文最终将图像划分成30×30个图像块,实现水下标定图像增强。

    图  9  不同数量块处理时间
    Figure  9.  Processing times of different numbers of image blocks
    图  10  不同数量块增强结果。 (a) 5×5;(b) 10×10;(c) 20×20;(d) 30×30
    Figure  10.  Enhanced results of image blocks with different quantities. (a) 5×5; (b) 10×10; (c) 20×20; (d) 30×30

    图11为水下相机标定示意图,水下相机标定系统主要包括控制模块,采集模块和处理模块。其中,相机采用Basler acA1600-60gm,分辨率为1 600 pixel×1 200 pixel,镜头采用焦距为8 mm的Azure定焦镜头,1台高功率光源,一台同步控制箱以及其他辅助器件等。

    图  11  水下相机标定示意图
    Figure  11.  Schematic diagram of underwater camera calibration

    如文献[23]所示,CMOS相机在超过20NTU的水中难以成像。本文将二氧化钛粉末溶于乙醇溶液后倒入清水中,获得了不同浑浊度的水。当测量距离为500 mm时,分别采集7.6NTU,11.4NTU,15.7NTU及18.4NTU不同浑浊度下的水下标定图片,具体采集流程如下:

    (1)在水缸底部固定标定支架,同时调整双目相机位置并将其固定。

    (2)将调制溶液注入水缸并搅拌使水浑浊,浑浊度仪记录浑浊度。

    (3)将标定板置于距相机500 mm处,采集水下标定图像。

    (4)继续加入调制溶液,重复步骤(2)(3),并保证浑浊度不高于20NTU。

    为验证水下标定图像增强算法的效果和性能,以确保最终图像在实际应用中能够满足特定要求,进行了水下图像质量评价实验,并从主客观两方面进行评价。实验中,与多尺度Retinex[24]方法(Multi Scale Retinex, MSR)、水下暗通道先验方法(Underwater Dark Channel Prior, UDCP)[25]及衰减色彩校正和细节保留对比度增强方法(Attenuated Color Channel Correction and Detail Preserved Contrast, ACDC)[26]进行对比。

    4.2.1   主观评估

    主观评估通过观察者的主观感知来评价图像的质量。由图12可知,随着浑浊度的增加图像雾化模糊现象愈加严重,当浑浊度为15.7NTU时,图像雾化现象明显加重,且出现了光照不均匀现象。多尺度Retinex方法可以有效解决光照不均匀的问题并增强了边缘信息,但去雾效果差,甚至加重了图像雾化现象,当浑浊度高于15.7NTU时存在明显暗区;UDCP去雾效果明显,但无法解决光照不均匀问题,甚至会加重该问题,当浑浊度高于15.7NTU时,增强后图像存在区域过曝,图像噪声明显;ACDC方法在一定程度上保留了边缘信息,但由于工业相机采集的图像丢失了彩色信息,该方法视觉效果并不理想,存在区域雾化,当浑浊度高于15.7NTU时,存在明显过曝区域。相比之下,本文方法在不同浑浊度下均有较好的视觉效果,去雾效果明显,可有效解决光照不均匀问题,增强后图像亮度整体一致,对比度提高。

    图  12  不同浑浊度下的标定图像及增强后结果。(a)~(d) 7.6NTU, 11.4NTU, 15.7NTU, 18.4NTU不同浑浊度水下标定图像;(e)~(h) MSR增强结果;(i)~(l) UDCP增强结果;(m)~(p) ACDC增强结果;(r)~(u) 本文方法增强结果
    Figure  12.  Underwater calibration images and enhanced results under different turbidities. (a)~(d) turbidity are 7.6 NTU, 11.4 NTU, 15.7 NTU, 18.4NTU; (e)~(h) enhanced results by MSR; (i)~(l) enhanced results by UDCP; (m)~(p) enhanced results by ACDC; (r)~(u) enhanced results by the proposed method
    4.2.2   客观评价

    客观评价则是使用数学模型给出观察者期望的量化值来定量评价图像质量,因对比度往往会影响标志点检测时的粗定位准确性,而图像中边缘质量的好坏则直接决定了标志点检测的精度,本文主要从UISM(Underwater Image Sharpness Measure)和UIConM(Underwater Image Contrast Measure)两方面来衡量[27]。UISM是通过Sobel算子生成灰度边缘图,并与原始图像相乘得到合成灰度图,并用EME(enhancement measure estimation)方法度量边缘质量。UISM评分越高,边缘质量越高,图像清晰度越高。而UIConM则是通过在图像块内进行logAMEE计算评价对比度,评分越高,图像对比度越高。

    表1表2分别对比了不同浑浊度下水下标定图像增强后UISM和UIConM指标。

    表  1  不同算法增强后UISM对比
    Table  1.  Comparison of UISM enhanced by different algorithms
    浑浊度(NTU)原图MSRUDCPACDC本文
    7.60.0580.1540.0680.0690.212
    11.40.0330.1200.0390.0610.197
    15.70.0210.0830.0220.0420.183
    18.40.0150.0630.0150.0350.174
    下载: 导出CSV 
    | 显示表格
    表  2  不同算法增强后UIConM对比
    Table  2.  Comparison of UIConM enhanced by different algorithms
    浑浊度(NTU)原图MSRUDCPACDC本文
    7.60.9150.9200.9440.9390.945
    11.40.9040.9180.9360.9350.944
    15.70.8600.8780.9180.9320.942
    18.40.8310.8580.9080.9250.940
    下载: 导出CSV 
    | 显示表格

    表1表2可知,本文方法增强后的图像清晰度明显优于另外3种方法。当浑浊度较低时,本文方法的对比度增强效果较另外3种方法优势并不明显,但随着浑浊度的增加,优势变大。且本文方法相比于另外3种方法评价结果比较稳定,有效证明了本文方法的优越性。

    水下相机标定过程中,通过标志点可以建立二维坐标与三维空间的映射关系。标志点检测[27]数量越多,提供的畸变信息越多,映射关系更加准确,相机标定精度更高。因此,标志点检测数量可以直接反应水下标定图像的增强效果。图13所示是浑浊度是18.4NTU时图像增强前后的标志点检测结果。可见,图像增强后,标志点检测数量明显增加,可以检测到更靠近图像边缘的标志点。

    图  13  图像增强前(a)、后(b)标志点检测结果
    Figure  13.  Target point detection results (a) before and (b) after image enhancement

    按照八步标定法采集不同浑浊度下的水下标定图像,并对比不同浑浊度下图像增强前后的标志点检测数量。图14(彩图见期刊电子版)为不同浑浊度下标定板不同位姿采用不同水下图像增强方法后的标志点检测数量。由图14可知,对于每种浑浊度,统计未增强前8个位姿下标志点检测数量的均值与相应增强后的均值,并计算增长百分比,如表3所示。

    图  14  不同方法在不同浑浊度下不同位姿标志点检测数量。(a) 7.6NTU;(b) 11.4NTU;(c) 15.7NTU;(d) 18.4NTU
    Figure  14.  Number of detected target points in different postures under different turbidities; (a) 7.6NTU; (b) 11.4NTU; (c) 15.7NTU; (d) 18.4NTU

    表3可知,随着浑浊度的增加,由本文方法和MSR方法增强后,标志点检测数量的增加效果越来越明显。UDCP虽然在视觉上有一定效果,但对标志点检测数量的影响甚微。ACDC方法在浑浊度增加后,由于其处理后图像标志点附近噪声明显增多,标志点检测数量反而减少。在4种浑浊度下,本文方法标志点检测数量分别提升2.01%、2.34%、9.30%和21.23%,在浑浊较低时结果略低于MSR方法,随着浑浊度增加,优势变大,当浑浊度高于15.7 NTU时,优于其他方法,上述实验充分证明了本文方法的有效性。

    表  3  不同算法图像增强后标志点检测数量增加比例
    Table  3.  The increase proportion in the number of target point detections after image enhancement by different algorithms
    浑浊度(NTU) MSR UDCP ACDC 本文
    7.6 2.3% 0.7% 0.8% 2.0%
    11.4 2.5% 1.4% 0.9% 2.3%
    15.7 9.0% 0.1% −0.5% 9.3%
    18.4 16.3% 0.4% −1.1% 21.2%
    下载: 导出CSV 
    | 显示表格

    本文针对视觉测量中相机标定时采集的水下标定图像退化问题,提出了一种基于图像块分解融合水下标定图像增强算法。进行了主客观评价实验,结果显示:与MSR方法、UDCP方法和ACDC方法相比,不同浑浊度下本文方法的评价结果均最优,且结果更稳定。按实际标定流程进行了标志点检测实验,浑浊度分别为7.6 NTU、11.4 NTU、15.7 NTU、18.4 NTU时,标志点检测数量分别提高了2.0%、2.3%、9.3%、21.2%。充分证明了本文方法是一种可行且有效的水下标定图像增强方法。

  • 图 1  水下成像模型

    Figure 1.  Underwater imaging model

    图 2  (a) 水下标定图像及(b) 最小值滤波结果

    Figure 2.  (a) Underwater calibration image and (b) minimum value filtering results

    图 3  水下不均匀光照示意图。(a)光源垂直照射示意图;(b)水下光照不均匀图像

    Figure 3.  Schematic diagram of uneven underwater illumination. (a) Schematic diagram of light source vertical irradiation; (b) underwater uneven illumination image

    图 4  水下标定图像及图像分割结果。(a) 水下标定图像;(b) Ostu法分割结果;(c) Sauvola法分割结果;(d) 本文方法分割结果

    Figure 4.  Underwater calibration image and image segmentation results. (a) Underwater calibration image; segmentation results of (b) Ostu method, (c) Sauvola method and (d) the method proposed in this paper

    图 5  去雾图像

    Figure 5.  Dehazed image

    图 6  图像块分解融合技术路线

    Figure 6.  Technical route of image block decomposition and fusion

    图 7  不同分量融合策略

    Figure 7.  Fusion strategies for different component

    图 8  高质量水下标定图像的(a) 灰度分布及理论分布和(b) 灰度累计分布及理论累计分布

    Figure 8.  (a) Grayscale distribution and theoretical distribution and (b) grayscale cumulative distribution and theoretical cumulative distribution of high-quality underwater calibration images

    图 9  不同数量块处理时间

    Figure 9.  Processing times of different numbers of image blocks

    图 10  不同数量块增强结果。 (a) 5×5;(b) 10×10;(c) 20×20;(d) 30×30

    Figure 10.  Enhanced results of image blocks with different quantities. (a) 5×5; (b) 10×10; (c) 20×20; (d) 30×30

    图 11  水下相机标定示意图

    Figure 11.  Schematic diagram of underwater camera calibration

    图 12  不同浑浊度下的标定图像及增强后结果。(a)~(d) 7.6NTU, 11.4NTU, 15.7NTU, 18.4NTU不同浑浊度水下标定图像;(e)~(h) MSR增强结果;(i)~(l) UDCP增强结果;(m)~(p) ACDC增强结果;(r)~(u) 本文方法增强结果

    Figure 12.  Underwater calibration images and enhanced results under different turbidities. (a)~(d) turbidity are 7.6 NTU, 11.4 NTU, 15.7 NTU, 18.4NTU; (e)~(h) enhanced results by MSR; (i)~(l) enhanced results by UDCP; (m)~(p) enhanced results by ACDC; (r)~(u) enhanced results by the proposed method

    图 13  图像增强前(a)、后(b)标志点检测结果

    Figure 13.  Target point detection results (a) before and (b) after image enhancement

    图 14  不同方法在不同浑浊度下不同位姿标志点检测数量。(a) 7.6NTU;(b) 11.4NTU;(c) 15.7NTU;(d) 18.4NTU

    Figure 14.  Number of detected target points in different postures under different turbidities; (a) 7.6NTU; (b) 11.4NTU; (c) 15.7NTU; (d) 18.4NTU

    表  1  不同算法增强后UISM对比

    Table  1.   Comparison of UISM enhanced by different algorithms

    浑浊度(NTU)原图MSRUDCPACDC本文
    7.60.0580.1540.0680.0690.212
    11.40.0330.1200.0390.0610.197
    15.70.0210.0830.0220.0420.183
    18.40.0150.0630.0150.0350.174
    下载: 导出CSV

    表  2  不同算法增强后UIConM对比

    Table  2.   Comparison of UIConM enhanced by different algorithms

    浑浊度(NTU)原图MSRUDCPACDC本文
    7.60.9150.9200.9440.9390.945
    11.40.9040.9180.9360.9350.944
    15.70.8600.8780.9180.9320.942
    18.40.8310.8580.9080.9250.940
    下载: 导出CSV

    表  3  不同算法图像增强后标志点检测数量增加比例

    Table  3.   The increase proportion in the number of target point detections after image enhancement by different algorithms

    浑浊度(NTU) MSR UDCP ACDC 本文
    7.6 2.3% 0.7% 0.8% 2.0%
    11.4 2.5% 1.4% 0.9% 2.3%
    15.7 9.0% 0.1% −0.5% 9.3%
    18.4 16.3% 0.4% −1.1% 21.2%
    下载: 导出CSV
  • [1] CHEN B Q, LI H SH, WANG R R, et al. 3D surface measurement of static and dynamic objects in underwater environments based on the propagation and projection of CW sinusoidal signal at 532 nm[J]. Measurement, 2022, 188: 110521. doi: 10.1016/j.measurement.2021.110521
    [2] 刘涛, 关添航, 杜宏旺, 等. 基于线结构光的水下旋转扫描高精度测量方法研究[J]. 仪器仪表学报,2023,44(7):260-270.

    LIU T, GUAN T H, DU H W, et al. Research on the high precision measurement method of underwater rotary scanning based on linear structured light[J]. Chinese Journal of Scientific Instrument, 2023, 44(7): 260-270. (in Chinese).
    [3] 高新浩, 黄茹楠, 杨育林. 水下相机标定算法研究[J]. 燕山大学学报,2014,38(3):252-258. doi: 10.3969/j.issn.1007-791X.2014.03.011

    GAO X H, HUANG R N, YANG Y L. Study on underwater camera calibration algorithm[J]. Journal of Yanshan University, 2014, 38(3): 252-258. (in Chinese). doi: 10.3969/j.issn.1007-791X.2014.03.011
    [4] 许廷发, 苏畅, 罗璇, 等. 基于梯度和小波变换的水下距离选通图像去噪[J]. 中国光学,2016,9(3):301-311. doi: 10.3788/co.20160903.0301

    XU T F, SU CH, LUO X, et al. Underwater range-gated image denoising based on gradient and wavelet transform[J]. Chinese Optics, 2016, 9(3): 301-311. (in Chinese). doi: 10.3788/co.20160903.0301
    [5] 魏郭依哲, 陈思遥, 刘玉涛, 等. 水下图像增强和修复算法综述[J]. 计算机应用研究,2021,38(9):2561-2569,2589.

    WEI G Y ZH, CHEN S Y, LIU Y T, et al. Survey of underwater image enhancement and restoration algorithms[J]. Application Research of Computers, 2021, 38(9): 2561-2569,2589. (in Chinese).
    [6] SINGH N, BHAT A. A systematic review of the methodologies for the processing and enhancement of the underwater images[J]. Multimedia Tools and Applications, 2023, 82(25): 38371-38396. doi: 10.1007/s11042-023-15156-9
    [7] 林明星, 代成刚, 董雪, 等. 水下图像处理技术研究综述[J]. 测控技术,2020,39(8):7-20.

    LIN M X, DAI CH G, DONG X, et al. Survey of underwater image processing technology[J]. Measurement & Control Technology, 2020, 39(8): 7-20. (in Chinese).
    [8] CHEN Y ZH, YANG K CH, ZHANG X H, et al. Modelling of beam propagation and its applications for underwater imaging[J]. Frontiers of Optoelectronics in China, 2011, 4(4): 398-406. doi: 10.1007/s12200-011-0219-9
    [9] 张赫, 徐玉如, 万磊, 等. 水下退化图像处理方法[J]. 天津大学学报,2010,43(9):827-833. doi: 10.3969/j.issn.0493-2137.2010.09.012

    ZHANG H, XU Y R, WAN L, et al. Processing method for underwater degenerative image[J]. Journal of Tianjin University, 2010, 43(9): 827-833. (in Chinese). doi: 10.3969/j.issn.0493-2137.2010.09.012
    [10] JAFFE J S. Computer modeling and the design of optimal underwater imaging systems[J]. IEEE Journal of Oceanic Engineering, 1990, 15(2): 101-111. doi: 10.1109/48.50695
    [11] 周丽丽, 朱佳琦, 王桥桥, 等. 基于雾线暗通道先验的水下图像复原方法[J]. 南京邮电大学学报(自然科学版),2020,40(4):64-69.

    ZHOU L L, ZHU J Q, WANG Q Q, et al. Underwater image restoration method based on haze-line and dark channel prior[J]. Journal of Nanjing University of Posts and Telecommunications (Natural Science), 2020, 40(4): 64-69. (in Chinese).
    [12] 王智奇, 李荣冰, 刘建业, 等. 基于同态滤波和直方图均衡化的图像增强算法[J]. 电子测量技术,2020,43(24):75-80.

    WANG ZH Q, LI R B, LIU J Y, et al. Image enhancement algorithm based on homomorphic filtering and histogram equalization[J]. Electronic Measurement Technology, 2020, 43(24): 75-80. (in Chinese).
    [13] 杨淼, 王海文, 胡珂, 等. 一种基于色彩补偿的水下图像综合增强算法[J]. 图学学报,2021,42(1):59-64.

    YANG M, WANG H W, HU K, et al. An underwater image comprehensive enhancement algorithm based on color compensation[J]. Journal of Graphics, 2021, 42(1): 59-64. (in Chinese).
    [14] 李广豪, 席志红. 基于图像融合的水下光照不均匀图像增强算法[J]. 计算机仿真,2023,40(4):330-335. doi: 10.3969/j.issn.1006-9348.2023.04.064

    LI G H, XI ZH H. Image enhancement algorithm of underwater uneven illumination based on image fusion[J]. Computer Simulation, 2023, 40(4): 330-335. (in Chinese). doi: 10.3969/j.issn.1006-9348.2023.04.064
    [15] YANG M, HU J T, LI CH Y, et al. An in-depth survey of underwater image enhancement and restoration[J]. IEEE Access, 2019, 7: 123638-123657. doi: 10.1109/ACCESS.2019.2932611
    [16] 张辉. 水的光学特性对水下光学成像质量影响的分析[J]. 电子测试,2013(20):261-262. doi: 10.3969/j.issn.1000-8519.2013.20.125

    ZHANG H. Analysis of optical properties of water on the influence of optical imaging quality under water[J]. Electronic Test,2013(20):261-262. (in Chinese). doi: 10.3969/j.issn.1000-8519.2013.20.125
    [17] 蒲欢. 海洋湍流对光学成像及光束空间相干性的影响[D]. 成都: 四川师范大学, 2017.

    PU H. Influence of oceanic turbulence on optical imaging and spatial coherence of beams[D]. Chengdu: Sichuan Normal University, 2017. (in Chinese).
    [18] 刘镕滔, 柳稼航. 海底主动光学探测影像亮度校正与色彩恢复[J]. 中国光学(中英文),2022,15(4):689-702. doi: 10.37188/CO.2021-0211

    LIU R T, LIU J H. Brightness correction and color restoration of seabed image obtained by active optical detection[J]. Chinese Optics, 2022, 15(4): 689-702. (in Chinese). doi: 10.37188/CO.2021-0211
    [19] PENG Y T, ZHAO X Y, COSMAN P C. Single underwater image enhancement using depth estimation based on blurriness[C]. 2015 IEEE International Conference on Image Processing (ICIP), IEEE, 2015: 4952-4956.
    [20] KANG Y Z, JIANG Q P, LI CH Y, et al. A perception-aware decomposition and fusion framework for underwater image enhancement[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2023, 33(3): 988-1002. doi: 10.1109/TCSVT.2022.3208100
    [21] GHANI A S A, ISA N A M. Underwater image quality enhancement through integrated color model with Rayleigh distribution[J]. Applied Soft Computing, 2015, 27: 219-230. doi: 10.1016/j.asoc.2014.11.020
    [22] LYU N Q, YU H T, HAN J, et al. Structured light-based underwater 3-D reconstruction techniques: A comparative study[J]. Optics and Lasers in Engineering, 2023, 161: 107344. doi: 10.1016/j.optlaseng.2022.107344
    [23] ZHANG W D, WANG Y D, LI CH Y. Underwater image enhancement by attenuated color channel correction and detail preserved contrast enhancement[J]. IEEE Journal of Oceanic Engineering, 2022, 47(3): 718-735. doi: 10.1109/JOE.2022.3140563
    [24] JOBSON D J, RAHMAN Z U, WOODELL G A. Properties and performance of a center/surround retinex[J]. IEEE Transactions on Image Processing, 1997, 6(3): 451-462. doi: 10.1109/83.557356
    [25] DREWS P JR, DO NASCIMENTO E, MORAES F, et al. Transmission estimation in underwater single images[C]. Proceedings of the 2013 IEEE International Conference on Computer Vision Workshops, IEEE, 2013: 825-830.
    [26] PANETTA K, GAO CH, AGAIAN S. Human-visual-system-inspired underwater image quality measures[J]. IEEE Journal of Oceanic Engineering, 2016, 41(3): 541-551. doi: 10.1109/JOE.2015.2469915
    [27] 刘建伟. 大视场三维动态变形视频测量系统关键技术研究[D]. 西安: 西安交通大学, 2011.

    LIU J W. Key techniques of large-field 3D dynamic deformation videogrammetry system[D]. Xi'an: Xi’an Jiaotong University, 2011. (in Chinese).
  • 期刊类型引用(1)

    1. 吴庆玲,石强,杜永盛,雷赛,卢明明. 基于张量分解与非下采样Contourlet变换遥感图像增强. 中国光学(中英文). 2024(06): 1307-1315 . 百度学术

    其他类型引用(0)

  • 加载中
图(14) / 表(3)
计量
  • 文章访问数:  366
  • HTML全文浏览量:  153
  • PDF下载量:  90
  • 被引次数: 1
出版历程
  • 收稿日期:  2023-12-05
  • 修回日期:  2023-12-26
  • 网络出版日期:  2024-05-22

目录

/

返回文章
返回