概念:

       随着图像处理技术和计算机视觉技术的蓬勃发展,对特殊天气下的场景检测和图像处理成为该领域的重要研究方向。其中在雾天拍摄的图像容易受雾或霾的影响,导致图片细节模糊、对比度低以至于丢失图像重要信息,为解决此类问题图像去雾算法应运而生。图像去雾算法是以满足特定场景需求、突出图片细节并增强图片质量为目的的一种图像分析与处理方法。在雾或霾等天气情况下,室外空气中存在大量的微小悬浮颗粒会对光产生折射和散射,经折射和散射后的光线与待观察目标反射后的光线混合,造成户外图像采集设备捕获的图像清晰度和对比度大幅度下降,甚至会造成图像色彩偏移,细节大量丢失的现象,从而无法获取真实的图像信息。因此,需要对此类图像进行去雾,增强图像信息,保证系统正常运行.

      根据输入源数量可将去雾算法分为单图去雾和多图去雾两种。由于单幅图像去雾问题中缺少诸多关键信息,因此早期研究者尝试使用多幅图像或补充额外信息的方法为雾图成像的欠定方程增加约束。但是一般研究较多的是单图去雾。

一、基于图像增强的去雾算法

      要此类算法的手段是利用传统方法提高雾天图像的对比度,突出图像的部分细节,以此改善图像的视觉效果,是一种较为简单并技术成熟的算法,其基本原理是提高图像对比度,同时尽可能降低图像噪声,从而恢复出无雾的清晰图像。代表性方法有:直方图均衡化(HLE)、(限制对比度)自适应直方图均衡化、Retinex理论、小波变换、同态滤波(融合直方图均衡化)等。

1、基于直方图均衡化的去雾算法

      直方图均衡化算法属于最普遍的图像增强方法,在雾霾天气采集图像的直方图通常会集中于一个较为狭窄的范围内,因此一般通过累积分布函数拉伸直方图的动态范围使其更加均衡,借此增强雾天图像的对比度。但是这种拉伸直方图的算法虽然可以增强图像的对比度使其视觉上更加清晰,但因为具体细节的缺失也有明显弊端,即图像的视觉效果失真问题。

2、基于融合同态滤波的直方图均衡化去雾算法

     在传统直方图均衡化的基础上,应用同态滤波算法进行改良,以此来对雾天图像进行更有效的去雾处理。为了解决图像的光照不均问题,首先可以采用同态滤波算法,将复杂的非线性问题使用对数运算线性化,然后分离高频和低频分量,再将低频信息使用高通滤波器进行有效抑制,接着再处理图像的低频分量,对其使用直方图均衡化算法来达到非线性拉伸效果,扩大直方图范围,将图像的像素值重新进行合理分配,最终获得清晰的去雾图片。

3、基于小波变换的去雾算法

     在基于小波变换的去雾算法中,首先需要使用散化处理对雾天原始的模糊图像进行预处理,从而在后续的小波变换中,一定程度提升图像时域和频域分辨能力。并且可以采用动态采样调整雾天图像中的尺度及平移参数,使其更加合理。

4、基于Retinex理论的去雾算法

     根据大气散射模型,一种Retinex理论被提出并应用在雾霾图像清晰化处理当中。该算法首先将原始图像转换至hsv色彩空间,然后依据真实的亮度通道来对大气散射模型进行调整,使用基于双边滤波的Retinex理论算法增强图像的对比度且将图像的饱和度指数调整到合适区间,最后将各个通道的处理成果合并得到清晰的去雾图片。

二、基于大气散射模型的图像复原方法

      基于大气退化模型进行图像复原的去雾处理,代表性算法有:来自何凯明博士的暗通道去雾算法、基于导向滤波的暗通道去雾算法、贝叶斯去雾算法等,基于大气退化模型的最终处理效果普遍好于传统图像增强去雾算法。

1、大气散射模型 

        大气散射模型由大气散射理论发展而来。该模型在1976年由McCartney正式提出,之后又由Narasimhan等人进行了进一步总结。该模型认为入射光衰减和散射介质影响是导致图像质量下降的主要因素。 过对大量有雾图像和无雾图 像进行观察总结,得到其中存在的一些映射关系, 然后根据有雾图像的形成过程来进行逆运算,从而恢复清晰图像。

 2、基于暗通道先验的去雾算法

        以何凯明的暗通道去雾算法为例,在绝大多数局部区域(天空等除外)里,部分像素必然有至少一个颜色通道具有极低的值,也就是说该区域光强是一个很小的值。第一个将暗通道先验与大气散射模型结合进行去雾的方法。通过对大量无雾图像进行特征分析,找到了无雾图像与大气散射模型中某些 参数的先验关系。该算法复杂度低,去雾效果好.

 三、深度学习在去雾处理上的应用

      基于神经网络的去雾方法分为两阶段去雾算法和单阶段去雾算法两种。前者依赖于大气退化模型,利用神经网络对模型中的参数进行估计,早期去雾方法大多是基于这种思路;后者则是利用神经网络将输入的有雾图像直接恢复得到去雾图像,也即深度学习中常说的端到端去雾。

1、DehazeNet去雾算法 

      DehazeNet是End-to-End去雾系统,将有雾图像作为输入,其以透射图作为输出,然后利用大气散射模型进行图像的还原。DehazeNet算法结合暗通道先验去雾算法、最大对比度去雾算法、颜色衰减先验算法和基于色度不一致的去雾算法四种传统算法的特征进行网络结构设计。模型分为四个部分分别为:特征提取、多尺度映射、局部极值和非线性回归。 

2、GCANet算法 

      由于生成对抗神经网络(GAN)的出现,其采用无监督的学习方式进行训练,能够生成清晰真实的样本,避免了损失函数设计的困难。GCANet是一个端到端的模型,重点在于利用平滑卷积代替了扩展卷积从而解决了网格伪影的问题。该网络主要利用三个卷积模块作为编码部分,在编码和解码之间加入数个平滑卷积层,使得输入特征层和输出特征层保持局部相关性。GCANet直接使用以有雾图像作为输入,去雾图像作为输出直接得到清晰图像,为去雾算法的发展产生重要影响。

 四、数据集介绍 

      在去雾算法发展的过程中出现了一系列去雾算法数据集,从数据集的来源可以分为人工合成和真实雾天数据集。人工合成数据集通常利用各种场景的高清图像以及它们的深度图。然后基于图像的深度信息和和雾天图像的统计特征或者雾介质模型对高清图像进行模糊处理,创建相应的带雾场景图像。常见的人工合成去雾数据集有NYU Depth、RESIDE、RESIDE-beta、Middelbury和D-HAZY数据集。且目前计算机视觉的权威机构并没有公开真实雾天数据集。

五、评价标准

1、主观评估

      主观评估是依靠人的视觉系统给予图像变化的主观评价,往往带有个人主观色彩。

2、客观评估

      客观评估利用数学模型建立不同的评价指标对图像的亮度、信息量和色彩饱和度等进行评估,有效避免了主观评估的缺陷。

    (1)信息熵(Information entropy, IE) 

      图像的信息熵通常用来描述图像所包含信息的丰富程度,是评价一幅图像质量好坏的重要指标。通常一幅图像的信息熵越大,则其包含的信息就越丰富。

   (2)平均梯度(Average gradient, AG) 

      平均梯度用来描述一幅图像的清晰程度,平均梯度越高,表明图像表达细节的能力越强。

   (3)峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)

    给定大小为𝑀 × 𝑁的有雾图像 I 和无雾图像 K,均方误差(MSE)定义为: 

     其中,𝐼(𝑖, 𝑗)、𝐾(𝑖, 𝑗)分别表示有雾图像和无雾图像上的像素点(𝑖, 𝑗)的灰度值。则峰值信噪比定义为: 

      其中,𝑚𝑎𝑥𝐼为图像的最大像素值。式(2.8)通常用于计算灰度图像,对于三通道的彩色图像,分别计算 RGB 三个通道的 MSE,并代入式(2.8)中得到 RGB三个通道的 PSNR,取平均值后得到彩色图像的 PSNR。

    (4)结构相似性(Structural Similarity, SSIM) 

     结构相似性是一个用来衡量两幅图像在结构上相似性的指标。结构相似性基于两幅图像 I 与 K 间的结构(structure)、亮度(luminance)、和对比度(contrast)三个维度进行对比。 

    (5) 特征相似性(Feature Similarity, FSIM)

      特征相似性选取相位一致性(Phase Congruency, PC)作为第一特征,梯度特征(Gradient Magnanimity, GM)作为第二特征,相位与梯度这两个特征相结合,可以有效地提取出图像中的目标像素。特征相似性在一定程度上能够反映出图像的逼真程度。

 参考链接:https://kns.cnki.net/kcms/detail/11.2127.TP.20211101.0910.002.html https://kns.cnki.net/kcms/detail/11.2127.TP.20211101.0910.002.html%C2%A0

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐