张锦航,孙立辉,姜军强

(1.河北经贸大学信息技术学院,河北 石家庄 050061;2.西安科技大学机械工程系,陕西 西安 710054)

随着红外成像技术的迅速发展,红外成像技术开始应用于各个领域,并占有重要的地位。红外成像通过不同对象的红外热辐射强度不同来形成图像,无需使用外部可见光也可以成像,相较于可见光成像,红外成像可以实现夜视成像,成像结果直观,抗干扰能力强,适用于复杂特殊环境的同时还具有可成像距离远、穿透能力强等诸多优势。红外成像设备发展到现在,已经实现了便携式的设计,方便携带,操作简单。红外成像技术已经广泛应用于工业,军事[1]等众多领域,然而拍摄期间镜头的抖动或目标的快速移动会导致红外成像时产生运动模糊,降低了红外图像的清晰度,对红外图像在这些领域的应用造成了严重影响。在相机曝光的时间段里镜头发生了移动,导致采集的像素点发生了变化,所以在得到的图像中场景和物体会看起来模糊或晃动,这被称为运动模糊。图像去模糊技术被广泛用于工业制造,医学影像等领域。红外图像去模糊的主要目的是去除模糊伪影以提高图像质量,在运动模糊的图像中提取有用的信息,对红外图像去模糊的研究具有重要价值。

传统的图像去模糊方法[2-4]通过使用约束条件,引入图像先验知识对图像模糊进行表征,但是现实中运动模糊情况多数是非均匀模糊,从而无法估计模糊核,因此这些传统图像去模糊方法在实际应用中的效果并不理想。近年来随着深度学习算法的发展,基于深度卷积神经网络(Convolutional Neural Network,CNN)的方法被大量用于图像去模糊领域。相比于传统的图像去模糊算法,深度学习算法可以做到更好的去模糊效果,过去的几年里已经提出了许多深度学习去模糊模型。Nah等提出了一种端到端的多尺度卷积神经网络DeepDeblur[5]用于图像去模糊,分别在三个尺度不同的层对图像进行去模糊,把低层输出的结果作为高层的输入,增加了收敛性。Tao等提出了SRN-Deblur[6]采用尺度循环结构进行图像去模糊。Kupyn等提出了DeblurGAN[7]首次将生成对抗网络(Generative Adversarial Network,GAN)用于图像去模糊,通过训练输入的模糊图像来生成高质量图像,随后他们又提出了DeblurGANv2[8],使用特征金字塔网络结构[9]提取图像特征并且结合了全局和局部两个尺度的判别器损失,运行速度快并且有一定的去模糊效果。还有许多关于多帧去模糊[10]和特定领域去模糊[11]的工作。然而基于深度学习的去模糊模型通常直接学习模糊图像和清晰图像之间的映射函数,在跨领域应用时泛化能力弱,鲁棒性差,并且将深度学习的方法用于红外图像去模糊的研究较为缺乏,大部分红外图像去模糊的研究使用的红外数据集也并非现实拍摄中的模糊核所生成的红外模糊图像,这就导致这些深度学习模型只能处理由简单模糊核产生的模拟红外模糊图像,无法处理真实场景中的模糊算子[12],在面对真实场景下的红外模糊图像时没有效果。

针对上述问题本文提出了一种基于模糊算子的红外图像去模糊方法,采用深度自编码网络对由清晰图像和模糊图像组成的数据集中的模糊算子进行编码,通过编码后的模糊算子去逼近一个真实未知的模糊算子并搜索对应的清晰图像,这样可以处理真实场景下红外图像的运动模糊,实现真实场景下红外图像去模糊,同时避免了使用复杂的模糊核手工先验。此外本文还设计了合成模糊的结构,实现了将现实中通过镜头运动等方式产生的模糊转移到另一个图像来生成真实模糊图像的功能,将现有数据集的运动模糊转移到红外图像上,制作红外图像的数据集对,解决了红外图像难以收集配对数据的问题,在完善模糊图像数据集并将技术推广至红外图像领域有着重要的意义。实验结果表明,该方法能有效提高红外图像的质量,去除运动模糊后可以得到较为清晰的红外图像。

模糊算子是一种模糊关系合成运算,在模糊图像生成的过程中,模糊算子对模糊核和清晰图像进行合成运算从而生成模糊图像。由清晰图像x和模糊核k生成模糊图像y的模型通常被公式化表示为:

y=f(x,k)+η≈f(x,k)

(1)

其中,f(x,k)是带有模糊核k的模糊算子;η是噪声。

若干模糊算子组成了模糊算子集合[12],通过模糊核能够调用模糊算子集合中的模糊算子。本文设计了一种模糊核提取器用来提取清晰图像和对应模糊图像之间的模糊核,同时本文设定了包含模糊算子集合和模糊核提取器的显式表示的公式如下:

y=F(x,k)

(2)

k=G(x,y)

(3)

其中,F为模糊算子集合;G为模糊核提取器。模糊算子集合F中的每个特定的模糊算子f(x,k)都对应着一个特定的模糊核k,当F的函数形式固定时,可以通过k引用F中的f(x,k)。图像去模糊的目标是在给定模糊图像y的情况下找到清晰的图像x,当训练好模糊算子集合F之后,通过模糊核k引用F中的模糊算子f(x,k),使f(x,k)不断逼近y上的真实模糊算子,从而找到满足上述公式的x和k来对模糊图像y进行去模糊,去模糊算法流程如表1所示。

表1 去模糊算法流程

3.1 总体结构

模糊算子集合F可用于在给定模糊核k的情况下生成模糊图像,模糊核提取器G可用于提取模糊核k,本文通过两个神经网络来实现F和G,使用一个带有跳跃连接[13]的深度自编码网络实现F,使用一个残差网络[14]实现G。首先从数据集中采样清晰图像和对应的模糊图像,将这些图像拼接起来输入给模糊核提取器G,生成相应的编码模糊核向量k。然后将清晰图像x输入模糊算子集合F,在编码器部分清晰图像x被编码为瓶颈结构嵌入向量,在瓶颈结构部分将嵌入向量x与模糊核向量k拼接成一个新的向量。最后在解码器部分对新的向量进行解码以获得合成的模糊图像,通过使合成模糊图像F(x,k)和真实模糊图像y之间差距最小化的损失函数H(y,(x,k))来训练模糊算子集合F。合成模糊模型结构如图1所示。

图1 合成模糊模型结构

模糊算子集合F固定之后,可将其用于图像去模糊。给定模糊图像y,在去模糊的过程中,设定两个标准正态随机向量z1和z2分别作为模糊核提取器G和模糊算子集合F的输入,模糊核提取器G输出随机模糊核向量k,模糊算子集合F输出随机清晰图像向量x,因为F的形式已经固定,所以只需要找到清晰图像向量x和模糊核向量k使损失函数H最小化,从而找到清晰图像x。去模糊过程中使用迭代优化的方法来优化H,交替进行以下两个步骤:(1)固定模糊核k并优化潜在清晰图像x。(2)固定潜在清晰图像x并优化模糊核k。去模糊的模型结构如图2所示。

图2 去模糊模型结构

3.2 模糊算子集合设计

模糊算子集合F由预处理模块和深度自编码网络构成,预处理模块由卷积层和十个残差块组成,在网络头部通过预处理模块先对输入图像进行简单特征提取,将输入图像转换为特征图,方便后续编码器部分进行更深层的特征提取。在网络尾部使用变换卷积层和残差块位置的预处理模块将特征图转换为输出图像。先使用预处理模块对输入图像进行两次下采样,输出将输入图像转换为64通道的特征图到编码器(Encoder)和解码器(Decoder)部分。编码器和解码器部分各包含五个卷积层,采用多个3×3卷积,每个卷积后都添加LReLU激活函数,有助于增大网络稀疏性,增强了网络的泛化能力。在相同维度的卷积层之间增添跳跃连接,增强了特征信息在网络中的传递,确保了特征信息的可重用性,并且避免了梯度消失的问题。编码器对特征图进行多次下采样,每次下采样将通道数变为前一层通道数的一半,输出为512×2×2大小的向量,输出向量与模糊核向量拼接之后作为解码器的输入,解码器对拼接向量进行多次上采样重建输出特征图。最后在网络尾部使用预处理模块对解码器输出的特征图上采样,将64通道的特征图转换回输出图像。详细网络层次结构如表2所示。

表2 自编码网络模型参数

3.3 模糊核提取器设计

模糊核提取器G由卷积层和残差模块构成,残差模块包含了两个卷积层和一个LRelu激活函数,通过添加残差模块增加了网络深度,避免产生梯度消失和梯度爆炸的问题。该网络的输入是清晰图像和模糊图像拼接而成的向量,输出一个大小为512×2×2的模糊核向量,详细网络层次结构如表3所示。

表3 提取器模型参数

3.4 损失函数

损失函数用来指导模型训练,对训练效果有着不可忽视的影响。本文采用的损失函数h是Charbonnier损失[15],Charbonnier损失是一种较为稳定的改良版L1范数损失,收敛速度快,处理异常的能力强,性能提升大,目前在超分领域应用较多。Charbonnier损失用于计算合成模糊图像F(xi,G(xi,yi))和对应真实模糊图像yi之间的差距。表示为:

(4)

为了使优化过程更加稳定,得到更好的去模糊效果,在损失函数中添加两个正则化项,在模糊核k上添加一个正则化项使优化过程更稳定,在清晰图像x的图像梯度上使用超拉普拉斯先验[16],加大梯度的稀疏性,减少噪声并获得更自然的图像x。添加正则化之后的损失函数如下:

(5)

其中,gu和gv分别是水平方向和垂直方向上的导数;μ,β,α是可调的超参数。

4.1 实验环境

本文设计了模糊合成与红外图像去模糊两部分实验来验证本文提出基于模糊算子的方法是否有效,红外图像去模糊实验采用自制红外图像数据集,模糊合成实验采用公开的GOPRO数据集[7]。在配有RTX2080SGPU,32GB内存,Intel Xeon e5-2640CPU,操作系统为windows10的联想P900工作站上进行实验,使用基于Pytorch的深度学习框架进行训练和测试,所有实验均在相同的环境下进行。

4.2 实验数据集和参数设置

自制红外图像数据集是采用Xcore MicroⅡ系列非制冷红外机芯组件在不同场景下拍摄而成的。其中训练集是由拍摄的清晰图像和使用本文模糊合成方法生成的模糊图像组成的,包含了5568张清晰图像和模糊图像,每张图像分辨率为640×512。测试集是通过镜头移动或晃动等方式拍摄出的241张真实红外模糊图像,用于测试去模糊效果。

GOPRO数据集中的图像是采用GOPRO4相机拍摄的每秒240帧的高速视频中的视频帧,用来模拟运动模糊图像。该数据集包含3214对清晰图像和模糊图像,其中训练集为2103对,测试集为1111对,每张图像分辨率为1280×720。

两次实验分别使用自制红外图像数据集和GOPRO数据集去训练模糊算子集合和模糊核提取器组成的模型,在使用训练集前要将每对模糊图像和清晰图像在同样的位置裁剪出分辨率为256×256的图像,两次训练均使用相同的参数,实验采用Adam优化器[17],参数设置为b1=0.9,b2=0.99,设定batchsize为4,将模糊核上正则化的权重设为1×10-4,将超拉普拉斯先验的权重设为1×10-2,设定初始学习率为1×10-4,并采用余弦退火算法[18]逐步衰减学习率。实验总共迭代6×106次。实验结果选用峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)和结构相似度(Structural Similarity,SSIM)[19]两项指标进行衡量。峰值信噪比数值高表示图像质量较好,引入噪声较少,失真较小。结构相似度的数值越高表示生成的清晰图像越接近真实清晰图像,两幅图像的结构越相似。

4.3 实验结果

4.3.1 模糊合成

模糊合成实验是为了验证使用本文提出的方法生成的模糊图像,能否替代真实的模糊图像。在原数据集中选取清晰图像x和对应模糊图像y,再随机选取清晰图像x1,使用从(x,y)中提取的模糊核在x1上生成模糊图像y1,然后使用由(x1,y1)组成的合成数据集去训练深度学习去模糊模型,最终比较使用原数据集训练的模型和使用合成数据集训练的模型之间的性能。

本文在GOPRO数据集上进行模糊合成实验。通过使用GOPRO数据集训练出的模型生成模糊图像,原清晰图像和新生成的模糊图像组成了合成数据集之后,使用原数据集和合成数据集分别训练去模糊模型DeblurGANv2[8],评价指标值和实验效果图如表4和图3所示。从实验结果可以看到使用原数据集和合成数据集训练出的模型在PSNR和SSIM性能指标上几乎没有差异,使用本文提出的方法生成的模糊图像可以替代真实模糊图像。

表4 训练结果

图3 合成模糊图像效果

4.3.2 红外图像去模糊

本文在自制红外图像数据集上进行去模糊对比实验。采用DeepDeblur[5],SRN-Deblur[6],DeblurGANv2[8]三种常见的去模糊算法与本文算法进行对比,先使用自制红外图像数据集去训练模型,最后在测试集上测试去模糊效果,所有算法均采用相同的训练样本和测试样本,评价指标值和实验效果图如表5和图4所示。DeepDeblur处理之后的模糊图像产生了畸变,存在严重失真的现象。SRN-Deblur处理之后的模糊图像虽然清晰度有了较大提升,但是局部细节不够清晰。DeblurGANv2处理之后的模糊图像产生了噪声,图像质量较为粗糙。本文算法处理之后的图像得到了清晰明了的边缘轮廓,丰富的局部细节信息,图像质量显著提高,在视觉上更接近清晰图像,有效提升了红外模糊图像的清晰度并且取得了高于其他方法的PSNR和SSIM性能指标。

表5 红外图像去模糊评价指标值

图4 红外图像去模糊效果

由于深度学习去模糊模型在跨领域应用时表现不佳,对真实场景下红外模糊图像没有效果,本文提出了一种基于模糊算子的红外图像去模糊方法。通过深度自编码网络和残差网络实现了模糊算子集合和模糊核提取器,该方法可以处理真实场景下红外图像的运动模糊,恢复出边缘结构更清晰,局部细节更丰富的清晰红外图像。该模型还可以对清晰图像进行模糊合成,解决了红外图像难以收集配对数据的问题。实验结果表明,本文提出的方法取得了有说服力的图像去模糊效果,显著提升了模糊图像的清晰度。

猜你喜欢算子红外卷积与由分数阶Laplace算子生成的热半群相关的微分变换算子的有界性数学物理学报(2022年5期)2022-10-09网红外卖环球时报(2022-05-23)2022-05-23基于3D-Winograd的快速卷积算法设计及FPGA实现北京航空航天大学学报(2021年9期)2021-11-02拟微分算子在Hp(ω)上的有界性数学物理学报(2021年2期)2021-06-09闪亮的中国红外『芯』金桥(2021年4期)2021-05-21各向异性次Laplace算子和拟p-次Laplace算子的Picone恒等式及其应用应用数学(2020年2期)2020-06-24从滤波器理解卷积电子制作(2019年11期)2019-07-04TS系列红外传感器在嵌入式控制系统中的应用电子制作(2019年7期)2019-04-25一类Markov模算子半群与相应的算子值Dirichlet型刻画数学年刊A辑(中文版)(2018年2期)2019-01-08基于傅里叶域卷积表示的目标跟踪算法北京航空航天大学学报(2018年1期)2018-04-20