本发明涉及一种图像复原方法,尤其是涉及一种基于稀疏先验的图像复原方法。
背景技术:
随着深度学习的发展,基于学习的方法在图像复原任务上产生了非常客观的效果,其一是因为基于学习的方法通过大量的样本可以学习图像的局部相似性特征,因此可以大大提升图像复原质量;其二是因为基于学习的方法可以通过深度学习框架并行实现,所以在测试的时候会大大缩短图像复原时间。然而在实际测试中,基于学习的图像复原方法依然存在着如下两方面的挑战:
(1)鲁棒性不够:由于同一图像中不同像素的条件分布各不同,因此针对同一图像复原任务中的不同样本,利用学习方法得到的复原结果差异很大。
(2)泛化能力不够:由于不同任务下退化图像像素分布的差异很大,因此针对不同的图像复原任务,基于学习的方法缺乏适应不同任务的灵活性。
因此,在图像复原领域如何提高学习方法的鲁棒性和泛化能力仍然是一个开放性的挑战。
技术实现要素:
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于稀疏先验的图像复原方法。
本发明的目的可以通过以下技术方案来实现:
一种基于稀疏先验的图像复原方法,该方法包括如下步骤:
(1)获取成对的退化图像和真实图像,生成训练样本;
(2)在小波域中构建稀疏化单元来稀疏表示图像;
(3)在图像域中构建图像复原单元来重建退化图像的细节信息,获取复原图像;
(4)获取损失函数;
(5)循环迭代,利用优化器最小化损失函数,以训练稀疏化单元和图像复原单元;
(6)将稀疏化单元与图像复原单元级联,形成图像复原模型,用于图像复原。
步骤(2)通过小波变换得到退化图像在小波域中的表示,然后利用软阈值算子稀疏化小波变换结果。
步骤(2)具体表示为:
dk=max{|wuk|-λ,0}sign(wuk),
其中,dk表示第k次迭代得到的退化图像的稀疏表示,uk表示第k次迭代中的退化图像,w表示小波变换,λ为待学习的软阈值算子,sign表示符号函数。
步骤(3)将图像的稀疏表示与实际观测到的退化图像相结合来复原图像。
步骤(3)具体表示为:
uk=b-1(f wtdiag(β2)dk),
b=wtdiag(β2)w ata,
其中,uk表示第k次迭代得到的复原图像,f表示输入的退化图像,diag表示对角矩阵,β为给定常数,dk表示第k次迭代得到的退化图像的稀疏表示,w表示小波变换,wt表示小波逆变换,a表示未知的图像退化算子。
由于图像退化算子a未知而且参数不易选择,因此采用神经网络来复原图像,表示为:
uk=gθ(f wt×conv(dk)),
其中,gθ为神经网络,conv表示2-d卷积。
步骤(4)损失函数为复原图像与真实图像之间的均方误差。
步骤(5)具体为采用优化器最小化均方误差以更新稀疏化单元和图像复原单元的参数。
与现有技术相比,本发明具有如下优点:
(1)本发明基于图像的稀疏先验来复原图像,用该方法获取的图像复原模型鲁棒性高,泛化能力强;
(2)本发明具有全自动、计算时间短、实现方便等优势。
附图说明
图1为本发明基于稀疏先验的图像复原方法的流程框图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。注意,以下的实施方式的说明只是实质上的例示,本发明并不意在对其适用物或其用途进行限定,且本发明并不限定于以下的实施方式。
实施例
如图1所示,一种基于稀疏先验的图像复原方法,该方法包括如下步骤:
步骤1:获取成对的退化图像和真实图像,生成训练样本,具体地,首先通过模糊、噪化或下采样等操作生成退化图像,将退化图像和相应真实图像组合形成一对训练样本;利用数据增广技术將训练图像进行翻转和旋转,生成大量训练样本。这些准备好的样本将用于第五步的网络训练。
步骤2:在小波域中构建稀疏化单元来稀疏表示图像,具体地,首先通过小波变换得到退化图像在小波域中的表示,然后利用软阈值算子稀疏化小波变换结果,具体表示为:
dk=max{|wuk|-λ,0}sign(wuk),
其中,dk表示第k次迭代得到的退化图像的稀疏表示,uk表示第k次迭代中的退化图像,w表示小波变换,λ为待学习的软阈值算子,sign表示符号函数。需要注意的是,这里的阈值不需要人工选择,它是通过训练样本学习得到的。
步骤3:在图像域中构建图像复原单元来重建退化图像的细节信息,获取复原图像,此步骤中将图像的稀疏表示与实际观测到的退化图像相结合来复原图像,具体地:
uk=b-1(f wtdiag(β2)dk),
b=wtdiag(β2)w ata,
其中,uk表示第k次迭代得到的复原图像,f表示输入的退化图像,diag表示对角矩阵,β为给定常数,dk表示第k次迭代得到的退化图像的稀疏表示,w表示小波变换,wt表示小波逆变换,a表示未知的图像退化算子。由于图像退化算子a未知而且参数不易选择,因此采用神经网络来复原图像,表示为:
uk=gθ(f wt×conv(dk)),
其中,gθ为神经网络,conv表示2-d卷积。通过小波逆变换wt将图像在小波域中的稀疏表示变换为图像域中的图像,然后与实际观测到的退化图像f相结合来作为网络的输入,网络的输出为在第k步对真实图像的估计(即复原图像)。
步骤4:获取损失函数,损失函数为复原图像与真实图像之间的均方误差。
步骤5:循环迭代,利用优化器最小化损失函数,以训练稀疏化单元和图像复原单元。具体地,采用优化器最小化均方误差以更新稀疏化单元和图像复原单元的参数,包括稀疏化单元中的软阈值算子λ以及图像复原单元中神经网络gθ的参数。
步骤6:如果达到最大训练步数,停止训练,将稀疏化单元与图像复原单元级联,形成图像复原模型,用于图像复原。
在应用阶段,该模型输入为退化的图像,输出为复原的图像,整个过程是全自动,不需要人工干预,并且执行速度很快。
上述实施方式仅为例举,不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施,且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。
1.一种基于稀疏先验的图像复原方法,其特征在于,该方法包括如下步骤:
(1)获取成对的退化图像和真实图像,生成训练样本;
(2)在小波域中构建稀疏化单元来稀疏表示图像;
(3)在图像域中构建图像复原单元来重建退化图像的细节信息,获取复原图像;
(4)获取损失函数;
(5)循环迭代,利用优化器最小化损失函数,以训练稀疏化单元和图像复原单元;
(6)将稀疏化单元与图像复原单元级联,形成图像复原模型,用于图像复原。
2.根据权利要求1所述的一种基于稀疏先验的图像复原方法,其特征在于,步骤(2)通过小波变换得到退化图像在小波域中的表示,然后利用软阈值算子稀疏化小波变换结果。
3.根据权利要求2所述的一种基于稀疏先验的图像复原方法,其特征在于,步骤(2)具体表示为:
dk=max{|wuk|-λ,0}sign(wuk),
其中,dk表示第k次迭代得到的退化图像的稀疏表示,uk表示第k次迭代中的退化图像,w表示小波变换,λ为待学习的软阈值算子,sign表示符号函数。
4.根据权利要求1所述的一种基于稀疏先验的图像复原方法,其特征在于,步骤(3)将图像的稀疏表示与实际观测到的退化图像相结合来复原图像。
5.根据权利要求4所述的一种基于稀疏先验的图像复原方法,其特征在于,步骤(3)具体表示为:
uk=b-1(f wtdiag(β2)dk),
b=wtdiag(β2)w ata,
其中,uk表示第k次迭代得到的复原图像,f表示输入的退化图像,diag表示对角矩阵,β为给定常数,dk表示第k次迭代得到的退化图像的稀疏表示,w表示小波变换,wt表示小波逆变换,a表示未知的图像退化算子。
6.根据权利要求5所述的一种基于稀疏先验的图像复原方法,其特征在于,由于图像退化算子a未知而且参数不易选择,因此采用神经网络来复原图像,表示为:
uk=gθ(f wt×conv(dk)),
其中,gθ为神经网络,conv表示2-d卷积。
7.根据权利要求1所述的一种基于稀疏先验的图像复原方法,其特征在于,步骤(4)损失函数为复原图像与真实图像之间的均方误差。
8.根据权利要求7所述的一种基于稀疏先验的图像复原方法,其特征在于,步骤(5)具体为采用优化器最小化均方误差以更新稀疏化单元和图像复原单元的参数。
技术总结