本申请涉及图像处理,尤其涉及一种夜景图像增强方法、装置、设备和介质。
背景技术:
1、图像增强技术是图像处理技术中的一种处理方法,该图像增强技术是指将原本不清晰的图像变得清晰、或者强调图像中某些特征、或者抑制图像中某些特征,从而改善图像质量,丰富图像信息量的处理方法。
2、现有的图像增强技术,例如,通过抑制对比度自适应直方图均衡化算法对原始图像进行增强处理,得到新图像,并通过图像增强网络对新图像进行处理,得到目标图像,最终完成图像增强;该方法对多个场景的复杂夜景图像处理效果较差,每次应对新场景时需要重新调整参数,不具有普遍性。
3、因此,本申请提出一种夜景图像增强方法,以解决上述问题。
技术实现思路
1、本申请提供一种夜景图像增强方法、装置、设备和介质,用以解决现有技术中对多个场景的复杂夜景图像处理效果较差,每次应对新场景时需要重新调整参数,不具有普遍性的问题。
2、第一方面,本申请提供一种夜景图像增强方法,包括:
3、将通过第一夜景图像构建的图像集进行标准化,得到第一图像数据,其中,所述第一夜景图像包括光照度和/或清晰度低于对应阈值的图像;
4、将所述第一图像数据进行前向加噪,得到第二图像数据;
5、根据所述第二图像数据和所述第二图像数据的随机掩码变换对第一噪声预测模型进行训练,得到训练好的第二噪声预测模型;其中,
6、所述第二噪声预测模型用于对第二夜景图像进行预测得到增强后的第三夜景图像,增强后的第三夜景图像的清晰度达到预设标准。
7、在一种可能的实现方式中,所述根据所述第二图像数据和所述第二图像数据的随机掩码变换对第一噪声预测模型进行训练,得到训练好的第二噪声预测模型,包括:
8、根据预设比值和所述第二图像数据,从全部所述第二图像数据中选出部分所述第二图像数据;
9、通过所述随机掩码变换处理部分所述第二图像数据,得到第三图像数据;
10、根据所述第二图像数据和所述第三图像数据对所述第一噪声预测模型进行训练,得到训练好的第二噪声预测模型。
11、在一种可能的实现方式中,所述得到训练好的第二噪声预测模型之后,所述方法还包括:
12、通过所述第二噪声预测模型学习后验分布式,并预测当前第二夜景图像的第一噪声;
13、将当前第二夜景图像的第一噪声作为所述后验分布式中均值的第二噪声的预测值,带入所述后验分布,获取所述当前第二夜景图像的上一时刻第二夜景图像;
14、继续预测所述上一时刻第二夜景图像的第三噪声带入所述后验分布式,直到达到预设迭代次数,得到增强后的第三夜景图像。
15、在一种可能的实现方式中,所述通过所述第二噪声预测模型学习后验分布式,包括:
16、根据后验分布和所述当前第二夜景图像的图像分布,获取所述后验分布式,并通过所述第二噪声预测模型学习后验分布式,其中,所述图像分布为所述当前第二夜景图像的像素统计分布情况,所述后验分布满足正态分布,所述后验分布包括均值和方差,所述均值包括待测噪声,所述方差为定值。
17、在一种可能的实现方式中,所述将所述第一图像数据进行前向加噪,得到第二图像数据,包括:
18、根据先验分布,获取前向加噪式,其中,所述先验分布满足高斯分布,所述先验分布包括目标时刻第一图像数据与初始时刻第一图像数据之间的关系;
19、根据预设加噪时刻和所述前向加噪式对所述第一图像数据进行前向加噪,得到第二图像数据。
20、在一种可能的实现方式中,所述得到训练好的第二噪声预测模型之前,所述方法还包括:
21、根据目标时刻第一图像数据与初始时刻第一图像数据之间的关系和随机的第四噪声,获取第一参数;
22、根据所述第一参数的二范数,获取所述第一噪声预测模型的损失函数,并通过所述损失函数对所述第一噪声预测模型进行训练。
23、在一种可能的实现方式中,所述将通过第一夜景图像构建的图像集进行标准化,得到第一图像数据,包括:
24、将所述第一夜景图像的像素进行标准化处理,得到均值和标准差分别满足对应预设值的像素分布;
25、对所述像素分布进行归一化处理,得到在预设像素值范围的第一图像数据。
26、第二方面,本申请提供一种夜景图像增强装置,包括:
27、预处理模块,用于将通过第一夜景图像构建的图像集进行标准化,得到第一图像数据,其中,所述第一夜景图像包括光照度和/或清晰度低于对应阈值的图像;
28、前向加噪模块,用于将所述第一图像数据进行前向加噪,得到第二图像数据;
29、训练模块,用于根据所述第二图像数据和所述第二图像数据的随机掩码变换对第一噪声预测模型进行训练,得到训练好的第二噪声预测模型;其中,
30、所述第二噪声预测模型用于对第二夜景图像进行预测得到增强后的第三夜景图像,增强后的第三夜景图像的清晰度达到预设标准。
31、第三方面,本申请提供一种夜景图像增强设备,包括:至少一个处理器和存储器;
32、所述存储器存储计算机执行指令;
33、所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上所述的夜景图像增强方法。
34、第四方面,本申请提供一种计算机可读存储介质,其上储存有计算机程序,该计算机程序被处理器执行时实现如上所述的夜景图像增强方法的步骤。
35、本申请提供的一种夜景图像增强方法、装置、设备和介质,将通过第一夜景图像构建的图像集进行标准化,得到第一图像数据,其中,所述第一夜景图像包括光照度和/或清晰度低于对应阈值的图像;将所述第一图像数据进行前向加噪,得到第二图像数据;根据所述第二图像数据和所述第二图像数据的随机掩码变换对第一噪声预测模型进行训练,得到训练好的第二噪声预测模型;其中,所述第二噪声预测模型用于对第二夜景图像进行预测得到增强后的第三夜景图像,增强后的第三夜景图像的清晰度达到预设标准。
36、上述方法中,第一夜景图像为低光照图像或不清晰图像,具体如光照度和/或清晰度低于对应阈值的图像,为了降低图像噪声便于后续训练,对第一夜景图像进行标准化处理,得到第一图像数据;对第一图像数据进行前向加噪,获取任意时刻的对第一图像数据进行加噪后的图像,得到第二图像数据,此过程对多个第一图像数据进行处理,丰富了图像数据和加噪情况;再通过随机掩码变换辅助第一噪声预测模型根据第二图像数据进行训练,得到训练好的第二噪声预测模型,使得模型可以有更好的适应能力;该训练好的第二噪声预测模型可以用于对第二夜景图像进行图像增强,得到清晰的第三夜景图像,该处理方式具有泛化能力和鲁棒性。
1.一种夜景图像增强方法,其特征在于,包括:
2.根据权利要求1所述的夜景图像增强方法,其特征在于,所述根据所述第二图像数据和所述第二图像数据的随机掩码变换对第一噪声预测模型进行训练,得到训练好的第二噪声预测模型,包括:
3.根据权利要求1所述的夜景图像增强方法,其特征在于,所述得到训练好的第二噪声预测模型之后,所述方法还包括:
4.根据权利要求3所述的夜景图像增强方法,其特征在于,所述通过所述第二噪声预测模型学习后验分布式,包括:
5.根据权利要求1所述的夜景图像增强方法,其特征在于,所述将所述第一图像数据进行前向加噪,得到第二图像数据,包括:
6.根据权利要求5所述的夜景图像增强方法,其特征在于,所述得到训练好的第二噪声预测模型之前,所述方法还包括:
7.根据权利要求1所述的夜景图像增强方法,其特征在于,所述将通过第一夜景图像构建的图像集进行标准化,得到第一图像数据,包括:
8.一种夜景图像增强装置,其特征在于,包括:
9.一种夜景图像增强设备,其特征在于,包括:至少一个处理器和存储器;
10.一种计算机可读存储介质,其上储存有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-7任意一项所述的夜景图像增强方法的步骤。
