一种用于图像清晰度判别的神经网络的设计方法与流程

专利2022-06-29  62


本发明属于图像处理技术领域,具体涉及一种用于图像清晰度判别的神经网络的设计方法。



背景技术:

在图像的质量评价中,图像的清晰度是衡量图像质量优劣的重要指标,而如何客观有效地评价图像的清晰度,仍是研究的热点。现有的可用来度量图像局部清晰度的指标通常有空间频率、sml、对比度、区域能量等。而这些先验的度量指标并不能很好的适应复杂的图像环境,并且容易在灰度均匀区域判别出错。

近年来,随着大数据应用以及gpu加速运算的快速发展,卷积神经网络的研究逐渐变得广泛而深入,很多优秀的卷积神经网络结构不断涌现出来。卷积神经网络是深度学习的代表性网络结构之一,由于其相较于一般神经网络的高效性和高准确性及其特有的连接性、表征学习能力和生物学相似性,在大规模的语音和图像数据应用领域发挥着越来越重要的作用。

目前,一些学者也在探索用于图像清晰度判别的新的方法,但在深度学习领域,用于图像清晰度判别,并能取得较好效果的完整网络还相对较少。



技术实现要素:

本发明的目的为了克服现有技术中存在的不足,提出一种用于图像清晰度判别的神经网络的设计方法。在现代结构的类lenet-5网络的基础上进行实验,确定卷积核尺寸、卷积层数等相关参数。然后得到可以直接放入处理过的多聚焦图像数据集进行清晰度判别的卷积神经网络。

为实现上述目的,本发明提供得方法是:一种用于图像清晰度判别的神经网络的设计方法,包括如下步骤:

步骤1:确定神经网络的基本结构;

步骤2:通过对不同卷积核尺寸网络的比照实验来选取合适的卷积核尺寸;

步骤3:测试网络深度和每层卷积核数量对网络结构应用效果的影响,并选取合适的卷积层数和各层卷积核数量;

步骤4:给出清晰和模糊子块分类卷积神经网络的完整结构;

步骤5:以步骤四4给出的神经网络为主体,保证同一位置清晰和模糊子块成对存在,设计一个仅区分对应位置子块的分类网络。

进一步地,所述步骤1中神经网络采用类似于lenet-5的简单结构。考虑到子块的尺寸相对较小,因此选择弃用池化层,并修改评分层输出为2类评分值。

进一步地,所述步骤2中为尽可能地使网络具有可比性,采用的两个网络网络层数以及各层卷积核数量一致、每层相应的特征图尺寸相同,训练周期相同。

进一步地,所述步骤3以相同的训练方式训练上述网络各60个周期,选取各自训练过程中评估错误率最低时的网络应用于从测试集。

进一步地,所述步骤5中由于清晰度比对是基于两幅源图像相同位置的子块,因而将区分全体中两类子块的网络改进为区分对应位置子块的分类网络,增强其针对性。

有益效果:

本发明与现有技术相比,解决了目前通过单一图像特征评判子块的清晰程度不够准确且受限于图像环境等问题,并且在多聚焦图像融合的应用中融合效果较好。

附图说明

图1为本发明中卷积神经网络参数配置示意图;

图2为本发明中清晰和模糊子块分类卷积神经网络的完整结构示意图;

图3为本发明中改进的子块分类神经网络示意图。

具体实施方式

下面结合附图和具体实施例,进一步阐明本发明,应理解这些实施例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

本发明提供用于图像清晰度判别的神经网络的设计方法,包括如下步骤:

步骤1:对于设计用于清晰和模糊图像子块的二分类卷积神经网络,借鉴类似于lenet-5的简单结构予以实现。考虑到子块的尺寸相对较小,因此选择弃用池化层,并修改评分层输出为2类评分值。网络结构包括:输入层、若干连续的卷积层(c1~m)、评分层、objective层。

步骤2:对不同卷积核尺寸网络的比照实验来确定卷积核尺寸的选取。不对各层的卷积核尺寸差异化选取,全网络使用同一尺寸的卷积核,仅有全连接的卷积核尺寸不同。为了使得网络具有可对比性,对照实验的两个网络卷积核尺寸分别为3和5,网络层数以及各层卷积核数量一致,设置输入数据边缘零填充尺寸的值来保证每层相应的特征图尺寸相同,并以相同方式训练网络各60个周期。训练结果得到,卷积核尺寸为3的网络训练稳定阶段对评估数据的分类错误率相对较低。

步骤3:测试卷积层数和各层卷积核数量的设定对网络结构应用效果的影响。实验构建了不同深度和不同卷积核数量的网络,所有卷积层的卷积核尺寸为3,选用训练集的子块尺寸为6,不同卷积层数与卷积核数量组合的网络配置如图1所示。实验得到,浅层网络对区域内分类错误控制地更好,边界效果则未有明显的差异;对比网络较多卷积核数量的网络在减少分类错误上面稍微优于卷积核数量较少的网络。因此,网络卷积层数越少、各层卷积核数量相对越多,所应用的子块分类网络越可以获得更优的分类效果。

步骤4:给出清晰和模糊子块分类卷积神经网络的完整结构。网络结构如图2所示。各层含义及参数配置如下:

inputlayer:输入层,输入数据为6×6大小的rgb图像块。

c1layer:第一卷积层,卷积核总尺寸为3×3×3、数量为128。卷积之后分别使特征图经过批归一化层和relu层操作。

c2layer:第二卷积层,其实也可以看作全连接层。卷积核总尺寸为6×6×128、数量为256。输出之后同样经过批归一化层和relu层。

scorelayer:评分层,对应输入子块清晰和模糊两类评分值,该层卷积核总尺寸1×1×256,数量为2。

objectivelayer:该层用来计算训练数据的分类预测与训练标签trainlabel的softmaxloss,其值为objective。在测试模式下,网络到评分层输出。

步骤5:由于基于子块分割融合方法的一般流程中清晰度比对是基于两幅源图像相同位置的子块,因而仅区分对应位置子块的分类网络会更有针对性。首先将同一位置清晰和模糊子块绑定作为成对的输入数据,两个子块经过同一个网络结构后到各自评分层输出,不同于一般网络的分开计算损失函数,该方法是在计算损失之前将两个评分层连结然后计算共同的交叉熵损失,因此网络优化的目标是最大化任意一对相同位置清晰和模糊子块的差异。根据此类方法的思路,选择步骤4中网络为基础网络结构,保证同一位置清晰和模糊子块成对存在,设计改进的子块分类网络,网络结构如图3所示。

以上详细描述了本发明的优选实施方式,但是,本发明并不限于上述实施方式中的具体细节,在本发明的技术构思范围内,可以对本发明的技术方案进行多种等同变换,这些等同变换均属于本发明的保护范围。


技术特征:

1.一种用于图像清晰度判别的神经网络的设计方法,其特征在于,包括以下步骤:

步骤1:确定神经网络的基本结构;

步骤2:对不同卷积核尺寸网络的比照实验来确定卷积核尺寸的选取;

步骤3:测试网络深度和每层卷积核数量对网络结构应用效果的影响,并选取合适的卷积层数和各层卷积核数量;

步骤4:给出清晰和模糊子块分类卷积神经网络的完整结构:

步骤5:以步骤四4给出的神经网络为主体,保证同一位置清晰和模糊子块成对存在,设计一个仅区分对应位置子块的分类网络。

2.根据权利要求1所述的一种用于图像清晰度判别的神经网络的设计方法,其特征在于:所述的步骤1中神经网络的基本结构采用类似于lenet-5的简单结构,网络结构包括输入层、若干连续的卷积层c1~m、评分层、objective层。

3.根据权利要求1所述的一种用于图像清晰度判别的神经网络的设计方法,其特征在于:所述步骤2中采用的两个网络网络层数以及各层卷积核数量一致、每层相应的特征图尺寸相同,训练周期相同。

4.根据权利要求1所述的一种用于图像清晰度判别的神经网络的设计方法,其特征在于:所述步骤3以相同的训练方式训练上述网络各60个周期,选取各自训练过程中评估错误率最低时的网络应用于从测试集。

5.根据权利要求1所述的一种用于图像清晰度判别的神经网络的设计方法,其特征在于:所述步骤5中将区分全体中两类子块的网络改进为区分对应位置子块的分类网络,增强其针对性,具体为:首先将同一位置清晰和模糊子块绑定作为成对的输入数据,两个子块经过同一个网络结构后到各自评分层输出。

技术总结
本发明公开了一种用于图像清晰度判别的神经网络的设计方法,搭建了一种可以判别图像局域清晰度的卷积神经网络,将待检测的图像块经过特定结构的网络输出其清晰程度的指标并进行分类,形成一个分类的二值图像。由于卷积神经网络的参数可以基于训练样本和训练过程进行优化,较好地解决了空间频率、SML、对比度、区域能量等一般用来度量图像局部清晰度的特征指标不能很好的适应复杂的图像环境、容易在灰度均匀区域判别出错等问题,因此能够获得更优的清晰度度量方式。

技术研发人员:董志芳;姜奕颖;李子恒
受保护的技术使用者:东南大学
技术研发日:2020.01.17
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-49177.html

最新回复(0)