本发明涉及深度学习技术领域,并且更具体地,涉及一种基于深度学习算法确定图像清晰度的方法及系统。
背景技术:
随着计算机视觉与深度学习的快速发展,也推进了图像分析在中医领域的进步。为了实现智能面舌诊断,那么对就医者拍摄的面部、舌部的图像清晰度有很高要求,因而,在诊断之前就需要对图像进行模糊判断,以提高面舌诊的准确性。传统图像处理方案或者是特征工程加机器学习分类的方案,存在以下问题,包括:a.对于图像特征提取困难;b.人工筛选特征且采用传统机器学习训练的模型泛化能力差、鲁棒性差;c.用机器学习或传统的图像处理方法得到的结果准确率低;d.在图像处理过程中阈值难以选取。
深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。深度学习的概念由hinton等人于2006年提出。基于深信度网(dbn)提出非监督贪心逐层训练算法,为解决深层结构相关的优化难题带来希望,随后提出多层自动编码器深层结构。此外lecun等人提出的卷积神经网络是第一个真正多层结构学习算法,它利用空间相对关系减少参数数目以提高训练性能。
因此,需要于深度学习算法确定图像清晰度的方法。
技术实现要素:
本发明提出一种基于深度学习算法确定图像清晰度的方法及系统,以解决如何自动确定图像清晰度的问题。
为了解决上述问题,根据本发明的一个方面,提供了一种基于深度学习算法确定图像清晰度的方法,所述方法包括:
获取包含舌部区域的原始脸部图像数据集,并根据原始脸部图像的清晰程度分别对每个原始脸部图像进行清晰程度的标注;
对经过标注的原始脸部图像数据集进行数据增强处理,以获取经过数据增强的脸部图像数据集;
在残差网络的框架基础上搭建深度网络,建立优化器与所述残差网络的关联关系,以构成图像清晰度判断模型,并利用所述经过数据增强的脸部图像数据集对所述图像清晰度判断模型进行训练和测试,以确定经过训练的图像清晰度判断模型;
对待测的包含舌部区域的脸部图像进行预处理,并利用所述经过训练的图像清晰度判断模型对经过预处理的脸部图像进行分析,以确定所述待测的包含舌部区域的脸部图像的图像清晰度。
优选地,其中所述对经过标注的原始脸部图像数据集进行数据增强处理,以获取经过数据增强的脸部图像数据集,包括:
利用颜色空间变换处理、亮度调整处理、饱和度调整处理、通道变换处理、随机裁剪处理、水平镜像处理和归一化处理中的至少一种处理方式,对经过标注的原始脸部图像数据集中的脸部图像数据进行处理,以获取经过数据增强的脸部图像数据集。
优选地,其中所述残差网络为resnet-18,由17层卷积层和1层完全连接层组成;所述深度网络为senet,对于senet,在resnet-18的框架基础上,加入通道注意力机制,在训练过程中用来选取权重。
优选地,其中所述利用所述经过数据增强的脸部图像数据集对所述图像清晰度判断模型进行训练和测试,以确定经过训练的图像清晰度判断模型,包括:
残差网络resnet的卷积层组的网络权值采用resnet-18的网络权值初始化,resnet结构的完全连接层的网络权值则为随机初始化;
残差网络resnet的卷积层组和全连接层的初始学习率设置为0.01,利用crossentropy作为损失函数,前期第一预设个数的训练样本在进行迭代训练时的学习率不变,后期每隔第二预设个数的训练样本在进行迭代训练时的学习率下降到0.001与0.0001;
在所述经过数据增强的脸部图像数据集中随机选取预设百分比阈值的脸部图像作为训练集,剩余的脸部图像作为测试集,以进行训练和测试;
采用随机梯度下降算法,对图像清晰度判断模型进行迭代训练,并选取损失函数最小的网络模型作为经过训练的图像清晰度判断模型。
优选地,其中所述对待测的包含舌部区域的脸部图像进行预处理,并利用所述经过训练的图像清晰度判断模型对经过预处理的脸部图像进行分析,以确定所述待测的包含舌部区域的脸部图像的图像清晰度,包括:
按照预设的尺寸对待测的包含舌部区域的脸部图像进行缩放处理,并减去各个通道的均值,以获取经过预处理的待测的包含舌部区域的脸部图像;
利用所述经过训练的图像清晰度判断模型对经过预处理的脸部图像进行分析,获取不同清晰程度对应的概率值,并选取最大概率值对应的清晰程度为所述待测的包含舌部区域的脸部图像的图像清晰度;
其中,所述清晰程度,包括:清晰、比较清晰和不清晰。
根据本发明的另一个方面,提供了一种基于深度学习算法确定图像清晰度的系统,所述系统包括:
清晰程度标注单元,用于获取包含舌部区域的原始脸部图像数据集,并根据原始脸部图像的清晰程度分别对每个原始脸部图像进行清晰程度的标注;
数据增强处理单元,用于对经过标注的原始脸部图像数据集进行数据增强处理,以获取经过数据增强的脸部图像数据集;
图像清晰度判断模型确定单元,用于在残差网络的框架基础上搭建深度网络,建立优化器与所述残差网络的关联关系,以构成图像清晰度判断模型,并利用所述经过数据增强的脸部图像数据集对所述图像清晰度判断模型进行训练和测试,以确定经过训练的图像清晰度判断模型;
图像清晰度确定单元,用于对待测的包含舌部区域的脸部图像进行预处理,并利用所述经过训练的图像清晰度判断模型对经过预处理的脸部图像进行分析,以确定所述待测的包含舌部区域的脸部图像的图像清晰度。
优选地,其中所述数据增强处理单元,对经过标注的原始脸部图像数据集进行数据增强处理,以获取经过数据增强的脸部图像数据集,包括:
利用颜色空间变换处理、亮度调整处理、饱和度调整处理、通道变换处理、随机裁剪处理、水平镜像处理和归一化处理中的至少一种处理方式,对经过标注的原始脸部图像数据集中的脸部图像数据进行处理,以获取经过数据增强的脸部图像数据集。
优选地,其中所述残差网络为resnet-18,由17层卷积层和1层完全连接层组成;所述深度网络为senet,对于senet,在resnet-18的框架基础上,加入通道注意力机制,在训练过程中用来选取权重。
优选地,其中所述图像清晰度判断模型确定单元,利用所述经过数据增强的脸部图像数据集对所述图像清晰度判断模型进行训练和测试,以确定经过训练的图像清晰度判断模型,包括:
残差网络resnet的卷积层组的网络权值采用resnet-18的网络权值初始化,resnet结构的完全连接层的网络权值则为随机初始化;
残差网络resnet的卷积层组和全连接层的初始学习率设置为0.01,利用crossentropy作为损失函数,前期第一预设个数的训练样本在进行迭代训练时的学习率不变,后期每隔第二预设个数的训练样本在进行迭代训练时的学习率下降到0.001与0.0001;
在所述经过数据增强的脸部图像数据集中随机选取预设百分比阈值的脸部图像作为训练集,剩余的脸部图像作为测试集,以进行训练和测试;
采用随机梯度下降算法,对图像清晰度判断模型进行迭代训练,并选取损失函数最小的网络模型作为经过训练的图像清晰度判断模型。
优选地,其中所述图像清晰度确定单元,对待测的包含舌部区域的脸部图像进行预处理,并利用所述经过训练的图像清晰度判断模型对经过预处理的脸部图像进行分析,以确定所述待测的包含舌部区域的脸部图像的图像清晰度,包括:
按照预设的尺寸对待测的包含舌部区域的脸部图像进行缩放处理,并减去各个通道的均值,以获取经过预处理的待测的包含舌部区域的脸部图像;
利用所述经过训练的图像清晰度判断模型对经过预处理的脸部图像进行分析,获取不同清晰程度对应的概率值,并选取最大概率值对应的清晰程度为所述待测的包含舌部区域的脸部图像的图像清晰度;
其中,所述清晰程度,包括:清晰、比较清晰和不清晰。
本发明提供了一种基于深度学习算法确定图像清晰度的方法及系统,包括:对每个原始脸部图像进行清晰程度的标注;对经过标注的原始脸部图像数据集进行数据增强处理;在残差网络的框架基础上搭建深度网络,建立优化器与所述残差网络的关联关系,以构成图像清晰度判断模型,并进行训练和测试,以确定经过训练的图像清晰度判断模型;利用所述经过训练的图像清晰度判断模型对待测的脸部图像进行分析,以确定所述待测的脸部图像的图像清晰度。本发明的方法不需要人工筛选特征,避免了特征工程选择分类特征的过程,通过数据增强通过数据增强可以让原始数据衍生出更丰富的新数据集作为训练数据,从而使模型可以适应不同的场景,通过对图像的清晰度进行判断,能够为面舌诊的准确性打下基础。
附图说明
通过参考下面的附图,可以更为完整地理解本发明的示例性实施方式:
图1为根据本发明实施方式的基于深度学习算法确定图像清晰度的方法100的流程图;
图2为根据本发明实施方式的残差单元的示意图;
图3为根据本发明实施方式的深度网络senet的示意图;以及
图4为根据本发明实施方式的基于深度学习算法确定图像清晰度的系统400的结构示意图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式,然而,本发明可以用许多不同的形式来实施,并且不局限于此处描述的实施例,提供这些实施例是为了详尽地且完全地公开本发明,并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中,相同的单元/元件使用相同的附图标记。
除非另有说明,此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外,可以理解的是,以通常使用的词典限定的术语,应当被理解为与其相关领域的语境具有一致的含义,而不应该被理解为理想化的或过于正式的意义。
图1为根据本发明实施方式的基于深度学习算法确定图像清晰度的方法100的流程图。如图1所示,本发明实施方式提供的基于深度学习算法确定图像清晰度的方法,不需要人工筛选特征,避免了特征工程选择分类特征的过程,通过数据增强通过数据增强可以让原始数据衍生出更丰富的新数据集作为训练数据,从而使模型可以适应不同的场景,通过对图像的清晰度进行判断,能够为面舌诊的准确性打下基础。本发明实施方式的基于深度学习算法确定图像清晰度的方法100,从步骤101处开始,在步骤101获取包含舌部区域的原始脸部图像数据集,并根据原始脸部图像的清晰程度分别对每个原始脸部图像进行清晰程度的标注。
在本发明的实施方式中,通过医院、社区等途径采集带有脸部与舌部的图像,以保证数据来源的多样性、均匀性。根据清晰程度的分类标准:清晰、比较清晰和不清楚,对数据进行分类标注。
在步骤102,对经过标注的原始脸部图像数据集进行数据增强处理,以获取经过数据增强的脸部图像数据集。
优选地,其中所述对经过标注的原始脸部图像数据集进行数据增强处理,以获取经过数据增强的脸部图像数据集,包括:
利用颜色空间变换处理、亮度调整处理、饱和度调整处理、通道变换处理、随机裁剪处理、水平镜像处理和归一化处理中的至少一种处理方式,对经过标注的原始脸部图像数据集中的脸部图像数据进行处理,以获取经过数据增强的脸部图像数据集。
在本发明的实施方式中,为了提升训练模型的鲁棒性,通过数据增强的方式让原始数据衍生出更丰富的新数据集作为训练数据,从而使模型可以适应不同的场景。其中,对原始的包含舌部的脸部图像数据进行数据增强的处理方式包括:颜色空间的变换处理,将图像从rgb空间变换到hue空间;亮度调整处理,随机调整图像的亮度值;饱和度调整处理,随机调整图像的饱和度;通道变换处理,将图像的三个通互换位置,生成新的图像;随机裁剪处理,在原图的基础上随机裁剪图像,以丰富背景;水平镜像处理,以增加多样性;归一化处理,减少图像的直流信号的干扰。对于任一张原始的脸部图像数据可以选取其中的一种处理方式或多种处理方式同时进行处理。
在步骤103,在残差网络的框架基础上搭建深度网络,建立优化器与所述残差网络的关联关系,以构成图像清晰度判断模型,并利用所述经过数据增强的脸部图像数据集对所述图像清晰度判断模型进行训练和测试,以确定经过训练的图像清晰度判断模型。
优选地,其中所述残差网络为resnet-18,由17层卷积层和1层完全连接层组成;所述深度网络为senet,对于senet,在resnet-18的框架基础上,加入通道注意力机制,在训练过程中用来选取权重。
优选地,其中所述利用所述经过数据增强的脸部图像数据集对所述图像清晰度判断模型进行训练和测试,以确定经过训练的图像清晰度判断模型,包括:
残差网络resnet的卷积层组的网络权值采用resnet-18的网络权值初始化,resnet结构的完全连接层的网络权值则为随机初始化;
残差网络resnet的卷积层组和全连接层的初始学习率设置为0.01,利用crossentropy作为损失函数,前期第一预设个数的训练样本在进行迭代训练时的学习率不变,后期每隔第二预设个数的训练样本在进行迭代训练时的学习率下降到0.001与0.0001;
在所述经过数据增强的脸部图像数据集中随机选取预设百分比阈值的脸部图像作为训练集,剩余的脸部图像作为测试集,以进行训练和测试;
采用随机梯度下降算法,对图像清晰度判断模型进行迭代训练,并选取损失函数最小的网络模型作为经过训练的图像清晰度判断模型。
在本发明的实施方式中,残差网络为resnet-18,由17层卷积层和1层完全连接层组成。图2为根据本发明实施方式的残差单元的示意图。如图2所示,网络前期主要是提取数据的图像数据的高级特征,中期主要提数据的低级特征,后期网络会自己合成一些特征,构成整个模型的特征组合。
图3为根据本发明实施方式的深度网络senet的示意图。如图3所示,为本发明的实施方式搭建的深度网络senet分类网络,c=16。经分析采集的图像中模糊分布有全局模糊与局部模糊的情况,根据导致模糊的原因又分为:运动模糊与失焦模糊。面对这样的实际情况,所以我们引入注意力机制来提高分类的准确率。
对于senet网络,在resnet-18的框架基础上,加入channelattention机制,来解决图像模糊中的局部模糊不容易检测出来的问题,作用是在训练过程中用来选取权重。在我们对模糊图像分类的过程中,模糊的像素块分类大小不一,那么通过训练的时候有效的针对这部分像素进行权值筛选,就可以针对模糊部分的集中学习来提高分类的准确率。
在训练过程中,采用sgd优化器,crossentropy作为损失函数,初始学习率设置为0.01,设置前30k个迭代,学习率不变,后期每隔10k个迭代,学习率下降到0.001与0.0001。然后,在所述经过数据增强的脸部图像数据集中随机选取80%的脸部图像作为训练集,剩余的脸部图像20%作为测试集,以进行训练和测试。采用随机梯度下降算法,对图像清晰度判断模型进行迭代训练,调整参数,重新训练,直到达到可用的准确率为止,并选取损失函数最小的网络模型作为经过训练的图像清晰度判断模型。
在步骤104,对待测的包含舌部区域的脸部图像进行预处理,并利用所述经过训练的图像清晰度判断模型对经过预处理的脸部图像进行分析,以确定所述待测的包含舌部区域的脸部图像的图像清晰度。
优选地,其中所述对待测的包含舌部区域的脸部图像进行预处理,并利用所述经过训练的图像清晰度判断模型对经过预处理的脸部图像进行分析,以确定所述待测的包含舌部区域的脸部图像的图像清晰度,包括:
按照预设的尺寸对待测的包含舌部区域的脸部图像进行缩放处理,并减去各个通道的均值,以获取经过预处理的待测的包含舌部区域的脸部图像;
利用所述经过训练的图像清晰度判断模型对经过预处理的脸部图像进行分析,获取不同清晰程度对应的概率值,并选取最大概率值对应的清晰程度为所述待测的包含舌部区域的脸部图像的图像清晰度;
其中,所述清晰程度,包括:清晰、比较清晰和不清晰。
在本发明的实施方中,在获取到一张待测的包含舌部区域的脸部图像时,首选将待测的脸部图像按照预设的尺寸进行缩放,然后减去各个通道均值,然后将预处理后的图像输入到训练好的模型中,输出三个概率值,选取出概率最大的那一类作为相应的分类结果。当分类结果指示比较清晰或不清晰时,可以及时提醒用户重新就行拍照。
图4为根据本发明实施方式的基于深度学习算法确定图像清晰度的系统400的结构示意图。如图4所示,本发明实施方式提供的基于深度学习算法确定图像清晰度的系统400,包括:清晰程度标注单元401、数据增强处理单元402、图像清晰度判断模型确定单元403和图像清晰度确定单元404。
优选地,所述清晰程度标注单元401,用于获取包含舌部区域的原始脸部图像数据集,并根据原始脸部图像的清晰程度分别对每个原始脸部图像进行清晰程度的标注。
优选地,所述数据增强处理单元402,用于对经过标注的原始脸部图像数据集进行数据增强处理,以获取经过数据增强的脸部图像数据集。
优选地,其中所述数据增强处理单元402,对经过标注的原始脸部图像数据集进行数据增强处理,以获取经过数据增强的脸部图像数据集,包括:
利用颜色空间变换处理、亮度调整处理、饱和度调整处理、通道变换处理、随机裁剪处理、水平镜像处理和归一化处理中的至少一种处理方式,对经过标注的原始脸部图像数据集中的脸部图像数据进行处理,以获取经过数据增强的脸部图像数据集。
优选地,所述图像清晰度判断模型确定单元403,用于在残差网络的框架基础上搭建深度网络,建立优化器与所述残差网络的关联关系,以构成图像清晰度判断模型,并利用所述经过数据增强的脸部图像数据集对所述图像清晰度判断模型进行训练和测试,以确定经过训练的图像清晰度判断模型。
优选地,其中所述残差网络为resnet-18,由17层卷积层和1层完全连接层组成;所述深度网络为senet,对于senet,在resnet-18的框架基础上,加入通道注意力机制,在训练过程中用来选取权重。
优选地,其中所述图像清晰度判断模型确定单元403,利用所述经过数据增强的脸部图像数据集对所述图像清晰度判断模型进行训练和测试,以确定经过训练的图像清晰度判断模型,包括:
残差网络resnet的卷积层组的网络权值采用resnet-18的网络权值初始化,resnet结构的完全连接层的网络权值则为随机初始化;
残差网络resnet的卷积层组和全连接层的初始学习率设置为0.01,利用crossentropy作为损失函数,前期第一预设个数的训练样本在进行迭代训练时的学习率不变,后期每隔第二预设个数的训练样本在进行迭代训练时的学习率下降到0.001与0.0001;
在所述经过数据增强的脸部图像数据集中随机选取预设百分比阈值的脸部图像作为训练集,剩余的脸部图像作为测试集,以进行训练和测试;
采用随机梯度下降算法,对图像清晰度判断模型进行迭代训练,并选取损失函数最小的网络模型作为经过训练的图像清晰度判断模型。
优选地,所述图像清晰度确定单元404,用于对待测的包含舌部区域的脸部图像进行预处理,并利用所述经过训练的图像清晰度判断模型对经过预处理的脸部图像进行分析,以确定所述待测的包含舌部区域的脸部图像的图像清晰度。
优选地,其中所述图像清晰度确定单元,对待测的包含舌部区域的脸部图像进行预处理,并利用所述经过训练的图像清晰度判断模型对经过预处理的脸部图像进行分析,以确定所述待测的包含舌部区域的脸部图像的图像清晰度,包括:
按照预设的尺寸对待测的包含舌部区域的脸部图像进行缩放处理,并减去各个通道的均值,以获取经过预处理的待测的包含舌部区域的脸部图像;
利用所述经过训练的图像清晰度判断模型对经过预处理的脸部图像进行分析,获取不同清晰程度对应的概率值,并选取最大概率值对应的清晰程度为所述待测的包含舌部区域的脸部图像的图像清晰度;
其中,所述清晰程度,包括:清晰、比较清晰和不清晰。
本发明的实施例的基于深度学习算法确定图像清晰度的系统400与本发明的另一个实施例的基于深度学习算法确定图像清晰度的方法100相对应,在此不再赘述。
已经通过参考少量实施方式描述了本发明。然而,本领域技术人员所公知的,正如附带的专利权利要求所限定的,除了本发明以上公开的其他的实施例等同地落在本发明的范围内。
通常地,在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释,除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例,除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行,除非明确地说明。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。
1.一种基于深度学习算法确定图像清晰度的方法,其特征在于,所述方法包括:
获取包含舌部区域的原始脸部图像数据集,并根据原始脸部图像的清晰程度分别对每个原始脸部图像进行清晰程度的标注;
对经过标注的原始脸部图像数据集进行数据增强处理,以获取经过数据增强的脸部图像数据集;
在残差网络的框架基础上搭建深度网络,建立优化器与所述残差网络的关联关系,以构成图像清晰度判断模型,并利用所述经过数据增强的脸部图像数据集对所述图像清晰度判断模型进行训练和测试,以确定经过训练的图像清晰度判断模型;
对待测的包含舌部区域的脸部图像进行预处理,并利用所述经过训练的图像清晰度判断模型对经过预处理的脸部图像进行分析,以确定所述待测的包含舌部区域的脸部图像的图像清晰度。
2.根据权利要求1所述的方法,其特征在于,所述对经过标注的原始脸部图像数据集进行数据增强处理,以获取经过数据增强的脸部图像数据集,包括:
利用颜色空间变换处理、亮度调整处理、饱和度调整处理、通道变换处理、随机裁剪处理、水平镜像处理和归一化处理中的至少一种处理方式,对经过标注的原始脸部图像数据集中的脸部图像数据进行处理,以获取经过数据增强的脸部图像数据集。
3.根据权利要求1所述的方法,其特征在于,所述残差网络为resnet-18,由17层卷积层和1层完全连接层组成;所述深度网络为senet,对于senet,在resnet-18的框架基础上,加入通道注意力机制,在训练过程中用来选取权重。
4.根据权利要求3所述的方法,其特征在于,所述利用所述经过数据增强的脸部图像数据集对所述图像清晰度判断模型进行训练和测试,以确定经过训练的图像清晰度判断模型,包括:
残差网络resnet的卷积层组的网络权值采用resnet-18的网络权值初始化,resnet结构的完全连接层的网络权值则为随机初始化;
残差网络resnet的卷积层组和全连接层的初始学习率设置为0.01,利用crossentropy作为损失函数,前期第一预设个数的训练样本在进行迭代训练时的学习率不变,后期每隔第二预设个数的训练样本在进行迭代训练时的学习率下降到0.001与0.0001;
在所述经过数据增强的脸部图像数据集中随机选取预设百分比阈值的脸部图像作为训练集,剩余的脸部图像作为测试集,以进行训练和测试;
采用随机梯度下降算法,对图像清晰度判断模型进行迭代训练,并选取损失函数最小的网络模型作为经过训练的图像清晰度判断模型。
5.根据权利要求1所述的方法,其特征在于,所述对待测的包含舌部区域的脸部图像进行预处理,并利用所述经过训练的图像清晰度判断模型对经过预处理的脸部图像进行分析,以确定所述待测的包含舌部区域的脸部图像的图像清晰度,包括:
按照预设的尺寸对待测的包含舌部区域的脸部图像进行缩放处理,并减去各个通道的均值,以获取经过预处理的待测的包含舌部区域的脸部图像;
利用所述经过训练的图像清晰度判断模型对经过预处理的脸部图像进行分析,获取不同清晰程度对应的概率值,并选取最大概率值对应的清晰程度为所述待测的包含舌部区域的脸部图像的图像清晰度;
其中,所述清晰程度,包括:清晰、比较清晰和不清晰。
6.一种基于深度学习算法确定图像清晰度的系统,其特征在于,所述系统包括:
清晰程度标注单元,用于获取包含舌部区域的原始脸部图像数据集,并根据原始脸部图像的清晰程度分别对每个原始脸部图像进行清晰程度的标注;
数据增强处理单元,用于对经过标注的原始脸部图像数据集进行数据增强处理,以获取经过数据增强的脸部图像数据集;
图像清晰度判断模型确定单元,用于在残差网络的框架基础上搭建深度网络,建立优化器与所述残差网络的关联关系,以构成图像清晰度判断模型,并利用所述经过数据增强的脸部图像数据集对所述图像清晰度判断模型进行训练和测试,以确定经过训练的图像清晰度判断模型;
图像清晰度确定单元,用于对待测的包含舌部区域的脸部图像进行预处理,并利用所述经过训练的图像清晰度判断模型对经过预处理的脸部图像进行分析,以确定所述待测的包含舌部区域的脸部图像的图像清晰度。
7.根据权利要求6所述的系统,其特征在于,所述数据增强处理单元,对经过标注的原始脸部图像数据集进行数据增强处理,以获取经过数据增强的脸部图像数据集,包括:
利用颜色空间变换处理、亮度调整处理、饱和度调整处理、通道变换处理、随机裁剪处理、水平镜像处理和归一化处理中的至少一种处理方式,对经过标注的原始脸部图像数据集中的脸部图像数据进行处理,以获取经过数据增强的脸部图像数据集。
8.根据权利要求6所述的系统,其特征在于,所述残差网络为resnet-18,由17层卷积层和1层完全连接层组成;所述深度网络为senet,对于senet,在resnet-18的框架基础上,加入通道注意力机制,在训练过程中用来选取权重。
9.根据权利要求8所述的系统,其特征在于,所述图像清晰度判断模型确定单元,利用所述经过数据增强的脸部图像数据集对所述图像清晰度判断模型进行训练和测试,以确定经过训练的图像清晰度判断模型,包括:
残差网络resnet的卷积层组的网络权值采用resnet-18的网络权值初始化,resnet结构的完全连接层的网络权值则为随机初始化;
残差网络resnet的卷积层组和全连接层的初始学习率设置为0.01,利用crossentropy作为损失函数,前期第一预设个数的训练样本在进行迭代训练时的学习率不变,后期每隔第二预设个数的训练样本在进行迭代训练时的学习率下降到0.001与0.0001;
在所述经过数据增强的脸部图像数据集中随机选取预设百分比阈值的脸部图像作为训练集,剩余的脸部图像作为测试集,以进行训练和测试;
采用随机梯度下降算法,对图像清晰度判断模型进行迭代训练,并选取损失函数最小的网络模型作为经过训练的图像清晰度判断模型。
10.根据权利要求6所述的系统,其特征在于,所述图像清晰度确定单元,对待测的包含舌部区域的脸部图像进行预处理,并利用所述经过训练的图像清晰度判断模型对经过预处理的脸部图像进行分析,以确定所述待测的包含舌部区域的脸部图像的图像清晰度,包括:
按照预设的尺寸对待测的包含舌部区域的脸部图像进行缩放处理,并减去各个通道的均值,以获取经过预处理的待测的包含舌部区域的脸部图像;
利用所述经过训练的图像清晰度判断模型对经过预处理的脸部图像进行分析,获取不同清晰程度对应的概率值,并选取最大概率值对应的清晰程度为所述待测的包含舌部区域的脸部图像的图像清晰度;
其中,所述清晰程度,包括:清晰、比较清晰和不清晰。
技术总结