本发明属于计算机图像技术领域，尤其是一种基于迁移学习的小样本分类模型构造方法及虹膜图像分类应用。
背景技术：
随着人类跨入大数据时代以及计算设备的快速发展，深度学习进入了一个飞速发展的时期。近年来，凭借深度学习模型强大的表达能力和大规模的训练数据集，深度学习在计算机视觉、语音识别等领域获得了显著的成果，特别是在图像分类领域，呈现了一种爆发式的增长，在大规模数据集上的图像分类准确率不断提高。大规模数据集是深度学习在各个领域取得显著成效的基石，但是在实际应用中，由于大规模数据集的获取需要花费昂贵的人力和物力或者由于某些领域本身的局限性。因此相比于大规模数据集，小样本数据集在实际应用中更加常见。例如在虹膜领域，由于其生理结构的特殊性，虹膜图像采集困难度较大，因此带标注的虹膜图像数据集也相对较小。
在小样本虹膜数据集中，由于缺乏训练数据，应用传统的深度学习模型，很难得到理想的结果，往往会出现过拟合现象，即该模型在训练数据集上会表现得非常好，往往误差会趋向零，但是在测试数据集上表现非常差，准确率低。这是因为当深度模型十分复杂时，容易将小样本虹膜数据集的训练数据集的噪声当作整体样本的特征，学习到的模型在测试数据集上表现糟糕。为了能够将深度学习模型更好地应用在小样本虹膜领域中，降低过拟合，减小虹膜图像分类检测结果的误差，提高识别准确率，本发明提出了一种基于卷积神经网络迁移学习的虹膜图像识别方法。
技术实现要素：
针对现有技术中的不足，本发明提出了一种基于迁移学习的小样本分类模型构造方法及虹膜图像分类应用，可以将深度学习模型更好地应用在小样本虹膜领域中，降低过拟合，提高识别准确率。
本发明所采用的技术方案如下：
一种基于迁移学习的小样本分类模型构造方法，包括以下步骤：
步骤1，去除预训练好的p-vgg16模型中三个全连接层，保留5个卷积块；并在卷积块之后添加自定义网络，构造icp-vgg模型；所述自定义网络依次为为flatten层、第一全连接层、dropout层和第二全连接层；
步骤2，配置自定义网络中全连接层的神经元个数、全连接层的激活函数以及dropout层的dropout比率；所述第一全连接层和第二全连接层中的激活函数从sigmoid、tanh、relu、prelu、elu或softmax中选择；第一全连接层的神经元个数为512或者1024，第二全连接层的神经元个数和待测样本集中类别数一致；设定dropout层中的dropout比率；
步骤3，训练icp-vgg模型网络；根据要解决的问题的类型，确定ic-vgg模型中的损失函数；设置模型训练相关参数；确定icp-vgg模型的优化器；进而获得适用于图像识别的卷积神经网络模型。
进一步，所述优化器选择rmsprop，且设置rmsprop的学习率
进一步，所述训练icp-vgg模型的方法为：保持模型前4个卷积块中网络的权重不变，只训练该模型最后一个卷积块和自定义网络；
进一步，所述损失函数选择为：对于二分类问题，使用二元交叉熵损失函数；对于多分类问题，使用分类交叉熵损失函数；对于回归问题，使用均方误差损失函数；对于序列学习问题，使用联结主义时序分类函数；
进一步，所述模型训练相关参数包括模型的运行次数、模型的批处理大小(batchsize)；
基于上述方法所构造的一种适用于图像识别的卷积神经网络模型，本发明还提出了一种虹膜图像识别方法，获取小样本虹膜图像数据集，并将该数据集分为训练集和测试集，分别对训练集和测试集进行数据预处理和数据增强；将处理后的训练集和测试集在上述方法构造的适用于图像识别的卷积神经网络模型上进行训练和测试，获得虹膜图像的分类结果。
进一步，所述数据预处理的方法为：将数据集中虹膜图像的尺寸修改为224*224；同时将单通道图像转变为三通道图像；
进一步，所述数据增强的方法为：使用keras中的imagedatagenerator方法对训练集和测试集中的数据进行数据增强；设置参数rescale＝1./255；设置参数shear_range＝0.2；设置参数zoom_range＝0.2；设置参数horizontal-flip＝true。
本发明的有益效果：
(1)本发明基于迁移学习的构造小样本分类模型能够降低过拟合，提高识别准确率，获得到理想结果。
(2)采用已预训练好的vgg16模型进行迁移，构造应用在小样本虹膜数据集中icp-vgg模型，不仅可以充分利用具有良好分类基础的网络，而且可以通过源域和目标域学习模型的共享参数来传递知识，是一种将深度学习应用于小型图像数据集中的非常高效的方法。
(3)根据虹膜图像任务配置自定义网络中全连接层的的激活函数，dropout层的dropout比率。第一全连接层激活函数选择relu激活函数，增强icp-vgg模型的拟合能力。第二全连接层激活函数用softmax函数进行分类。dropout层中的dropout比率设置为0.5，在训练过程中将第一层全连接层的一半特征随机舍弃，进一步降低icp-vgg模型过拟合。
(4)微调网络，设置模型训练相关参数。微调icp-vgg16模型，冻结部分网络权重，可以避免从头开始训练的困难，有效地防止网络过拟合，相对于从头训练，微调将省去大量的计算资源和计算时间，提高计算效率及准确率。选择分类交叉熵作为损失函数，可以更好地衡量网络输出地概率分布和标签地真实分布。选择rmsprop作为模型的优化器，并且赋值动态的学习率，可以更好地基于训练数据和损失函数来更新网络的权重。
(5)获取小样本虹膜数据集，对该数据集进行数据预处理和数据增强。对数据进行预处理，使原始数据更适于用神经网络处理，提高算法效果。使用数据增强技术，从现有的训练样本中生成更多的训练数据，让模型观察到数据更多内容，从而具有更好的泛化能力。
附图说明
图1是本发明的方法实现原理流程图；
图2为本发明迁移模型vgg16的模型结构图；
图3为本发明cp-vgg16模型的简化网络结构图；
图4为本发明icp-vgg模型的简化网络结构图；
图5为本发明icp-vgg模型的微调简化网络结构图；
图6为本发明icp-vgg模型在小样本虹膜数据集上输出识别结果图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
为了将深度学习模型更好地应用在小样本虹膜领域中，降低过拟合，提高识别准确率，如图1所示，本发明提出了一种基于迁移学习的小样本分类模型构造方法，包括以下步骤实现：
步骤1：基于vgg16模型迁移学习，构造icp-vgg模型
(1)使用已在大型数据集imagenet(包含140万张图片)上预训练好的vgg16模型记为p-vgg16，该模型初始输入大小是224*224，网络结构如图2所示，由卷积块和三个全连接层(fullyconnected)构成，其中卷积块由13层卷积层(convolution)和3层池化层(maxpooling)构成并分成五组，第一、二组均由两个卷积层和一个池化层构成，第三、四、五组均由三个卷积层和池化层构造。
(2)去除p-vgg16中的最后三层全连接层，保留p-vgg16中的卷积基(convolutionalbasis)为cp-vgg16，如图3所示。
(3)将cp-vgg16作为卷积基迁移到小样本虹膜(iris)数据集上，并在cp-vgg16后面添加四层自定义网络，构造icp-vgg模型，共计22层，如图4所示。自定义网络依次为flatten层、第一全连接层dropout层和第二全连接层。其中，flatten层的作用：将输入“压平”即把多维的输入一维化。全连接层的作用：将学习到的特征映射到样本标签中进行分类。dropout层的作用：为了降低模型在小样本数据集中的过拟合现象，在训练过程中随机将该层的一些输出特征舍弃。
步骤2：根据虹膜图像分类任务，配置自定义网络中全连接层的神经元个数和激活函数，dropout层的dropout比率。
2.1，确定全连接层中的激活函数。在模型中，激活函数定义了从输入神经元到输出神经元的映射关系，它的作用主要是能够给神经网络加入一些非线性的因素，使得神经网络具有更好的拟合能力，能够解决较复杂的问题。常见的激活函数有sigmoid、tanh、relu、prelu、elu和softmax。一般来说，在分类问题上使用relu激活函数或者elu激活函数，本发明研究的是虹膜图像分类问题，因此第一全连接层中的激活函数使用relu，第二全连接层中的激活函数使用softmax进行分类。
2.2，设定第一全连接层的神经元个数为1024，第二全连接层的神经元个数和虹膜数据集中类别数一致，在本实施例中为407。
2.3，设定dropout层中的dropout比率设置为0.5，在训练过程中将第一全连接层的一半特征随机舍弃，进一步降低icp-vgg模型过拟合。
步骤3：微调网络，设置模型训练相关参数
3.1，冻结icp-vgg16中前4个卷积块，即让这4个卷积块在模型训练过程中保持其权重不变，只训练该模型第5个卷积块和自定义网络(三个卷积层，一个池化层，一个flatten层，一个第一全连接层，一个dropout层，一个第二全连接层)，如图5所示。
3.2，根据要解决的问题的类型，确定ic-vgg模型中的损失函数。例如，对于二分类问题，可以使用二元交叉熵(binarycrossentropy)损失函数；对于多分类问题，可以使用分类交叉熵(categoricalcrossentropy)损失函数；对于回归问题，可以使用均方误差(mean-squared-error)损失函数；对于序列学习问题，可以用联结主义时序分类(ctc，connectiontemporalclassification)函数。本发明研究的问题是虹膜图像分类问题，因此选择的损失函数为分类交叉熵(categoricalcrossentropy)。
3.3，设置模型的运行次数(epoch)为50，即该模型在整个数据集上运行50次。设置模型的批处理大小(batchsize)设置为10，即模型一次训练的样本数为10。
3.4，确定icp-vgg模型的优化器。在模型中，优化器可以用来更新和影响模型训练和模型输出的网络参数，使其逼近或达到最优值，从而最小化损失函数的值。本发明研究的问题是虹膜图像分类问题，选择rmsprop作为icp-vgg模型的优化器。rmsprop优化器中学习率lr根据式(1)设置为动态学习率。
其中，epoch为模型在数据集上运行的次数，
基于上述方法所构造的基于迁移学习的小样本分类模型，本发明还提出了一种虹膜图像识别方法，
1.1，在中国科学院自动化研究所网站上下载虹膜数据集casia-iris-lamp，该数据集包含左右眼，取右眼为研究对象，有407个类别，共8050张图片。将每类中3/5数量的图片划分为训练集，每类中2/5数量的图片划分为测试集。
2.2，对训练集和测试集中的图片进行预处理。数据集中原始图片的大小为640*480像素，且为单通道图像，为了便于网络训练，将数据集中图片的尺寸修改为224*224，单通道图像转变为三通道图像。
3.3，由于虹膜样本集中的训练数据相对较少，为了降低过拟合，使用keras中的imagedatagenerator方法，对训练集和测试集中的数据进行数据增强。imagedatagenerator中具体的参数设置如下：
a，设置参数rescale＝1./255，即将图片中的像素0-255放缩到0-1之间；
b，设置参数shear_range＝0.2，即图像随机错切变换的角度为0.2；
c，设置参数zoom_range＝0.2，即图像随机缩放的范围为0.2；
d，设置参数horizontal-flip＝true，即随机将一半图像水平翻转。
为了验证应用本发明图像识别的卷积神经网络模型在虹膜图像识别上的效果，如图6所示将构造的icp-vgg模型在小样本虹膜数据集上进行训练和测试，根据分类结果输出准确率曲线，输出损失值曲线图。测试集上的准确率维持在97.63％左右，损失函数loss值为0.1898左右，验证结果证明该模型在小样本虹膜数据集上有效地避免了过拟合现象，降低了虹膜图像分类检测结果的误差，极大地提升了准确率。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。
1.一种基于迁移学习的小样本分类模型构造方法，其特征在于，包括以下步骤：
步骤1，去除预训练好的p-vgg16模型中三个全连接层，保留5个卷积块；并在卷积块之后添加自定义网络，构造icp-vgg模型；
步骤2，配置自定义网络中全连接层的神经元个数、全连接层的激活函数以及dropout层的dropout比率；
步骤3，训练icp-vgg模型网络；根据要解决的问题的类型，确定ic-vgg模型中的损失函数；设置模型训练相关参数；确定icp-vgg模型的优化器；进而获得适用于图像识别的卷积神经网络模型。
2.根据权利要求1所述的一种基于迁移学习的小样本分类模型构造方法，其特征在于，所述自定义网络依次为为flatten层、第一全连接层、dropout层和第二全连接层。
3.根据权利要求2所述的一种基于迁移学习的小样本分类模型构造方法，其特征在于，所述第一全连接层和第二全连接层中的激活函数从sigmoid、tanh、relu、prelu、elu或softmax中选择；第一全连接层的神经元个数为512或者1024，第二全连接层的神经元个数和待测样本集中类别数一致。
4.根据权利要求1所述的一种基于迁移学习的小样本分类模型构造方法，其特征在于，所述训练icp-vgg模型的方法为：保持模型前4个卷积块中网络的权重不变，只训练该模型最后一个卷积块和自定义网络。
5.根据权利要求1所述的一种基于迁移学习的小样本分类模型构造方法，其特征在于，所述优化器选择rmsprop，且设置rmsprop的学习率
6.根据权利要求1所述的一种基于迁移学习的小样本分类模型构造方法，其特征在于，所述模型训练相关参数包括模型的运行次数和模型的批处理大小。
7.根据权利要求1-6中任意一项权利要求所述的一种基于迁移学习的小样本分类模型构造方法，其特征在于，所述损失函数选择为：对于二分类问题，使用二元交叉熵损失函数；对于多分类问题，使用分类交叉熵损失函数；对于回归问题，使用均方误差损失函数；对于序列学习问题，使用联结主义时序分类函数。
8.一种基于权利要求7所述方法构造的小样本分类模型的虹膜图像识别方法，其特征在于，获取小样本虹膜图像数据集，并将该数据集分为训练集和测试集，分别对训练集和测试集进行数据预处理和数据增强；将处理后的训练集和测试集在上述方法构造的适用于图像识别的卷积神经网络模型上进行训练和测试，获得虹膜图像的分类结果。
9.根据权利要求8所述的一种虹膜图像识别方法，其特征在于，所述数据预处理的方法为：将数据集中虹膜图像的尺寸修改为224*224；同时将单通道图像转变为三通道图像。
10.根据权利要求8所述的一种虹膜图像识别方法，其特征在于，所述数据增强的方法为：使用keras中的imagedatagenerator方法对训练集和测试集中的数据进行数据增强；设置参数rescale＝1./255；设置参数shear_range＝0.2；设置参数zoom_range＝0.2；设置参数horizontal-flip＝true。
技术总结