本发明属机器学习和计算机视觉
技术领域：
，具体涉及一种基于局部近邻成分分析的图像特征提取方法，也可用于图像聚类和图像检索。
背景技术：
：随着信息技术的发展，图像、视频、音频等数据呈现几何式地增长。机器学习作为挖掘数据潜在信息的关键技术，已逐渐成为学术界和工业界的重点研究领域，被广泛应用于人脸识别、图像检索、行人再识别等计算机视觉问题。在实际应用场景中，机器学习算法的性能往往受到输入特征的影响。但采集的原始图像数据往往具有高维数、多冗余、多噪音等特点，如何从原始图像数据中提取一个好的低维特征一直以来是机器学习领域的研究难点。近年来，随着深度神经网络的发展，深度图像特征提取已经成为解决上述难点的关键技术之一，其旨在利用深度神经网络学习一个非线性映射函数。该映射函数能够将原始图像数据投影到一个低维空间，在该空间中同类样本的特征向量距离近、相似性强，异类样本的特征距离远、相似性弱。目前，已经有大量有关深度特征提取的关键性技术被提出，其大致可以分为三类：1)损失函数设计；2)采样方法设计；3)集成学习。文献“f.schroff,d.kalenichenko,andj.philbin,“facenet:aunifiedembeddingforfacerecognitionandclustering,”inproceedingsoftheieeeconferenceoncomputervisionandpatternrecognition,2015,pp.815–823.”提出了一种基于三边的损失函数，为深度特征提取提供了一种新的学习范式。文献“c.-y.wu,r.manmatha,a.j.smola,andp.krahenbuhl,“samplingmattersindeepembeddinglearning,”inproceedingsoftheieeeinternationalconferenceoncomputervision,2017,pp.2840–2848”提出了一种基于距离的权重采样方法。为了降低三边损失函数带来的算法不稳定性，提高算法的收敛速度并降低时间消耗，文献“k.sohn,“improveddeepmetriclearningwithmulti-classn-pairlossobjective,”inproceedingsoftheadvancesinneuralinformationprocessingsystems,2016,pp.1857–1865.”提出一种n-pair损失函数。此外，文献“m.opitz,g.waltner,h.possegger,andh.bischof,“bier-boostingindependentembeddingsrobustly,”inproceedingsoftheieeeinternationalconferenceoncomputervision,2017,pp.5189–5198.”利用集成学习的思想同时训练多个神经网络，并将学习到的低维表示进行融合。最近，文献“k.sohn,“improveddeepmetriclearningwithmulti-classn-pairlossobjective,”inproceedingsoftheadvancesinneuralinformationprocessingsystems,2016,pp.1857–1865.”通过对多种损失函数和采样方法进行分析，提出了一个统一的学习框架，为深度图像特征提取领域提供了一个新的研究视角。上述算法都推动了深度图像特征提取的发展，并取得了较好的实验结果。但是，受深度学习训练方法的影响，上述方法存在两点不足：1)在每一次的迭代训练过程中没有利用全局的数据结构信息；2)忽略了数据在低维空间中的近邻结构分布。上述两个问题往往导致学习到的映射函数在实际场景中泛化性能较差。技术实现要素：为了克服现有技术的不足，本发明提供一种基于局部近邻成分分析的图像特征提取方法。首先，构建特征提取神经网络模型，并进行网络参数和记忆银行初始化；然后，对训练数据集进行子集划分，提取其低维特征，利用记忆银行矩阵在低维特征空间中寻找每个样本的k近邻，并对原子集合和k近邻集合按照标签进行集合划分，以得到的所有集合中样本的相似性度量函数为目标函数进行网络迭代训练；最后，利用训练好的特征提取网络对待处理图像进行特征提取。本发明方法可以使得同类样本的特征向量在低维空间中聚集，不同类样本的特征向量在低维空间中分散，从而使得原始数据在低维空间中具备明显的聚类结构，能够更加有效地用于处理图像聚类以及图像检索任务。一种基于局部近邻成分分析的图像特征提取方法，其特征在于步骤如下：步骤1：提取resnet50卷积神经网络模型中的特征提取模块作为特征提取神经网络模型，并以其在imagenet数据集上训练得到的网络参数为初始化参数，设定特征提取网络的批次样本输入个数为b，b的取值为32、64或128；随机初始化记忆银行矩阵v，矩阵v的大小为n×d，n为带有标签的图像训练数据集x所包含的图像数量，n为b的整数倍，d为低维特征维数，取值为64、128或256；步骤2：将训练数据集x随机划分成t个不相交的数据子集x1、x2、…、xt，t＝n/b，每个子集包含b幅图像，以每个数据子集为步骤1得到的特征提取神经网络模型的输入，设定目标函数为相似性度量函数，学习率为e-5，训练次数xmax为50000，衰减次数为10000，采用adam优化算法进行网络训练，具体为：步骤2.1：初始化子集序号p＝1；步骤2.2：将数据子集xp输入到步骤1得到的预训练特征提取神经网络模型，输出即为子集中每一幅图像的一个低维特征向量，设其中第i幅图像的低维特征向量为按下式对记忆银行矩阵中的第(p-1)b i行进行更新：其中，表示更新后的记忆银行矩阵的第(p-1)b i行向量，表示更新前记忆银行矩阵的第(p-1)b i行向量，m为记忆更新参数，m＝0.8；步骤2.3：对于子集中每一幅图像利用其标签将子集划分为正样本集合和负样本集合其中，正样本集合包括子集xp中所有与标签相同的图像，负样本集合包括子集xp中所有与标签不同的图像；并根据图像的标签将其k近邻图像集划分为两个集合和所述的k近邻图像集是指更新后的记忆银行矩阵中与行向量欧式距离最小的k个行向量所对应的图像构成的集合，是由中与的标签相同的图像构成的集合，是由中与的标签不同的图像构成集合；步骤2.4：利用下式计算相似性度量函数值l：其中，l表示度量损失；α表示控制正样本对的尺度参数，取值范围是α∈[1,5]；β表示控制负样本对的尺度参数，取值范围是β∈[10,50]；λ表示间隔，取值范围是λ∈[0.1,0.5]；表示图像的低维特征向量与集合中第l1幅图像的低维特征向量的内积，l1＝1,…,k1，k1表示集合中图像的数量，表示图像的低维特征向量与集合中第l2幅图像的低维特征向量的内积，l2＝1,…,k2，k2表示集合中图像的数量，表示图像的低维特征向量与集合中第l3幅图像的低维特征向量的内积，l3＝1,…,k3，k3表示集合中图像的数量，表示图像的低维特征向量与集合中第l4幅图像的低维特征向量的内积，l4＝1,…,k4，k4表示集合中图像的数量；步骤2.5：令p＝p 1，返回步骤2.2，采用adam算法进行反向传播更新网络参数，当p等于t 1时，重新将训练数据集x随机划分成t个不相交的数据子集，并以重新划分后的数据子集为输入，返回步骤2.1；每返回步骤2.1或步骤2.2，训练次数加1，直至达到设定的训练次数xmax，停止训练，此时得到的神经网络模型即为最终的特征提取网络模型；所述的训练次数的初始值为1；步骤3：将待处理图像数据集输入到步骤2得到最终的特征提取网络，输出即为其中每一幅图像的低维特征向量。本发明的有益效果是：由于采用了记忆银行机制，使得训练数据的全局信息得以较好地保留，且大大减少计算消耗；由于考虑了样本的局部近邻信息，使得训练样本在低维空间具备明显的聚类结构；由于在神经网络训练阶段利用全局相似信息完善训练样本在低维空间中局部近邻成分，使得提取的图像特征具备明显的聚类结构，将其用于图像聚类和图像检索，将具有更高的精度。附图说明图1是本发明的一种基于局部近邻成分分析的图像特征提取方法基本流程图。具体实施方式下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。如图1所示，本发明提供了一种基于局部近邻成分分析的图像特征提取方法，其具体实现过程如下：1、预训练神经网络本发明采用resnet-50神经网络模型的特征提取模块作为训练特征提取神经网络模型的基本架构，保留resnet-50的特征提取模块以及其在imagenet数据集上进行预训练得到的网络参数。设定网络输入变量个数为b，b的取值为32、64或128。同时，准备有标签的图像训练数据集x，并且对记忆银行v进行随机初始化。其中，数据集包括带有标签的图像n幅，n为b的整数倍，v为大小为n×d的矩阵，d为低维特征维数，取值为64、128或256。2、训练特征提取网络将训练数据集x随机划分成t个不相交的数据子集x1、x2、…、xt，t＝n/b，每个子集包含b幅图像，以每个数据子集为步骤1得到的预训练特征提取神经网络模型的输入，设定目标函数为相似性度量函数，学习率为e-5，训练次数为50000，衰减次数为10000。采用adam算法进行优化，更新网络参数，具体为：(1)初始化子集序号p＝1；(2)计算特征向量并更新记忆银行：将第p个数据子集xp输入到步骤1得到的预训练特征提取神经网络模型，输出即为该子集的低维特征vp，设其中第i幅图像的低维特征向量为按下式对记忆银行矩阵中的第(p-1)b i行进行更新：其中，表示更新后的记忆银行矩阵的第(p-1)b i行向量，表示更新前记忆银行矩阵的第(p-1)b i行向量，m为记忆更新参数，m＝0.8；(3)样本对集合构建：对于第p个数据子集xp中每一幅图像利用其标签将子集划分为正样本集合和负样本集合其中，正样本集合包括子集xp中所有与标签相同的图像，负样本集合包括子集xp中所有与标签不同的图像；并根据图像的标签将其k近邻图像集划分为两个集合和所述的k近邻图像集是指更新后的记忆银行矩阵中与行向量欧式距离最小的k个行向量所对应的图像构成的集合，是由中与的标签相同的图像构成的集合，是由中与的标签不同的图像构成集合；(4)相似性度量：利用低维特征vp以及对应的集合进行相似性度量，设置网络的相似性度量函数如下：其中，l表示度量损失；α表示控制正样本对的尺度参数，取值范围是α∈[1,5]；β表示控制负样本对的尺度参数，取值范围是β∈[10,50]；λ表示间隔，取值范围是λ∈[0.1,0.5]；表示图像的低维特征向量与集合中第l1幅图像的低维特征向量的内积，l1＝1,…,k1，k1表示集合中图像的数量，表示图像的低维特征向量与集合中第l2幅图像的低维特征向量的内积，l2＝1,…,k2，k2表示集合中图像的数量，表示图像的低维特征向量与集合中第l3幅图像的低维特征向量的内积，l3＝1,…,k3，k3表示集合中图像的数量，表示图像的低维特征向量与集合中第l4幅图像的低维特征向量的内积，l4＝1,…,k4，k4表示集合中图像的数量。(5)令p＝p 1，返回步骤(2)，采用adam算法进行反向传播更新网络参数，使前面得到的相似性度量值最小，当p等于t 1时，重新将训练数据集x随机划分成t个不相交的数据子集，并以重新划分后的数据子集为输入，返回步骤(1)。每返回一次即迭代一次，迭代次数加1，直至达到设定的训练次数50000，停止迭代，此时得到的神经网络模型即为最终的特征提取网络模型；所述的迭代次数的初始值为1。3、特征提取将待处理图像数据集输入到步骤2得到最终的特征提取网络，输出即为其低维特征。为验证本发明方法的有效性，分别将本发明得到的结果用于图像检索和图像聚类。在cub200、cars196、stanfordonlineproducts、in-shopclothes四个标准数据集上进行测试。使用python软件pytorch框架进行仿真实验。数据集的信息如表1所示，基于本发明方法结果得到的图像聚类以及检索结果如表2所示，其中，召回率表示图像的检索准确率，其值越大越好，表示检索精度越高，归一化互信息熵表示聚类结果和原始标签的相似度，其值越大越好，表明聚类精度越高。可以看出，将本发明方法的结果用于图像检索和图像聚类中都取得了较好的实验结果。表1表2数据集召回率(％)归一化互信息熵cub20064.80.689cars19682.10.682stanfordonlineproducts78.40.901in-shopclothes87.30.896当前第1页1 2 3
技术特征：1.一种基于局部近邻成分分析的图像特征提取方法，其特征在于步骤如下：
步骤1：提取resnet50卷积神经网络模型中的特征提取模块作为特征提取神经网络模型，并以其在imagenet数据集上训练得到的网络参数为初始化参数，设定特征提取网络的批次样本输入个数为b，b的取值为32、64或128；
随机初始化记忆银行矩阵矩阵的大小为n×d，n为带有标签的图像训练数据集x所包含的图像数量，n为b的整数倍，d为低维特征维数，取值为64、128或256；
步骤2：将训练数据集x随机划分成t个不相交的数据子集x1、x2、…、xt，t＝n/b，每个子集包含b幅图像，以每个数据子集为步骤1得到的特征提取神经网络模型的输入，设定目标函数为相似性度量函数，学习率为e-5，训练次数xmax为50000，衰减次数为10000，采用adam优化算法进行网络训练，具体为：
步骤2.1：初始化子集序号p＝1；
步骤2.2：将数据子集xp输入到步骤1得到的预训练特征提取神经网络模型，输出即为子集中每一幅图像的一个低维特征向量，设其中第i幅图像的低维特征向量为i＝1,...,b，按下式对记忆银行矩阵中的第(p-1)b i行进行更新：
其中，表示更新后的记忆银行矩阵的第(p-1)b i行向量，表示更新前记忆银行矩阵的第(p-1)b i行向量，m为记忆更新参数，m＝0.8；
步骤2.3：对于子集中每一幅图像i＝1,...,b，利用其标签将子集划分为正样本集合pip和负样本集合其中，正样本集合pip包括子集xp中所有与标签相同的图像，负样本集合包括子集xp中所有与标签不同的图像；并根据图像的标签将其k近邻图像集划分为两个集合和所述的k近邻图像集是指更新后的记忆银行矩阵中与行向量欧式距离最小的k个行向量所对应的图像构成的集合，是由中与的标签相同的图像构成的集合，是由中与的标签不同的图像构成集合；
步骤2.4：利用下式计算相似性度量函数值l：
其中，l表示度量损失；α表示控制正样本对的尺度参数，取值范围是α∈[1,5]；β表示控制负样本对的尺度参数，取值范围是β∈[10,50]；λ表示间隔，取值范围是λ∈[0.1,0.5]；表示图像的低维特征向量与集合pip中第l1幅图像的低维特征向量的内积，l1＝1,…,k1，k1表示集合pip中图像的数量，表示图像的低维特征向量与集合中第l2幅图像的低维特征向量的内积，l2＝1,…,k2，k2表示集合中图像的数量，表示图像的低维特征向量与集合中第l3幅图像的低维特征向量的内积，l3＝1,…,k3，k3表示集合中图像的数量，表示图像的低维特征向量与集合中第l4幅图像的低维特征向量的内积，l4＝1,…,k4，k4表示集合中图像的数量；
步骤2.5：令p＝p 1，返回步骤2.2，采用adam算法进行反向传播更新网络参数，当p等于t 1时，重新将训练数据集x随机划分成t个不相交的数据子集，并以重新划分后的数据子集为输入，返回步骤2.1；
每返回步骤2.1或步骤2.2，训练次数加1，直至达到设定的训练次数xmax，停止训练，此时得到的神经网络模型即为最终的特征提取网络模型；所述的训练次数的初始值为1；
步骤3：将待处理图像数据集输入到步骤2得到最终的特征提取网络，输出即为其中每一幅图像的低维特征向量。
技术总结本发明提供了一种基于局部近邻成分分析的图像特征提取方法。首先，构建特征提取神经网络模型，并进行网络参数和记忆银行初始化；然后，对训练数据集进行子集划分，提取其低维特征，利用记忆银行矩阵在低维特征空间中寻找每个样本的k近邻，并对原子集合和k近邻集合按照标签进行集合划分，以得到的所有集合中样本的相似性度量函数为目标函数进行网络迭代训练；最后，利用训练好的特征提取网络对待处理图像进行特征提取。本发明方法可以使得同类样本的特征向量在低维空间中聚集，不同类样本的特征向量在低维空间中分散，从而使得原始数据在低维空间中具备明显的聚类结构，能够更加有效地用于图像聚类和图像检索。
技术研发人员：聂飞平;户战选;王榕;李学龙;王政;王瀚
受保护的技术使用者：西北工业大学
技术研发日：2020.02.20
技术公布日：2020.06.09
