一种基于分块线性重构鉴别分析的单样本人脸识别方法与流程

专利2022-06-29  97


本发明涉及一种人脸图像识别方法,特别是一种基于分块线性重构鉴别分析的单样本人脸识别方法,属于图像识别技术领域。



背景技术:

人脸识别是身份鉴别的一种重要方法,在档案管理系统、安全验证系统、信用卡验证、公安系统的罪犯身份识别、银行和海关的监控、人机交互等领域有着广泛的应用前景。在过去的几十年里,研究者们提出了诸多人脸识别方法,其中基于特征提取的方法被广泛应用于人脸识别中。

比较著名的特征提取方法有:

(1)主成分分析(pca),其旨在寻找一组投影方向,使得样本投影后,样本总体散度最大;

(2)线性鉴别分析(lda),其旨在寻找一组投影方向,使得样本投影后,样本类内散度最小同时类间散度最大;

(3)局部保持投影(lpp),其旨在寻找一组投影方向,使得样本投影后,样本邻域关系得到保持;

(4)稀疏保持投影(spp),其旨在寻找一组投影方向,使得样本投影后,样本的稀疏性得到保持。

这类方法中,pca与lda是基于样本全局结构的方法,无法刻画样本的非线性结构,lpp是基于样本局部结构的方法,能够刻画样本的非线性流形结构,但属于非监督特征提取方法且无法刻画样本的鉴别结构,spp是基于稀疏表示的方法,能有效利用样本间的稀疏重构关系,且不需要设定近邻参数,对噪声具有鲁棒性。

以上几种方法确实在某些场景下取得了较好的人脸识别效果,但在现实生活中,很多时候我们对某人仅能获得一幅人脸图像作为训练样本,例如,罪犯追踪、护照鉴定、大门id识别等,此时,以上方法会由于人脸训练样本较少而失效甚至无法正常运行。

为此,研究者提出了基于分块技术的特征提取方法用于解决此问题,如:

(1)分块主成分分析(modularpca),记载于r.gottumukkal,v.k.asari于2004年在patternrecognitionletters第25卷第4期第429-436页发表的《animprovedfacerecognitiontechniquebasedonmodularpcaapproach》中。

(2)分块线性鉴别分析(modularlda),记载于s.chen,j.liu,z.h.zhou于2004年在patternrecognition第37卷第7期第1553-1555页发表的《makingfldaapplicabletofacerecognitionwithonesampleperperson》中。

(3)鉴别多流形分析(dmma),记载于j.lu,y.p.tan,g.wang于2013年在ieeetransactionsonpatternanalysisandmachineintelligence第35卷第1期第39-51页发表的《discriminativemultimanifoldanalysisforfacerecognitionfromasingletrainingsampleperperson》中。

这三种方法均通过分块技术扩充人脸训练样本,然而,modularpca与modularlda无法刻画样本间的邻域关系,dmma在特征提取中无法刻画样本间的重构关系且在判断待识别人脸图像类别时并未考虑不同人脸同一位置的相似性。



技术实现要素:

本发明所要解决的技术问题是,针对背景技术中基于分块技术的特征提取方法无法刻画样本间的邻域关系,在特征提取中无法刻画样本间的重构关系且在判断待识别人脸图像类别时并未考虑不同人脸同一位置的相似性的不足,而设计一种基于分块线性重构鉴别分析的单样本人脸识别方法。

本发明为解决上述技术问题采用以下技术方案:

本发明提出一种基于分块线性重构鉴别分析的单样本人脸识别方法,包括如下步骤:

步骤1、获取人脸图像训练样本集:所述人脸图像训练样本集共包含n幅图像,来自于n个不同的人,将每幅人脸图像进行分块,然后将分块后的每幅图像块进行矩阵向量化操作,构造训练样本集;

步骤2、将任一图像块表示成k1个类内最近邻图像块的线性组合,利用最小二乘法求解类内表示系数;同时,将任一图像块表示成k2个类间最近邻图像块的线性组合,利用最小二乘法求解类间表示系数;

步骤3、计算样本的类内重构散度与类间重构散度,并构造类内重构散布矩阵与类间重构散布矩阵;

步骤4、通过最大化类间重构散度与类内重构散度的比值求解最佳投影矩阵,并利用投影矩阵提取训练样本集与待识别样本的特征;

步骤5、构造待识别人脸图像类标的判别准则,判断待识别人脸图像的类标。

进一步,本发明的基于分块线性重构鉴别分析的单样本人脸识别方法,步骤1所述获取人脸图像训练样本集,具体如下:

假设有n幅来自n个不同人的人脸训练图像,每幅图像的大小为w×h,将每幅人脸图像分成m个不重叠的图像块,每个图像块的大小为p×q,且满足w×h=m×(p×q);将每个图像块进行矩阵向量化操作,得到第i幅人脸图像的第j个图像块训练样本为xij∈rd,其中d=p×q;此时,第i幅人脸图像的图像块训练样本集可表示为xi=[xi1,xi2,…,xim]∈rd×m,i=1,2,…,m,总训练样本集可表示为x=[x1,x2,…,xn];

对于某一大小为w×h的待识别人脸图像,同样将其分成m个不重叠的图像块,每个图像块的大小为p×q;将每个图像块进行矩阵向量化操作,得到待识别样本集y=[y1,y2,…,ym]∈rd×m,其中yi∈rd表示待识别图像的第j个图像块样本。

进一步,本发明的基于分块线性重构鉴别分析的单样本人脸识别方法,步骤2所述将任一图像块表示成k1个类内最近邻图像块的线性组合,利用最小二乘法求解类内表示系数,具体如下:

令xij表示第i幅人脸图像的第j个图像块训练样本,将xij表示为其在xi中k1个最近邻样本的线性组合,即:

其中表示xij在xi中的第m个最近邻点,为对应的重构系数,m=1,2,…,k1,为xij的k1个类内最近邻样本集合,为xij的类内表示系数向量;

利用最小二乘法可得的计算式为:

进一步,本发明的基于分块线性重构鉴别分析的单样本人脸识别方法,步骤2中所述将任一图像块表示成k2个类间最近邻图像块的线性组合,利用最小二乘法求解类间表示系数,具体如下:

将xij表示成其在[x-xi]中k2个最近邻样本的线性组合,即:

其中表示xij在[x-xi]中的第n个最近邻点,为对应的重构系数,n=1,2,…,k2,为xij的k2个类间最近邻样本集合,为xij的类间表示系数向量;

利用最小二乘法可得的计算式为:

进一步,本发明的基于分块线性重构鉴别分析的单样本人脸识别方法,步骤3所述计算样本的类内重构散度与类间重构散度,并构造类内重构散布矩阵与类间重构散布矩阵,具体如下:

令a∈rd×d为投影矩阵,则样本xij经a投影后的类内重构散度与类间重构散度分别为:

全体样本的类内重构散度与类间重构散度分别为:

其中

sw、sb分别称为样本的类内重构散布矩阵与类间重构散布矩阵,trace(·)表示求矩阵的迹。

进一步,本发明的基于分块线性重构鉴别分析的单样本人脸识别方法,步骤4中通过最大化类间重构散度与类内重构散度的比值求解最佳投影矩阵,并利用投影矩阵提取训练样本集与待识别样本的特征,具体如下:

最佳投影矩阵可通过求解以下最优化问题获得:

以上投影矩阵可通过求解以下特征方程d个最大特征值对应的特征向量获得:

sba=λswa

其中λ是特征值,a是对应的特征向量;

设a1,a2,...,ad是特征方程sba=λswa的前d个最大特征值对应的特征向量,则投影矩阵可表示为:a=[a1,a2,...,ad];

利用投影矩阵可对全体训练样本和待识别样本进行特征提取。

进一步,本发明的基于分块线性重构鉴别分析的单样本人脸识别方法,所述利用投影矩阵可对全体训练样本和待识别样本进行特征提取,具体为:

对于总训练样本集x,提取出的特征为:

atx=[atx1,atx2,…,atxn]=[y1,y2,…,yn]

其中

yi=atxi=[yi1,yi2,…,yim]

yij=atxij

对于待识别人脸图像y,提取出的特征为

其中

进一步,本发明的基于分块线性重构鉴别分析的单样本人脸识别方法,步骤5中,构造待识别人脸图像类标的判别准则,判断待识别人脸图像的类标,具体如下:

待识别图像y的类标根据两方面进行判断,一是y与其它训练图像同一分块位置的相似性,二是根据y中的每一图像块的重构误差进行判断;

对于y的第j个图像块,其与第i幅人脸训练图像的第j个图像块的距离为:

对于y的第j个图像块,其与第i幅人脸训练图像的重构误差为:

其中βj为y的第j个图像块与第i幅人脸训练图像的重构系数向量,其计算式为:

根据以上两种距离度量方式,待识别样本y与第i幅人脸训练图像的距离可表示为:

通过以下规则判别待识别人脸图像的类标:

如果d(y,xk)=minid(y,xi),则y属于第k个人。

本发明采用以上技术方案,与现有技术相比具有以下技术效果:

本发明的方法能有效解决单样本人脸识别问题,且属于有监督的特征提取方法,充分利用了样本的类别信息及样本的邻域结构信息,能刻画样本的鉴别结构与非线性流形结构。同时本发明在求取最佳投影矩阵过程中,采用了样本的重构关系刻画样本的鉴别结构,在一定程度上可有效避免图像光照、人脸姿态、表情等变化对识别效果的影响。除此以外,本发明在判别待识别图像类标过程中同时考虑了不同人脸同一位置的相似性及图像块与整体图像的相似性,相较于那些只考虑单一相似性的方法,可有效提高识别率。

附图说明

图1是本发明一种基于分块线性重构鉴别分析的单样本人脸识别方法的流程图。

图2是orl人脸库中同一个人的10幅人脸图像。

具体实施方式

下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。

本发明提供了一种基于分块线性重构鉴别分析的单样本人脸识别方法,该方法首先将每幅人脸训练图像进行分块,然后将任一人脸图像块表示成k1个类内最近邻图像块的线性组合,同时将任一人脸图像块表示成k2个类间最近邻图像块的线性组合;利用最小二乘法分别求解类内表示系数与类间表示系数,并计算样本的类内重构散度与类间重构散度;通过最大化类间重构散度与类内重构散度的比值求解最佳投影矩阵,并利用投影矩阵提取训练样本集与待识别样本的特征;最后,构造待识别人脸图像类标的判别准则,判断待识别人脸图像的类标。

具体流程如图1所示,包括以下步骤:

(一)获取人脸图像训练样本集。

假设有n幅来自n个不同人的人脸训练图像,每幅图像的大小为w×h,将每幅人脸图像分成m个不重叠的图像块,每个图像块的大小为p×q,且满足w×h=m×(p×q)。将每个图像块进行矩阵向量化操作,得到第i幅人脸图像的第j个图像块训练样本为xij∈rd,其中d=p×q。此时,第i幅人脸图像的图像块训练样本集可表示为xi=[xi1,xi2,…,xim]∈rd×m,总训练样本集可表示为x=[x1,x2,…,xn]。

对于某一大小为w×h的待识别人脸图像,同样将其分成m个不重叠的图像块,每个图像块的大小为p×q。将每个图像块进行矩阵向量化操作,得到待识别样本集y=[y1,y2,…,ym]∈rd×m,其中yi∈rd(i=1,2,…,m)表示待识别图像的第j个图像块样本。

(二)将任一图像块表示成k1个类内最近邻图像块的线性组合,利用最小二乘法求解类内表示系数。

令xij表示第i幅人脸图像的第j个图像块训练样本,将xij表示为其在xi中k1个最近邻样本的线性组合,即:

其中表示xij在xi中的第m(m=1,2,…,k1)个最近邻点,为对应的重构系数,为xij的k1个类内最近邻样本集合,为xij的类内表示系数向量。

利用最小二乘法可得的计算式为:

(三)将任一图像块表示成k2个类间最近邻图像块的线性组合,利用最小二乘法求解类间表示系数。

将xij表示成其在[x-xi]中k2个最近邻样本的线性组合,即:

其中表示xij在[x-xi]中的第n(n=1,2,…,k2)个最近邻点,为对应的重构系数,为xij的k2个类间最近邻样本集合,为xij的类间表示系数向量。

利用最小二乘法可得的计算式为:

(四)计算样本的类内重构散度与类间重构散度,并构造类内重构散布矩阵与类间重构散布矩阵。

令a∈rd×d为投影矩阵,则样本xij经a投影后的类内重构散度与类间重构散度分别为:

全体样本的类内重构散度与类间重构散度分别为:

其中

sw、sb分别称为样本的类内重构散布矩阵与类间重构散布矩阵,trace(·)表示求矩阵的迹。

(五)通过最大化类间重构散度与类内重构散度的比值求解最佳投影矩阵,并利用投影矩阵提取训练样本集与待识别样本的特征。

最佳投影矩阵可通过求解以下最优化问题获得:

以上投影矩阵可通过求解以下特征方程d个最大特征值对应的特征向量获得:

sba=λswa

其中λ是特征值,a是对应的特征向量。

设a1,a2,...,ad是特征方程sba=λswa的前d个最大特征值对应的特征向量,则投影矩阵可表示为:a=[a1,a2,...,ad]。

利用投影矩阵可对全体训练样本和待识别样本进行特征提取,例如,对于总训练样本集x,提取出的特征为:

atx=[atx1,atx2,…,atxn]=[y1,y2,…,yn]

其中

yi=atxi=[yi1,yi2,…,yim]

yij=atxij

对于待识别人脸图像y,提取出的特征为

其中

(六)构造待识别人脸图像类标的判别准则,判断待识别人脸图像的类标。

待识别图像y的类标根据两方面进行判断,一是y与其它训练图像同一分块位置的相似性,二是根据y中的每一图像块的重构误差进行判断。

对于y的第j个图像块,其与第i幅人脸训练图像的第j个图像块的距离为:

对于y的第j个图像块,其与第i幅人脸训练图像的重构误差为:

其中βj为y的第j个图像块与第i幅人脸训练图像的重构系数向量,其计算式为:

根据以上两种距离度量方式,待识别样本y与第i幅人脸训练图像的距离可表示为:

通过以下规则判别待识别人脸图像的类标:

如果d(y,xk)=minid(y,xi)(i=1,2,…,n),则y属于第k个人。

为验证本发明的有效性,我们在著名的orl人脸库上进行了实验。orl人脸库包含40人,每人有10幅图片,共400幅图片,每幅图片的大小为112×92,图2为该库中某人的10幅图片。

在实验时,我们选择每人其中1幅图片作为训练样本,其余9幅图片作为测试样本进行识别。首先按本发明步骤1将每幅图片进行分块,每个分块大小为7×23,此时每幅图片被分成m=(112×92)/(7×23)=64块,然后按照本发明其余步骤进行实验,实验中k1、k2的取值分别为3、3,特征数取为64。

下表列出了本发明在选择每人的不同图片作为训练样本时的识别率。(注:本实验中每个分块的维数为7×23=161,是小于总分块数64×40=2560的,若分块维数超过总分块数,需预先使用pca算法对数据集进行降维或使用其它方法避免矩阵sw奇异)

综上,本发明的方法能有效解决单样本人脸识别问题,且属于有监督的特征提取方法,充分利用了样本的类别信息及样本的邻域结构信息,能刻画样本的鉴别结构与非线性流形结构。所提方法在求取最佳投影矩阵过程中,采用了样本的重构关系刻画样本的鉴别结构,在一定程度上可有效避免图像光照、人脸姿态、表情等变化对识别效果的影响。除此以外,所提方法在判别待识别图像类标过程中同时考虑了不同人脸同一位置的相似性及图像块与整体图像的相似性,相较于那些只考虑单一相似性的方法,可有效提高识别率。

以上实例仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明保护范围之内。


技术特征:

1.基于分块线性重构鉴别分析的单样本人脸识别方法,其特征在于,包括如下步骤:

步骤1、获取人脸图像训练样本集:所述人脸图像训练样本集共包含n幅图像,来自于n个不同的人,将每幅人脸图像进行分块,然后将分块后的每幅图像块进行矩阵向量化操作,构造训练样本集;

步骤2、将任一图像块表示成k1个类内最近邻图像块的线性组合,利用最小二乘法求解类内表示系数;同时,将任一图像块表示成k2个类间最近邻图像块的线性组合,利用最小二乘法求解类间表示系数;

步骤3、计算样本的类内重构散度与类间重构散度,并构造类内重构散布矩阵与类间重构散布矩阵;

步骤4、通过最大化类间重构散度与类内重构散度的比值求解最佳投影矩阵,并利用投影矩阵提取训练样本集与待识别样本的特征;

步骤5、构造待识别人脸图像类标的判别准则,判断待识别人脸图像的类标。

2.根据权利要求1所述的基于分块线性重构鉴别分析的单样本人脸识别方法,其特征在于,步骤1所述获取人脸图像训练样本集,具体如下:

假设有n幅来自n个不同人的人脸训练图像,每幅图像的大小为w×h,将每幅人脸图像分成m个不重叠的图像块,每个图像块的大小为p×q,且满足w×h=m×(p×q);将每个图像块进行矩阵向量化操作,得到第i幅人脸图像的第j个图像块训练样本为xij∈rd,其中d=p×q;此时,第i幅人脸图像的图像块训练样本集可表示为xi=[xi1,xi2,…,xim]∈rd×m,i=1,2,…,m,总训练样本集可表示为x=[x1,x2,…,xn];

对于某一大小为w×h的待识别人脸图像,同样将其分成m个不重叠的图像块,每个图像块的大小为p×q;将每个图像块进行矩阵向量化操作,得到待识别样本集y=[y1,y2,…,ym]∈rd×m,其中yi∈rd表示待识别图像的第j个图像块样本。

3.根据权利要求1所述的基于分块线性重构鉴别分析的单样本人脸识别方法,其特征在于,步骤2所述将任一图像块表示成k1个类内最近邻图像块的线性组合,利用最小二乘法求解类内表示系数,具体如下:

令xij表示第i幅人脸图像的第j个图像块训练样本,将xij表示为其在xi中k1个最近邻样本的线性组合,即:

其中表示xij在xi中的第m个最近邻点,为对应的重构系数,m=1,2,…,k1,为xij的k1个类内最近邻样本集合,为xij的类内表示系数向量;

利用最小二乘法可得的计算式为:

4.根据权利要求1所述的基于分块线性重构鉴别分析的单样本人脸识别方法,其特征在于,步骤2中所述将任一图像块表示成k2个类间最近邻图像块的线性组合,利用最小二乘法求解类间表示系数,具体如下:

将xij表示成其在[x-xi]中k2个最近邻样本的线性组合,即:

其中表示xij在[x-xi]中的第n个最近邻点,为对应的重构系数,n=1,2,…,k2,为xij的k2个类间最近邻样本集合,为xij的类间表示系数向量;

利用最小二乘法可得的计算式为:

5.根据权利要求1所述的基于分块线性重构鉴别分析的单样本人脸识别方法,其特征在于,步骤3所述计算样本的类内重构散度与类间重构散度,并构造类内重构散布矩阵与类间重构散布矩阵,具体如下:

令a∈rd×d为投影矩阵,则样本xij经a投影后的类内重构散度与类间重构散度分别为:

全体样本的类内重构散度与类间重构散度分别为:

其中

sw、sb分别称为样本的类内重构散布矩阵与类间重构散布矩阵,trace(·)表示求矩阵的迹。

6.根据权利要求5所述的基于分块线性重构鉴别分析的单样本人脸识别方法,其特征在于,步骤4中通过最大化类间重构散度与类内重构散度的比值求解最佳投影矩阵,并利用投影矩阵提取训练样本集与待识别样本的特征,具体如下:

最佳投影矩阵可通过求解以下最优化问题获得:

以上投影矩阵可通过求解以下特征方程d个最大特征值对应的特征向量获得:

sba=λswa

其中λ是特征值,a是对应的特征向量;

设a1,a2,...,ad是特征方程sba=λswa的前d个最大特征值对应的特征向量,则投影矩阵可表示为:a=[a1,a2,...,ad];

利用投影矩阵可对全体训练样本和待识别样本进行特征提取。

7.根据权利要求6所述的基于分块线性重构鉴别分析的单样本人脸识别方法,其特征在于,所述利用投影矩阵可对全体训练样本和待识别样本进行特征提取,具体为:

对于总训练样本集x,提取出的特征为:

atx=[atx1,atx2,…,atxn]=[y1,y2,…,yn]

其中

yi=atxi=[yi1,yi2,…,yim]

yij=atxij

对于待识别人脸图像y,提取出的特征为

其中

8.根据权利要求1所述的基于分块线性重构鉴别分析的单样本人脸识别方法,其特征在于,步骤5中,构造待识别人脸图像类标的判别准则,判断待识别人脸图像的类标,具体如下:

待识别图像y的类标根据两方面进行判断,一是y与其它训练图像同一分块位置的相似性,二是根据y中的每一图像块的重构误差进行判断;

对于y的第j个图像块,其与第i幅人脸训练图像的第j个图像块的距离为:

对于y的第j个图像块,其与第i幅人脸训练图像的重构误差为:

其中βj为y的第j个图像块与第i幅人脸训练图像的重构系数向量,其计算式为:

根据以上两种距离度量方式,待识别样本y与第i幅人脸训练图像的距离可表示为:

通过以下规则判别待识别人脸图像的类标:

如果d(y,xk)=minid(y,xi),则y属于第k个人。

技术总结
本发明公开了一种基于分块线性重构鉴别分析的单样本人脸识别方法。该方法首先将每幅人脸训练图像进行分块,然后将任一人脸图像块表示成k1个类内最近邻图像块的线性组合,同时将任一人脸图像块表示成k2个类间最近邻图像块的线性组合;利用最小二乘法分别求解类内表示系数与类间表示系数,并计算样本的类内重构散度与类间重构散度;通过最大化类间重构散度与类内重构散度的比值求解最佳投影矩阵,并利用投影矩阵提取训练样本集与待识别样本的特征;最后,构造待识别人脸图像类标的判别准则,判断待识别人脸图像的类标。本发明的方法能有效解决单样本人脸识别问题,可有效避免图像光照、人脸姿态、表情等变化对识别效果的影响,提高识别率。

技术研发人员:黄璞;杨章静;陈镭;杨国为
受保护的技术使用者:南京审计大学
技术研发日:2020.01.14
技术公布日:2020.06.09

转载请注明原文地址: https://bbs.8miu.com/read-18420.html

最新回复(0)