本发明涉及人脸识别技术的研究领域，特别涉及基于dwt-lbp-dct特征的人脸活体检测方法。
背景技术：
目前，人脸识别技术的日趋成熟使得生物认证系统在众多场合得以应用，大到各种机密在众多场合得以应用，大到各种机密的门禁系统，小到移动终端的登陆系统，甚至在移动支付系统都能见到人脸识别技术的踪迹。
人脸活体检测算法是人脸识别算法的重要组成部分。单纯仅对人脸进行识别的技术不仅使认证系统容易受到非法用户的攻击，而且易使网络系统处于巨大的威胁中，从而给对网络系统实施不法行为的攻击者提供可乘之机。而人脸活体检测技术为人脸识别系统嵌入一道新的关卡，在识别人脸的同时，还对目标是否为活体进行判断。只有在人脸被判断为活体的情况下，识别结果才是真实有效的；否则，将此次识别判定为对认证系统的一次非法攻击。在此双重保障下，系统的安全性和可靠性得以提升.所以，提高人脸识别系统的抗欺骗攻击能力特别是人脸活体检测算法的有效性，已成为人脸认证中亟待解决的问题。
一般而言，人脸欺诈可以分为三类：照片攻击、视频攻击和面具攻击。照片攻击是指非法用户持有合法用户的照片，将照片打印成纸质版或者在电子设备上显示出来，并将照片呈现给验证系统的摄像头；视频攻击则是非法用户重放一段来自合法用户的视频，以动态信息来攻击人脸识别系统；而面具攻击指的是非法用户佩戴上原用户的3d面具，模仿人脸的立体效果。
针对上述攻击，现有技术主要利用以下5类方法提取特征来实现检测：(1)基于静态纹理特征的检测方法；(2)基于运动特征的检测方法；(3)基于频率的检测方法；(4)基于图像色彩的检测方法；(5)基于深度学习的检测方法。
现有技术中，存在如下问题：当利用单个特征的信息进行人脸活体检测时，仅对单个数据集的识别效果较好，无法泛化到多个数据集，受应用场景的限制；当应用神经网络进行特征提取时，需要联合多个数据集作为训练样本，且网络参数需要通过多次调参才能得以确定，计算量较大，时间较长，而且可解释性较差。因此，亟需一种有效的且泛化能力强的方法来对抗攻击，提高人脸活体检测系统的安全性和可靠性。
技术实现要素：
本发明的主要目的在于克服现有技术的缺点与不足，提供基于dwt-lbp-dct特征的人脸活体检测方法。
本发明的目的通过以下的技术方案实现：
基于dwt-lbp-dct特征的人脸活体检测方法，其特征在于，包括以下步骤：
s1、获取待处理的原始视频帧序列；
s2、对原始视频帧序列进行人脸定位，扩大人脸识别区域并确定兴趣区域，将兴趣区域归一化处理；
s3、将归一化后兴趣区域进行多级二维离散小波变换和块划分处理，得到dwt特征，获取视频帧的频率信息；
s4、对dwt特征进行等价局部二值模式变换处理，得到dwt-lbp特征，获取视频帧的频率信息和纹理信息；
s5、对dwt-lbp特征纵向进行离散余弦变换处理，得到dwt-lbp-dct特征，获取视频帧的频率信息、纹理信息和时域信息；
s6、对dwt-lbp-dct特征使用机器学习分类器进行训练并分类，得到检测结果，以判断待检测的视频是否为非活体攻击。
进一步地，所述步骤s1具体为：抽取少数帧以代表整个视频，假设数据库中原始视频有m帧图像时，按照时间间隔i提取f帧图像，计算如下：
进而得到待处理的原始视频帧序列。
进一步地，所述步骤s2具体如下：
s201、通过人脸分类器定位原始视频帧序列中每帧图像中人脸位置，并以识别的人脸位置坐标为基数；
s202、以人脸位置坐标为基数，按照一组比例因子放大坐标，若放大后的坐标点超出原始帧的坐标范围，则以原始帧对应的边界点代替该放大后的坐标点，得到比例坐标点；
s203、根据比例坐标点在原始视频帧中重新确定目标区域，即兴趣区域，并将所有重新确定目标区域的图像分辨率统一为目标值，若分辨率不足或大于目标值，则进行双线性插值处理获取目标图像，目标图像为彩色rgb图像。
进一步地，所述步骤s3具体如下：
s301、对目标区域进行d级二维dwt处理，分离出频率分量，频率分量包括平滑逼近分量lld、水平分量hlx、垂直分量lhx、对角分量hhx，其中，x的范围为1至d；
s302、记录各频率分量的分辨率，其中平滑逼近分量lld的分辨率最小，记录下与d相对应的lld的分辨率；
s303、将需要切块的水平分量hlx、垂直分量lhx、对角分量hhx进行切块处理，获取同平滑逼近分量lld大小相同的若干频率小块，并对所有提取出不同比例因子的目标图像进行以上操作，进而得到视频帧的频率信息。
进一步地，所述需要切块处理的频率分量，其x的范围为1至d-1。
进一步地，所述步骤s4具体为：计算所有频率小块的等价lbp直方图，将每一帧目标图像的lbp直方图按照时间先后顺序水平相连接，得到dwt-lbp特征。
进一步地，所述步骤s5具体为：
s501、将同一个视频的dwt-lbp特征纵向连接，组成dwt-lbp视频特征矩阵；
s502、在dwt-lbp视频特征矩阵上纵向运用dct运算，提取其在时间变换过程中，各分块反映出的能量信息，得到dwt-lbp-dct特征，一维dct的计算如下：
其中，xn为长度为n的输入数据，0≤n≤n-1；xk为输出数据；
进一步地，所述步骤s6具体如下：根据dwt-lbp-dct特征，使用数据库中的训练集建立对应的支持向量机svm分类器，根据验证集获取测试中需要的参数，将测试集送入训练好的svm分类器，得到检测结果，实现真假视频分类。
进一步地，所述测试中需要的参数包括错误接受率far、错误拒绝率frr；使用验证集获取当错误接受率far和错误拒绝率frr相等时的分类器阈值t，并根据分类器阈值t获取半错误率hter和准确率；其中半错误率hter为错误接受率far和错误拒绝率frr总和的一半。
本发明与现有技术相比，具有如下优点和有益效果：
本发明利用了dwt以多分辨率的形式呈现不同频率的特性，提取视频帧的频率信息；利用了lbp可识别图像纹理的特性，进一步放大dwt块之间的差异性，提取视频帧的纹理信息；利用了dct的能量集中特性，级联同视频中的多帧，提取视频多帧的能量信息，提升了视频分类的准确率，而且还能运用同样的算法参数在多个数据集上得到较好的结果，有较强的泛化能力，具有很好的实际应用前景。
附图说明
图1为本发明所述基于dwt-lbp-dct特征的人脸活体检测算法的流程示意图；
图2为本发明所述实施例中2级二维离散小波变换(dwt)和对应的切块操作示意图；
图3为本发明所述实施例中在dwt-lbp特征上运用离散余弦变换(dct)的流程示意图；
图4为本发明所述实施例中replay-attack数据库roc曲线图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例：
基于dwt-lbp-dct特征的人脸活体检测方法，如图1所示，包括以下步骤：
s1、获取待处理的原始视频帧序列；
s2、对原始视频帧序列进行人脸定位，扩大人脸识别区域并确定兴趣区域，将兴趣区域归一化处理；
s3、将归一化后兴趣区域进行多级二维离散小波变换和块划分处理，得到dwt特征，获取视频帧的频率信息；
s4、对dwt特征进行等价局部二值模式变换处理，得到dwt-lbp特征，获取视频帧的频率信息和纹理信息；
s5、对dwt-lbp特征纵向进行离散余弦变换处理，得到dwt-lbp-dct特征，获取视频帧的频率信息、纹理信息和时域信息；
s6、对dwt-lbp-dct特征使用机器学习分类器进行训练并分类，得到检测结果，以判断待检测的视频是否为非活体攻击。
本发明实施例中使用replay-attack公开数据库(re)作为实验数据，该数据库由50个对象的1200段视频组成，分为训练集360段视频、验证集360段视频、测试集480段视频，其中每个对象有24段视频，包括4段合法请求及20段欺骗攻击，每个视频时长均大于9s。视频在3种不同的情景和2种不同的照明条件下录制。在算法评估过程中，首先运用训练集调整svm分类器中的各项参数，然后使用验证集获取当错误接受率(falseacceptancerate，far)和错误拒绝率(falserejectionrate，frr)相等时的分类器阈值τ，并根据此阈值τ获取算法在测试集上的半错误率(halftotalerrorrate，hter)和准确率，如公式所示，hter指的是测试集上错误接受率(far)和错误拒绝率(frr)总和的一半，
进一步地以此来判定本发明中模型的性能和人脸活体检测识别效果的优劣，具体实施步骤分别如下:
视频帧提取：
为了提高检测的效率，本发明只使用输入视频中的少数帧进行检测。具体来说，对每个输入视频，每隔一定的时间间隔i提取1帧图像。例如，若i＝1,则提取视频的奇数帧。假设需检测的目标视频共由m帧图像组成，则通过视频帧提取步骤我们共得到f帧图像，计算如下：
进而得到待处理的原始视频帧序列。
目标识别及图像归一化：
这里使用了c 开源库dlib中的深度学习模型face_recognition来识别人脸，该模型使用labeledfacesinthewild人脸数据集进行测试，有高达99.38％的准确率。相比同样广泛使用的opencv，face_recognition能更准确地区分人脸区域和背景区域，更准确地定位人脸的实际范围。在使用该方法获取人脸的位置坐标后，记录下此时的坐标点，并以此作为基数，扩大识别范围至基数的{1.0,1.4,1.8,2.2,2.6}倍，即兴趣矩形区域的长宽分别放大了相应的倍数(s)，融入了更多来自原图像帧的像素信息。前人的工作已表明适当放大人脸范围有利于人脸活体检测准确率的提升，将坐标最大的放大倍数设置为2.6(s＝2.6)，防止图像中加入过多的背景区域从而降低了识别率。同时，放大至一定的倍数存在的问题是，当前的区域会超出原视频帧的固有区域大小。对于这类问题，选择视频帧的边界作为放大之后的边界阈值，而不对无像素值的区域做固定值填充。至此，完成目标识别和兴趣区域确定的步骤。
另外，对图像选择不同的放大倍数会导致图像的像素点个数不尽相同，为了能批量进行后续的处理，需要将所有的图像像素数归一化处理成128*128，且所有目标图像皆为彩色图像。
多级二维dwt以及块划分操作：
基于二维dwt可以将图像分解成不同频率分量，且不同分量都能呈现原图像的部分纹理这一特性，本发明将预处理之后的目标图像，经过d级dwt运算操作，如图2所示，将图像分离出平滑逼近分量lld、水平分量hlx、垂直分量lhx、对角分量hhx，其中x的范围为从1到d，并在不同的分量处以多分辨率的形式保留图像纹理。在这些分量中，平滑逼近分量处保留了大部分的低频成分，水平和垂直分量保留了部分的低频和高频成分，而对角分量则完全保留了高频成分。因为高频成分大多呈现的是细节，不适合通过小波包分解变换继续细划分，但同时，需要所有分量块的分辨率点的个数相同，因此，在d级dwt运算操作之后，将较大块hlx、lhx和hhx，其中x的范围为从1到d-1，即需要切块处理的范围为x从1到d-1，进行平均切割处理。以d＝2为例，结果如图2所示。当d＝1时，可以得到4块dwt分量块；当d＝2时，可以得到7块dwt分量块；当d＝3时，可以得到10块dwt分量块；当d＝4时，可以得到13块dwt分量块。在dwt操作之后进行分块处理，由于归一化后图像为128*128，故当d＝2时，可以得到16块分辨率为32*32的切割块；当d＝3时，可以得到64块分辨率为16*16的切割块；当d＝4时，可以得到256块分辨率为8*8的切割块等等，以此类推，可以得到4d个切割块。通过大量实验，本专利最终选择最小的切块大小为8*8，不仅由于过小的切块会造成块相应，同时也因为8*8大小的分块符合图像处理中的常规操作。
等价lbp变换:
由于dwt和切块之后的图像皆为彩色图像，为了减少lbp特征的维数，需要对dwt和分块之后的输出图像进行彩色转灰度图像变换处理，使其满足lbp操作的要求。首先，赋予r、g、b三个通道的值不同的权重，根据公式gray＝r*0.299 g*0.587 b*0.114，将彩色图像转化为单通道灰度图。
等价lbp变换是在传统的lbp变换之后，统计图像变换区域内所有二进制数中“0/1”转换次数的直方图。具体来说，在任一3*3的邻域内，以中心像素值为阈值，比其大设为1，比起小设为0，然后按照一定的顺序读取该邻域内的八个像素点变换值，组成一个二进制数；当该二进制中“0/1”变换的次数超过2时，称其为非等价模式，而变换次数不超过2的共有58种，等价lbp变换便是统计这58种等价模式和1种非等价模式的直方图。经过dwt和划分块变换后，每一个分块都重复上述等价lbp变换操作，可以得到4d*59个直方图，将这些直方图横向连接，组成视频帧的dwt-lbp特征。
dct操作：
给定一个一维的输入数列xn，0≤n≤n-1，dct的输出xk公式为：：
其中，xn为输入数据，0≤n≤n-1；xk为输出数据；
通过dct的运算，信号的主要能量集中在低频部分，输出序列的前几个分量集中了信号的大部分能量，而后续的部分保留了信号的高频成分，在一定的条件下可以将其省略。
在获得了视频帧的dwt-lbp特征之后，将来自同一个视频的特征序列纵向连接，组成视频的特征矩阵。随后，纵向运用离散余弦变换，提取视频不同帧之间同一部分的lbp特征之间的共性，并可选择性地保留部分分量(c)达到降低特征个数的目的，具体过程如图3所示。经过dct变换之后，保留每列dct后的c个分量，组成新的尺寸为4d*59*c的矩阵来代表每个视频。
svm分类器
支持向量机svm，通过在两类样本(x∈rd)之间划分一个超平面h，即w·φ(xi) b＝0来最大化样本之间的距离，因此又名大间距分类器。svm的损失函数j(w)如下：
其中，
在这里选择高斯函数(径向基函数rbf)来构建这个超平面，高斯函数的公式如下所示：
φ(xi)＝exp(-γ||xk-xj||2)
式中的γ和损失函数中的α都需要训练前根据样本的特性而选定。
网络训练和测试结果：
根据上述步骤，由于每个视频的时长不尽相同，但每个视频的代表矩阵同帧数无关，矩阵的尺寸大小为4d*59*c，只要二维dwt的级数相同，且离散余弦变换保留的成分相同，矩阵的尺寸便一致。将上述的训练集的矩阵送入以rbf高斯核构建的svm分类器，对网络进行训练，得到人脸活体检测模型的相关参数。
本实施例涉及的参数人脸放大倍数s、时间间距i、dwt级数d和dct分量c均通过大量的实验数据确定。通过控制变量法获得的实验结果表明，当i＝6、d＝1、c＝1、svm的惩罚因子α＝2048、γ＝0.000008时，分类的准确率随着放大倍数s的增大而一定程度地提高，结果如表1所示，
表1：不同放大倍数s时，在repaly-attack上的识别结果
选择分类效果最优的s＝2.6,进行下一步实验，改变d和c值的大小，实验结果显示c对准确率的提升帮助并不大，而dwt级数的增大对正确分类有极大帮助。因此，选择特征数最少的c＝1，利用dwt-lbp矩阵的主要能量来压缩提取时间流里的纹理变化情况。固定参数s＝2.6、i＝6、c＝1、α＝2048、γ＝0.000008，增大d，结果如表2所示，
表2：不同dwt级数时，在repaly-attack上的识别结果
从表中可得出结论，在replay-attack数据库中，算法在d＝3和d＝4时得到最优的结果hter＝0，即已实现零差错的完美分类。图4为当s＝2.6、d＝4、i＝6、c＝1、α＝2048、γ＝0.000008时，replay-attack数据库的roc曲线，auc定义为roc曲线下面积，取值范围在0.5和1之间，作为评价标准时，值越大说明对应的分类器效果越好，它是作为一个分类效果的综合衡量标准。图4中，曲线经过点(0，1)，auc面积为1，再次证明了该实例中的完美分类能力。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
1.基于dwt-lbp-dct特征的人脸活体检测方法，其特征在于，包括以下步骤：
s1、获取待处理的原始视频帧序列；
s2、对原始视频帧序列进行人脸定位，扩大人脸识别区域并确定兴趣区域，将兴趣区域归一化处理；
s3、将归一化后兴趣区域进行多级二维离散小波变换和块划分处理，得到dwt特征，获取视频帧的频率信息；
s4、对dwt特征进行等价局部二值模式变换处理，得到dwt-lbp特征，获取视频帧的频率信息和纹理信息；
s5、对dwt-lbp特征纵向进行离散余弦变换处理，得到dwt-lbp-dct特征，获取视频帧的频率信息、纹理信息和时域信息；
s6、对dwt-lbp-dct特征使用机器学习分类器进行训练并分类，得到检测结果。
2.根据权利要求1所述的基于dwt-lbp-dct特征的人脸活体检测方法，其特征在于，所述步骤s1具体为：当原始视频有m帧图像时，按照时间间隔i提取f帧图像，计算如下：
进而得到待处理的原始视频帧序列。
3.根据权利要求1所述的基于dwt-lbp-dct特征的人脸活体检测方法，其特征在于，所述步骤s2具体如下：
s201、通过人脸分类器定位原始视频帧序列中每帧图像中人脸位置，并以识别的人脸位置坐标为基数；
s202、以人脸位置坐标为基数，按照一组比例因子放大坐标，若放大后的坐标点超出原始帧的坐标范围，则以原始帧对应的边界点代替该放大后的坐标点，得到比例坐标点；
s203、根据比例坐标点在原始视频帧中重新确定目标区域，即兴趣区域，并将所有兴趣区域图像的分辨率统一为目标值，若分辨率不足或大于目标值，则进行双线性插值处理获取目标图像，目标图像为彩色rgb图像。
4.根据权利要求3所述的基于dwt-lbp-dct特征的人脸活体检测方法，其特征在于，所述步骤s3具体如下：
s301、对目标区域进行d级二维dwt处理，分离出频率分量，频率分量包括平滑逼近分量lld、水平分量hlx、垂直分量lhx、对角分量hhx，其中，x的范围为1至d；
s302、记录各频率分量的分辨率；
s303、将需要切块的水平分量hlx、垂直分量lhx、对角分量hhx进行切块处理，获取同平滑逼近分量lld大小相同的若干频率小块，并对所有提取出不同比例因子的目标图像进行以上操作，进而得到视频帧的频率信息。
5.根据权利要求4所述的基于dwt-lbp-dct特征的人脸活体检测方法，其特征在于，所述需要切块处理的频率分量，其x的范围为1至d-1。
6.根据权利要求4所述的基于dwt-lbp-dct特征的人脸活体检测方法，其特征在于，所述步骤s4具体为：计算所有频率小块的等价lbp直方图，将每一帧目标图像的lbp直方图按照时间顺序水平连接，得到dwt-lbp特征。
7.根据权利要求1所述的基于dwt-lbp-dct特征的人脸活体检测方法，其特征在于，所述步骤s5具体为：
s501、将同一个视频的dwt-lbp特征纵向连接，组成dwt-lbp视频特征矩阵；
s502、在dwt-lbp视频特征矩阵上纵向运用dct运算，提取其在时间变换过程中，各分块反映出的能量信息，得到dwt-lbp-dct特征，计算如下：
其中，xn为长度为n的输入数据，0≤n≤n-1；xk为输出数据。
8.根据权利要求1所述的基于dwt-lbp-dct特征的人脸活体检测方法，其特征在于，所述步骤s6具体如下：根据dwt-lbp-dct特征，使用数据库中的训练集建立对应的支持向量机svm分类器，根据验证集获取测试中需要的参数，将测试集送入训练好的svm分类器，得到检测结果，实现真假视频分类。
9.根据权利要求8所述的基于dwt-lbp-dct特征的人脸活体检测方法，其特征在于，所述测试中需要的参数包括错误接受率far、错误拒绝率frr；使用验证集获取当错误接受率far和错误拒绝率frr相等时的分类器阈值τ，并根据分类器阈值τ获取半错误率hter和准确率；其中半错误率hter为错误接受率far和错误拒绝率frr总和的一半。
技术总结