本发明涉及图像识别技术领域，特别涉及一种级联式人脸图像优选方法、系统、设备及可读存储介质。
背景技术：
随着ai时代的到来，人脸识别技术在各个行业领域得到了广泛的应用，如智慧交通、治安管理、门禁系统、卡口系统、电子护照、公安、银行自助系统、信息安全等。而人脸识别系统的基础是人脸检测技术，当前的人脸检测效率已经实现30fps全帧率和全画幅的人脸检测，每帧视频图像最多可抓拍的人脸图像也超过了100张。如果全部检测到的人脸图像都输入到人脸识别中，不仅会造成严重的cpu压力和内存占用，而且识别率会因为输入图像的质量，如角度，光照等因素的影响导致识别结果不稳定。因此输入一张质量高的人脸图像进行识别，会产生更加准确可靠的匹配结果输出。目前对人脸图像的筛查主要采用的主观评价的方法，通过人为参与评估过程，对人像进行评分，从而判断图像质量的好坏。但是这种方法存在着人工成本高、实时性差的缺点，无法进行大批量的评价。
技术实现要素：
本发明要解决的技术问题是如何提供一种计算量小，且质量较高的级联式人脸图像优选方法、系统、设备及可读存储介质。
为了解决上述技术问题，本发明的技术方案为：
第一方面，本发明提出了一种级联式人脸图像优选方法，包括步骤：
获取视频图像，通过多任务级联卷积神经网络进行人脸检测及坐标估计；
进行图像的分辨率得分计算，过滤分辨率低于阈值的图片；
进行人脸姿态得分计算，过滤人脸姿态过歪的图片；
对图像分别进行人脸遮挡得分、表情得分、清晰度得分及光照强度得分的计算；
通过对分辨率得分、人脸姿态得分、人脸遮挡得分、表情得分、清晰度得分及光照强度得分进行加权计算，将总得分最高的图片作为最优人脸；
对视频中的人脸图像进行人脸追踪，推送、更新所述最优人脸。
优选地，进行人脸姿态得分计算过程为：
通过多任务级联卷积神经网络获取人脸的鼻子、左眼、右眼、左嘴角和右嘴角的点坐标；
当鼻子的横坐标大于左眼横坐标且小于右眼横坐标时获得预定分数；
当鼻子的纵坐标大于眼睛的纵坐标且小于嘴巴的纵坐标时获得预定分数；
鼻子距离左眼和左嘴角连线的最小距离为距离一、鼻子距离右眼和右嘴角连线的最小距离为距离二，所述距离一与所述距离二中较小的值除以人脸矩形框的宽度，该比值大于阈值时获得预定分数；
鼻子距离左眼和右眼连线的最小距离为距离三，鼻子距离左嘴角和右嘴角连线的最小距离为距离四，所述距离三与所述距离四中较小的值除以人脸矩形框高度，该比值大于阈值时获得预定分数。
优选地，当视频中的图片出现人脸时，通过kcf目标跟踪算法对人脸进行跟踪，并对每张人脸图片进行过滤，过滤包括过滤分辨率低于阈值的图片以及过滤人脸姿态过歪的图片。
优选地，当所述最优人脸被更新时或者同一人脸连续预设数量帧内未更新所述最优人脸，且所述最优人脸的总得分大于预设分数时，推送所述最优人脸至人脸识别模块。
优选地，所述清晰度得分通过tenengrad梯度算法进行计算。
优选地，所述人脸遮挡得分及所述表情得分采用深度学习模型进行评估计算。
优选地，所述光照强度得分采用图片的灰度值均值来进行计算，所述灰度值均值在阈值范围内的光照强度得分高于阈值范围外的光照强度得分。
第二方面，本发明还提出了一种级联式人脸图像优选系统，包括：
级联检测模块：获取视频图像，通过多任务级联卷积神经网络进行人脸检测及坐标估计；
分辨率过滤模块：进行图像的分辨率得分计算，过滤分辨率低于阈值的图片；
姿态过滤模块：进行人脸姿态得分计算，过滤人脸姿态过歪的图片；
计算模块：对图像分别进行人脸遮挡得分、表情得分、清晰度得分及光照强度得分的计算；
最优人脸模块：通过对分辨率得分、人脸姿态得分、人脸遮挡得分、表情得分、清晰度得分及光照强度得分进行加权计算，将总得分最高的图片作为最优人脸；
推送模块：对视频中的人脸图像进行人脸追踪，推送、更新所述最优人脸。
第三方面，本发明提出了一种级联式人脸图像优选设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的级联式人脸图像优选方法的步骤。
第四方面，本发明提出了一种级联式人脸图像优选的可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时间实现上述的级联式人脸图像优选方法的步骤。
本文采用级联方案和跟踪的方案，区别于现有技术的并行计算方式，除了第一次出现人脸需要经过完整的优选步骤以外，在级联中途可以提前筛除不合格的图像，加快优选进度，减少内存资源占用。此外，本技术方案避免了当前人脸识别技术不经过人脸图像质量优选，直接进入识别造成的结果不稳定，准确率低的缺点。本文提出的级联式人脸图像优选方法，通过优选后向识别端提供质量好的人像图进行识别，可以提升识别的准确率和稳定性。
附图说明
图1为本发明级联式人脸图像优选方法一实施例的流程图；
图2为本发明中mtcnn在公开数据集上的人脸检测结果图；
图3为本发明中利用mtcnn五点对姿态进行估计的示意图；
图4为本发明级联式人脸图像优选方法另一实施例的流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。
参照图1，本发明实施例中提出了一种级联式人脸图像优选方法。
步骤一：通过标准通讯协议获取一段实时或本地视频，该视频中包含人脸信息，该标准通讯协议可以为rtsp/rtp、onvif、gb/t28181中的任意一种。
步骤二：利用mtcnn(多任务级联卷积神经网络(multi-taskcascadedconvolutionalnetworks))算法对视频中的图像进行人脸检测和五点坐标估计，得到所有的人脸框位置信息和人脸五点坐标信息。参照图2。
步骤三：将人脸图像分辨率作为第一个评价指标，用scorereso表示，通过mtcnn检测得到的人脸框的大小得到facesize，计算公式为：
facesize＝facewidth*faceheight
其中，facewidth和faceheight分别表示mtcnn人脸检测得到的人脸区域的宽和高。
将图像大小分三个档次，如果小于80*80，则分辨率得分scorereso＝0分；大于80*80小于120*120像素scorereso＝5分，大于120*120像素以上scorereso＝10分。如果分辨率得分为0，则不进入下一步识别，直接删除该图。
步骤四：参照图3，将人脸姿态作为第二个评价指标，用scorepose表示，通过mtcnn人脸检测得到的五点坐标，对应鼻子(x1,y1)、左眼(x2,y2)、右眼(x3,y3)、左嘴角(x4,y4)和右嘴角(x5,y5)位置关系，以此来确定姿态信息。具体的考虑因素主要有：
(1)鼻子点的横坐标要大于左眼横坐标，小于右眼横坐标，即x2<x1<x3，这种方案主要是用来排除左右姿态90°侧脸的情况；
(2)鼻子点的纵坐标要大于眼睛的纵坐标，并且小于嘴巴的纵坐标，即max(y2,y3)<y1<min(y4,y5)，这种方案主要用来排除大角度低头和抬头的情况；
(3)鼻子点距离左眼和左嘴角连线边界的距离，鼻子点距离右眼右嘴角边界距离，两者中最小的除以人脸矩形框的宽度facewidht，得到nosetolr，设定阈值为0.1，当比值小于0.1则过滤掉。根据点到两点连线的计算公式如下：
nosetolr＝min(nosetoleft，nosetoright)
(4)鼻子点距离两眼睛点连线边界的距离，与鼻子点距离两嘴角连线边界距离，两者中最小的除以人脸矩形框高度faceheight，得到nosetotb，建议设置阈值为0.2，当比值小于0.2则过滤掉。计算公式如下：
nosetotb＝min(nosetotop，nosetobottom)
需要说明的是，以上点所在坐标系，原点位于图像的左上角。
将通过阈值过滤的人脸姿态评估scorepose＝0分，上述四个标准各占5分，如果都通过则姿态scorepose得分为20。如果姿态scorepose得分为0，则不进入下一步识别，直接删除该人脸图像。
步骤五：将光照作为第三个评价指标，用scorelight表示，计算光照亮度信息采取的是灰度均值来表示，亮度值进行量化，划分成0到255共256个级别，其中0全黑，255全白。灰度均值gray的计算公式为：
gray＝0.299red 0.587green 0.114blue
为了排除过暗和过曝的情况，建议采取分段评分：灰度均值在0～40和220～255区间内scorelight得分为3分，在40～80和180～220区间内scorelight得分为6；在80～180区间内scorelight得分为10。
步骤六：将清晰度作为第四个评价指标，用tenengrad表示，主要思想是，在空域中，考察图像的领域对比度，即相邻像素间的灰度特征的梯度差；在频域中，考察图像的频率分量，对焦清晰的图像高频分量较多，对焦模糊的图像低频分量较多。本文主要用到了tenengrad梯度法，具体方法如下：
设sobel卷积核为gx,gy，则图像i在点(x,y)的梯度为：
定义该图像的tenengrad值为：
其中n为图像中像素总数。本实施例中的阈值设置为20和40,大于20小于40清晰度分数tenengrad＝5分，大于40分数tenengrad＝10。
步骤七：将遮挡和表情作为第五六个评价指标，分别为人脸遮挡得分scorecover和表情得分scoreexp，这部分采用深度学习模型进行训练，本实施例中使用mobilefacenets轻量级网络来做训练，数据集选择widerface。将遮挡分为三个等级：0-无遮挡、1-轻度遮挡、2-重度遮挡，表情分为：0-普通、1-夸张。
严重遮挡置scorecover＝0分，轻度遮挡scorecover＝10分，无遮挡scorecover＝30分；普通表情scoreexp＝10分，夸张表情scoreexp＝5分
步骤八：在步骤二当图像出现新增人脸信息后，将检测到的该人脸第一帧图像作为优选结果备选人脸，然后依次计算步骤三到步骤七的人脸质量评估得分，如果综合得分低于50，则不将该人脸作为最优候选人脸图像，直到第一帧人脸优选得分大于50。后续帧利用现有的跟踪技术，如kcf(kernelcorrelationfilter)目标跟踪等，对人脸进行跟踪，把跟踪到的同一个目标的人脸图像进行第三步到第七步的计算，其中步骤三或步骤四得分为0，都将不进入下一步的计算，直接删除该人脸，进行下一帧人脸质量评估。综合得分的计算方法：
facescores＝scorereso scorepose scorelight tenengrad scorecover scoreexp
步骤九：设定将优选结果推送给后端人脸识别的时机，设置当最优人脸被更新时或者同一人脸连续15帧内都没有更新最优人脸并且综合得分facescores大于50时，在这两种情况下则推送优选结果给人脸识别。
本发明实施例，可避免当前人脸识别技术，很多不经过人脸图像质量优选，直接进入识别，得到的结果不稳定，准确率低。本文提出的基于级联式人脸图像质量优选方法及系统，通过优选后向识别端提供质量好的人像图进行识别，可以提升识别的准确率和稳定性。本文采用级联方案和跟踪的方案，区别于现有技术的并行计算方式，除了第一次出现人脸需要经过完整的优选步骤以外，在级联中途可以提前筛除不合格的图像，加快优选进度，减少内存资源占用。针对遮挡和表情两种情况，现有技术很少加入质量优选考虑因素范畴，本文引入深度学习评价方案，增加了人脸质量优选评分项，考虑更加全面，综合得分结果更可靠。设定推送机制，在一定间隔内或者更新优选结果的情况下，就推送优选人脸给识别端，增加识别稳定性的同时，加快了响应时间。
参照图4，另一方面，本发明还提出了一种级联式人脸图像优选系统，包括：
级联检测模块：图像序列获取，通过多任务级联卷积神经网络进行人脸检测及坐标估计；
分辨率过滤模块：进行图像分辨率得分计算，过滤分辨率低于阈值的图片；图像分辨率得分计算的过程包括：
检测的人脸框的大小，人脸框的大小为人脸框区域宽与人脸框区域高的乘积；
将人脸框按照大小分多个档次，人脸框的大小越大的档次图像分辨率得分越高。
姿态过滤模块：进行人脸姿态得分计算，过滤人脸姿态过歪的图片；人脸姿态得分计算过程为：
通过多任务级联卷积神经网络获取人脸的鼻子、左眼、右眼、左嘴角和右嘴角的点坐标；
当鼻子的横坐标大于左眼横坐标且小于右眼横坐标时获得预定分数；
当鼻子的纵坐标大于眼睛的纵坐标且小于嘴巴的纵坐标时获得预定分数；
鼻子距离左眼和左嘴角连线的最小距离为距离一、鼻子距离右眼右嘴角的最小距离为距离二，距离一与距离二中较小的值除以人脸矩形框的宽度，其比值大于阈值时获得预定分数；
鼻子距离两眼睛点连线的最小距离为距离三，鼻子距离两嘴角连线的最小距离为距离四，距离三与距离四种较小的值除以人脸矩形框高度，其比值大于阈值时获得预定分数。
计算模块：对图像分别进行人脸遮挡得分、表情得分、清晰度得分及光照强度得分的计算；
最优人脸模块：通过分辨率得分、人脸头部姿态得分、人脸遮挡得分、表情得分、清晰度得分、光照强度得分，对图片进行综合分计算，综合分最高的图片为最优人脸；其中，清晰度得分通过tenengrad梯度算法进行计算。脸遮挡得分及表情得分采用深度学习模型进行得分计算。光照强度得分采用图片的灰度值均值来进行计算，灰度值均值在阈值范围内的光照强度得分高于阈值范围外的光照强度得分。
推送模块：对人脸图像进行追踪，推送最优人脸，当最优人脸被更新时或者同一人脸连续预设数量帧内没有更新最优人脸且综合分大于预设分数时，推送最优人脸至识别模块。当图像序列中的图片出现人脸时，通过kcf目标跟踪算法对人脸进行跟踪，并对每张人脸图片进行过滤。
再一方面，本发明提出了一种级联式人脸图像优选设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的级联式人脸图像优选方法的步骤。参照图4，该方法包括：
s10：获取视频图像，通过多任务级联卷积神经网络进行人脸检测及坐标估计；
s20：进行图像的分辨率得分计算，过滤分辨率低于阈值的图片；
s30：进行人脸姿态得分计算，过滤人脸姿态过歪的图片；
s40：对图像分别进行人脸遮挡得分、表情得分、清晰度得分及光照强度得分的计算；
s50：通过对分辨率得分、人脸姿态得分、人脸遮挡得分、表情得分、清晰度得分及光照强度得分进行加权计算，将总得分最高的图片作为最优人脸；
s60：对视频中的人脸图像进行人脸追踪，推送、更新所述最优人脸。
又一方面，本发明提出了一种级联式人脸图像优选的可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时间实现上述的级联式人脸图像优选方法的步骤。参照图4，该方法包括：
s10：获取视频图像，通过多任务级联卷积神经网络进行人脸检测及坐标估计；
s20：进行图像的分辨率得分计算，过滤分辨率低于阈值的图片；
s30：进行人脸姿态得分计算，过滤人脸姿态过歪的图片；
s40：对图像分别进行人脸遮挡得分、表情得分、清晰度得分及光照强度得分的计算；
s50：通过对分辨率得分、人脸姿态得分、人脸遮挡得分、表情得分、清晰度得分及光照强度得分进行加权计算，将总得分最高的图片作为最优人脸；
s60：对视频中的人脸图像进行人脸追踪，推送、更新所述最优人脸。
在对姿态进行判断时，本发明采取深度学习方法mtcnn做为人脸检测基础，mtcnn检测会同时输出五官的五点坐标信息，利用五官之间的位置关系，来做人脸姿态评估以及旋转角度计算，可以得到更加精确结果，而且相对计算量小，处理速度快。
对于遮挡和表情的判断，传统的图像处理方法一般无法得到可靠的结果，所以采用了深度学习的方法，利用大量训练数据进行训练，最后得到一个多属性模型输出，输入人脸图像得到目标的遮挡情况以及表情信息。
对于多帧连续识别，采取跟踪的策略，当检测到某一帧图像位置中有新的人脸出现时，开始计算该人脸在连续帧中的图像质量综合得分，加上跟踪技术，设定优选间隔以及得分阈值，当满足阈值条件时就推送该序列人脸质量最优帧进行人脸识别，减少识别响应时间，并且提升识别的准确率。
本发明的具有以下有益效果：采用级联的方式，依次考虑分辨率、姿态、光照、清晰度、遮挡和表情等多个因素，由易到难，计算由简到繁。当前一级判断不合格时，就直接删除该人脸图像信息，不进入下一阶段的评估指标计算，大大减少了中间计算量。
以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。
1.一种级联式人脸图像优选方法，其特征在于，包括步骤：
获取视频图像，通过多任务级联卷积神经网络进行人脸检测及坐标估计；
进行图像的分辨率得分计算，过滤分辨率低于阈值的图片；
进行人脸姿态得分计算，过滤人脸姿态过歪的图片；
对图像分别进行人脸遮挡得分、表情得分、清晰度得分及光照强度得分的计算；
通过对分辨率得分、人脸姿态得分、人脸遮挡得分、表情得分、清晰度得分及光照强度得分进行加权计算，将总得分最高的图片作为最优人脸；
对视频中的人脸图像进行人脸追踪，推送、更新所述最优人脸。
2.根据权利要求1所述的级联式人脸图像优选方法，其特征在于：进行人脸姿态得分计算过程为：
通过多任务级联卷积神经网络获取人脸的鼻子、左眼、右眼、左嘴角和右嘴角的点坐标；
当鼻子的横坐标大于左眼横坐标且小于右眼横坐标时获得预定分数；
当鼻子的纵坐标大于眼睛的纵坐标且小于嘴巴的纵坐标时获得预定分数；
鼻子距离左眼和左嘴角连线的最小距离为距离一、鼻子距离右眼和右嘴角连线的最小距离为距离二，所述距离一与所述距离二中较小的值除以人脸矩形框的宽度，该比值大于阈值时获得预定分数；
鼻子距离左眼和右眼连线的最小距离为距离三，鼻子距离左嘴角和右嘴角连线的最小距离为距离四，所述距离三与所述距离四中较小的值除以人脸矩形框高度，该比值大于阈值时获得预定分数。
3.根据权利要求1所述的级联式人脸图像优选方法，其特征在于：当视频中的图片出现人脸时，通过kcf目标跟踪算法对人脸进行跟踪，并对每张人脸图片进行过滤，过滤包括过滤分辨率低于阈值的图片以及过滤人脸姿态过歪的图片。
4.根据权利要求1所述的级联式人脸图像优选方法，其特征在于：当所述最优人脸被更新时或者同一人脸连续预设数量帧内未更新所述最优人脸，且所述最优人脸的总得分大于预设分数时，推送所述最优人脸至人脸识别模块。
5.根据权利要求1至4任一项所述的级联式人脸图像优选方法，其特征在于：所述清晰度得分通过tenengrad梯度算法进行计算。
6.根据权利要求1至4任一项所述的级联式人脸图像优选方法，其特征在于：所述人脸遮挡得分及所述表情得分采用深度学习模型进行评估计算。
7.根据权利要求1至4任一项所述的级联式人脸图像优选方法，其特征在于：所述光照强度得分采用图片的灰度值均值来进行计算，所述灰度值均值在阈值范围内的光照强度得分高于阈值范围外的光照强度得分。
8.一种级联式人脸图像优选系统，其特征在于，包括：
级联检测模块：获取视频图像，通过多任务级联卷积神经网络进行人脸检测及坐标估计；
分辨率过滤模块：进行图像的分辨率得分计算，过滤分辨率低于阈值的图片；
姿态过滤模块：进行人脸姿态得分计算，过滤人脸姿态过歪的图片；
计算模块：对图像分别进行人脸遮挡得分、表情得分、清晰度得分及光照强度得分的计算；
最优人脸模块：通过对分辨率得分、人脸姿态得分、人脸遮挡得分、表情得分、清晰度得分及光照强度得分进行加权计算，将总得分最高的图片作为最优人脸；
推送模块：对视频中的人脸图像进行人脸追踪，推送、更新所述最优人脸。
9.一种级联式人脸图像优选设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现权利要求1-7任一项所述的级联式人脸图像优选方法的步骤。
10.一种级联式人脸图像优选的可读存储介质，其上存储有计算机程序，其特征在于：该计算机程序被处理器执行时间实现权利要求1-7任一项所述的级联式人脸图像优选方法的步骤。
技术总结