本发明涉及一种计算机视觉和模式识别
技术领域：
，具体涉及一种基于移动端边缘计算的人脸识别检测方法及系统。
背景技术：
：目前来说，人脸识别是计算机视觉和模式识别领域的热点研究问题之一，而如何让前端采集图像到后端更快高效处理，成为人脸识别领域中的一个重点和难点问题。现有的技术中采用深度卷积神经网络(cnn)学习将图像映射到欧式空间。空间距离直接和图片相似度相关：同一个人的不同图像在空间距离很小，不同人的图像在空间中有较大的距离，可以用于人脸验证、识别和聚类。作为经典的深度学习、人脸识别方法，依然采用主流的深度神经网络来提取特征，并采用损失函数(triplet_loss)来衡量训练过程中样本之间的距离误差。然而在人脸检测中，其中人脸检测和人脸识别中会用到几层网络，先将人脸标识出来，再将人脸特征值提取出来，使用传统的方法会有两个问题：(1)相机等采集设备对视频流人脸处理慢；(2)进行人脸匹配时，每次都需要先将人脸标识出来，再进行人脸特征只得提取，多次重复的人脸特征提取步骤会增加运算时间。技术实现要素：为了克服现有技术存在的缺陷与不足，本发明提供一种基于边缘计算人脸识别的方法及系统，采用ncnn框架对视频里的图片先预处理后得到有效人脸，再进行人脸图片生成多维度的特征向量值，最后保存摄像头里的人脸特征向量和人脸库内的特征向量，计算两个向量欧几里得距离，人脸预处理和特征向量值距离计算可以提升识别率和加快运行速率，在保证高识别成功率的前提下有较快的识别速度，从而更好地进行人脸识别，更加适用于实际场景。为了达到上述目的，本发明采用以下技术方案：本发明提供一种基于移动端边缘计算的人脸识别检测方法，包括下述步骤：提取移动端监控设备拍摄视频中的图片；采用mtcnn网络对图片的尺寸进行整合，整合后得到图片金字塔；所述图片金字塔中的所有图片输入mtcnn网络，mtcnn网络输出第一特征谱和第二特征谱，所述第一特征谱通过置信度判断图片内是否有人脸特征，根据人脸特征构建多个人脸建议框，所述第二特征谱将人脸特征在原图位置的坐标进行保存；训练二分类网络，采用训练好的二分类网络判断图片金字塔中的图片中的有效人脸，根据有效人脸进行边界框回归，从最低损失值中得到预测值，根据预测值将人脸建议框调整到真实人脸框的位置；移动端监控设备将检测到的有效人脸图片传输到后端监控设备；采用mtcnn网络提取第一人脸信息特征向量；将所述第一人脸信息特征向量添加标签后保存为匹对数据；后端监控设备接收有效人脸图片，并提取实时有效人脸图片中的第二人脸信息特征向量，计算第一人脸信息特征向量和第二人脸信息特征向量的欧几里得距离，将所述欧几里得距离与设定距离阈值对比，识别出有效人脸图片中的人脸信息以及对应的标签。作为优选的技术方案，所述提取移动端监控设备拍摄视频中的图片，具体步骤为：前端设备开启摄像头预览；在设定的间隔时间内，在视频流中提取视频的一帧图片；将一帧图片转换成bitmap格式的待处理图片。作为优选的技术方案，所述采用mtcnn网络对图片的尺寸进行整合，具体步骤为：设定缩放因子p，mtcnn网络的第一层网络p-net对每一张输入图片像素按照预设的缩放比例进行缩放，图片之间像素倍数按照p*p倍递减，不同像素的图片组合成图片金字塔。作为优选的技术方案，所述训练二分类网络，具体采用交叉熵损失函数进行二分类网络训练，所述交叉熵损失函数具体计算公式为：其中，表示人脸分类的交叉熵损失函数，pi表示符合人脸的概率，表示背景的真实标签。作为优选的技术方案，所述根据有效人脸进行边界框回归，具体步骤为：采用训练好的二分类网络对整个金字塔内不同尺寸的图片进行人脸判断后，在不同尺寸的图片找到包含人脸的图片作为边界框，将整合出的多个边界框背景筛选出人脸边界框，采用损失函数最低的背景进行边界框回归，构建最终人脸框：其中，为网络预测的特殊点的坐标，为真实的特殊点的坐标，r10为10个向量，为两组特殊点距离回归方程的损失值。作为优选的技术方案，所述采用mtcnn网络提取第一人脸信息特征向量，具体步骤为：将人脸框内的图片输入网络r-net，返回128维的人脸信息特征向量。作为优选的技术方案，所述欧几里得距离的计算公式为：其中，xi为一张人脸的第i维特征向量，yi为另一张人脸的第i维特征向量。作为优选的技术方案，所述距离阈值的值设置为0.3，当求得欧几里得距离小于距离阈值时，判定两张图片匹配成功。本发明还提供一种基于移动端边缘计算的人脸识别检测系统，包括：图片提取模块、图片整合模块、前后景分类模块、人脸框标识模块、第一人脸信息特征向量提取模块、匹对数据构建模块、第二人脸信息特征向量提取模块和人脸信息识别模块；所述图片提取模块用于提取移动端监控设备拍摄视频中的图片；所述图片整合模块用于对图片尺寸整合得到图片金字塔；所述前后景分类模块用于采用第一特征谱判断图片内是否有人脸特征，根据人脸特征构建多个人脸建议框；所述人脸框标识模块用于采用第二特征谱将人脸特征在原图位置的坐标进行保存，采用训练好的二分类网络判断图片金字塔中的图片中的有效人脸，根据有效人脸进行边界框回归，从最低损失值中得到预测值，根据预测值将人脸建议框调整到真实人脸框的位置；所述第一人脸信息特征向量提取模块用于采用mtcnn网络提取第一人脸信息特征向量；所述匹对数据构建模块用于将所述第一人脸信息特征向量添加标签后保存为匹对数据；所述第二人脸信息特征向量提取模块用于提取有效人脸图片中的第二人脸信息特征向量；所述人脸信息识别模块用于计算第一人脸信息特征向量和第二人脸信息特征向量的欧几里得距离，将所述欧几里得距离与设定距离阈值对比，识别出有效人脸图片中的人脸信息以及对应的标签。本发明与现有技术相比，具有如下优点和有益效果：(1)本发明基于边缘计算的人脸识别系统，采用mtcnn框架对视频里的图片先预处理后得到有效人脸，再进行人脸多维度的特征进行建模匹配识别，可以减小后端计算压力和加快运行速率，在保证高识别成功率的前提下有较快的识别速度，从而更好地进行人脸识别，更加适用于实际场景。(2)本发明采用人脸特征向量欧式距离的比对匹配方案，解决了匹配人脸时间过长的而技术问题，达到了快速比对人脸的效果。(3)本发明通过前端捕获摄像头，在前端的处理器上实现人脸检测功能，一旦检测到人脸，就将该有效人脸传送到后端，最后通过后端服务器或者云平台实现人脸识别，识别成功后只需要给前端发送一个响应就可以实现前端控制闸机开门等功能，通过边缘计算的方法，可以实现一个服务器后端连接多个前端，大大提高前端的数量，实现一个服务器后端管理多个前端。附图说明图1为本实施例人脸处理与识别方法的流程示意图。具体实施方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。实施例如图1所示，本实施例提供一种基于移动端边缘计算的人脸识别检测方法，目的在于用摄像头视频流处理人脸识别过程中，在保证高识别成功率的前提下有较快的识别速度，从而更好地进行人脸识别，具体包括以下步骤：s1、提取摄像机拍摄视频中的图片，在支持mjpg或者yuv格式的摄像头下将视频的每帧图片提取出来；本实施例从摄像机拍摄视频中获取图片的过程包括：前端设备开启摄像头预览；在视频流中每隔100ms提取视频的一帧图像；将一帧图像转换成bitmap格式成为一张可处理的图片；图片中可以包括多张人脸，本实施例在人脸识别处理的整个过程中不再提取图片，保证识别正常进行，直到第一张有人脸图片人脸识别完成后，进行第二张人脸图片识别，图片中可以包括多张人脸；s2、采用mtcnn网络对图片的尺寸进行整合，整合后得到图片金字塔，具体步骤为：mtcnn网络第一层p-net对每输入一张图像，会以一个设定的缩放因子p，该缩放因子p小于1；以{1，p，p2，p3，p4...}的比例逐渐缩小，会生成大量图片，图片之间像素倍数以p*p倍递减，这些像素不同的图片组成一个图像金字塔，为保证最小缩放照片不丢失人脸特征，所以最后得到的最小的图像最短边要恰好大于等于12万像素点；s3、将图像金字塔所有的图片通过mtcnn网络第一层p-net输出两个特征谱，输出两个特征谱分别为第一特征谱和第二特征谱，第一特征谱用于实现人脸的特征分类，判断图片内是否有人脸特征，在人脸的地方会出现大量候选框；第二特征谱用于把人脸特征眼睛，鼻子，嘴五个不同的特征在原图位置的坐标保留下来；本实施例进行实现人脸的特征分类和标识人脸框为：第一特征谱可以判断是否有人脸，它由mtcnn网络内的一个网络输出得到，该网络用交叉熵损失函数分类训练得到：式中表示人脸分类的交叉熵损失函数，pi为是人脸的概率，为背景的真实标签；第一特征谱是一个(1,2,w,h)的blob四维向量，w和h的与输入图像宽度和高度有关，第二个向量表示2个通道值，人脸候选框的置信度，每个框都会有一个置信度，如果置信度大于一个设定的值就判断框内包含人脸；第一特征谱通过置信度从而过滤掉没有人脸特征的金字塔图片，得到原图人脸建议框，建议框与真实的人脸框可能存在一定偏差；第二特征谱用于把人脸特征眼睛，鼻子，嘴五个不同的特征在原图位置的坐标保留下来，它是一个(1,4,w,h)的blob，w和h与第一特征谱一致，4个通道的值代表每个眼睛，鼻子，嘴等部位特征点对应感受野区域的左上角右下角坐标的相对人脸所在位置的偏移量，偏移量由mtcnn网络内的网络模型计算得到；采用训练好的网络对整个金字塔内不同尺寸的图片人脸判断后，在不同尺寸的图片找到包含人脸的图片作为一个边界框，将整合出的多个边界框背景筛选出人脸边界框，采用损失函数最低的背景进行边界框回归形成一个最终的人脸框，该最终人脸框能正确包含一张人脸：上述公式表示通过欧氏距离计算的回归损失，其中，为通过网络预测得到的四元组，四元组为坐上角的横坐标和竖坐标以及框的长和宽一共四个参数组成，y为真实的背景坐标，li为两个四元组回归方程的损失值，为网络预测的特殊点的坐标，为真实的特殊点的坐标，r10为10个向量，为两组特殊点距离回归方程的损失值；将图片输入到该网络模型中，从最低损失值中得到一个预测值，则可以用预测值作为偏差将原图人脸建议框调整到实际人脸框的位置；s4、人脸识别过程中在移动端使用ncnn移动端网络框架先对图片进行预处理后只提取有效人脸并传送有效图片到后端，预处理过程是在人脸检测时通过将图片中有效人脸分类，在整个人脸识别系统中，移动端设备通过摄像头捕获到图片进行人脸检测功能，移动端设备设置在前端，一旦检测出人脸，将该有限人脸传送到后端服务器或者云平台进行识别功能，发挥边缘计算的优势，将人脸检测识别分在两端并行，不仅可以减少服务器的计算量，也可以实现后端服务器管理多个前端设备；s5、使用mtcnn网络实现人脸特征向量提取；具体为：将传送到后端的图片作为r-net网络的输入，r-net网络内自带人脸特征点的计算方法，将人脸信息图片返回128维的人脸信息特征向量；s6、利用服务器后端开发工具搭载移动端人脸数据库并将已知的人脸特征向量值保存到本地文件或者数据库，已知的人脸特征向量值由同一个网络处理过事先得到，在已知的人脸特征向量值前面加上人名作为标签，在摄像头下实时拍到的人脸处理成未知向量，和添加标签的已知向量计算欧几里得距离，将计算欧几里得距离和设置的距离阈值对比，从而找出摄像头下匹配的人脸；本实施例人脸识别处理具体为：在前端传输的人脸图片中返回的特征向量，然后对不同的人脸的特征向量之间求欧几里得距离；上述公式为人脸特征向量欧氏距离计算的公式，其中xi为一张人脸的第i维特征向量，yi为另一张人脸的第i维特征向量；本实施例设置一个距离阈值σ为0.3，当求得的dist(x,y)＜σ时认为两张照片出自同一个人。本实施例能够处理识别摄像头提取的一张图片下的多个人脸，既筛选了有效人脸，也保证高识别成功率的前提下有较快的识别速度，更适用于实际场景。将本实施例的人脸处理与识别方法与其他vgg，resnet方法在使用android7.1.2 四核cortex-a17，主频1.8ghz，4gb内存的条件下进行性能测试，性能分析包括训练性能和实时检测性能，在预处理和不进行预处理的速度对比如下表1所示：表1性能测试对比表安卓ncnn网络处理预处理没有预处理训练内存200m(峰值)200m(峰值)检测性能14.6pfs/s10.9pfs/s由上表可看出预处理之后减小了匹配无效人脸的时间，对视频流的处理速度有了一定的提升。本实施例基于边缘计算的人脸识别系统，移动前端采用ncnn框架对视频里的图片先预处理后得到有效人脸，后端服务器或者云平台再进行人脸多维度的特征进行建模匹配识别，可以减小后端计算压力和加快运行速率，在保证高识别成功率的前提下有较快的识别速度，从而更好地进行人脸识别，更加适用于实际场景。本实施例还提供一种基于移动端边缘计算的人脸识别检测系统，包括：图片提取模块、图片整合模块、前后景分类模块、人脸框标识模块、第一人脸信息特征向量提取模块、匹对数据构建模块、第二人脸信息特征向量提取模块和人脸信息识别模块；在本实施例中，图片提取模块用于提取移动端监控设备拍摄视频中的图片；图片整合模块用于对图片尺寸整合得到图片金字塔；前后景分类模块用于采用第一特征谱判断图片内是否有人脸特征，根据人脸特征构建多个人脸建议框；人脸框标识模块用于采用第二特征谱将人脸特征在原图位置的坐标进行保存，采用训练好的二分类网络判断图片金字塔中的图片中的有效人脸，根据有效人脸进行边界框回归，从最低损失值中得到预测值，根据预测值将人脸建议框调整到真实人脸框的位置；第一人脸信息特征向量提取模块用于采用mtcnn网络提取第一人脸信息特征向量；匹对数据构建模块用于将所述第一人脸信息特征向量添加标签后保存为匹对数据；第二人脸信息特征向量提取模块用于提取实时采集图片中的第二人脸信息特征向量；人脸信息识别模块用于计算第一人脸信息特征向量和第二人脸信息特征向量的欧几里得距离，将所述欧几里得距离与设定距离阈值对比，识别出实时图片中的人脸信息以及对应的标签。本发明通过前端捕获摄像头，在移动端的处理器上实现人脸检测功能，一旦检测到人脸，就将该有效人脸传送到后端，最后通过后端服务器或者云平台实现人脸识别，识别成功后只需要给前端发送一个响应就可以实现前端控制闸机开门等功能，通过边缘计算的方法，可以实现一个服务器后端连接多个前端，大大提高前端的数量，实现一个服务器后端管理多个前端。上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。当前第1页1 2 3
技术特征：1.一种基于移动端边缘计算的人脸识别检测方法，其特征在于，包括下述步骤：
提取移动端监控设备拍摄视频中的图片；
采用mtcnn网络对图片的尺寸进行整合，整合后得到图片金字塔；
所述图片金字塔中的所有图片输入mtcnn网络，mtcnn网络输出第一特征谱和第二特征谱，
所述第一特征谱通过置信度判断图片内是否有人脸特征，根据人脸特征构建多个人脸建议框，所述第二特征谱将人脸特征在原图位置的坐标进行保存；
训练二分类网络，采用训练好的二分类网络判断图片金字塔中的图片中的有效人脸，根据有效人脸进行边界框回归，从最低损失值中得到预测值，根据预测值将人脸建议框调整到真实人脸框的位置；
移动端监控设备将检测到的有效人脸图片传输到后端监控设备；
采用mtcnn网络提取第一人脸信息特征向量；
将所述第一人脸信息特征向量添加标签后保存为匹对数据；
后端监控设备接收有效人脸图片，并提取实时有效人脸图片中的第二人脸信息特征向量，计算第一人脸信息特征向量和第二人脸信息特征向量的欧几里得距离，将所述欧几里得距离与设定距离阈值对比，识别出有效人脸图片中的人脸信息以及对应的标签。
2.根据权利要求1所述的基于移动端边缘计算的人脸识别检测方法，其特征在于，所述提取移动端监控设备拍摄视频中的图片，具体步骤为：
前端设备开启摄像头预览；
在设定的间隔时间内，在视频流中提取视频的一帧图片；
将一帧图片转换成bitmap格式的待处理图片。
3.根据权利要求1所述的基于移动端边缘计算的人脸识别检测方法，其特征在于，所述采用mtcnn网络对图片的尺寸进行整合，具体步骤为：
设定缩放因子p，mtcnn网络的第一层网络p-net对每一张输入图片像素按照预设的缩放比例进行缩放，图片之间像素倍数按照p*p倍递减，不同像素的图片组合成图片金字塔。
4.根据权利要求1所述的基于移动端边缘计算的人脸识别检测方法，其特征在于，所述训练二分类网络，具体采用交叉熵损失函数进行二分类网络训练，所述交叉熵损失函数具体计算公式为：
其中，表示人脸分类的交叉熵损失函数，pi表示符合人脸的概率，表示背景的真实标签。
5.根据权利要求1所述的基于移动端边缘计算的人脸识别检测方法，其特征在于，所述根据有效人脸进行边界框回归，具体步骤为：
采用训练好的二分类网络对整个金字塔内不同尺寸的图片进行人脸判断后，在不同尺寸的图片找到包含人脸的图片作为边界框，将整合出的多个边界框背景筛选出人脸边界框，采用损失函数最低的背景进行边界框回归，构建最终人脸框：
其中，为网络预测的特殊点的坐标，为真实的特殊点的坐标，r10为10个向量，为两组特殊点距离回归方程的损失值。
6.根据权利要求1所述的基于移动端边缘计算的人脸识别检测方法，其特征在于，所述采用mtcnn网络提取第一人脸信息特征向量，具体步骤为：
将人脸框内的图片输入网络r-net，返回128维的人脸信息特征向量。
7.根据权利要求1所述的基于移动端边缘计算的人脸识别检测方法，其特征在于，所述欧几里得距离的计算公式为：
其中，xi为一张人脸的第i维特征向量，yi为另一张人脸的第i维特征向量。
8.根据权利要求1所述的基于移动端边缘计算的人脸识别检测方法，其特征在于，所述距离阈值的值设置为0.3，当求得欧几里得距离小于距离阈值时，判定两张图片匹配成功。
9.一种基于移动端边缘计算的人脸识别检测系统，其特征在于，包括：图片提取模块、图片整合模块、前后景分类模块、人脸框标识模块、第一人脸信息特征向量提取模块、匹对数据构建模块、第二人脸信息特征向量提取模块和人脸信息识别模块；
所述图片提取模块用于提取移动端监控设备拍摄视频中的图片；
所述图片整合模块用于对图片尺寸整合得到图片金字塔；
所述前后景分类模块用于采用第一特征谱判断图片内是否有人脸特征，根据人脸特征构建多个人脸建议框；
所述人脸框标识模块用于采用第二特征谱将人脸特征在原图位置的坐标进行保存，采用训练好的二分类网络判断图片金字塔中的图片中的有效人脸，根据有效人脸进行边界框回归，从最低损失值中得到预测值，根据预测值将人脸建议框调整到真实人脸框的位置；
所述第一人脸信息特征向量提取模块用于采用mtcnn网络提取第一人脸信息特征向量；
所述匹对数据构建模块用于将所述第一人脸信息特征向量添加标签后保存为匹对数据；
所述第二人脸信息特征向量提取模块用于提取有效人脸图片中的第二人脸信息特征向量；
所述人脸信息识别模块用于计算第一人脸信息特征向量和第二人脸信息特征向量的欧几里得距离，将所述欧几里得距离与设定距离阈值对比，识别出有效人脸图片中的人脸信息以及对应的标签。
技术总结本发明公开了一种基于移动端边缘计算的人脸识别检测方法及系统，该方法的步骤包括：提取移动端监控设备拍摄视频中的图片；采用NCNN框架对图片的尺寸进行整合得到图片金字塔，通过神经网络输出两个特征谱进行前后景分类和边界框回归标识人脸框；采用MTCNN网络模型提取第一人脸信息特征向量；将第一人脸信息特征向量添加标签后保存为匹对数据；后端监控设备采集实时图片并提取图片的第二人脸信息特征向量，计算第一人脸信息特征向量和第二人脸信息特征向量的欧几里得距离，欧几里得距离与设定距离阈值对比，识别出实时图片中的人脸信息以及对应的标签。本发明能够筛选有效人脸，为后端减少了计算压力，从而保证高识别成功率的前提下有较快的识别速度。
技术研发人员：谢巍;陈定权;余锦伟;周延;许练濠
受保护的技术使用者：华南理工大学
技术研发日：2020.01.07
技术公布日：2020.06.05
