本发明属于计算机视觉和生物特征识别领域，尤其涉及一种基于多神经网络模型联合优化的人脸识别方法及系统。
背景技术：
深度神经网络的多模型集成广泛应用于很多计算机视觉任务，由于不同网络可以有效地从原始图像中提取互补的信息，因此多模型集成可以带来明显的性能提升。然而目前为了有效利用人脸不同区域(如眼睛，鼻子)中互补的表观信息，需要手工定义多种不同的人脸切图方式，并使用这些不同的切图分别训练了多个卷积神经网络(cnn，convolutionalneuralnetwork)模型用于捕获不同人脸区域的信息。最终的人脸识别系统采用贪心的策略选取出最好的模型来进行最终的特征融合。
然而，这种人脸识别问题中通用的模型集成方法采用手工的方式选取人脸切图，需要耗费大量的计算来训练上百个模型，再选取出最好的切图组合。
因此，需要提供一种基于多神经网络模型联合优化的人脸识别方法及系统来解决现有技术的不足。
技术实现要素：
为了解决现有深度学习中多模型集成的人脸识别框架中手工选取人脸切图和离线特征融合存在的问题，本发明提供了一种基于多神经网络模型联合优化的人脸识别方法及系统，针对人脸识别问题，设计了一个多分支卷积神经网络的集成学习框架。
一种基于多神经网络模型联合优化的人脸识别方法，包括：
获取待识别图像中的人脸图像；
将所述人脸图像进行人脸区域切图，得到多个人脸切图；
利用预先构建的卷积神经网络模型提取每个人脸切图的特征；
对提取的人脸切图特征进行处理，得到优化后的人脸特征。
进一步的，将所述人脸图像进行人脸区域切图，得到多个人脸切图，包括：
将所述人脸图像进行对齐，得到对齐后的人脸图像；
将所述对齐后的人脸图像输入到预先建立的区域搜索空间变换网络中，得到多个人脸切图。
进一步的，将所述对齐后的人脸图像输入到预先建立的区域搜索空间变换网络中，得到多个人脸切图，包括：
根据损失函数训练所述区域搜索空间变换网络，得到优化后的网络参数；
根据所述优化后的网络参数计算人脸切图参数，得到人脸切图。
进一步的，根据所述优化后的网络参数计算人脸切图参数，包括：
按下式所示计算人脸切图参数：
其中，
进一步的，对提取的人脸切图特征进行处理，得到优化后的人脸特征，包括：
将人脸切图特征进行平均融合，得到初步融合特征；
利用全连接层将所述初步融合特征进行降维，得到优化后的人脸特征。
一种基于多神经网络模型联合优化的人脸识别系统，包括：
获取模块，用于获取待识别图像中的人脸图像；
切图模块，用于将所述人脸图像进行人脸区域切图，得到多个人脸切图；
提取模块，用于利用预先构建的卷积神经网络模型提取每个人脸切图的特征；
融合模块，用于对提取的人脸切图特征进行处理，得到优化后的人脸特征。
进一步的，所述切图模块包括：
预处理子模块，用于将所述人脸图像进行对齐，得到对齐后的人脸图像；
切图子模块，用于将所述对齐后的人脸图像输入到预先建立的区域搜索空间变换网络中，得到多个人脸切图。
进一步的，所述切图子模块包括：
训练单元，用于根据损失函数训练所述区域搜索空间变换网络，得到优化后的网络参数；
计算单元，用于根据所述优化后的网络参数计算人脸切图参数，得到人脸切图。
进一步的，所述计算单元，用于，
按下式所示计算人脸切图参数：
其中，
进一步的，所述融合模块包括：
初步融合子模块，用于将人脸切图特征进行平均融合，得到初步融合特征；
降维子模块，用于利用全连接层将所述初步融合特征进行降维，得到优化后的人脸特征。
本发明提供的技术方案存在如下有益效果：
本发明提供的技术方案首先将待识别的人脸图像进行人脸区域切图处理，然后利用预先构建的卷积神经网络模型提取每个人脸切图的特征，最后对提取的人脸切图特征进行优化处理，得到更具判别力的人脸特征。本发明提供的技术方案通过对人脸图像的切图、提取以及融合，完整的进行端到端学习，可以自适应捕获互补且具有判别性的人脸切图，减少计算量，得到更具判别力的人脸特征。
附图说明
图1是本发明流程示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示，本发明实施例提供了一种基于多神经网络模型联合优化的人脸识别方法，包括：
s1、获取待识别图像中的人脸图像；
s2、将所述人脸图像进行人脸区域切图，得到多个人脸切图；
s3、利用预先构建的卷积神经网络模型提取每个人脸切图的特征；
s4、对提取的人脸切图特征进行处理，得到优化后的人脸特征。
在本申请实施例中，首先将待识别的人脸图像进行人脸区域切图处理，然后利用预先构建的卷积神经网络模型提取每个人脸切图的特征，最后对提取的人脸切图特征进行优化处理，得到更具判别力的人脸特征。本发明提供的技术方案通过对人脸图像的切图、提取以及融合，完整的进行端到端学习，可以自适应捕获互补且具有判别性的人脸切图，减少计算量，得到更具判别力的人脸特征。
在本申请的一些实施例中，将所述人脸图像进行人脸区域切图，得到多个人脸切图，包括：
将所述人脸图像进行对齐，得到对齐后的人脸图像；
利用五个关键点进行对齐，即将五个关键点放置到固定位置，这样可以将一定角度范围内的侧面人脸旋转成正面人脸，进而提高识别准确率，其中五个关键点分别为左眼，右眼，鼻尖，左嘴角，右嘴角。
将所述对齐后的人脸图像输入到预先建立的区域搜索空间变换网络中，得到多个人脸切图。
预先定义好系统所需的切图个数n，将预处理后的输入图片输入到区域搜索空间变换网络中。该网络为6层cnn结构，输出维度为3n。其中3n个预测值分别对应着每张切图的三个仿射变换参数。三个参数分别对应尺度和x，y轴位移变化。使用预测出的仿射变换参数，通过仿射变换将输入图片分别变换成多个人脸切图。在训练时用感兴趣区域分离损失函数监督每个区域搜索空间变换网络预测出的仿射变换参数。该损失函数可在每个切图具有判别力的前提下，使得切图组合中两两切图间的交并比尽可能小。
在本申请的一些实施例中，将所述对齐后的人脸图像输入到预先建立的区域搜索空间变换网络中，得到多个人脸切图，包括：
根据损失函数训练所述区域搜索空间变换网络，得到优化后的网络参数；
根据所述优化后的网络参数计算人脸切图参数，得到人脸切图。
按下式所示计算人脸切图参数：
其中，
在本申请的一些实施例中，特征提取包括：
将生成的人脸切图组合中的每个切图单独输入到25层resnet网络中，每个网络用于提取单个人脸切图的特征且所有网络参数不共享。
在训练中用基于分类的softmax或a-softmax损失函数监督每个网络分支。
在本申请的一些实施例中，对提取的人脸切图特征进行处理，得到优化后的人脸特征，包括：
将人脸切图特征进行平均融合，得到初步融合特征；对初步融合后的特征采用centerloss损失函数进行监督训练，从而保证融合后的特征更具有判别力。
利用全连接层将所述初步融合特征进行降维，得到优化后的人脸特征。将初步融合的特征用单层全连接继续从512维降维到256维，对降维后的特征采用softmax或a-softmax损失函数进行监督。从而达到在降维后去除多个切图特征中冗余信息的作用。
基于相同的发明构思本发明还提供了一种基于多神经网络模型联合优化的人脸识别系统，包括：
获取模块，用于获取待识别图像中的人脸图像；
切图模块，用于将所述人脸图像进行人脸区域切图，得到多个人脸切图；
提取模块，用于利用预先构建的卷积神经网络模型提取每个人脸切图的特征；
融合模块，用于对提取的人脸切图特征进行处理，得到优化后的人脸特征。
可选的，所述切图模块包括：
预处理子模块，用于将所述人脸图像进行对齐，得到对齐后的人脸图像；
切图子模块，用于将所述对齐后的人脸图像输入到预先建立的区域搜索空间变换网络中，得到多个人脸切图。
可选的，所述切图子模块包括：
训练单元，用于根据损失函数训练所述区域搜索空间变换网络，得到优化后的网络参数；
计算单元，用于根据所述优化后的网络参数计算人脸切图参数，得到人脸切图。
可选的，所述计算单元，用于，
按下式所示计算人脸切图参数：
其中，
可选的，所述融合模块包括：
初步融合子模块，用于将人脸切图特征进行平均融合，得到初步融合特征；
降维子模块，用于利用全连接层将所述初步融合特征进行降维，得到优化后的人脸特征。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(applicationspecificintegratedcircuits，asic)、数字信号处理器(digitalsignalprocessing，dsp)、数字信号处理设备(dspdevice，dspd)、可编程逻辑设备(programmablelogicdevice，pld)、现场可编程门阵列(field-programmablegatearray，fpga)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
1.一种基于多神经网络模型联合优化的人脸识别方法，其特征在于，包括：
获取待识别图像中的人脸图像；
将所述人脸图像进行人脸区域切图，得到多个人脸切图；
利用预先构建的卷积神经网络模型提取每个人脸切图的特征；
对提取的人脸切图特征进行处理，得到优化后的人脸特征。
2.根据权利要求1所述的一种基于多神经网络模型联合优化的人脸识别方法，其特征在于，将所述人脸图像进行人脸区域切图，得到多个人脸切图，包括：
将所述人脸图像进行对齐，得到对齐后的人脸图像；
将所述对齐后的人脸图像输入到预先建立的区域搜索空间变换网络中，得到多个人脸切图。
3.根据权利要求2所述的一种基于多神经网络模型联合优化的人脸识别方法，其特征在于，将所述对齐后的人脸图像输入到预先建立的区域搜索空间变换网络中，得到多个人脸切图，包括：
根据损失函数训练所述区域搜索空间变换网络，得到优化后的网络参数；
根据所述优化后的网络参数计算人脸切图参数，得到人脸切图。
4.根据权利要求3所述的一种基于多神经网络模型联合优化的人脸识别方法，其特征在于，根据所述优化后的网络参数计算人脸切图参数，包括：
按下式所示计算人脸切图参数：
其中，
5.根据权利要求1所述的一种基于多神经网络模型联合优化的人脸识别方法，其特征在于，对提取的人脸切图特征进行处理，得到优化后的人脸特征，包括：
将人脸切图特征进行平均融合，得到初步融合特征；
利用全连接层将所述初步融合特征进行降维，得到优化后的人脸特征。
6.一种基于多神经网络模型联合优化的人脸识别系统，其特征在于，包括：
获取模块，用于获取待识别图像中的人脸图像；
切图模块，用于将所述人脸图像进行人脸区域切图，得到多个人脸切图；
提取模块，用于利用预先构建的卷积神经网络模型提取每个人脸切图的特征；
融合模块，用于对提取的人脸切图特征进行处理，得到优化后的人脸特征。
7.根据权利要求6所述的一种基于多神经网络模型联合优化的人脸识别系统，其特征在于，所述切图模块包括：
预处理子模块，用于将所述人脸图像进行对齐，得到对齐后的人脸图像；
切图子模块，用于将所述对齐后的人脸图像输入到预先建立的区域搜索空间变换网络中，得到多个人脸切图。
8.根据权利要求7所述的一种基于多神经网络模型联合优化的人脸识别系统，其特征在于，所述切图子模块包括：
训练单元，用于根据损失函数训练所述区域搜索空间变换网络，得到优化后的网络参数；
计算单元，用于根据所述优化后的网络参数计算人脸切图参数，得到人脸切图。
9.根据权利要求8所述的一种基于多神经网络模型联合优化的人脸识别系统，其特征在于，所述计算单元，用于，
按下式所示计算人脸切图参数：
其中，
10.根据权利要求6所述的一种基于多神经网络模型联合优化的人脸识别系统，其特征在于，所述融合模块包括：
初步融合子模块，用于将人脸切图特征进行平均融合，得到初步融合特征；
降维子模块，用于利用全连接层将所述初步融合特征进行降维，得到优化后的人脸特征。
技术总结