本申请涉及计算机技术领域，具体而言，涉及一种人脸识别方法、装置、计算机可读介质及电子设备。
背景技术：
随着人脸识别技术的发展，该技术在实际应用中也得到了越来越广泛的应用，例如，用在人脸支付和门禁识别中。但随着应用需求的提升，对人脸识别算法的要求精度也变得越来越高。一般在进行人脸识别过程中，只通过图像的色彩特征来进行识别，这种方式使得人脸识别的精确度较低。
技术实现要素：
本申请的实施例提供了一种人脸识别方法、装置、计算机可读介质及电子设备，进而至少在一定程度上可以综合考虑人脸图像的特征，提高人脸识别的精确度。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面，提供了一种人脸识别方法，包括：获取待识别人脸的彩色图像和深度图像；确定所述彩色图像与人脸数据库中的目标人脸图像的第一相似度，及所述深度图像与所述目标人脸图像的第二相似度；将所述第一相似度与所述第二相似度进行融合，得到融合相似度；基于所述融合相似度，确定所述待识别人脸与所述目标人脸是否匹配。
根据本申请实施例的一个方面，提供了一种人脸识别装置，包括：获取单元，用于获取待识别人脸的彩色图像和深度图像；相似单元，用于确定所述彩色图像与人脸数据库中的目标人脸图像的第一相似度，及所述深度图像与所述目标人脸图像的第二相似度；融合单元，用于将所述第一相似度与所述第二相似度进行融合，得到融合相似度；匹配单元，用于基于所述融合相似度，确定所述待识别人脸与所述目标人脸是否匹配。
在本申请的一些实施例中，基于前述方案，所述融合单元包括：第一融合单元，用于若所述第一相似度大于第一阈值、且所述第二相似度大于第二阈值，则将所述第一相似度作为所述融合相似度；第二融合单元，用于若所述第一相似度大于所述第一阈值、且所述第二相似度小于或者等于第二阈值，则融合所述第一相似度和所述第二相似度得到融合相似度。
在本申请的一些实施例中，基于前述方案，所述第二融合单元包括：第一计算单元，用于基于所述第二相似度和所述第二阈值之间的差值，得到相似度差值；第二计算单元，用于基于所述相似度差值与惩罚系数之间的乘积，得到所述惩罚参数；第三计算单元，用于基于所述第一相似度与所述惩罚参数之间的差值，确定所述融合相似度。
在本申请的一些实施例中，基于前述方案，所述第二融合单元包括：构建函数单元，用于根据第一相似度样本和第二相似度样本，构建递增的相似度融合函数；函数运算单元，用于将所述第一相似度与所述第二相似度输入所述相似度融合函数，并获取所述相似度融合函数输出的所述融合相似度。
在本申请的一些实施例中，基于前述方案，所述人脸识别装置还用于：若所述第一相似度小于或者等于所述第一阈值，则确定所述待识别人脸与所述目标人脸不匹配。
在本申请的一些实施例中，基于前述方案，所述相似单元包括：预处理单元，用于对所述彩色图像进行预处理得到预处理彩色图像，对所述深度图像进行预处理得到预处理深度图像；提取单元，用于从所述预处理彩色图像中提取出色彩特征，从所述预处理深度图像中提取出深度特征；计算单元，用于计算所述色彩特征与所述目标人脸图像的目标色彩特征之间的相似度，得到所述第一相似度，并计算所述深度特征与所述目标人脸图像的目标深度特征之间的相似度，得到第二相似度。
在本申请的一些实施例中，基于前述方案，所述预处理单元包括：第一检测单元，用于检测所述彩色图像中的第一人脸区域，得到所述第一人脸区域的坐标；第一配准单元，用于基于所述第一人脸区域的坐标对所述第一人脸区域进行配准，得到所述彩色图像中人脸特征点构成的预处理彩色图像。
在本申请的一些实施例中，基于前述方案，所述预处理单元包括：第二检测单元，用于检测所述深度图像中的第二人脸区域，得到所述第二人脸区域的坐标；第二配准单元，用于基于所述第二人脸区域的坐标对所述第二人脸区域进行配准，得到所述深度图像中人脸关键点构成的单通道深度图，对所述单通道深度图进行转换得到所述预处理深度图像。
在本申请的一些实施例中，基于前述方案，所述第二配准单元包括：转换单元，用于将所述单通道深度图进行法向投影转换，得到设定数量通道的法向投影图；修复单元，用于对所述法向投影图进行图像修复处理，得到所述预处理深度图像。
在本申请的一些实施例中，基于前述方案，所述提取单元包括：第一提取单元，用于将所述预处理彩色图像输入训练得到的第一特征提取网络中，所述第一特征提取网络为对已标注的人脸彩色图片进行神经网络监督训练得到；第一获取单元，用于获取所述第一特征提取网络输出的所述色彩特征。
在本申请的一些实施例中，基于前述方案，所述提取单元包括：第二提取单元，用于将所述预处理深度图像输入训练得到的第二特征提取网络中，所述第二特征提取网络为对已标注的人脸深度图片进行神经网络监督训练得到；第二获取单元，用于获取所述第二特征提取网络输出的所述深度特征。
在本申请的一些实施例中，基于前述方案，所述计算单元包括：第四计算单元，用于计算所述色彩特征与所述目标色彩特征之间的余弦距离或欧式距离，根据所述余弦距离或所述欧式距离，得到所述第一相似度；第五计算单元，用于计算所述深度特征与所述目标深度特征之间的余弦距离或欧式距离，根据所述余弦距离或所述欧式距离，得到所述第二相似度。
根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的人脸识别方法。
根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的人脸识别方法。
在本申请的一些实施例所提供的技术方案中，通过计算待识别人脸的彩色图像和深度图像两种图像分别与数据库中图像之间的相似度，并基于计算得到的两个相似度确定融合相似度，最后根据融合相似度来判断待识别人脸与所述目标人脸是否匹配，综合考虑了人脸图像中的各类型特征，提高了人脸识别的精确度和全面性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图；
图2示意性示出了根据本申请的一个实施例的人脸识别方法的流程图；
图3示意性示出了根据本申请的一个实施例的相似度的确定过程的流程图；
图4示意性示出了根据本申请的一个实施例的一种基于色彩特征和深度特征进行人脸识别的流程图；
图5示意性示出了根据本申请的一个实施例的基于融合相似度的人脸识别的示意图；
图6示意性示出了根据本申请的一个实施例的确定融合相似度的流程图；
图7示意性示出了根据本申请的一个实施例的基于融合相似度判断人脸匹配的流程图；
图8示意性示出了根据本申请的一个实施例的一种应用于人脸支付的示意图；
图9示意性示出了根据本申请的一个实施例的一种应用于人群检测的示意图；
图10示意性示出了根据本申请的一个实施例的人脸识别装置的框图；
图11示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。
如图1所示，系统架构可以包括终端设备(如图1中所示智能手机101、平板电脑102和便携式计算机103中的一种或多种，当然也可以是台式计算机等等)、网络104和服务器105。网络104用以在终端设备和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线通信链路、无线通信链路等等。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
应该理解，除了图1中所示的终端设备之外，终端设备还可以是摄像装置、监控头、图像采集装置等，此处不做限定。
终端设备通过网络104与服务器105交互，以接收或发送消息等。服务器105可以是提供各种服务的服务器。例如终端设备103(也可以是终端设备101或102)向服务器105上传了待识别人脸的彩色图像和深度图像服务器105可以获取待识别人脸的彩色图像和深度图像，确定彩色图像与人脸数据库中的目标人脸图像的第一相似度，及深度图像与目标人脸图像的第二相似度，将第一相似度与第二相似度进行融合，得到融合相似度，基于融合相似度，确定待识别人脸与目标人脸是否匹配。本实施例中通过计算待识别人脸的彩色图像和深度图像两种图像分别与数据库中图像之间的相似度，并基于计算得到的两个相似度确定融合相似度，最后根据融合相似度来判断待识别人脸与目标人脸是否匹配，综合考虑了人脸图像中的各类型特征，提高了人脸识别的精确度和全面性。
需要说明的是，本申请实施例所提供的人脸识别方法一般由服务器105执行，相应地，人脸识别装置一般设置于服务器105中。但是，在本申请的其它实施例中，终端设备也可以与服务器具有相似的功能，从而执行本申请实施例所提供的人脸识别方法。
以下对本申请实施例的技术方案的实现细节进行详细阐述：
图2示出了根据本申请的一个实施例的人脸识别方法的流程图，该人脸识别方法可以由服务器来执行，该服务器可以是图1中所示的服务器。参照图2所示，该人脸识别方法至少包括步骤s210至步骤s240，详细介绍如下：
在步骤s210中，获取待识别人脸的彩色图像和深度图像。
在本申请的一个实施例中，在获取待识别人脸的彩色图像和深度图像时，可以通过实时拍摄彩色图像和深度图像的方式，也可以是通过从其他存储装置或者拍摄装置获取的方式进行。
示例性的，在对室外环境中的行人进行人脸识别、或者进行人脸支付的应用场景中，可以通过实时拍摄人脸的彩色图像和深度图像的方式来获取图像，其拍摄的装置可以使摄像装置，也可以是通过红绿蓝深度(redgreenbluedepth，rgbd)传感器抓拍得到。
在本申请的一个实施例中，彩色图像用于表示包含红绿蓝(redgreenblue，rgb)信息的图像，例如，普通摄像机拍摄得到的带有色彩信息的图像；深度图像用于表示包含了深度信息的图像，通过将从图像采集器到场景中各点的距离或者深度作为像素值的图像，反映了景物可见表面的几何形状。深度图像经过坐标转换可以计算为点云数据，在转换过程中，深度数据流所提供的图像帧中，每一个像素点代表的是在深度感应器的视野中，该特定的(x，y)坐标处物体到离摄像头平面最近的物体到该平面的距离。
在步骤s220中，确定彩色图像与人脸数据库中的目标人脸图像的第一相似度，及深度图像与目标人脸图像的第二相似度。
在本申请的一个实施例中，在获取到彩色图像和深度图像之后，本实施例通过基于彩色图像和深度图像分别计算两者与其对应的人脸数据库中的图像的相似度，得到两个相似度，以基于这两个相似度对彩色图像和深度图像中的人脸身份进行识别。
在本申请的一个实施例中，如图3所示，步骤s220中确定彩色图像与人脸数据库中的目标人脸图像的第一相似度，及深度图像与目标人脸图像的第二相似度的过程，包括如下步骤s310至步骤s330，详细介绍如下：
在步骤s310中，对彩色图像进行预处理得到预处理彩色图像，对深度图像进行预处理得到预处理深度图像。
在本申请的一个实施例中，在对彩色图像和深度图像进行相似度匹配时，先对其进行预处理。通过先检测并定位图像中的人脸区域，在得到人脸区域之后，再检测人脸区域中人脸特征点构成的部分，由此得到预处理之后的图像。
在本申请的一个实施例中，步骤s310中对彩色图像进行预处理得到预处理彩色图像的过程，包括如下步骤：
检测彩色图像中的第一人脸区域，得到第一人脸区域的坐标；基于第一人脸区域的坐标对第一人脸区域进行配准，得到彩色图像中人脸特征点构成的预处理彩色图像。
在本申请的一个实施例中，在对彩色图像进行预处理时，即对一张原始rgb图像与标准的人脸图像进行配准，得到标准化的rgb人脸图片。可选的，本实施例中，人脸检测和配准的方法可以通过多任务卷积神经网络(multi-taskconvolutionalneuralnetwork，mtcnn)的方法或视网膜面retinaface等方法，此处不做赘述。
在本申请的一个实施例中，步骤s310中对深度图像进行预处理得到预处理深度图像的过程，包括步骤：
检测深度图像中的第二人脸区域，得到第二人脸区域的坐标；基于第二人脸区域的坐标对第二人脸区域进行配准，得到深度图像中人脸关键点构成的单通道深度图，对单通道深度图进行转换得到预处理深度图像。
在本申请的一个实施例中，在对深度图像进行预处理时，先基于标准深度图像检测深度图像中的第二人脸区域，得到第二人脸区域的坐标；再基于第二人脸区域的坐标对第二人脸区域进行配准，得到深度图像中各个区域中的人脸关键点的信息。
进一步的，由于每幅深度图像都有一张与其对应的彩色图像，因此，可以直接使用其对应的彩色图像的人脸检测结果和配准结果，确定深度图像中对应的人脸区域，并针对各个人脸区域进行矫正。本实施例中，人脸检测结果包括人脸区域框的坐标，配准结果包括人脸关键点坐标。
进一步的，在对单通道深度图进行转换得到预处理深度图像的过程中，包括如下步骤：
将单通道深度图进行法向投影转换，得到设定数量通道的法向投影图；对法向投影图进行图像修复处理，得到预处理深度图像。
具体的，本实施例中，通过获取到的预处理图像为单通道图像或者三维3d点云数据，将单通道深度图或者其原始的3d点云数据，通过法向投影转换为多通道的二维2d法向投影图，再进行空洞填充等图像修复处理，得到预处理深度图像。通过这种方式得到的预处理深度图像中包含了丰富的像素点信息，以保证人脸识别的精确度。
在步骤s320中，从预处理彩色图像中提取出色彩特征，从预处理深度图像中提取出深度特征。
在本申请的一个实施例中，步骤s320中从预处理彩色图像中提取出色彩特征的过程，具体包括：
将预处理彩色图像输入训练得到的第一特征提取网络中，第一特征提取网络为对已标注的人脸彩色图片进行神经网络监督训练得到；获取第一特征提取网络输出的色彩特征。
在本申请的一个实施例中，基于标注好的人脸彩色图片进行训练得到第一特征提取网络。其中，人脸彩色图片的采集可以利用大量的开源数据，并不依赖于rgbd传感器的采集，因此可以利用大数据训练得到识别性能较高的人脸特征提取网络。
本实施例中对第一特征提取网络的训练方式可以是通过神经网络监督训练方法训练得到，训练的算法可以基于开源的面部洞察arcface方法。在训练过程中，对于一张身份为a的经预处理的彩色图像，输入彩色人脸特征提取网络，以得到彩色人脸特征向量f_a-rgb，再将提取得到的彩色人脸特征向量与该人脸图像对应的标签进行对比，根据得到的对比结果调整人脸特征提取网络中的参数，最后得到第一特征提取网络。
在本申请的一个实施例中，步骤s320中从预处理深度图像中提取出深度特征的过程，具体包括：
将预处理深度图像输入训练得到的第二特征提取网络中，第二特征提取网络为对已标注的人脸深度图片进行神经网络监督训练得到；获取第二特征提取网络输出的深度特征。
在本申请的一个实施例中，在对第二特征提取网络进行训练的过程中，由于带身份标注的人脸深度图片的数量一般较少，且成像质量较彩色图像较差，训练得到的人脸深度特征提取网络的识别性能也会比人脸彩色特征提取网络的识别性能差不少。因此在进行训练时，将深度图像的样本进行衍生，得到更多数量的深度图像样本，以进行第二特征提取网络的训练。通过这种方式，增加参与训练的深度图像的样本数量和类型，提高第二特征提取网络的模型训练的精确度。
在本申请的一个实施例中，模型的训练算法可以基于开源的面部洞察arcface方法。对于一张身份为a的经预处理的人脸深度图片进行衍生，将人脸深度图片及其衍生图片输入人脸深度特征提取网络，可以得到人脸深度特征向量f_a-depth。
在步骤s330中，计算色彩特征与目标人脸图像的目标色彩特征之间的相似度，得到第一相似度，并计算深度特征与目标人脸图像的目标深度特征之间的相似度，得到第二相似度。
在本申请的一个实施例中，在从彩色图像中提取出色彩特征、从深度图像中提取出深度特征之后，计算色彩特征与目标人脸图像的目标色彩特征之间的第一相似度，计算深度特征与目标人脸图像的目标深度特征之间的第二相似度，以基于第一相似度和第二相似度，确定待识别人脸与目标人脸的匹配情况。
在本申请的一个实施例中，预先设置有一个存储了所有人脸特征的数据库，这个数据库可分为色彩rgb特征库和深度depth特征库。其中，rgb特征库中存有人脸的色彩特征，depth特征库中存有人脸的深度特征。本实施例中将待识别人脸的色彩特征与rgb特征库和depth特征库中的人脸特征分别进行比对，确定rgb特征库和depth特征库中最相似的人脸作为目标人脸，再基于目标人脸的色彩特征和深度特征，分别计算得到第一相似度和第二相似度。
在本申请的一个实施例中，步骤s330中计算色彩特征与目标人脸图像的目标色彩特征之间的相似度，得到第一相似度，并计算深度特征与目标人脸图像的目标深度特征之间的相似度，得到第二相似度的过程，具体包括：
计算色彩特征与目标色彩特征之间的余弦距离或欧式距离，根据余弦距离或欧式距离，得到第一相似度；
计算深度特征与目标深度特征之间的余弦距离或欧式距离，根据余弦距离或欧式距离，得到第二相似度。
在本申请的一个实施例中，计算第一相似度和第二相似度的方式可以是通过计算余弦距离或欧式距离的方式计算得到。具体的，利用同一身份的人脸在色彩模态和深度模态的判别信息互补性，通过两个模态下的相似度融合，来得到更好的人脸识别精度。除此之外，还可以通过其他的方式计算得到，此处不做限定。
示例性的，给定用户a的人脸色彩特征向量f_a-rgb、目标用户b的人脸色彩特征向量f_b-rgb，两个人脸色彩的相似度可以通过f_a-rgb和f_b-rgb之间的余弦距离cosine或者欧式距离计算得到，在通过余弦距离计算相似度时，待识别人脸的色彩特征与目标人脸的色彩特征之间的相似度为：sim1＝cosine(f_a-rgb，f_b-rgb)；同样地，给定用户a的人脸深度特征向量f_a-dep、目标用户b的人脸深度特征向量f_b-dep，两个用户的人脸深度特征的相似度可以通过f_a-dep和f_b-dep之间的余弦距离值计算得到：sim2＝cosine(f_a-dep，f_b-dep)。
图4为本申请实施例提供的一种基于色彩特征和深度特征进行人脸识别的流程图。
如图4所示，上述基于色彩特征和深度特征进行人脸识别的过程主要包括以下几个步骤：
step1：由rgbd传感器抓拍包含用户a人脸图像的彩色rgb图片和对应的深度depth图片；
step2：分别对rgb图片和depth图片进行预处理，得到适合进行人脸特征提取的图片；
step3：对预处理之后的rgb图片和depth图片分别使用rgb人脸识别网络和depth人脸识别网络提取人脸特征向量，得到色彩特征fea_a-rgb和深度特征fea_a-dep；
step4：选择注册用户库中的目标人脸对应的用户b，将用户a的rgb人脸特征与用户b在rgb特征库中的人脸特征进行比对，得到相似度sim1；并将用户a的depth人脸特征与用户b在depth特征库中的人脸特征进行比对，得到相似度sim2；
step5：将上步中得到的rgb模态下a与b的人脸相似度sim1和depth模态下a与b的人脸相似度sim2进行融合，得到融合后的相似度sim3，将sim3与预设的阈值th比较，若sim3高于th，则认为a与b是同人，反之则为非同人；
除了上述步骤之外，为了保证人脸识别的精确性，可以便利遍历注册用户库中所有用户，执行step4与step5，直至rgb特征库和depth特征库中的人脸特征全部比对完成。
在步骤s230中，将第一相似度与第二相似度进行融合，得到融合相似度。
在本申请的一个实施例中，在计算得到第一相似度和第二相似度之后，基于第一相似度与第一阈值之间的关系、第二相似度与第二阈值之间的关系，将第一相似度和第二相似度进行融合，得到融合相似度，以基于融合相似度，判断待识别人脸的匹配情况。
图5为本申请实施例提供的基于融合相似度的人脸识别的示意图。
如图5所示，本实施例中先获取待识别人脸的彩色图像510和深度图像520；将彩色图像与彩色人脸数据库530中的图像进行相似比较，得到第一相似度540；将深度图像520与深度人脸数据库550中的图像进行相似比较，得到第二相似度560，最后基于第一相似度540和第二相似度560融合得到融合相似度570。
需要说明的是，本实施例中的人脸图像数据库中可以将彩色图像和深度图像分开存储，也可以将属于同一人脸的彩色图像和深度图像关联存储，此处对数据库中图像的存储方式不做限定。
在本申请的一个实施例中，如图6所示，步骤s230中将第一相似度与第二相似度进行融合，得到融合相似度的过程，包括如下步骤s610至步骤s620，详细介绍如下：
在步骤s610中，若第一相似度大于第一阈值、且第二相似度大于第二阈值，则将第一相似度作为融合相似度。
在本申请的一个实施例中，第一相似度对应的是人脸的色彩特征，在计算得到第一相似度之后，基于设定的第一阈值判断第一相似度的大小情况。先基于第一相似度对待识别人脸的身份是否一致进行初次判断，对于第一相似度高于第一阈值的情况，意味着rgb模态下两个身份的相似度比较高；进一步考察相应的深度特征对应的第二相似度的情况，若第二相似度也高于第二阈值，则将第一相似度作为融合相似度，以基于第一相似度来进行判断。
在步骤s620中，若第一相似度大于第一阈值、且第二相似度小于或者等于第二阈值，则融合第一相似度和第二相似度得到融合相似度。
在本申请的一个实施例中，基于第一相似度对待识别人脸的身份是否一致进行初次判断，对于第一相似度高于第一阈值的情况，意味着rgb模态下两个身份的相似度比较高；进一步考察相应的深度特征对应的第二相似度的情况，若第二相似度小于或者等于第二阈值，意味着depth模态下两个身份的人脸特征相似度不够高。因此我们在相似度融合时，在第一相似度的基础上减去一个与第二相似度负相关的惩罚项，将第一相似度和第二相似度进行融合，得到融合相似度，以基于融合相似度综合判断待识别人脸的匹配情况。
需要说明的是，本实施例中的第一阈值、第二阈值为基于设定的误识别水平以及特征提取网络模型自身的识别性能调整得到，此处对具体的数值不做限定。
需要说明的是，本实施例中步骤s610和步骤s620之间为并列执行的顺序，两者不分前后。
在本申请的一个实施例中，步骤s620中融合第一相似度和第二相似度得到融合相似度的过程，包括如下步骤：
基于第二相似度和第二阈值之间的差值，得到相似度差值；基于相似度差值与惩罚系数之间的乘积，得到惩罚参数；基于第一相似度与惩罚参数之间的差值，确定融合相似度。
在本申请的一个实施例中，在相似度融合时，计算第二相似度与第二阈值之间的差值(th2-sim2)，且差值为正数，即相似度差值；再计算相似度差值与惩罚系数lamda之间的乘积：lamda*(th2-sim2)，得到惩罚参数，其中，lamda为[0，1]之间的某个常量；最后基于第一相似度与惩罚参数之间的差值，确定融合相似度为：sim＝sim1–lamda*(th2-sim2)。
除了上述步骤中计算融合相似度的方式之外，本实施例中还可以通过如下方式计算融合相似度：
根据第一相似度样本和第二相似度样本，构建递增的相似度融合函数；将第一相似度与第二相似度输入相似度融合函数，并获取相似度融合函数输出的融合相似度。
在本申请的一个实施例中，通过构建第一相似度样本和第二相似度样本之间的相似度融合函数，且相似度融合函数保持递增的状态，则可作为一个相似度融合的备选计算表达式。通过将第一相似度与第二相似度输入相似度融合函数，便能得到相似度融合函数输出的融合相似度。
进一步的，在对第一相似度和第二相似度分别与阈值进行对比，得到对应的对比结果及其处理方式步骤s310和步骤320之余，还包括步骤：
若第一相似度小于或者等于第一阈值，则确定待识别人脸与目标人脸不匹配。
在本申请的一个实施例中，当第一相似度小于或者等于第一阈值时，则说明第一相似度的值已经很小了，待识别人脸和目标人脸之间的差距较大，不需要再考虑待识别人脸的色彩信息，可以直接判定待识别人脸与目标人脸不匹配。
在步骤s240中，基于融合相似度，确定待识别人脸与目标人脸是否匹配。
在本申请的一个实施例中，在确定了融合相似度之后，基于融合相似度与第三阈值之间的大小关系，则可判断待识别人脸与目标人脸是否匹配。即，当融合相似度大于第三阈值时，则判定待识别人脸与目标人脸匹配；当融合相似度小于或者等于第三阈值时，则判定待识别人脸与目标人脸不匹配。
需要说明的是，本实施例中的第三阈值为基于设定的误识别水平以及特征提取网络模型自身的识别性能调整得到，此处对具体的数值不做限定。
图7为本申请实施例提供的基于融合相似度判断人脸匹配的流程图。
如图7所示，在基于融合相似度判断人脸匹配的过程中，先基于rgb特征相似度对身份是否一致进行初次判断，对于rgb特征相似度高于阈值th1的情况，则意味着rgb模态下两个身份的相似度比较高，此时进一步考察相应的depth特征相似度；对于depth特征相似度低于设定阈值th2的情况，则意味着depth模态下两个身份的人脸特征相似度不够高，我们在相似度融合时，在rgb相似度基础上减去一个与depth特征相似度负相关的惩罚项，即融合相似度sim＝sim1–lamda*(th2-sim2)，其中lamda为[0，1]之间的某个常量。最后，再通过比较融合相似度sim与设定阈值sim3，来确定两个用户是否是同人。其中，上述中的阈值th1，th2，th3是基于设定的误识别水平以及识别模型自身的识别性能调整得到。
图8为本申请实施例提供的一种应用于人脸支付的示意图。
在本申请的一个实施例中，本实施例中的人脸识别方法可以用于人脸支付的应用场景中。在用户进行人脸支付之前，先在支付程序中进行注册和签约，支付服务器810采集用户的注册信息，并采集用户人脸的彩色图像和深度图像。在用户进行人脸支付时，通过摄像终端810获取用户当前的人脸的彩色图像和深度图像，并将采集到两个图像分别于数据库中的人脸图像进行对比，其对比方法如上述实施例，并在匹配成功之后，扣除用户账户中的资金，完成支付。通过本实施例中的人脸识别方式来进行人脸支付，可以提高刷脸支付的效率和用户账户的安全性。
图9为本申请实施例提供的一种应用于人群检测的示意图。
在本申请的一个实施例中，本实施例中的人脸识别方法可以用于人群中人脸检测。通过服务器预先采集各个用户的人脸信息，并存储在数据库中。在对人群中的某一人进行身份识别时，先通过监控装置910获取人群的图像或者视频，在图像帧中锁定该目标，同时获取该目标当前的人脸图像，并通过本申请实施例中的方式将人脸图像与数据库中的图像进行对比，得到识别结果，以确定该目标的身份信息。通过本实施例中的人脸识别方式，来检测人群中的目标对象的身份信息，可以提高目标对象的识别效率和精确度。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的人脸识别方法。可以理解的是，装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如该装置为一个应用软件；该装置可以用于执行本申请实施例提供的方法中的相应步骤。对于本申请装置实施例中未披露的细节，请参照本申请上述的人脸识别方法的实施例。
图10示出了根据本申请的一个实施例的人脸识别装置的框图。
参照图10所示，根据本申请的一个实施例的人脸识别装置1000，包括：获取单元1010，用于获取待识别人脸的彩色图像和深度图像；相似单元1020，用于确定彩色图像与人脸数据库中的目标人脸图像的第一相似度，及深度图像与目标人脸图像的第二相似度；融合单元1030，用于将第一相似度与第二相似度进行融合，得到融合相似度；匹配单元1040，用于基于融合相似度，确定待识别人脸与目标人脸是否匹配。
在本申请的一些实施例中，基于前述方案，融合单元1030包括：第一融合单元，用于若第一相似度大于第一阈值、且第二相似度大于第二阈值，则将第一相似度作为融合相似度；第二融合单元，用于若第一相似度大于第一阈值、且第二相似度小于或者等于第二阈值，则融合第一相似度和第二相似度得到融合相似度。
在本申请的一些实施例中，基于前述方案，第二融合单元包括：第一计算单元，用于基于第二相似度和第二阈值之间的差值，得到相似度差值；第二计算单元，用于基于相似度差值与惩罚系数之间的乘积，得到惩罚参数；第三计算单元，用于基于第一相似度与惩罚参数之间的差值，确定融合相似度。
在本申请的一些实施例中，基于前述方案，第二融合单元包括：构建函数单元，用于根据第一相似度样本和第二相似度样本，构建递增的相似度融合函数；函数运算单元，用于将第一相似度与第二相似度输入相似度融合函数，并获取相似度融合函数输出的融合相似度。
在本申请的一些实施例中，基于前述方案，人脸识别装置1000还用于：若第一相似度小于或者等于第一阈值，则确定待识别人脸与目标人脸不匹配。
在本申请的一些实施例中，基于前述方案，相似单元1020包括：预处理单元，用于对彩色图像进行预处理得到预处理彩色图像，对深度图像进行预处理得到预处理深度图像；提取单元，用于从预处理彩色图像中提取出色彩特征，从预处理深度图像中提取出深度特征；计算单元，用于计算色彩特征与目标人脸图像的目标色彩特征之间的相似度，得到第一相似度，并计算深度特征与目标人脸图像的目标深度特征之间的相似度，得到第二相似度。
在本申请的一些实施例中，基于前述方案，预处理单元包括：第一检测单元，用于检测彩色图像中的第一人脸区域，得到第一人脸区域的坐标；第一配准单元，用于基于第一人脸区域的坐标对第一人脸区域进行配准，得到彩色图像中人脸特征点构成的预处理彩色图像。
在本申请的一些实施例中，基于前述方案，预处理单元包括：第二检测单元，用于检测深度图像中的第二人脸区域，得到第二人脸区域的坐标；第二配准单元，用于基于第二人脸区域的坐标对第二人脸区域进行配准，得到深度图像中人脸关键点构成的单通道深度图，对单通道深度图进行转换得到预处理深度图像。
在本申请的一些实施例中，基于前述方案，第二配准单元包括：转换单元，用于将单通道深度图进行法向投影转换，得到设定数量通道的法向投影图；修复单元，用于对法向投影图进行图像修复处理，得到预处理深度图像。
在本申请的一些实施例中，基于前述方案，提取单元包括：第一提取单元，用于将预处理彩色图像输入训练得到的第一特征提取网络中，第一特征提取网络为对已标注的人脸彩色图片进行神经网络监督训练得到；第一获取单元，用于获取第一特征提取网络输出的色彩特征。
在本申请的一些实施例中，基于前述方案，提取单元包括：第二提取单元，用于将预处理深度图像输入训练得到的第二特征提取网络中，第二特征提取网络为对已标注的人脸深度图片进行神经网络监督训练得到；第二获取单元，用于获取第二特征提取网络输出的深度特征。
在本申请的一些实施例中，基于前述方案，计算单元包括：第四计算单元，用于计算色彩特征与目标色彩特征之间的余弦距离或欧式距离，根据余弦距离或欧式距离，得到第一相似度；第五计算单元，用于计算深度特征与目标深度特征之间的余弦距离或欧式距离，根据余弦距离或欧式距离，得到第二相似度。
图11示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图11示出的电子设备的计算机系统1100仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图11所示，计算机系统1100包括中央处理单元(centralprocessingunit，cpu)1101，其可以根据存储在只读存储器(read-onlymemory，rom)1102中的程序或者从存储部分1108加载到随机访问存储器(randomaccessmemory，ram)1103中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在ram1103中，还存储有系统操作所需的各种程序和数据。cpu1101、rom1102以及ram1103通过总线1104彼此相连。输入/输出(input/output，i/o)接口1105也连接至总线1104。
以下部件连接至i/o接口1105：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(cathoderaytube，crt)、液晶显示器(liquidcrystaldisplay，lcd)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如lan(localareanetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至i/o接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被中央处理单元(cpu)1101执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(erasableprogrammablereadonlymemory，eprom)、闪存、光纤、便携式紧凑磁盘只读存储器(compactdiscread-onlymemory，cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可通过软件实现，也可通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
1.一种人脸识别方法，其特征在于，包括：
获取待识别人脸的彩色图像和深度图像；
确定所述彩色图像与人脸数据库中的目标人脸图像的第一相似度，及所述深度图像与所述目标人脸图像的第二相似度；
将所述第一相似度与所述第二相似度进行融合，得到融合相似度；
基于所述融合相似度，确定所述待识别人脸与所述目标人脸是否匹配。
2.根据权利要求1所述的方法，其特征在于，将所述第一相似度与所述第二相似度进行融合，得到融合相似度，包括：
若所述第一相似度大于第一阈值、且所述第二相似度大于第二阈值，则将所述第一相似度作为所述融合相似度；
若所述第一相似度大于所述第一阈值、且所述第二相似度小于或者等于第二阈值，则融合所述第一相似度和所述第二相似度得到融合相似度。
3.根据权利要求2所述的方法，其特征在于，融合所述第一相似度和所述第二相似度得到融合相似度，包括：
基于所述第二相似度和所述第二阈值之间的差值，得到相似度差值；
基于所述相似度差值与惩罚系数之间的乘积，得到所述惩罚参数；
基于所述第一相似度与所述惩罚参数之间的差值，确定所述融合相似度。
4.根据权利要求2所述的方法，其特征在于，融合所述第一相似度和所述第二相似度得到融合相似度，包括：
根据第一相似度样本和第二相似度样本，构建递增的相似度融合函数；
将所述第一相似度与所述第二相似度输入所述相似度融合函数，并获取所述相似度融合函数输出的所述融合相似度。
5.根据权利要求2所述的方法，其特征在于，所述方法还包括：
若所述第一相似度小于或者等于所述第一阈值，则确定所述待识别人脸与所述目标人脸不匹配。
6.根据权利要求1所述的方法，其特征在于，确定所述彩色图像与人脸数据库中的目标人脸图像的第一相似度，及所述深度图像与所述目标人脸图像的第二相似度，包括：
对所述彩色图像进行预处理得到预处理彩色图像，对所述深度图像进行预处理得到预处理深度图像；
从所述预处理彩色图像中提取出色彩特征，从所述预处理深度图像中提取出深度特征；
计算所述色彩特征与所述目标人脸图像的目标色彩特征之间的相似度，得到所述第一相似度，并计算所述深度特征与所述目标人脸图像的目标深度特征之间的相似度，得到第二相似度。
7.根据权利要求6所述的方法，其特征在于，对所述彩色图像进行预处理得到预处理彩色图像，包括：
检测所述彩色图像中的第一人脸区域，得到所述第一人脸区域的坐标；
基于所述第一人脸区域的坐标对所述第一人脸区域进行配准，得到所述彩色图像中人脸特征点构成的预处理彩色图像。
8.根据权利要求6所述的方法，其特征在于，对所述深度图像进行预处理得到预处理深度图像，包括：
检测所述深度图像中的第二人脸区域，得到所述第二人脸区域的坐标；
基于所述第二人脸区域的坐标对所述第二人脸区域进行配准，得到所述深度图像中人脸关键点构成的单通道深度图，对所述单通道深度图进行转换得到所述预处理深度图像。
9.根据权利要求8所述的方法，其特征在于，对所述单通道深度图进行转换得到所述预处理深度图像，包括：
将所述单通道深度图进行法向投影转换，得到设定数量通道的法向投影图；
对所述法向投影图进行图像修复处理，得到所述预处理深度图像。
10.根据权利要求6所述的方法，其特征在于，从所述预处理彩色图像中提取出色彩特征，包括：
将所述预处理彩色图像输入训练得到的第一特征提取网络中，所述第一特征提取网络为对已标注的人脸彩色图片进行神经网络监督训练得到；
获取所述第一特征提取网络输出的所述色彩特征。
11.根据权利要求6所述的方法，其特征在于，从所述预处理深度图像中提取出深度特征，包括：
将所述预处理深度图像输入训练得到的第二特征提取网络中，所述第二特征提取网络为对已标注的人脸深度图片进行神经网络监督训练得到；
获取所述第二特征提取网络输出的所述深度特征。
12.根据权利要求6所述的方法，其特征在于，计算所述色彩特征与所述目标人脸图像的目标色彩特征之间的相似度，得到所述第一相似度，并计算所述深度特征与所述目标人脸图像的目标深度特征之间的相似度，得到第二相似度，包括：
计算所述色彩特征与所述目标色彩特征之间的余弦距离或欧式距离，根据所述余弦距离或所述欧式距离，得到所述第一相似度；
计算所述深度特征与所述目标深度特征之间的余弦距离或欧式距离，根据所述余弦距离或所述欧式距离，得到所述第二相似度。
13.一种人脸识别装置，其特征在于，包括：
获取单元，用于获取待识别人脸的彩色图像和深度图像；
相似单元，用于确定所述彩色图像与人脸数据库中的目标人脸图像的第一相似度，及所述深度图像与所述目标人脸图像的第二相似度；
融合单元，用于将所述第一相似度与所述第二相似度进行融合，得到融合相似度；
匹配单元，用于基于所述融合相似度，确定所述待识别人脸与所述目标人脸是否匹配。
14.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的人脸识别方法。
15.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至12中任一项所述的人脸识别方法。
技术总结