本申请涉及图像处理
技术领域：
，尤其涉及一种人脸关键点处理方法及装置。
背景技术：
：随着电子技术以及图像处理技术的不断发展，基于机器学习的目标检测方法被广泛应用。基于人脸的关键点检测、识别作为应用最早、发展最快的一种目标检测方法，能够应用于例如辅助驾驶、疲劳检测以及分神检测的场景中，通过采集车辆驾驶员的脸部图像，对驾驶员脸部关键点进行检测，进一步通过关键点检测结果确定驾驶员属于疲劳驾驶时，发出提示以保证驾驶员以及车辆的安全。现有技术的人脸关键点检测多通过神经网络模型进行，所述神经网络模型包括：卷积神经网络(convolutionalneuralnetworks，简称：cnn)、深度卷积神经网络(deepconvolutionalneuralnetworks，简称：dcnn)等，这些神经网络模型都可以在提前对人脸关键点的特征进行学习后，对待检测图像中人脸关键点进行检测与定位。采用现有技术的上述神经网络模型虽然能够实现对人脸大部分关键点的处理，但是由于在人脸眼部和嘴部的关键点较为集中，同时驾驶环境较为复杂，会导致对驾驶员的侧脸、戴眼镜、说话等人脸图像中的人脸关键点进行处理时，检测以及识别的准确度较低。技术实现要素：本申请提供一种人脸关键点处理方法及装置，以提高基于人脸关键点进行人脸图像处理时的准确度。本申请第一方面提供一种人脸关键点处理方法，包括：将人脸图像输入神经网络模型；其中，所述神经网络模型包括多个全连接层，每个所述全连接层用于检测所述人脸图像中一个类别的关键点的特征；获取所述多个全连接层分别检测的多个类别的关键点的特征；根据所述多个类别的关键点的特征，确定所述人脸图像中的人脸状态。在本申请第一方面一实施例中，所述人脸图像中多个类别的关键点至少包括：眼部类别、嘴部类别以及脸部轮廓类别。在本申请第一方面一实施例中，所述多个全连接层从所述神经网络模型中的多个卷积层分别引出；每个所述卷积层均用于提取所述人脸图像的特征。在本申请第一方面一实施例中，所述神经网络模型的输入到输出之间，依次包括：第一卷积层、第二卷积层、第一池化层、第三卷积层、第一移动网络块mobilenetv2block、第二mobilenetv2block、第四卷积层、第五卷积层、第六mobilenetv2block、第七mobilenetv2block、第八mobilenetv2block、第九卷积层、第十卷积层、第二池化层、第十一卷积层和第三全连接层；所述第九卷积层还依次连接第三池化层和第一全连接层；所述第十卷积层还连接第二全连接层。在本申请第一方面一实施例中，所述第一全连接层用于检测脸部轮廓类别的关键点的特征；所述第二全连接层用于检测嘴部类别的关键点的特征；所述第三全连接层用于检测眼部类别的关键点的特征。在本申请第一方面一实施例中，所述方法还包括：所述神经网络模型的损失函数中，所述眼部类别的关键点的特征对应的加权值，大于所述嘴部类别的关键点的特征对应的加权值以及所述脸部轮廓类别的关键点的特征对应的加权值。在本申请第一方面一实施例中，所述损失函数包括：其中，为眼部类型关键点的欧式距离损失，为嘴部类型关键点的欧式距离损失，为脸部轮廓类别关键点的欧式距离损失，为参数正则化损失。本申请第二方面提供一种人脸关键点处理装置，可用于执行本申请第一方面提供的人脸关键点处理方法，该装置包括输入模块，用于将人脸图像输入神经网络模型；其中，所述神经网络模型包括多个全连接层，每个所述全连接层用于检测所述人脸图像中一个类别的关键点的特征；获取模块，用于获取所述多个全连接层分别检测的多个类别的关键点的特征；确定模块，用于根据所述多个类别的关键点的特征，确定所述人脸图像中的人脸状态。在本申请第二方面一实施例中，所述人脸图像中多个类别的关键点至少包括：眼部类别、嘴部类别以及脸部轮廓类别。在本申请第二方面一实施例中，所述多个全连接层从所述神经网络模型中的多个卷积层分别引出；每个所述卷积层均用于提取所述人脸图像的特征。在本申请第二方面一实施例中，所述神经网络模型的输入到输出之间，依次包括：第一卷积层、第二卷积层、第一池化层、第三卷积层、第一移动网络块mobilenetv2block、第二mobilenetv2block、第四卷积层、第五卷积层、第六mobilenetv2block、第七mobilenetv2block、第八mobilenetv2block、第九卷积层、第十卷积层、第二池化层、第十一卷积层和第三全连接层；所述第九卷积层还依次连接第三池化层和第一全连接层；所述第十卷积层还连接第二全连接层。在本申请第二方面一实施例中，所述第一全连接层用于检测脸部轮廓类别的关键点的特征；所述第二全连接层用于检测嘴部类别的关键点的特征；所述第三全连接层用于检测眼部类别的关键点的特征。在本申请第二方面一实施例中，所述神经网络模型的损失函数中，所述眼部类别的关键点的特征对应的加权值，大于所述嘴部类别的关键点的特征对应的加权值以及所述脸部轮廓类别的关键点的特征对应的加权值。在本申请第二方面一实施例中，所述损失函数包括：其中，为眼部类型关键点的欧式距离损失，为嘴部类型关键点的欧式距离损失，为脸部轮廓类别关键点的欧式距离损失，为参数正则化损失。综上，本申请提供的人脸关键点处理方法及装置，能够将人脸图像中的人脸关键点划分为不同的类别，并通过神经网络模型中不同的全连接层输出不同类别的关键点特征，从而对较为复杂情况下复杂位置的人脸关键点进行更具深度的特征提取以及特征检测，提高了对人脸图像中眼部、嘴部等变化情况丰富的关键点的检测准确度，进而提高对人脸图像整体的人脸关键点检测的准确度。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本申请应用场景的示意图；图2为本申请提供的人脸关键点处理方法一实施例的流程示意图；图3为本申请提供一种神经网络模型的结构示意图；图4为本申请提供的脸部关键点示意图；图5为一种mobilenetv2的网络结构；图6为本申请提供的人脸关键点处理装置一实施例的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。在介绍本申请提供的实施例之前，先结合附图，对本申请所应用的场景以及现有技术中存在的问题进行介绍。图1为本申请应用场景的示意图，如图1所示，本申请可应用于车辆驾驶领域中，对正在行驶的车辆驾驶员进行辅助驾驶、疲劳检测或者分神检测。在具体的实现中，车辆上安装的摄像装置可以实时对驾驶员的脸部进行拍照，随后，相关检测装置可以通过摄像装置拍摄的驾驶员脸部图像对驾驶员当前的脸部状态进行检测，当根据检测结果确定驾驶员脸部图像的状态异常时，能够进一步发出提示信息，防止驾驶员因疲劳驾驶造成的事故。为了实现对图像中人脸部状态的检测，在检测装置获取包括驾驶员人脸的图像之后，首先需要对图像中人脸的关键点进行检测，当检测到人脸关键点的具体位置之后，才能给根据关键点的检测结果继续判断人脸部图像的状态，并进行异常状态识别。现有技术的人脸关键点检测多通过神经网络模型进行，所述神经网络模型包括：卷积神经网络(convolutionalneuralnetworks，简称：cnn)、深度卷积神经网络(deepconvolutionalneuralnetworks，简称：dcnn)等，这些神经网络模型都可以在提前对人脸关键点的特征进行学习后，对待检测图像中人脸关键点进行检测与定位。采用现有技术的上述神经网络模型虽然能够实现对人脸大部分关键点的处理，在对人脸图像进行处理时，神经网络中的每一个处理层(例如：卷积层、池化层)都会将人脸图像作为整体进行特征提取、分类等操作，最终统一输出所有关键点的特征。但是，上述情况较为理想，由于人脸眼部和嘴部的关键点较为集中，同时驾驶环境较为复杂，一旦在驾驶员侧脸、戴眼镜、说话等情况下，摄像装置所采集的人脸图像上的关键点位置更加集中，甚至出现关键点移动的情况，在这些人脸图像输入神经网络模型后，神经网络模型较难对眼部、嘴部的关键点进行准确检测，会降低了检测以及识别的准确度，进而导致根据人脸关键点判断人脸状态的不准确，带来后续更大的安全隐患。因此，本申请提供一种人脸关键点处理方法及装置，通过将人脸上关键点较为集中的眼部、嘴部等不同类型的关键点使用神经网络中不同深度的网络层进行检测，以提高对人脸关键点检测的准确度。下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。图2为本申请提供的人脸关键点处理方法一实施例的流程示意图，如图2所示，本实施例提供的人脸关键点处理方法包括：s101：将人脸图像输入神经网络模型。具体地，本实施例的执行主体可以是用于进行人脸关键点检测的电子设备，例如，手机、平板电脑、笔记本电脑、台式电脑或者服务器等；或者，还可以是电子设备中的芯片，例如cpu或者gpu等。在一种具体的实现场景中，所述电子设备可以设置在车辆内，用于对摄像装置实时拍摄的人脸图像进行人脸关键点检测。则在s101中，为了对进行人脸关键点检测，作为本实施例执行主体的电子设备在对人脸图像进行处理时，首先将人脸图像输入神经网络模型中。更为具体地，本申请实施例提供的神经网络模型包括多个全连接层，其中，每个全连接层可用于单独检测人脸图像中一个类别的关键点的特征。同时，上述多个全连接层分别从神经网络模型中不同的多个卷积层分别引出，所述多个全连接层与所述多个卷积层一一对应。也就是说，本实施例提供的神经网络模型，对于同一个输入的人脸图像，可以通过不同尺度的卷积层的进行特征提取的处理后，由不同的全连接层输出不同类别的人脸关键点的检测特征。示例性地，图3为本申请提供一种神经网络模型的结构示意图，如图3示出了本申请提供的具有多个全连接层的神经网络模型的示例，其中，以待检测的人脸图像作为输入，神经网络模型通过如下网络层对人脸图像进行处理：第一卷积层1、第二卷积层2、第一池化层3、第三卷积层4、第一移动网络块mobilenetv2block5、第二mobilenetv2block6、第四卷积层7、第五卷积层8、第六mobilenetv2block9、第七mobilenetv2block10、第八mobilenetv2block11、第九卷积层12、第十卷积层13、第二池化层14、第十一卷积层15和第三全连接层16。此外，第九卷积层12还依次连接第三池化层17和第一全连接层18；第二池化层14还连接第二全连接层19。如图3所示的神经网络模型中包括的第一全连接层18、第二全连接层19和第三全连接层16，可以用于分别对不同类别的人脸关键点的特征进行检测，同时，由于第三全连接层16相对于第一全连接层18多经过了第十卷积层13和第十一卷积层15的特征提取、第二全连接层19相对于第一全连接层18多经过了第十卷积层13。因此，神经网络模型可以具体将人脸关键点中，较为密集、需要进一步提取特征的类别的关键点从第三全连接层16输出，一般密集的类别的关键点从第二全连接层19输出，对于较不密集的、不需要进一步提取特征的类别的关键点从第一全连接层18输出。在本实施例一种具体的实现方式中，神经网络模型可以将人脸图像中的关键点按照：眼部类别、嘴部类别以及脸部轮廓类别，例如，图4为本申请提供的脸部关键点示意图，其中，可以将人脸图像中68人脸关键点进行编号为1-68，并将其中编号为37-48的12个关键点作为眼部类别、将其中编号为49-68的关键点作为嘴部类别，将其余编号的关键点作为脸部轮廓类别。随后，基于眼部类别的关键点分布较为密集，需要更多的参数来进行预测，因此神经网络模型通过能够最多卷积层进行特征提取的第三全连接层16对眼部类别的关键点进行检测；基于嘴部类别的关键点分布相对眼部类别更加稀疏，因此神经网络模型通过第二全连接层19对嘴部类别的关键点进行检测；剩下的脸部轮廓类别的关键点最为稀疏，因此神经网络模型可以将通最少卷积层进行特征提取的第一全连接层18对脸部轮廓类别的关键点进行检测。可选地，本申请实施例对mobilenetv2的具体实现不做限定，例如，图5为一种mobilenetv2的网络结构，分别示出了步长(strede)为1以及2对应的mobilenetv2block结构。则在如图3所示的网络结构中，第二mobilenetv2block、第四mobilenetv2block可以采用图5中步长为2的block的网络结构，第一mobilenetv2block、第二mobilenetv2block和第五mobilenetv2block可以采用图5中步长为1的res_block的网络结构。表1输入尺度操作扩张核参数步长输出尺度标号112x112x3convolution-3x3x641112x112x641112x112x64convolution-3x3x1281112x112x1282112x112x128maxpool-2x2256x56x128356x56x128convolution-3x3x128156x56x128456x56x128res_block2-156x56x128556x56x128block2-228x28x128628x28x128convolution-3x3x256128x28x256728x28x256convolution-3x3x512128x28x256828x28x256res_block2-128x28x256928x28x256block2-214x14x2561014x14x256res_block2-114x14x2561114x14x256convolution-3x3x512114x14x2561214x14x256convolution-3x3x512114x14x5121314x14x512maxpool-2x227x7x512147x7x512convolution-3x3x25617x7x256157x7x512fc-24-1x1x241614x14x256maxpool-2x227x7x256177x7x256fc-72-1x1x72187x7x512fc-40-1x1x4019更为具体地，在图3所示的神经网络模型中，各网络侧的参数设置可以参照如表1所示的实施例，其中，通过mobilenetv2实现了神经网络模型的主干网络。网络输入为112x112，使用标号为1和2的两层卷积加标号为3一层池化的结构来增加通道数并减小特征图尺寸，接下来使用depthwiseconvolution elementwise的mobilenetv2block结构来增加网络复杂度提取图片特征，扩张倍数表示mobilenetv2block中先用1x1卷积将通道数放大的倍数。而为了实现神经网络模型输入侧图像的大小为112x112，在本实施例s101之前，作为执行主体的电子设备还可以对获取的人脸图像进行预处理，提取大小为112*112的图像输入神经网络中。例如，电子设备可以使用faceboxes技术进行人脸检测，以检测到的人脸框中心点为新图像的中心点，框中较长的边扩大1.4倍作为新图像的边界，新的人脸区域若有部分不在原始图像内，那么用黑色来填充缺失部分。人脸关键点坐标相对于新图像做归一化处理出相对于图像宽高度的比例值，增加通用性。实验表明这种扩充方法不管在侧脸、低头、抬头等情况下都能有效包含人脸关键点区域。有关faceboxes技术的具体实现本申请不做限定。或者，所述对人脸图像进行的预处理还包括：将60％的图片做水平翻转处理，同时关键点坐标也做翻转操作、将30％的图片随机做10-30°的旋转操作，以及用tensorflow训练神经网络模型的时候，随机给图像加噪声、对比度、亮度进行图像增强等。在上述神经网络模型一种具体的实现中，神经网络模型对关键点进行预测是一个回归任务，神经网络模型整体可以使用欧式距离作为损失函数，以对输入的图像进行回归训练。而由于人脸图像中眼部类别的关键点分布较为密集，因此可以在设置损失函数时，加大眼部类别的关键点对应的损失的权重，使得神经网络模型的损失函数中，眼部类别的关键点的特征对应的加权值，大于嘴部类别的关键点的特征对应的加权值以及脸部轮廓类别的关键点的特征对应的加权值。例如，神经网络模型的损失函数可以是其中，为眼部类型关键点的欧式距离损失，为嘴部类型关键点的欧式距离损失，为脸部轮廓类别关键点的欧式距离损失，为参数正则化损失，则在上述损失函数中，眼部类别的关键点对应的损失的加权值为2，嘴部类别以及脸部类别关键点的损失的加权值为1。此外，在上述神经网络模型的训练过程中，还可以进行设置的初始学习率设为0.01，步长为64，优化方法为adam，设置每100个epoch(1个epoch等于使用训练集中的全部样本训练一次)，学习率下降为10％，总计训练500个epoch。s102：获取神经网络模型中，多个全连接层分别检测到的多个类别的关键点的特征。随后，当电子设备在s101中将待处理的人脸图像输入神经网络模型后，神经网络模型通过多个全连接层分别输出多个不同类别的关键点的特征。更为具体地，在如图3所示的神经网络模型中，第一全连接层18输出如图4所示的脸部轮廓类别的关键点的特征，第二全连接层19输出如图4所示的嘴部类别的关键点的特征，第三全连接层16输出如图4所示的眼部类别的关键点的特征。其中，上述各全连接层输出的关键点的特征具体可以是关键点在人脸图像中的相对坐标。s103：根据s102中神经网络模型输出的多个类别的关键点的特征，确定s101中的人脸图像中的人脸状态。最终，在s103中，作为执行主体的电子设备进一步根据s102中所有关键点的特征，确定人脸图像中的人脸状态。当本实施例应用在车辆驾驶员疲劳检测场景时，所述人脸状态可以包括清醒状态和睡眠状态。综上，本申请实施例提供的人脸关键点检测方法中，针对人脸图像中出现闭眼、戴眼镜、侧脸、抬头、光照暗、戴眼镜等复杂情况下人脸关键点检测准确度较低的技术问题，将人脸图像中的人脸关键点划分为不同的类别，并通过调整神经网络模型的输出结构，使得神经网络模型中不同的全连接层输出不同类别的关键点特征，从而对上述较为复杂情况下复杂位置的人脸关键点进行更具深度的特征提取以及特征检测，提高了对人脸图像中眼部、嘴部等变化情况丰富的关键点的检测准确度，进而提高对人脸图像整体的人脸关键点检测的准确度。上述本申请提供的实施例中对本申请实施例提供的方法进行了介绍。为了实现上述本申请实施例提供的方法中的各功能，作为执行主体的电子设备可以包括硬件结构和/或软件模块，以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行，取决于技术方案的特定应用和设计约束条件。例如，图6为本申请提供的人脸关键点处理装置一实施例的结构示意图，如图6所提供的装置可用于执行本申请前述任一实施例中所述的人脸关键点处理方法。具体地，该装置包括：输入模块601，获取模块602和确定模块603。其中，输入模块601用于将人脸图像输入神经网络模型；其中，神经网络模型包括多个全连接层，每个全连接层用于检测人脸图像中一个类别的关键点的特征；获取模块602用于获取多个全连接层分别检测的多个类别的关键点的特征；确定模块603用于根据多个类别的关键点的特征，确定人脸图像中的人脸状态。可选地，人脸图像中多个类别的关键点至少包括：眼部类别、嘴部类别以及脸部轮廓类别。可选地，多个全连接层从神经网络模型中的多个卷积层分别引出；每个卷积层均用于提取人脸图像的特征。可选地，神经网络模型的输入到输出之间，依次包括：第一卷积层、第二卷积层、第一池化层、第三卷积层、第一移动网络块mobilenetv2block、第二mobilenetv2block、第四卷积层、第五卷积层、第六mobilenetv2block、第七mobilenetv2block、第八mobilenetv2block、第九卷积层、第十卷积层、第二池化层、第十一卷积层和第三全连接层；第九卷积层还依次连接第三池化层和第一全连接层；第十卷积层还连接第二全连接层。可选地，第一全连接层用于检测脸部轮廓类别的关键点的特征；第二全连接层用于检测嘴部类别的关键点的特征；第三全连接层用于检测眼部类别的关键点的特征。可选地，神经网络模型的损失函数中，眼部类别的关键点的特征对应的加权值，大于嘴部类别的关键点的特征对应的加权值以及脸部轮廓类别的关键点的特征对应的加权值。可选地，神经网络模型的损失函数包括：其中，为眼部类型关键点的欧式距离损失，为嘴部类型关键点的欧式距离损失，为脸部轮廓类别关键点的欧式距离损失，为参数正则化损失。本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本申请各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请各实施例提供的人脸关键点处理装置可用于执行如前述所示的人脸关键点处理方法，其实现方式与原理相同，不再赘述。本发明还提供一种人脸关键点处理装置，包括：处理器，存储器以及计算机程序；其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如前述实施例中任一项所述的人脸关键点处理方法的指令。本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得服务器执行如前述实施例中任一项所述的人脸关键点处理方法。本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。当前第1页1 2 3
技术特征：1.一种人脸关键点处理方法，其特征在于，包括：
将人脸图像输入神经网络模型；其中，所述神经网络模型包括多个全连接层，每个所述全连接层用于检测所述人脸图像中一个类别的关键点的特征；
获取所述多个全连接层分别检测的多个类别的关键点的特征；
根据所述多个类别的关键点的特征，确定所述人脸图像中的人脸状态。
2.根据权利要求1所述的方法，其特征在于，
所述人脸图像中多个类别的关键点至少包括：眼部类别、嘴部类别以及脸部轮廓类别。
3.根据权利要求2所述的方法，其特征在于，
所述多个全连接层从所述神经网络模型中的多个卷积层分别引出；每个所述卷积层均用于提取所述人脸图像的特征。
4.根据权利要求3所述的方法，其特征在于，所述神经网络模型的输入到输出之间，依次包括：
第一卷积层、第二卷积层、第一池化层、第三卷积层、第一移动网络块mobilenetv2block、第二mobilenetv2block、第四卷积层、第五卷积层、第六mobilenetv2block、第七mobilenetv2block、第八mobilenetv2block、第九卷积层、第十卷积层、第二池化层、第十一卷积层和第三全连接层；所述第九卷积层还依次连接第三池化层和第一全连接层；所述第十卷积层还连接第二全连接层。
5.根据权利要求4所述的方法，其特征在于，
所述第一全连接层用于检测脸部轮廓类别的关键点的特征；
所述第二全连接层用于检测嘴部类别的关键点的特征；
所述第三全连接层用于检测眼部类别的关键点的特征。
6.根据权利要求5所述的方法，其特征在于，
所述神经网络模型的损失函数中，所述眼部类别的关键点的特征对应的加权值，大于所述嘴部类别的关键点的特征对应的加权值以及所述脸部轮廓类别的关键点的特征对应的加权值。
7.根据权利要求6所述的方法，其特征在于，所述损失函数包括：
其中，为眼部类型关键点的欧式距离损失，为嘴部类型关键点的欧式距离损失，为脸部轮廓类别关键点的欧式距离损失，为参数正则化损失。
8.一种人脸关键点处理装置，其特征在于，包括：
输入模块，用于将人脸图像输入神经网络模型；其中，所述神经网络模型包括多个全连接层，每个所述全连接层用于检测所述人脸图像中一个类别的关键点的特征；
获取模块，用于获取所述多个全连接层分别检测的多个类别的关键点的特征；
确定模块，用于根据所述多个类别的关键点的特征，确定所述人脸图像中的人脸状态。
9.一种人脸关键点处理装置，其特征在于，包括：
存储器和处理器；所述处理器用于执行所述存储器中存储的计算机程序，以实现如权利要求1-7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法的步骤。
技术总结本申请提供一种人脸关键点处理方法及装置，其中方法包括：将人脸图像输入神经网络模型；其中，神经网络模型包括多个全连接层；获取多个全连接层分别检测的多个类别的关键点的特征；根据多个类别的关键点的特征，确定所述人脸图像中的人脸状态。本申请提供的人脸关键点处理方法及装置，能够提高对人脸图像整体的人脸关键点检测的准确度。
技术研发人员：张建炜;黄玉辉;姚万超
受保护的技术使用者：杭州飞步科技有限公司
技术研发日：2020.01.10
技术公布日：2020.06.09
