本发明实施例涉及图像处理
技术领域：
，具体涉及一种人脸图像切图方法、装置及计算机可读存储介质。
背景技术：
：深度神经网络的多模型集成方法广泛应用于很多计算机视觉任务，由于不同网络可以有效地从原始图像中提取互补的信息，因此多模型集成可以带来明显的性能提升。在深度学习时期，最具代表性的deepid2人脸识别框架为了有效利用人脸不同区域(如眼睛，鼻子)中互补的表观信息，手工定义了200种不同的人脸切图方式，并使用这些不同的切图分别训练了200个cnn模型用于捕获不同人脸区域的信息。最终的人脸识别系统采用贪心的策略选取出最好的25个模型来进行最终的特征融合并带来了大幅的性能提升。然而，这种人脸识别问题中通用的模型集成方法采用手工的方式选取人脸切图，需要耗费大量的计算复杂度训练上百个模型贪心选取最好的切图组合，费时费力。技术实现要素：为了解决现有人脸切图技术费事费力的问题，本发明实施例提供了一种人脸图像切图方法，包括：设置人脸切图的个数；将所述人脸切图的个数输入预先训练的区域搜索空间变换网络模型；将人脸图像输入所述区域搜索空间变换网络模型，得到所述人脸图像的人脸切图。可选的，所述区域搜索空间变换网络模型包括：本地化网络、网格生成器和采样器；将人脸图像输入所述区域搜索空间变换网络模型，得到所述人脸图像的人脸切图，包括：所述本地化网络将输入的人脸图像进行6个卷积操作，然后全连接回归出3n个仿射变换参数，其中n为人脸切图的个数；所述网格生成器根据所述仿射变换参数计算出人脸切图中的每个位置对应所述人脸图像中的坐标位置；所述采样器根据与所述人脸切图中每个位置对应的所述人脸图像中的坐标位置，在所述人脸图像中进行采样，将所述人脸图像中与所述坐标位置对应的像素复制到所述人脸切图中。可选的，所述仿射变换参数值包括人脸切图的尺度值、人脸切图在所述人脸图像x轴上的位移值和人脸切图在所述人脸图像y轴上的位移值。可选的，所述网格生成器根据所述仿射变换参数按下式计算出人脸切图中的每个位置对应所述人脸图像中的坐标位置：式中，s表示人脸切图的尺度值，tx表示人脸切图在所述人脸图像x轴上的位移值，ty表示人脸切图在所述人脸图像y轴上的位移值，表示所述人脸图像中第i个像素的y轴坐标，表示所述人脸图像中第i个像素的第x轴坐标，表示人脸切图中第i个像素的x轴坐标，表示人脸切图中第i个像素的y轴坐标。可选的，将人脸图像输入所述区域搜索空间变换网络模型之前，还包括：对所述人脸图像进行人脸检测；对检测到的人脸进行人脸对齐。第二方面，本发明实施例提供一种人脸图像切图装置，包括：设置模块，用于设置人脸切图的个数；输入模块，用于将所述人脸切图的个数输入预先训练的区域搜索空间变换网络模型；切图生成模块，用于将人脸图像输入所述区域搜索空间变换网络模型，得到所述人脸图像的人脸切图。可选的，所述切图生成模块包括：本地化网络单元，用于采用本地化网络将输入的人脸图像进行6个卷积操作，然后全连接回归出3n个仿射变换参数，其中n为人脸切图的个数；网格生成单元，用于采用网格生成器根据所述仿射变换参数计算出人脸切图中的每个位置对应所述人脸图像中的坐标位置；采样器单元，用于采用采样器根据与所述人脸切图中每个位置对应的所述人脸图像中的坐标位置，在所述人脸图像中进行采样，将所述人脸图像中与所述坐标位置对应的像素复制到所述人脸切图中。可选的，所述网格生成器单元根据所述仿射变换参数按下式计算出人脸切图中的每个位置对应所述人脸图像中的坐标位置：式中，s表示人脸切图的尺度值，tx表示人脸切图在所述人脸图像x轴上的位移值，ty表示人脸切图在所述人脸图像y轴上的位移值，表示所述人脸图像中第i个像素的y轴坐标，表示所述人脸图像中第i个像素的第x轴坐标，表示人脸切图中第i个像素的x轴坐标，表示人脸切图中第i个像素的y轴坐标。可选的，所述人脸图像切图装置还包括：人脸检测模块，用于对所述人脸图像进行人脸检测；人脸对齐模块，用于对检测到的人脸进行人脸对齐。第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使计算机执行第一方面所述人脸图像切图方法的步骤。相比现有技术，本发明实施例提出的一种人脸图像切图方法，通过设置切图个数，根据切图个数利用预先训练的区域搜索空间变换网络模型对人脸图像进行处理得到人脸切图。本发明通过预先训练好的区域搜索空间变换网络模型对人脸图像进行切图处理，对于不同的人脸图像区域搜索空间变换网络模型会采用不同的切图方式，因此本发明提供切图方法自适应能力强，更有助于提升复杂多变场景下的后续人脸识别准确度，而且不需手工切图，省时省力。附图说明为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本发明实施例提供的一种人脸图像切图方法流程图。图2为本发明实施例提供的一种人脸图像切图装置示意图。具体实施方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。图1为本发明实施例提供的一种人脸图像切图方法流程图，如图1所示，所述方法包括：s1.设置人脸切图的个数；具体的个数根据具体情况自行设定。s2.将所述人脸切图的个数输入预先训练的区域搜索空间变换网络模型；s3.将人脸图像输入所述区域搜索空间变换网络模型，得到所述人脸图像的人脸切图。具体的，在本申请实施例中，所述区域搜索空间变换网络模型包括：本地化网络、网格生成器和采样器；具体的，所述区域搜索空间变化网络模型的具体结构如下表所示：层步长卷积核大小通道数卷积层15x516最大池化层22x216卷积层13x324最大池化层22x224卷积层13x332最大池化层22x232卷积层13x340全连接层--3n具体的，在本申请实施例中，将人脸图像输入所述区域搜索空间变换网络模型，得到所述人脸图像的人脸切图，包括：所述本地化网络将输入的人脸图像进行6个卷积操作，然后全连接回归出3n个仿射变换参数，其中n为人脸切图的个数；所述网格生成器根据所述仿射变换参数计算出人脸切图中的每个位置对应所述人脸图像中的坐标位置；所述采样器根据与所述人脸切图中每个位置对应的所述人脸图像中的坐标位置，在所述人脸图像中进行采样，将所述人脸图像中与所述坐标位置对应的像素复制到所述人脸切图中。具体的，在本申请实施例中，所述仿射变换参数值包括人脸切图的尺度值、人脸切图在所述人脸图像的x轴上的位移值和人脸切图在所述人脸图像y轴上的位移值。所述人脸切图的尺度值表示人脸切图的切图区域对应输入的人脸图像的比例大小，例如，切图区域的长宽均为人脸图像的一半，则尺度值为0.25。具体的，在本申请实施例中，所述网格生成器根据所述仿射变换参数按下式计算出人脸切图中的每个位置对应所述人脸图像中的坐标位置：式中，s表示人脸切图的尺度值，tx表示人脸切图在所述人脸图像x轴上的位移值，ty表示人脸切图在所述人脸图像y轴上的位移值，表示所述人脸图像中第i个像素的y轴坐标，表示所述人脸图像中第i个像素的第x轴坐标，表示人脸切图中第i个像素的x轴坐标，表示人脸切图中第i个像素的y轴坐标。具体的，在本申请实施例中，区域搜索空间变换网络模型在训练时用感兴趣区域分离损失函数监督区域搜索空间变换网络预测出的每个仿射变换参数。感兴趣区域分离损失函数可在每个人脸切图具有判别力的前提下，使得切图组合中两两切图间的交并比尽可能小。具体的，所述感兴趣区域分离损失函数如下所示：式中，lroi表示感兴趣区域分离损失函数，n表示生成的人脸切图个数，θi表示第i个人脸切图的仿射变换参数，θj表示第j个人脸切图的仿射变换参数，σ表示超参数。具体的，在本申请实施例中，将人脸图像输入所述区域搜索空间变换网络模型之前，还包括：对所述人脸图像进行人脸检测；对检测到的人脸进行人脸对齐。本发明实施例提供的一种人脸图像切图方法，通过设置切图个数，根据切图个数利用预先训练的区域搜索空间变换网络模型对人脸图像进行处理得到人脸切图。本发明通过预先训练好的区域搜索空间变换网络模型对人脸图像进行切图处理，对于不同的人脸图像区域搜索空间变换网络模型会采用不同的切图方式，因此本发明提供切图方法自适应能力强，更有助于提升复杂多变场景下的后续人脸识别准确度，而且不需手工切图，省时省力。一个具体的例子：对某一人脸图像进行切图处理，包括：对所述人脸图像进行人脸检测和人脸对齐，得到对齐后包含完整人脸的人脸图像；设定切图个数n；将所述个数n输入预先训练好的区域搜索空间变换网络模型；将对齐后的人脸图像输入区域搜索空间变换网络模型；所述区域搜索空间变换网络模型的本地化网络为6层cnn结构，输出维度为3n，即本地化网络输出3n个预测值，所述3n个预测值分别对应着每张切图的三个仿射变换参数，所述三个仿射变换参数值分别为：人脸切图的尺度值、人脸切图在所述人脸图像的x轴上的位移值和人脸切图在所述人脸图像y轴上的位移值。所述区域搜索空间变换网络模型的网格生成器根据所述仿射变换参数按下式计算出人脸切图中的每个位置对应所述人脸图像中的坐标位置：式中，s表示人脸切图的尺度值，tx表示人脸切图在所述人脸图像x轴上的位移值，ty表示人脸切图在所述人脸图像y轴上的位移值，表示所述人脸图像中第i个像素的y轴坐标，表示所述人脸图像中第i个像素的第x轴坐标，表示人脸切图中第i个像素的x轴坐标，表示人脸切图中第i个像素的y轴坐标；所述区域搜索空间变换网络模型的采样器根据与所述人脸切图中每个位置对应的所述人脸图像中的坐标位置，在所述人脸图像中进行采样，将所述人脸图像中与所述坐标位置对应的像素复制到所述人脸切图中，从而得到人脸切图。基于与本发明人脸图像切图方法相同的发明构思，本发明实施例还提供一种人脸图像切图装置，如图2所示，所述人脸图像切图装置，可以包括：设置模块，用于设置人脸切图的个数；输入模块，用于将所述人脸切图的个数输入预先训练的区域搜索空间变换网络模型；切图生成模块，用于将人脸图像输入所述区域搜索空间变换网络模型，得到所述人脸图像的人脸切图。具体的，所述切图生成模块可以包括：本地化网络单元，用于采用本地化网络将输入的人脸图像进行6个卷积操作，然后全连接回归出3n个仿射变换参数，其中n为人脸切图的个数；网格生成单元，用于采用网格生成器根据所述仿射变换参数计算出人脸切图中的每个位置对应所述人脸图像中的坐标位置；采样器单元，用于采用采样器根据与所述人脸切图中每个位置对应的所述人脸图像中的坐标位置，在所述人脸图像中进行采样，将所述人脸图像中与所述坐标位置对应的像素复制到所述人脸切图中。具体的，在本申请实施例中，所述网格生成器单元根据所述仿射变换参数按下式计算出人脸切图中的每个位置对应所述人脸图像中的坐标位置：式中，s表示人脸切图的尺度值，tx表示人脸切图在所述人脸图像x轴上的位移值，ty表示人脸切图在所述人脸图像y轴上的位移值，表示所述人脸图像中第i个像素的y轴坐标，表示所述人脸图像中第i个像素的第x轴坐标，表示人脸切图中第i个像素的x轴坐标，表示人脸切图中第i个像素的y轴坐标。具体的，在本申请实施例中，所述人脸图像切图装置还可以包括：人脸检测模块，用于对所述人脸图像进行人脸检测；人脸对齐模块，用于对检测到的人脸进行人脸对齐。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明各个实施例所述的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法或者实施例的某些部分所述的方法。以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的
技术领域：
，均同理包括在本发明的专利保护范围内。当前第1页1 2 3
技术特征：1.一种人脸图像切图方法，其特征在于，包括：
设置人脸切图的个数；
将所述人脸切图的个数输入预先训练的区域搜索空间变换网络模型；
将人脸图像输入所述区域搜索空间变换网络模型，得到所述人脸图像的人脸切图。
2.根据权利要求1所述的人脸图像切图方法，其特征在于，所述区域搜索空间变换网络模型包括：本地化网络、网格生成器和采样器；
将人脸图像输入所述区域搜索空间变换网络模型，得到所述人脸图像的人脸切图，包括：
所述本地化网络将输入的人脸图像进行6个卷积操作，然后全连接回归出3n个仿射变换参数，其中n为人脸切图的个数；
所述网格生成器根据所述仿射变换参数计算出人脸切图中的每个位置对应所述人脸图像中的坐标位置；
所述采样器根据与所述人脸切图中每个位置对应的所述人脸图像中的坐标位置，在所述人脸图像中进行采样，将所述人脸图像中与所述坐标位置对应的像素复制到所述人脸切图中。
3.根据权利要求2所述的人脸图像切图方法，其特征在于，所述仿射变换参数值包括人脸切图的尺度值、人脸切图在所述人脸图像x轴上的位移值和人脸切图在所述人脸图像y轴上的位移值。
4.根据权利要求2所述的人脸图像切图方法，其特征在于，所述网格生成器根据所述仿射变换参数按下式计算出人脸切图中的每个位置对应所述人脸图像中的坐标位置：
式中，s表示人脸切图的尺度值，tx表示人脸切图在所述人脸图像x轴上的位移值，ty表示人脸切图在所述人脸图像y轴上的位移值，表示所述人脸图像中第i个像素的y轴坐标，表示所述人脸图像中第i个像素的第x轴坐标，表示人脸切图中第i个像素的x轴坐标，表示人脸切图中第i个像素的y轴坐标。
5.根据权利要求1所述的人脸图像切图方法，其特征在于，将人脸图像输入所述区域搜索空间变换网络模型之前，还包括：
对所述人脸图像进行人脸检测；
对检测到的人脸进行人脸对齐。
6.一种人脸图像切图装置，其特征在于，包括：
设置模块，用于设置人脸切图的个数；
输入模块，用于将所述人脸切图的个数输入预先训练的区域搜索空间变换网络模型；
切图生成模块，用于将人脸图像输入所述区域搜索空间变换网络模型，得到所述人脸图像的人脸切图。
7.根据权利要求6所述的人脸图像切图装置，其特征在于，所述切图生成模块包括：
本地化网络单元，用于采用本地化网络将输入的人脸图像进行6个卷积操作，然后全连接回归出3n个仿射变换参数，其中n为人脸切图的个数；
网格生成单元，用于采用网格生成器根据所述仿射变换参数计算出人脸切图中的每个位置对应所述人脸图像中的坐标位置；
采样器单元，用于采用采样器根据与所述人脸切图中每个位置对应的所述人脸图像中的坐标位置，在所述人脸图像中进行采样，将所述人脸图像中与所述坐标位置对应的像素复制到所述人脸切图中。
8.根据权利要求7所述的人脸图像切图装置，其特征在于，所述网格生成器单元根据所述仿射变换参数按下式计算出人脸切图中的每个位置对应所述人脸图像中的坐标位置：
式中，s表示人脸切图的尺度值，tx表示人脸切图在所述人脸图像x轴上的位移值，ty表示人脸切图在所述人脸图像y轴上的位移值，表示所述人脸图像中第i个像素的y轴坐标，表示所述人脸图像中第i个像素的第x轴坐标，表示人脸切图中第i个像素的x轴坐标，表示人脸切图中第i个像素的y轴坐标。
9.根据权利要求6所述的人脸图像切图装置，其特征在于，所述人脸图像切图装置还包括：
人脸检测模块，用于对所述人脸图像进行人脸检测；
人脸对齐模块，用于对检测到的人脸进行人脸对齐。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令使计算机执行权利要求1-5任一项所述人脸图像切图方法的步骤。
技术总结本发明提供一种人脸图像切图方法、装置及计算机可读存储介质，通过设置切图个数，根据切图个数利用预先训练的区域搜索空间变换网络模型对人脸图像进行处理得到人脸切图。本发明通过预先训练好的区域搜索空间变换网络模型对人脸图像进行切图处理，对于不同的人脸图像区域搜索空间变换网络模型会采用不同的切图方式，因此本发明提供切图方法自适应能力强，更有助于提升复杂多变场景下的后续人脸识别准确度，而且不需手工切图，省时省力。
技术研发人员：高晓媛
受保护的技术使用者：中科视语(北京)科技有限公司
技术研发日：2018.11.29
技术公布日：2020.06.05
