本发明涉及的是一种人工智能应用领域的技术，具体是一种无标签的自动人脸属性编辑方法。
背景技术：
人脸属性编辑技术就是改变人脸图像中固有属性的属性值的技术，隶属于图像翻译任务的范畴，目标在于可控的编辑属性值，同时保证人脸的同一性，即保证在属性编辑前后仍为同一人。传统的人脸属性编辑技术多依赖人力，不仅耗时耗力，而且难以做到同时编辑多张图像。随着深度学习的发展，卷积神经网络被更广泛地应用于图像之中，这极大的便利了人脸属性编辑技术的发展。
目前的人脸属性编辑技术在训练过程中只可以利用有属性原域信息标签的数据集进行训练，例如celeba，adience，fer 等，这种数据集包含人脸图像的量级为几十万级甚至万级。但现实生活中存在大量的百万级无标签人脸图像的数据集，例如ms-1m等，这些数据集被广泛应用于人脸识别任务中，由于没有属性原域信息标签，这些数据集无法利用在人脸属性编辑技术中的训练。
技术实现要素：
本发明针对现有技术存在的上述不足，提出一种无标签的自动人脸属性编辑方法，基于深度学习中的鉴别器预测人脸图像的属性，可以同时进行图像属性的编辑和识别且无需对原图进行标签标注，适用于身份验证领域如识破罪犯的伪装、寻找走失儿童等，也可用于日常生活中的人像修整。
本发明是通过以下技术方案实现的：
本发明采用人脸数据集对基于卷积神经网络的对抗网络生成器及其对应的鉴别器进行初步训练，然后以经人脸数据集训练后的分类器生成编辑标签，并与人脸数据集中的原始人脸图像合并后输入初步训练后的对抗网络生成器及其鉴别器实现网络微调，从而得到属性编辑后的图像。
所述的人脸数据集包括含有标签的人脸图像数据集和不包含标签的人脸图像数据集，优选采用：包含发色、性别和是否佩戴眼镜标签的数据集celeba、只含有年龄标签的数据集adience、只含有情绪标签的数据集fer 以及不含标签的数据集ms-1m。
所述的初步训练是指：将人脸数据集中的任意一个中的人脸原始图像和属性原域信息标签分别输入对抗网络生成器和鉴别器中进行人脸属性编辑任务的训练，得到受目标生成域控制的欺骗图；该初步训练，以满足将欺骗图和人脸原始图像对应的属性原域信息标签结合后输入对抗网络生成器后能够得到人脸原始图像为准。
所述的分类器为基于卷积神经网络结构且与对抗网络生成器结构一致，该分类器分别采用包含标签的数据集进行训练，优选采用包含发色、性别和是否佩戴眼镜标签的数据集celeba、采用只含有年龄标签的数据集adience和采用只含有情绪标签的数据集fer 训练，以实现对人脸属性的精确分类。
所述的网络微调是指：采用训练后的分类器对无属性源域信息标签数据集中的人脸图像生成编辑标签，优选采用数据集ms-1m中的人脸原始图像作为输入生成伪标签；然后将数据集中的人脸原始图像和伪标签作为初步训练后的对抗网络生成器及其鉴别器的输入，生成属性编辑后的图像。
技术效果
本发明整体解决了人脸属性编辑任务中如何利用更多无属性源域信息标签的人脸图像进行训练的问题。与现有技术相比，本发明首次利用网络分类器进行人脸多属性识别任务，即属性分类器，在celeba数据集进行多属性识别测试的精度为92.14％。
附图说明
图1为本发明的流程图；
图2为预训练网络生成器g的实现模块图；
图3为预训练网络鉴别器d的实现模块图；
图4为本发明具体流程图；
图5为本发明实验效果对比图。
具体实施方式
本实施例对鉴别器依次进行采用含标签的数据的预训练、联合属性识别网络的再训练和无标签数据的微调，使其能够从生成图中预测得到标注信息；然后将标注信息与生成图共同输入生成器得到属性编辑后的图像，具体步骤包括：
步骤1)基于对抗生成网络的思想构建一个基于卷积神经网络的生成器g以及网络结构上相对称的基于反卷积神经网络的鉴别器d，如图2和图3所示。
步骤2)将数据集celeba中的人脸原始图像x和属性原域信息标签y分别输入生成器g和鉴别器d中进行人脸属性编辑任务的训练，得到受目标生成域c控制的欺骗图x’。
步骤2)中的训练，以满足将欺骗图x'和人脸原始图像x对应的属性原域信息标签y结合后输入生成器g后能够得到人脸原始图像x为准。
本实施例中以256一个batch进行了10000步迭代，得到步骤2的效果如图5中1、3行所示。
步骤3)重新构建一个基于卷积神经网络结构与鉴别器d一致的分类器c用于人脸属性识别分类，分别采用包含发色、性别和是否佩戴眼镜标签的数据集celeba、采用只含有年龄标签的数据集adience和采用只含有情绪标签的数据集fer 训练分类器c，以实现对人脸属性的精确分类。
所述的分类器输出大小为5x1，代表需判断5种属性，分别是：性别、发色、是否佩戴眼镜、年龄、情绪。
所述的训练分类器c，即将数据集中的所有人脸图像平均分为10份，每一次迭代随机选10份中1份作为测试集，其余9份做训练集，训练任务共迭代100次；将训练集中人脸原始图像x与属性源域信息标签y输入分类器c进行对应数据集的属性识别任务的训练；所有训练集人脸图像训练完成之后，固定分类器c的参数对测试集中人脸图像x进行识别，并与属性源域信息标签y作比较得出识别准确率。
所述的训练分类器c，优选利用注意力机制attention将分类器c中用于识别对应数据集的属性的神经元失活，即在利用数据集celeba进行属性识别时只激活负责识别性别、发色、是否佩戴眼镜的神经元；或在利用数据集adience进行属性识别时只激活负责识别年龄的神经元；或在利用数据集fer 进行属性识别时只激活负责识别情绪的神经元。
所述的识别准确率，包括：采用数据集celeba的训练后的平均准确率为92.14％，其中，性别识别的准确率为98.67％，发色识别的准确率为86.12％，是否佩戴眼镜识别的准确率为91.63％；在采用数据集adience的训练后的平均年龄识别的准确率为58.74％；在采用数据集fer 的训练后的平均情绪识别的准确率为48.94％；最终五个属性的平均识别准确率为76.82％。
步骤4)采用训练后的分类器c对无属性源域信息标签数据集中人脸图像的打标签处理，具体为将数据集ms-1m中的人脸原始图像x”输入分类器c生成伪标签y”后，将人脸原始图像x”和伪标签y”输入步骤2)训练后的生成器g和鉴别器d中进行网络微调并，得到结果即为属性编辑后的图像。
所述的网络微调，以1e-5的学习率更新g和d的参数，本实施例以128一个batch进行了50000次迭代。
最终微调效果图如图5中2、4行所示，相比预训练阶段的效果1、3行，在进行第2列所示的男女转换属性编辑任务中，经过微调的人脸图像纹理更细致，微调之后的结果在下巴处增加了胡子，更加符合事实。在进行第3列年龄属性编辑任务中，经过微调的人脸图像在变老时增加了皱纹，相比之下，预训练阶段的人脸图像变老的趋势并不明显。同时微调还可以明显改善肤色泛红光的不正常情况。
属性编辑任务要求编辑前后数据分布尽可能一致，本实施例通过计算原人脸数据集分布与经过属性编辑之后的人脸数据分布的空间距离作为衡量指标。从数据集celeba中随机采样1000张人脸图像进行测试，采用欧式距离进行度量。经过微调之后，距离由预训练阶段的3.68下降至2.55，代表经过微调之后的网络在进行属性编辑任务时表现更好。
本实施例通过将celeba、adience、fer 数据集数据均分为十份进行十折交叉验证，最终平均属性识别准确率为76.82％，其中性别识别的准确率高达98.67％，而最低的则是情绪识别，准确率只有48.94％。在人脸属性编辑任务中，生成的人脸的部分细节更平滑，也更加接近现实中的人脸图像，极大地改善了肤色泛红光登不正常现象，视觉效果质量更好。
本实施例通过以上三步操作，将现有技术中未考虑到的标签给网络训练带来影响进行了消除，做到了全自动，无需标签的人脸属性编辑。相比现有技术只能一个一个地进行原始人为标注之后在进行属性编辑任务，处理效率极低，耗费大量人力资源；本发明只需指定最终要实现的人脸图像的各个属性值，将所有图一批一批输入生成器g，就可自动进行属性识别和属性编辑任务，节约时间和人力物力。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。
1.一种无标签的自动人脸属性编辑方法，其特征在于，采用人脸数据集对基于卷积神经网络的对抗网络生成器及其对应的鉴别器进行初步训练，然后以经人脸数据集训练后的分类器生成编辑标签，并与人脸数据集中的原始人脸图像合并后输入初步训练后的对抗网络生成器及其鉴别器实现网络微调，从而得到属性编辑后的图像；
所述的人脸数据集包括含有标签的人脸图像数据集和不包含标签的人脸图像数据集；
所述的分类器为基于卷积神经网络结构且与对抗网络生成器结构一致，该分类器分别采用包含标签的数据集进行训练；
所述的网络微调是指：采用训练后的分类器对不包含标签的人脸图像数据集中的人脸图像生成编辑标签。
2.根据权利要求1所述的无标签的自动人脸属性编辑方法，其特征是，所述的初步训练是指：将人脸数据集中的任意一个中的人脸原始图像和属性原域信息标签分别输入对抗网络生成器和鉴别器中进行人脸属性编辑任务的训练，得到受目标生成域控制的欺骗图；该初步训练，以满足将欺骗图和人脸原始图像对应的属性原域信息标签结合后输入对抗网络生成器后能够得到人脸原始图像为准。
3.根据权利要求1所述的无标签的自动人脸属性编辑方法，其特征是，所述的分类器采用包含发色、性别和是否佩戴眼镜标签的数据集celeba、采用只含有年龄标签的数据集adience和采用只含有情绪标签的数据集fer 训练，以实现对人脸属性的精确分类。
4.根据权利要求1所述的无标签的自动人脸属性编辑方法，其特征是，所述的网络微调是指：以数据集ms-1m中的人脸原始图像作为输入生成伪标签；然后将数据集中的人脸原始图像和伪标签作为初步训练后的对抗网络生成器及其鉴别器的输入，生成属性编辑后的图像。
5.根据上述任一权利要求所述的无标签的自动人脸属性编辑方法，其特征是，所述的分类器输出大小为5x1，代表需判断5种属性，分别是：性别、发色、是否佩戴眼镜、年龄、情绪。
6.根据权利要求5所述的无标签的自动人脸属性编辑方法，其特征是，所述的分类器通过以下方式进行训练：将数据集中的所有人脸图像平均分为10份，每一次迭代随机选10份中1份作为测试集，其余9份做训练集，训练任务共迭代100次；将训练集中人脸原始图像与属性源域信息标签输入分类器进行对应数据集的属性识别任务的训练；所有训练集人脸图像训练完成之后，固定分类器的参数对测试集中人脸图像进行识别，并与属性源域信息标签作比较得出识别准确率。
7.根据权利要求6所述的无标签的自动人脸属性编辑方法，其特征是，所述的训练，利用注意力机制attention将分类器中用于识别对应数据集的属性的神经元失活，即在利用数据集celeba进行属性识别时只激活负责识别性别、发色、是否佩戴眼镜的神经元；或在利用数据集adience进行属性识别时只激活负责识别年龄的神经元；或在利用数据集fer 进行属性识别时只激活负责识别情绪的神经元。
8.根据权利要求6所述的无标签的自动人脸属性编辑方法，其特征是，所述的识别准确率，包括：采用数据集celeba的训练后的平均准确率为92.14％，其中，性别识别的准确率为98.67％，发色识别的准确率为86.12％，是否佩戴眼镜识别的准确率为91.63％；在采用数据集adience的训练后的平均年龄识别的准确率为58.74％；在采用数据集fer 的训练后的平均情绪识别的准确率为48.94％；最终五个属性的平均识别准确率为76.82％。
技术总结