本发明涉及深度学习应用技术领域，具体涉及一种基于自监督学习与生成对抗机制的人脸表情迁移方法。
背景技术：
随着深度学习与图像处理领域技术的快速发展，人脸表情合成与迁移应用于诸多领域，例如电影制作、游戏制作、虚拟现实、人脸识别等。目前，人脸表情迁移方法主要采用经典的基于模型的参数化建模方法，或者是端到端的数据驱动的生成方法。
现有技术中，前者局限于预先定义的模型及其参数，难以完全表示头部姿态与面部表情；后者一般需要大量而且精细的人脸关键点标注，时间与人工成本昂贵。对于人脸表情迁移领域，其最关键的问题是如何从二维的图像中提取并解耦出人脸的身份与姿态信息，同时将来自不同个体的信息进行融合并再生成高质量的人脸图像。针对这种问题，目前亟待针对这一问题，设计相应而且合理的深度学习网络框架与训练方式，并充分利用大规模的无标注数据集进行训练，进而使网络生成人眼难以辨别的表情迁移图像。
技术实现要素：
本发明针对现有技术中需要大量标注且生成图像质量不佳的技术问题，提供一种基于自监督学习与生成对抗机制的人脸表情迁移方法，旨在通过自监督方法解耦视频帧序列中的人脸身份与姿态，无需使用有标注的数据集，同时使用生成对抗机制实现高质量人脸的合成，实现人脸表情与姿态从一个个体到另一个个体的迁移。
本发明的目的通过采取如下技术方案达到：
本发明提供一种基于自监督学习与生成对抗机制的人脸表情迁移方法，在只有演说者人脸视频数据的前提下，能够学习到使用目标视频内的表情与姿态来驱动源图像中的人脸；该生成方法包括：人脸身份与姿态自监督解耦网络设计步骤、生成对抗网络条件生成网络设计步骤、模型训练步骤以及整体框架预测步骤；人脸身份与姿态自监督解耦训练步骤使用一个多帧的形变自编码器来融合来自同一个视频序列的不同帧的人脸信息，并估计出能够代表身份的人脸图像，该图像通常趋向于正面人脸，与姿态无关且保持身份信息；同时使用一个多尺度的自编码器来捕捉同一视频序列中的每一帧的全局形变信息，通过重建图像来学习每一帧的姿态信息；生成对抗网络条件生成训练步骤使用一组生成对抗网络，支持条件输入的生成器g从源视频得到身份图像为输入，并以目标视频的姿态信息为条件，进行有条件的图像生成，多尺度的判别器d则根据生成图像与真实图像进行判别；模型训练步骤主要是利用已构建的数据集对所设计的网络进行训练，进而获得网络权重；整体框架预测步骤主要是由人脸身份自编码器提取身份图像，人脸姿态自编码器提取目标人脸姿态表示，生成对抗网络根据这两者生成带有迁移表情的人脸图像。
具体的，操作步骤如下：
s1、人脸身份与姿态自监督解耦网络设计步骤，主要是致力于通过网络学习到能代表这两者的相互独立的特征；该步骤中包含了一个多帧的人脸身份自编码器f来提取人脸身份，融合多张人脸图像生成对应人脸的身份图像
s2、生成对抗网络设计步骤，主要是致力于生成高质量的既保留源图像身份又保持目标视频姿态与表情的人脸图像；该步骤包含了一个带有条件的生成器g以人脸身份自编码器f生成的身份图像
s3、模型训练步骤，利用s1与s2中得到的人脸身份与姿态自监督解耦网络与生成对抗网络，以大规模、多模态的图像为输入，通过训练策略优化人脸身份自编码器f、人脸姿态自编码器p、支持条件输入的生成器g与多尺度的判别器d共4个网络，对输入图像进行重建，并将重建结果与输入图像进行判别，对网络模型进行优化与约束；
s4、整体框架预测步骤，给定一张提供人脸身份信息的源图像或视频与一张提供人脸姿态信息的目标图像或视频，由人脸身份自编码器f提取身份图像
进一步地，步骤s1中，对人脸信息进行自监督解耦，分为人脸身份信息与人脸姿态信息两类；
步骤s1过程如下：
s11、本发明设计了人脸身份自编码器f，其接受多帧图像序列
对人脸身份图像的融合步骤具体如下：
s11a)、人脸身份自编码器f接受多帧图像序列
s11b)、得到位移场t后，将输入图像
s11c)、自编码器预测得到的注意力响应图a则主要用于表示在后续融合过程中的相对重要性，与形变图像fit点乘后得到该帧对应的身份图像候选
s11d)、人脸身份自编码器f将输入每一帧对应的身份图像候选
s12、本发明设计了人脸姿态自编码器p，其任务是以一帧图像
对人脸图像的中姿态信息的提取与重建步骤具体如下：
s12a)、该自编码器p先将输入图像进行编码，得到姿态特征
s12b)、身份图像
s12c)、低分辨率的重建图像经过差值扩大一倍后，与残差响应图rl相加，得到h/2×w/2分辨率的图像。
s12d)、该图像再与残差响应图rh进行上述操作，最终得到全尺寸h×w的重建图像
进一步地，所述的s2步骤中，所述的用以生成人脸表情迁移图像的生成对抗网络包含了支持条件输入的生成器g与多尺度的判别器d两个网络。
步骤s2过程如下：
s21、本发明设计了一个支持条件输入的生成器g，将来自人脸身份自编码器f的身份图像
对表情迁移图像生成步骤具体如下：
s21a)、将来自人脸身份自编码器f的身份图像
s21b)、将编码表示送入中间部分gmid与上采样部分gup，并将与来自人脸姿态自编码器p的姿态特征
s22、本发明设计了一个多尺度的判别器d，使用了3个判别器d1、d2与d3，分别对应输入空间尺寸h×w、h/2×w/2与h/4×w/4；这些子判别器除了输入图像尺寸有所区别之外，其网络结构均相同；生成图像与真实图像首先在通道维度上进行连接，而后缩放到3个尺度上并送入对应的子判别器；子判别器则分别从不同尺度对输入图像进行判别，分辨真假；虽然3个子判别器的网络结构相同，但是d3由于其拥有最大的感受野，所以更倾向于捕捉全局的特征，并激励支持条件输入的生成器g生成在全局上与真实图像相同的生成图像；d1由于其拥有最小的感受野，所以更倾向于局部的细节，并激励支持条件输入的生成器g生成在细节上与真实图像相似的生成图像。
进一步地，所述的s3步骤中，模型训练通过优化网络损失函数，实现模型的收敛。其中，网络损失函数设计过程如下：
s31、使用图像重建与平滑损失约束人脸身份自编码器f与人脸姿态自编码器p，具体表示如下：
s31a)、图像重建损失使用l1距离度量真值图像
s31b)、图像平滑损失使用总变差正则化，限制位移场t与t-1中在横向与纵向上的梯度变化，
整个人脸特征自监督解耦网络的损失函数如下：
s32、使用对抗损失、图像重建损失与特征匹配损失约束生成对抗网络中的支持条件输入的生成器g与多尺度的判别器d，具体表示如下：
s32a)、对抗损失使用hinge形式，多尺度的判别器d的损失
s32b)、图像重建损失使用l1距离度量作为真值的输入图像
s32c)、特征匹配损失使用l1距离度量真值图像
整个人脸特征自监督解耦网络的损失函数如下：
网络训练步骤具体如下：
s33、首先使用大量的视频序列初始化人脸特征自监督解耦的两个网络人脸身份自编码器f与人脸姿态自编码器p，使其具备解耦人脸身份与人脸姿态的能力。
s34、其次，固定人脸特征自监督解耦网络的参数，将来自人脸身份自编码器f的身份图像
s35、最后，通过对4个网络f、p、g、d进行联合训练，优化所有损失函数，实现网络模型的收敛，获得生成人脸表情迁移图像的网络结构与权重。
本发明相对于现有技术，具有如下的优点及效果：
本发明将自监督学习与生成对抗机制应用到人脸表情与姿态迁移任务中，通过自监督方法解耦视频帧序列中的人脸身份与姿态信息，而无需使用有标注的数据集；同时使用生成对抗网络融合来自不同个体的身份与姿态信息并合成高质量人脸，实现人脸表情与姿态在个体间的迁移。
附图说明
图1是本发明实施例中整体网络框架示意图；
图2是本发明实施例中效果图，第一列为提供身份信息的源图像，第一行为提供姿态信息的驱动图像，中间为被驱动的人脸表情迁移图像；
图3是本发明实施例中人脸身份自编码器f结构示意图；
图4是本发明实施例中人脸姿态自编码器p结构示意图；
图5是本发明实施例中支持条件输入的生成器g结构示意图；
图6是本发明实施例中多尺度的判别器d结构示意图。
具体实施方式
本发明实施例提供的方案中，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。
实施例
本发明实施例公开了具体涉及一种基于自监督学习与生成对抗机制的人脸表情迁移方法，主要涉及以下几类技术：1)人脸身份与姿态自监督解耦网络：利用大规模无标注视频数据集与自监督学习方法，解耦人脸身份与姿态特征；2)含有条件的生成对抗网络：利用解耦后的身份信息与姿态信息，在同一个体内进行图像重建，或者在不同个体间进行表情迁移；3)模型训练；4)整体框架预测步骤。
本发明实施例公开的一种基于自监督学习与生成对抗机制的人脸表情迁移方法，方法流程图如图1所示，主要过程包括模型训练和模型推断两个阶段。
在模型训练阶段：利用具有高计算能力的服务器对网络模型进行训练，通过降低网络损失函数来优化网络参数，直至网络收敛，获得基于自监督学习与生成对抗机制的人脸表情与姿态迁移网络权重；
在模型推断阶段：利用两个自编码器获得源图像的身份信息与目标图像的姿态信息，并送入生成对抗网络之中进行生成，得到表情迁移图像，如图2所示。
以下结合说明书附图对本发明实施例所提供的一种人脸表情迁移方法做进一步详细的说明，该方法具体实现方式可以包括以下步骤：
步骤1、整个自监督人脸信息解耦网络主要包含了两个子网络，分别对应人脸身份与人脸姿态。图3是人脸身份自编码器f的具体网络结构，图4是人脸姿态自编码器p的具体网络结构。该人脸信息解耦网络的具体实现方式可以包括以下处理步骤：
步骤101、人脸身份自编码器f接受nview张3通道rgb彩色图像
人脸身份自编码器f自身是一个u形的自编码器网络，其先对输入进行逐层的下采样，得到中间表示，而后对中间表示进行相同层数的上采样操作，最终进行输出。具体地，下采样部分被称为编码器，上采样部分被称为解码器。这两个部分各有8个卷积模块，编码器中的卷积模块是“激活函数-卷积-归一化”的结构，解码器中的卷积模块是“激活函数-差值上采样-卷积-归一化”的结构。每个卷积模块中，激活函数使用relu函数，卷积核大小为4×4，步长为1，填充为1，归一化使用批归一化操作。同时，其网络有跳跃-连接结构，编码器中的各个卷积模块的输出，将会输入到解码器中对应层级的卷积模块的输入中。在最后一层，人脸身份自编码器f输出一个位移场t∈rh×w×2与一个注意力响应图a∈rh×w×1，通过位移场t将输入图像
人脸身份自编码器f从输入生成得到每一帧的身份图像候选
步骤102、人脸姿态自编码器p接受1张3通道rgb彩色图像
人脸姿态自编码器p的姿态特征
重建图像可表示为
步骤2、整个含有条件的生成对抗网络主要包含了两个子网络，分别是支持条件输入的生成器g与多尺度的判别器d。图5是支持条件输入的生成器g的具体网络结构，图6是多尺度的判别器d的具体网络结构。
该含有条件的生成对抗网络的具体实现方式可以包括以下处理步骤：
步骤201、支持条件输入的生成器g由下采样部分gdown、中间部分gmid与上采样部分gup组成。下采样部分gdown由4个普通的残差网络模块组成，每个残差网络模块的主干路径是“卷积-归一化-激活函数-卷积-归一化”的结构，其中卷积的卷积核大小为3×3，步长为1，填充为1；激活函数为relu；归一化方法为批归一化。中间部分gmid与上采样部分gup使用预激活顺序的条件残差网络模块，该模块的主干路径为“条件归一化-激活函数-卷积-条件归一化-激活函数-卷积”的结构，其中条件归一化方法使用自适应实例归一化层实现，全连接层的隐藏维度为256。其中卷积的卷积核大小为3×3，步长为1，填充为1；激活函数为relu。中间部分gmid使用了9个条件残差网络模块；上采样部分gup使用了4个条件残差网络模块，并在此基础上增加了额外的差值上采样层。
支持条件输入的生成器g网络的输入为3通道rgb彩色的身份图像
步骤202、多尺度的判别器d所使用的三个子判别器，除了输入图像大小不同之外，其余网络结构均相同。该结构使用了5个卷积模块，每个模块是“卷积-归一化-激活函数”的结构。其中卷积的卷积核大小为3×3，步长为1，填充为1；激活函数为relu；归一化方法为批归一化。
多尺度的判别器d网络的输入为3通道rgb彩色的生成与真实图像，终得到输入图像真假的判别结果。
步骤3、模型训练，是在高性能的gpus集群上进行的；学习率初始为0.001，后线性下降；优化器选用adam方法，参数为0.9/0.9999；训练轮数数量总计为50；批尺寸为48组图像。
训练过程中，自监督人脸信息解耦网络的总损失函数为
含有条件的生成对抗网络的总损失函数为lgan＝ladv λrlr λfmlfm，其中ladv代指对抗损失函数，且lr与lfm均取1。生成对抗网络采用双时间尺度更新法则，多尺度的判别器d的学习率设置为支持条件输入的生成器g的4倍，为0.004；在同一次迭代中，先更新的学习率设置为支持条件输入的生成器g，后更新多尺度的判别器d，每一次迭代均更新两者的参数。
训练过程中，先使用lemb来初始化自监督人脸信息解耦网络，进行30轮；而后固定自监督人脸信息解耦网络的参数，使用lgan初始化含有条件的生成对抗网络，进行1轮；最后同时使用lemb与lgan，针对4个网络f、p、g、d进行联合训练，直至其收敛。
步骤4、模型推断，通过人脸身份自编码器f提取源图像的身份图像
特别地，本发明提出的一种基于自监督学习与生成对抗机制的人脸表情迁移方法，在仅给定少量源图像数据样本(如1张)的情况下，仍能通过支持条件输入的生成器g补全其缺失信息，生成高质量的人脸表情迁移图像
上述实施例是本发明较佳的实施方式，但是本发明的实施方式不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
1.一种基于自监督学习与生成对抗机制的人脸表情迁移方法，其特征在于，包括下列步骤：
s1、人脸身份与姿态自监督解耦网络设计步骤，主要是致力于通过网络学习到能代表这两者的相互独立的特征；该步骤中包含了一个多帧的人脸身份自编码器f来提取人脸身份，融合多张人脸图像生成对应人脸的身份图像
s2、生成对抗网络设计步骤，主要是致力于生成高质量的既保留源图像身份又保持目标视频姿态与表情的人脸图像；该步骤包含了一个支持条件输入的生成器g以人脸身份自编码器f生成的身份图像
s3、模型训练步骤，利用s1与s2中得到的人脸身份与姿态自监督解耦网络与生成对抗网络，以大规模、多模态的图像为输入，通过训练策略优化人脸身份自编码器f、人脸姿态自编码器p、支持条件输入的生成器g与多尺度的判别器d共4个网络，对输入图像进行重建，并将重建结果与输入图像进行判别，对网络模型进行优化与约束；
s4、整体框架预测步骤，给定一张提供人脸身份信息的源图像或视频与一张提供人脸姿态信息的目标图像或视频，由人脸身份自编码器f提取身份图像
2.根据权利要求1所述的一种基于自监督学习与生成对抗机制的人脸表情迁移方法，其特征在于，所述的人脸身份自编码器f，其接受多帧图像序列
人脸身份自编码器f接受多帧图像序列
得到位移场t后，将输入图像
自编码器预测得到的注意力响应图a则主要用于表示在后续融合过程中的相对重要性，与形变图像fit点乘后得到该帧对应的身份图像候选
人脸身份自编码器f将输入每一帧对应的身份图像候选
3.根据权利要求1所述的一种基于自监督学习与生成对抗机制的人脸表情迁移方法，其特征在于，所述的人脸姿态自编码器p，其任务是以一帧图像
该自编码器p先将输入图像进行编码，得到姿态特征
身份图像
4.根据权利要求1所述的一种基于自监督学习与生成对抗机制的人脸表情迁移方法，其特征在于，所述的用以生成人脸表情迁移图像的生成对抗网络包含了支持条件输入的生成器g与多尺度的判别器d两个网络；
一个支持条件输入的生成器g，将来自人脸身份自编码器f的身份图像
其将来自人脸身份自编码器f的身份图像
将编码表示送入中间部分gmid与上采样部分gup，并将与来自人脸姿态自编码器p的姿态特征
一个多尺度的判别器d，使用了3个子判别器d1、d2与d3，分别对应输入空间尺寸h×w、h/2×w/2与h/4×w/4；这些子判别器除了输入图像尺寸有所区别之外，其网络结构均相同；生成图像与真实图像首先在通道维度上进行连接，而后缩放到3个尺度上并送入对应的子判别器；子判别器则分别从不同尺度对输入图像进行判别，分辨真假；虽然3个子判别器的网络结构相同，但是d3由于其拥有最大的感受野，所以更倾向于捕捉全局的特征，并激励支持条件输入的生成器g生成在全局上与真实图像相同的生成图像；d1由于其拥有最小的感受野，所以更倾向于局部的细节，并激励支持条件输入的生成器g生成在细节上与真实图像相似的生成图像。
5.根据权利要求1所述的一种基于自监督学习与生成对抗机制的人脸表情迁移方法，其特征在于，模型训练步骤通过优化网络损失函数，实现模型的收敛；
使用图像重建与平滑损失约束人脸身份自编码器f与人脸姿态自编码器p；图像重建损失使用l1距离度量作为真值的输入图像
使用对抗损失、图像重建损失与特征匹配损失约束生成对抗网络中的支持条件输入的生成器g与多尺度的判别器d；对抗损失使用hinge形式，多尺度的判别器d的损失
6.根据权利要求1所述的一种基于自监督学习与生成对抗机制的人脸表情迁移方法，其特征在于，s3步骤的网络训练流程如下：
首先使用大量的视频序列初始化人脸特征自监督解耦的两个网络人脸身份自编码器f与人脸姿态自编码器p，使其具备解耦人脸身份与人脸姿态的能力；
其次，固定人脸特征自监督解耦网络的参数，将来自人脸身份自编码器f的身份图像
最后，通过对f、p、g、d的4个网络进行联合训练，优化所有损失函数，实现网络模型的收敛，获得生成人脸表情迁移图像的网络结构与权重。
技术总结