本发明涉及图像复原处理技术领域，具体为一种基于多引导图和自适应特征融合的人脸图像复原系统。
背景技术：
人脸图像复原目的是从一幅低质量人脸图像(模糊、低分辨率、压缩严重、噪声多等常见低质量)复原出高质量人脸图像。低质量人脸图像通常由于拍摄年代久远、拍摄设备受限、在存储过程中存在的失真，不可避免的会降低人脸图像质量。随着技术的发展，人们越来越追求高视觉质量的多媒体信息，例如2k和4k视频。因此，如何把低质量人脸图像复原为高质量的图像，一直都是学者们研究的热点。
近年来，随着深度学习的进一步发展，图像复原也逐渐获得突破性的进展。学者们将卷积神经网络应用到不同的单一复原任务中，例如超分辨，去燥，去模糊等操作中，也同样获得了实际性进展。然而，真实的低质量图像由于其未知退化类型，因此，现有的方法无法对其进行有效复原和增强，往往无法取得较理想的增强效果。
现有的基于正面引导图的人脸复原工作，对于每一个人只取一张正面图像作为引导信息，无法适应到在真实的人脸复原工作中。人脸由于多样性，具有不同的姿态、表情以及光照影响，单一的引导图无法适应于真实人脸复原场景中。
此外，通过简单地将引导图与退化图特征串联，无法有效发挥出引导图作用。退化图需要有效的根据退化图的退化程度，从而提供相应的特征。
技术实现要素：
本发明的目的是：针对现有技术中无法有效的复原真实低质量图像的问题，提出一种基于多引导图和自适应特征融合的人脸图像复原系统。
本发明为了解决上述技术问题采取的技术方案是：
基于多引导图和自适应特征融合的人脸图像复原系统，所述系统包括最优引导图选择模块、最优引导图特征提取模块、退化图特征提取模块、退化图人脸关键点特征提取模块、最优引导图特征姿态纠正模块、光照分布纠正模块、逐级自适应特征融合模块和复原结果重建模块，
所述最优引导图选择模块通过计算退化图和引导图之间人脸关键点的优化加权仿射变换距离，在多个引导图中选择出对于退化图具有最相似表情和姿态的最优引导图；
所述最优引导图特征提取模块用于提取最优引导图的特征；
所述退化图特征提取模块用于提取退化图的特征；
所述退化图人脸关键点特征提取模块用于根据退化图的关键点获得人脸面部关键点特征，其中，退化图的关键点通过人脸关键点检测算法对退化图进行关键点检测得到；
所述最优引导图特征姿态纠正模块通过计算人脸面部关键点特征以及最优引导图关键点之间的移动最小二乘获得形变向量，将最优引导图形变到退化图姿态和表情上，获得形变后最优引导图，其中，最优引导图关键点通过人脸关键点检测算法对最优引导图进行关键点检测得到；
所述光照分布纠正模块用于将形变后的最优引导图的特征与退化图的特征进行自适应的实例归一化操作，获得最终引导图的特征；
所述逐级自适应特征融合模块用于将最终引导图的特征动态自适应且逐级的加入到退化图的特征中，获得增强后的退化图的特征；
所述复原结果重建模块用于将增强后的退化图的特征经过多层神经网络输出复原人脸图。
进一步的，所述最优引导图特征提取模块包含m1个空洞卷积残差单元，所述退化图特征提取模块包含m2个空洞卷积残差单元、所述退化图人脸关键点特征提取模块包含m3个无偏差卷积层，所述逐级自适应特征融合模块包含m4个自适应特征融合单元、所述复原结果重建模块中多层神经网络为m5个空洞卷积残差单元，其中，m1、m2、m3、m4、m5均大于或等于1。
进一步的，所述引导图包含n张不同姿态、表情和光照的同一身份高清人脸图像，n大于或等于1。
进一步的，所述最优引导图选择模块执行如下步骤：
首先采用基于人脸关键点相似性的优化的加权最小二乘模块，所述加权最小二乘模块执行如下步骤：首先从n张引导图中选择出与退化图具有最相似的姿态和表情，然后采用人脸关键点检测算法，检测出每张引导图p个关键点，lp＝(xp，yp)表示人脸关键点的第p个关键点横轴和纵轴坐标，将退化图的关键点定义为ld，对于该退化图对应的所有引导图中，第m个引导图的关键点定义为
其中k*表示从n个引导图中选择出来的最优的引导图序号；
a表示仿射变换矩阵；
wm表示第m个关键点的权重；
给定一个退化图和引导图，闭合解为：
其中w＝diag(w)是关键点权重w的对角矩阵；
利用网络梯度反向传播算法更新权重w，定义如下：
对w求导更新整个权重，获得最优引导图。
进一步的，所述最优引导图特征提取模块中空洞卷积残差单元为3个，所述最优引导图特征提取模块执行如下步骤；
输入选择的最优引导图；
最优引导图特征提取模块包含卷积层c1、卷积层c2、卷积层c3、卷积层c4、空洞卷积单元d1、空洞卷积单元d2和空洞卷积单元d3；
卷积层c1用于对最优引导图进行第一卷积操作和激活操作；
空洞卷积残差单元d1用于对卷积层c1的输出进行第一空洞卷积操作、激活操作、残差操作、第二空洞卷积操作、激活操作和残差操作；
卷积层c2用于空洞卷积残差单元d1的输出依次进行第二卷积操作、归一化操作和激活操作；
空洞卷积残差单元d2用于对卷积层c2的输出进行第三空洞卷积操作、激活操作、残差操作、第四空洞卷积操作、激活操作和残差操作；
卷积层c3用于空洞卷积残差单元d2的输出依次进行第三卷积操作、归一化操作和激活操作；
空洞卷积残差单元d3用于对卷积层c3的输出进行第五空洞卷积操作、激活操作、残差操作、第六空洞卷积操作、激活操作和残差操作；
卷积层c4用于对空洞卷积残差单元d3的输出依次进行第四卷积操作和激活操作；
卷积层c4的输出为最优引导图特征；
其中，激活操作采用lrelu函数，归一化操作均采用batchnorm，
第一卷积操作为64个3*3，步长为1的卷积操作；
第一空洞卷积操作为64个3*3，步长为1，空洞率为7的空洞卷积操作；
第二空洞卷积操作为64个3*3，步长为1，空洞率为5的空洞卷积操作；
第二卷积操作为128个3*3，步长为2的卷积操作；
第三空洞卷积操作为128个3*3，步长为1，空洞率为5的空洞卷积操作；
第四空洞卷积操作为128个3*3，步长为1，空洞率为3的空洞卷积操作；
第三卷积操作为128个3*3，步长为2的卷积操作；
第五空洞卷积操作为128个3*3，步长为1，空洞率为3的空洞卷积操作；
第六空洞卷积操作为128个3*3，步长为1，空洞率为1的空洞卷积操作；
第四卷积操作为128个3*3，步长为1的卷积操作。
进一步的，所述退化图特征提取模块中空洞卷积残差单元为3个，其执行如下步骤：
输入退化图；
退化图特征提取模块包含卷积层c5、卷积层c6、卷积层c7、卷积层c8、空洞卷积残差单元d4、空洞卷积残差单元d5和空洞卷积残差单元d6；
卷积层c5用于对退化图进行第一卷积操作和激活操作；
空洞卷积残差单元d4用于对卷积层c5的输出进行第一空洞卷积操作、激活操作、残差操作、第二空洞卷积操作、激活操作和残差操作；
卷积层c6用于空洞卷积残差单元d4的输出依次进行第二卷积操作、归一化操作和激活操作；
空洞卷积残差单元d5用于对卷积层c6的输出进行第三空洞卷积操作、激活操作、残差操作、第四空洞卷积操作、激活操作和残差操作；
卷积层c7用于空洞卷积残差单元d5的输出依次进行第三卷积操作、归一化操作和激活操作；
空洞卷积残差单元d6用于对卷积层c7的输出进行第五空洞卷积操作、激活操作、残差操作、第六空洞卷积操作、激活操作和残差操作；
卷积层c8用于对空洞卷积残差单元d6的输出依次进行第四卷积操作、激活操作；
卷积层c8的输出为退化图的特征；
其中，激活操作采用lrelu函数，归一化操作均采用batchnorm，
第一卷积操作为64个3*3，步长为1的卷积操作；
第一空洞卷积操作为64个3*3，步长为1，空洞率为7的空洞卷积操作；
第二空洞卷积操作为64个3*3，步长为1，空洞率为5的空洞卷积操作；
第二卷积操作为128个3*3，步长为2的卷积操作；
第三空洞卷积操作为128个3*3，步长为1，空洞率为5的空洞卷积操作；
第四空洞卷积操作为128个3*3，步长为1，空洞率为3的空洞卷积操作；
第三卷积操作为128个3*3，步长为2的卷积操作；
第五空洞卷积操作为128个3*3，步长为1，空洞率为3的空洞卷积操作；
第六空洞卷积操作为128个3*3，步长为1，空洞率为1的空洞卷积操作；
第四卷积操作为128个3*3，步长为1的卷积操作
进一步的，所述退化图人脸关键点特征提取模块中无偏差卷积层为10个，其执行如下步骤：
输入退化图人脸关键点；
退化图人脸关键点特征提取模块包含卷积层c9、卷积层c10、卷积层c11、卷积层c12、卷积层c13、卷积层c14、卷积层c15、卷积层c16、卷积层c17和卷积层c18；
卷积层c9用于对退化图人脸关键点图进行第一卷积操作和激活操作；
卷积层c10用于对c9的输出进行第二卷积操作和激活操作；
卷积层c11用于对c10的输出进行第三卷积操作和激活操作；
卷积层c12用于对c11的输出进行第四卷积操作和激活操作；
卷积层c13用于对c12的输出进行第五卷积操作和激活操作；
卷积层c14用于对c13的输出进行第六卷积操作和激活操作；
卷积层c15用于对c14的输出进行第七卷积操作和激活操作；
卷积层c16用于对c15的输出进行第八卷积操作和激活操作；
卷积层c17用于对c16的输出进行第九卷积操作和激活操作；
卷积层c18用于对c17的输出进行第十卷积操作和激活操作；
卷积层c18的输出为退化图人脸关键点特征；
激活操作采用lrelu函数，
第一卷积操作为64个9*9，步长为2，偏执为0的卷积操作；
第二卷积操作为64个3*3，步长为1，偏执为0的卷积操作；
第三卷积操作为64个7*7，步长为1，偏执为0的卷积操作；
第四卷积操作为128个3*3，步长为1，偏执为0的卷积操作；
第五卷积操作为128个5*5，步长为2，偏执为0的卷积操作；
第六卷积操作到第十卷积操作为128个3*3、步长为1，偏执为0的卷积操作。
进一步的，所述最优引导图特征姿态纠正模块执行如下步骤：
输入最优引导图的特征、最优引导图人脸关键点、退化图人脸关键点；
定义最优引导图特征为fg，最优引导图的人脸关键点为lg，退化图的人脸关键点为ld，；利用移动的最小二乘形变方法，每个点的仿射变换矩阵为：
其中：
根据仿射变换矩阵，通过双线性插值方式，获得的形变最优引导图特征为：
进一步的，所述光照分布纠正模块执行如下步骤：
输入形变后最优引导图的特征、退化图的特征，
将形变后引导图通过自适应的实例归一化，将形变后引导图光照进一步与退化图分布一致，公式为：
其中，
fd为退化图特征；
fgw为形变后最优引导图特征；
σ(·)表示沿着特征图的空间通道位置的均值；
μ(·)表示沿着特征图的空间通道位置的标准差，
输出为光照纠正后的最终引导图的特征。
进一步的，所述自适应特征融合单元为4个，包括自适应特征融合单元p1、p2、p3和p4，其执行如下步骤：
输入最终引导图特征、退化图特征、退化图人脸关键点特征，
p1特征融合时：
卷积层c19用于对退化图特征进行第一次卷积操作，进一步特征提取；
卷积层c20用于对最终引导图特征进行第二次卷积操作，进一步特征提取；
卷积层c21用于对人脸关键点特征进行第三次卷积操作，进一步特征提取；
串联层t1将卷积层c19、c20和c21的输出进行特征串联；
卷积层c22对t1的输出进行第四次卷积操作、激活操作；
卷积层c23对c22的输出进行第五次卷积操作、激活操作；
卷积层c24对退化图特征进行第六次卷积、激活操作；
卷积层c25对c24的输出进行第七次卷积、激活操作；
卷积层c26对最终引导图特征进行第八次卷积、激活操作；
卷积层c27对c26的输出进行第九次卷积、激活操作；
残差层j1对c25层的输出与c27层的输出进行相减操作；
尺度层将j1的输出与c23层的输出进行相乘操作；
复原层f1将尺度层j1的输出与退化图特征相加，输出第p1级增强特征；
第一到第三卷积操作均为64个1*1，步长为1的卷积操作；
第四到七卷积操作为128个3*3，步长为1的卷积操作；
第八到九卷积操作为128个1*1，步长为1的卷积操作；
p2特征融合时：
卷积层c28用于对p1增强后退化图特征进行第一次卷积操作，进一步特征提取；
卷积层c29用于对最终引导图特征进行第二次卷积操作，进一步特征提取；
卷积层c30用于对人脸关键点特征进行第三次卷积操作，进一步特征提取；
串联层t2将卷积层c28、c29和c30的输出进行特征串联；
卷积层c31对t2的输出进行第四次卷积操作、激活操作；
卷积层c32对c31的输出进行第五次卷积操作、激活操作；
卷积层c33对退化图特征进行第六次卷积、激活操作；
卷积层c34对c33的输出进行第七次卷积、激活操作；
卷积层c35对p1增强后退化图特征进行第八次卷积、激活操作；
卷积层c36对c35的输出进行第九次卷积、激活操作；
残差层j2对c34层的输出与c36层的输出进行相减操作；
尺度层将j2的输出与c32层的输出进行相乘操作；
复原层f2将尺度层j2的输出与退化图特征相加，输出第p2级增强特征；
第一到第三卷积操作均为64个1*1，步长为1的卷积操作；
第四到七卷积操作为128个3*3，步长为1的卷积操作；
第八到九卷积操作为128个1*1，步长为1的卷积操作；
p3特征融合时：
卷积层c37用于对p2增强后退化图特征进行第一次卷积操作，进一步特征提取；
卷积层c38用于对最终引导图特征进行第二次卷积操作，进一步特征提取；
卷积层c39用于对人脸关键点特征进行第三次卷积操作，进一步特征提取；
串联层t3将卷积层c37、c38和c39的输出进行特征串联；
卷积层c40对t3的输出进行第四次卷积操作、激活操作；
卷积层c41对c40的输出进行第五次卷积操作、激活操作；
卷积层c42对退化图特征进行第六次卷积、激活操作；
卷积层c43对c44的输出进行第七次卷积、激活操作；
卷积层c45对p1增强后退化图特征进行第八次卷积、激活操作；
卷积层c46对c45的输出进行第九次卷积、激活操作；
残差层j3对c43层的输出与c46层的输出进行相减操作；
尺度层将j3的输出与c41层的输出进行相乘操作；
复原层f3将尺度层j3的输出与退化图特征相加，输出第p3级增强特征；
第一到第三卷积操作均为64个1*1，步长为1的卷积操作；
第四到七卷积操作为128个3*3，步长为1的卷积操作；
第八到九卷积操作为128个1*1，步长为1的卷积操作；
p4特征融合时：
卷积层c47用于对p3增强后退化图特征进行第一次卷积操作，进一步特征提取；
卷积层c48用于对最终引导图特征进行第二次卷积操作，进一步特征提取；
卷积层c49用于对人脸关键点特征进行第三次卷积操作，进一步特征提取；
串联层t4将卷积层c47、c48和c49的输出进行特征串联；
卷积层c50对t4的输出进行第四次卷积操作、激活操作；
卷积层c51对c50的输出进行第五次卷积操作、激活操作；
卷积层c52对退化图特征进行第六次卷积、激活操作；
卷积层c53对c32的输出进行第七次卷积、激活操作；
卷积层c54对p1增强后退化图特征进行第八次卷积、激活操作；
卷积层c55对c54的输出进行第九次卷积、激活操作；
残差层j4对c53层的输出与c55层的输出进行相减操作；
尺度层将j4的输出与c51层的输出进行相乘操作；
复原层f4将尺度层j4的输出与退化图特征相加，输出第p4级增强特征；
第一到第三卷积操作均为64个1*1，步长为1的卷积操作；
第四到七卷积操作为128个3*3，步长为1的卷积操作；
第八到九卷积操作为128个1*1，步长为1的卷积操作；
最后输出多级自适应特征融合后的增强退化图特征。
进一步的，所述复原结果重建模块中空洞卷积残差单元为3个，其执行如下步骤
输入逐级增强后的退化图的特征，
特征重建模块包含卷积层c56、卷积层c57、卷积层c58、卷积层c59、空洞卷积残差单元d7、空洞卷积残差单元d8和空洞卷积残差单元d9；
卷积层c56用于逐级增强后的退化图特征进行第一卷积操作和激活操作；
空洞卷积残差单元d7用于对卷积层c56的输出进行第一空洞卷积操作、激活操作、残差操作、第二空洞卷积操作、激活操作、残差操作；
上采样层s1用于对d7的输出使用pixelshuffle，对特征进行上采样两倍；
卷积层c57用于上采样层s1的输出依次进行第二卷积操作、归一化操作和激活操作；
空洞卷积残差单元d8用于对卷积层c57的输出进行第三空洞卷积操作、激活操作、残差操作、第四空洞卷积操作、激活操作、残差操作；
上采样层s2用于对d8的输出使用pixelshuffle，对特征进行上采样两倍；
卷积层c58用于上采样层s1的输出依次进行第三卷积操作、归一化操作和激活操作；
空洞卷积残差单元d9用于对卷积层c58的输出进行第五空洞卷积操作、激活操作、残差操作、第六空洞卷积操作、激活操作、残差操作；
卷积层c59用于空洞卷积残差单元d9的输出进行第四卷积操作
输出激活操作将c59的输出进行最后一次激活操作；
输出激活操作的输出为最终复原结果；
激活操作采用lrelu函数，最后一次激活操作采用tanh，
第一卷积操作为256个3*3、步长为1的卷积操作；
第一空洞卷积操作为256个3*3，步长为1，空洞率为1的空洞卷积操作；
第二空洞卷积操作为256个3*3，步长为1，空洞率为1的空洞卷积操作；
第二卷积操作为128个3*3，步长为1的卷积操作；
第三空洞卷积操作为128个3*3，步长为1，空洞率为1的空洞卷积操作；
第四空洞卷积操作为128个3*3，步长为1，空洞率为1的空洞卷积操作；
第三卷积操作为64个3*3，步长为1的卷积操作；
第五空洞卷积操作为64个3*3，步长为1，空洞率为1的空洞卷积操作；
第六空洞卷积操作为64个3*3，步长为1，空洞率为1的空洞卷积操作；
第四卷积操作为32个3*3，步长为1的卷积操作。
进一步的，所述系统还包括训练网络，所述训练网络通过重建损失来约束整个网络学习，
所述重建损失包括复原后的人脸图像
所述像素空间损失的欧式距离损失定义为：
其中，c.h.w表示图像的通道数以及和宽度；
所述人脸识别网络的特征空间损失的欧式距离损失定义为：
式中，ψu为预先训练好人脸识别网络得到的第u层卷积特征，cu、hu和wu分别为输入的人脸图片在预先训练好的人脸识别网络得到的第u层卷积特征的通道数、高度和宽度，u属于[1,2,3,4]。
进一步的，所述训练网络还包括约束复原结果的特征分布与退化图像特征分布一致的步骤，该约束采用风格损失函数，具体方式为：
风格损失通过计算复原图像和未退化图像在人脸识别网络特征空间的gram矩阵，具体如下：
式中，cu、hu和wu分别为输入的人脸图片在预先训练好的人脸识别网络得到的第u层卷积特征的通道数、高度和宽度，u属于[1,2,3,4]。
进一步的，所述训练网络通过判别损失来约束人脸图像复原网络，具体方式为：
首先训练网络通过基于自注意力的判别网络来获得判别损失；
然后判别网络输出的特征进行hingeloss计算判别损失，
对于判别网络的学习，损失定义为：
对于生成网络在判别网络约束下的学习，损失定义为：
进一步的，所述训练网络采用adam优化算法对该图像复原的整体网络进行端对端的训练。
进一步的，所述退化图通过对高清人脸图像依次进行模糊、降采样、添加噪声和jpeg压缩处理得到，
其中，模糊处理采用高斯模糊和运动模糊，高斯模糊核标准差
降采样处理采用双三次降采样法，采样尺度s∈{1:0.1:s}；
添加噪声处理采用高斯白噪声，噪声水平n∈{0,1:0.1:n}；
jpeg压缩质量参数q∈{0,10:0.1:q}。
本发明的有益效果是：
本发明提出了多引导图的人脸复原算法，并提出了姿态纠正、光照纠正、逐级的自适应特征融合操作，最优引导图经过姿表情和光照纠正后，能够与退化的人脸具有高度的对齐度，能够为退化的人脸图像复原提供缺失的身份细节信息。因此，与现有基于卷积神经网络的人脸图像复原系统相比，本发明所述的基于多引导图和自适应特征融合的人脸图像复原系统能够有效地对低质量人脸图像进行增强，可以有效的复原真实低质量图像。
附图说明
图1为本发明人脸图像复原系统流程图。
具体实施方式
具体实施方式一：参照图1具体说明本实施方式，本实施方式所述的基于多引导图和自适应特征融合的人脸图像复原系统，所述系统包括最优引导图选择模块、最优引导图特征提取模块、退化图特征提取模块、退化图人脸关键点特征提取模块、最优引导图特征姿态纠正模块、光照分布纠正模块、逐级自适应特征融合模块和复原结果重建模块，
所述最优引导图选择模块通过计算退化图和引导图之间人脸关键点的优化加权仿射变换距离，在多个引导图中选择出对于退化图具有最相似表情和姿态的最优引导图；
所述最优引导图特征提取模块用于提取最优引导图的特征；
所述退化图特征提取模块用于提取退化图的特征；
所述退化图人脸关键点特征提取模块用于根据退化图的关键点获得人脸面部关键点特征，其中，退化图的关键点通过人脸关键点检测算法对退化图进行关键点检测得到；
所述最优引导图特征姿态纠正模块通过计算人脸面部关键点特征以及最优引导图关键点之间的移动最小二乘获得形变向量，将最优引导图形变到退化图姿态和表情上，获得形变后最优引导图，其中，最优引导图关键点通过人脸关键点检测算法对最优引导图进行关键点检测得到；
所述光照分布纠正模块用于将形变后的最优引导图的特征与退化图的特征进行自适应的实例归一化操作，获得最终引导图的特征；
所述逐级自适应特征融合模块用于将最终引导图的特征动态自适应且逐级的加入到退化图的特征中，获得增强后的退化图的特征；
所述复原结果重建模块用于将增强后的退化图的特征经过多层神经网络输出复原人脸图。
所述最优引导图特征提取模块包含m1个空洞卷积残差单元，所述退化图特征提取模块包含m2个空洞卷积残差单元、所述退化图人脸关键点特征提取模块包含m3个无偏差卷积层，所述逐级自适应特征融合模块包含m4个自适应特征融合单元、所述复原结果重建模块中多层神经网络为m5个空洞卷积残差单元，其中，m1、m2、m3、m4、m5均大于或等于1。
其中，所述退化图根据待复原图像的低质量图像得到。
人脸面部特征由引导图提供的是细节纹理，退化图提供的是粗纹理得到。
从n张引导图中选择出与退化图姿态和表情最接近的最优引导图。
作为优选的是n≥1。
采用基于人脸关键点相似性的优化的加权最小二乘模块，所述加权最小二乘模块执行如下步骤：首先从n张引导图中选择出与退化图具有最相似的姿态和表情，对于退化图和所有的引导图，首先采用人脸关键点检测算法，检测出每张人脸图的p个关键点，lp＝(xp，yp)表示人脸关键点的第p个关键点横轴和纵轴坐标，对于退化图的关键点定义为ld，对于该退化图对应的所有引导图中，第m个引导图的关键点定义为
其中k*表示从n个引导图中选择出来的最优的引导图序号；
a表示仿射变换矩阵；
wm表示第m个关键点的权重；
给定一个退化图和引导图，上述公式具有一个闭合解：
其中w＝diag(w)是关键点权重w的对角矩阵；
对于不同关键点权重，可以通过网络梯度的反向传播算法，更新权重w，定义如下：
通过对w求导即可更新整个权重w，从而实现优化的加权最小二乘算法来获得最优引导图。
作为优选的是，最优引导图特征提取模块，作为优选的是m1＝3；
输入选择的最优引导图；
最优引导图特征提取模块包含卷积层c1、卷积层c2、卷积层c3、卷积层c4、空洞卷积单元d1、空洞卷积单元d2和空洞卷积单元d3；卷积层c1用于对最优引导图进行第一卷积操作和激活操作；
空洞卷积残差单元d1用于对卷积层c1的输出进行第一空洞卷积操作、激活操作、残差操作、第二空洞卷积操作、激活操作和残差操作；
卷积层c2用于空洞卷积残差单元d1的输出依次进行第二卷积操作、归一化操作和激活操作；
空洞卷积残差单元d2用于对卷积层c2的输出进行第三空洞卷积操作、激活操作、残差操作、第四空洞卷积操作、激活操作和残差操作；
卷积层c3用于空洞卷积残差单元d2的输出依次进行第三卷积操作、归一化操作和激活操作；
空洞卷积残差单元d3用于对卷积层c3的输出进行第五空洞卷积操作、激活操作、残差操作、第六空洞卷积操作、激活操作和残差操作；
卷积层c4用于对空洞卷积残差单元d3的输出依次进行第四卷积操作和激活操作；
卷积层c4的输出为最优引导图特征；
其中，激活操作采用lrelu函数，归一化操作均采用batchnorm，
第一卷积操作为64个3*3、步长为1的卷积操作；
第一空洞卷积操作为64个3*3，步长为1，空洞率为7的空洞卷积操作；
第二空洞卷积操作为64个3*3，步长为1，空洞率为5的空洞卷积操作；
第二卷积操作为128个3*3，步长为2的卷积操作；
第三空洞卷积操作为128个3*3，步长为1，空洞率为5的空洞卷积操作；
第四空洞卷积操作为128个3*3，步长为1，空洞率为3的空洞卷积操作；
第三卷积操作为128个3*3，步长为2的卷积操作；
第五空洞卷积操作为128个3*3，步长为1，空洞率为3的空洞卷积操作；
第六空洞卷积操作为128个3*3，步长为1，空洞率为1的空洞卷积操作；
第四卷积操作为128个3*3，步长为1的卷积操作。
作为优选的是，退化图特征提取模块，作为优选的是m2＝3；
输入退化图；
退化图特征提取模块包含卷积层c5、卷积层c6、卷积层c7、卷积层c8、空洞卷积残差单元d4、空洞卷积残差单元d5和空洞卷积残差单元d6；卷积层c5用于对退化图进行第一卷积操作和激活操作；
空洞卷积残差残差块d4用于对卷积层c5的输出进行第一空洞卷积操作、激活操作、残差操作、第二空洞卷积操作、激活操作和残差操作；
卷积层c6用于空洞卷积残差残差块d4的输出依次进行第二卷积操作、归一化操作和激活操作；
空洞卷积残差残差块d5用于对卷积层c6的输出进行第三空洞卷积操作、激活操作、残差操作、第四空洞卷积操作、激活操作和残差操作；
卷积层c7用于空洞卷积残差残差块d5的输出依次进行第三卷积操作、归一化操作和激活操作；
空洞卷积残差残差块d6用于对卷积层c7的输出进行第五空洞卷积操作、激活操作、残差操作、第六空洞卷积操作、激活操作和残差操作；
卷积层c8用于对空洞卷积残差块d6的输出依次进行第四卷积操作、激活操作；
卷积层c8的输出为退化图特征；
其中，激活操作采用lrelu函数，归一化操作均采用batchnorm，
第一卷积操作为64个3*3、步长为1的卷积操作；
第一空洞卷积操作为64个3*3，步长为1，空洞率为7的空洞卷积操作；
第二空洞卷积操作为64个3*3，步长为1，空洞率为5的空洞卷积操作；
第二卷积操作为128个3*3，步长为2的卷积操作；
第三空洞卷积操作为128个3*3，步长为1，空洞率为5的空洞卷积操作；
第四空洞卷积操作为128个3*3，步长为1，空洞率为3的空洞卷积操作；
第三卷积操作为128个3*3，步长为2的卷积操作；
第五空洞卷积操作为128个3*3，步长为1，空洞率为3的空洞卷积操作；
第六空洞卷积操作为128个3*3，步长为1，空洞率为1的空洞卷积操作；
第四卷积操作为128个3*3，步长为1的卷积操作。
作为优选的是，退化图人脸关键点特征提取模块，作为优选的是m3＝10；
输入退化图人脸关键点图；
退化图人脸关键点特征提取模块包含卷积层c9、卷积层c10、卷积层c11、卷积层c12、卷积层c13、卷积层c14、卷积层c15、卷积层c16、卷积层c17和卷积层c18；
卷积层c9用于对退化图人脸关键点图进行第一卷积操作和激活操作；
卷积层c10用于对退化图人脸关键点图进行第二卷积操作和激活操作；
卷积层c11用于对退化图人脸关键点图进行第三卷积操作和激活操作；
卷积层c12用于对退化图人脸关键点图进行第四卷积操作和激活操作；
卷积层c13用于对退化图人脸关键点图进行第五卷积操作和激活操作；
卷积层c14用于对退化图人脸关键点图进行第六卷积操作和激活操作；
卷积层c15用于对退化图人脸关键点图进行第七卷积操作和激活操作；
卷积层c16用于对退化图人脸关键点图进行第八卷积操作和激活操作；
卷积层c17用于对退化图人脸关键点图进行第九卷积操作和激活操作；
卷积层c18用于对退化图人脸关键点图进行第十卷积操作和激活操作；
卷积层c18的输出为退化图人脸关键点特征；
激活操作采用lrelu函数，
第一卷积操作为64个9*9、步长为2，偏执为0的卷积操作；
第二卷积操作为64个3*3、步长为1，偏执为0的卷积操作；
第三卷积操作为64个7*7、步长为1，偏执为0的卷积操作；
第四卷积操作为128个3*3、步长为1，偏执为0的卷积操作；
第五卷积操作为128个5*5、步长为2，偏执为0的卷积操作；
第六卷积操作到第十卷积操作为128个3*3、步长为1，偏执为0的卷积操作。
作为优选的是，最优引导图特征姿态纠正操作。
输入为最优引导图特征、最优引导图人脸关键点、退化图人脸关键点；
定义最优引导图特征为fg，最优引导图的人脸关键点为lg，退化图的人脸关键点为ld，通过移动的最小二乘形变方法，每个点的仿射变换矩阵为：
其中：
根据仿射变换矩阵，通过双线性插值方式，获得的形变最优引导图特征为：
n为4近邻点。上述公式对于卷积神经网络是可导的，所以退化图特征提取阶段可以通过反向传播将梯度传递到特征提取模块。
输出为形变后最优引导图特征。
作为优选的是，形变最优引导图特征光照纠正操作：
输入为形变后最优引导图特征、退化图特征。
将形变后引导图通过自适应的实例归一化，将形变后引导图光照进一步与退化图分布一致：
其中，
fd为退化图特征；
fg，w为形变后最优引导图特征；
σ(·)表示沿着特征图的空间通道位置的均值；
μ(·)表示沿着特征图的空间通道位置的标准差。
输出为光照纠正后的最终引导图特征，该特征与退化图特征能够在姿态、表情、光照分布上一致。
作为优选的是，逐级自适应的m4个特征融合模块，作为优选的是m4＝4；
输入为最终引导图特征、退化图特征、退化图人脸关键点特征。
逐级自适应的特征融合模块包括自适应特征融合单元p1、p2、p3和p4；
输入最终引导图特征、退化图特征、退化图人脸关键点特征，
p1特征融合时：
卷积层c19用于对退化图特征进行第一次卷积操作，进一步特征提取；
卷积层c20用于对最终引导图特征进行第一次卷积操作，进一步特征提取；
卷积层c21用于对人脸关键点特征进行第一次卷积操作，进一步特征提取；
串联层t1将卷积层c19、c20和c21的输出进行特征串联；
卷积层c22对t1的输出进行第四次卷积操作、激活操作；
卷积层c23对c22的输出进行第五次卷积操作、激活操作；
卷积层c24对退化图特征进行第六次卷积、激活操作；
卷积层c25对c24的输出进行第七次卷积、激活操作；
卷积层c26对最终引导图特征进行第八次卷积、激活操作；
卷积层c27对c26的输出进行第九次卷积、激活操作；
残差层j1对c25层的输出与c27层的输出进行相减操作；
尺度层将j1的输出与c23层的输出进行相乘操作；
复原层f1将尺度层j1的输出与退化图特征相加，输出第p1级增强特征；
第一到第三卷积操作均为64个1*1，步长为1的卷积操作；
第四到七卷积操作为128个3*3，步长为1的卷积操作；
第八到九卷积操作为128个1*1，步长为1的卷积操作；
p2特征融合时：
卷积层c28用于对p1增强后退化图特征进行第一次卷积操作，进一步特征提取；
卷积层c29用于对最终引导图特征进行第一次卷积操作，进一步特征提取；
卷积层c30用于对人脸关键点特征进行第一次卷积操作，进一步特征提取；
串联层t2将卷积层c28、c29和c30的输出进行特征串联；
卷积层c31对t2的输出进行第四次卷积操作、激活操作；
卷积层c32对c31的输出进行第五次卷积操作、激活操作；
卷积层c33对退化图特征进行第六次卷积、激活操作；
卷积层c34对c33的输出进行第七次卷积、激活操作；
卷积层c35对p1增强后退化图特征进行第八次卷积、激活操作；
卷积层c36对c35的输出进行第九次卷积、激活操作；
残差层j2对c34层的输出与c36层的输出进行相减操作；
尺度层将j2的输出与c32层的输出进行相乘操作；
复原层f2将尺度层j2的输出与退化图特征相加，输出第p2级增强特征；
第一到第三卷积操作均为64个1*1，步长为1的卷积操作；
第四到七卷积操作为128个3*3，步长为1的卷积操作；
第八到九卷积操作为128个1*1，步长为1的卷积操作；
p3特征融合时：
卷积层c37用于对p2增强后退化图特征进行第一次卷积操作，进一步特征提取；
卷积层c38用于对最终引导图特征进行第一次卷积操作，进一步特征提取；
卷积层c39用于对人脸关键点特征进行第一次卷积操作，进一步特征提取；
串联层t3将卷积层c37、c38和c39的输出进行特征串联；
卷积层c40对t3的输出进行第四次卷积操作、激活操作；
卷积层c41对c40的输出进行第五次卷积操作、激活操作；
卷积层c42对退化图特征进行第六次卷积、激活操作；
卷积层c43对c44的输出进行第七次卷积、激活操作；
卷积层c45对p1增强后退化图特征进行第八次卷积、激活操作；
卷积层c46对c45的输出进行第九次卷积、激活操作；
残差层j3对c43层的输出与c46层的输出进行相减操作；
尺度层将j3的输出与c41层的输出进行相乘操作；
复原层f3将尺度层j3的输出与退化图特征相加，输出第p3级增强特征；
第一到第三卷积操作均为64个1*1，步长为1的卷积操作；
第四到七卷积操作为128个3*3，步长为1的卷积操作；
第八到九卷积操作为128个1*1，步长为1的卷积操作；
p4特征融合时：
卷积层c47用于对p3增强后退化图特征进行第一次卷积操作，进一步特征提取；
卷积层c48用于对最终引导图特征进行第一次卷积操作，进一步特征提取；
卷积层c49用于对人脸关键点特征进行第一次卷积操作，进一步特征提取；
串联层t4将卷积层c47、c48和c49的输出进行特征串联；
卷积层c50对t4的输出进行第四次卷积操作、激活操作；
卷积层c51对c50的输出进行第五次卷积操作、激活操作；
卷积层c52对退化图特征进行第六次卷积、激活操作；
卷积层c53对c32的输出进行第七次卷积、激活操作；
卷积层c54对p1增强后退化图特征进行第八次卷积、激活操作；
卷积层c55对c54的输出进行第九次卷积、激活操作；
残差层j4对c53层的输出与c55层的输出进行相减操作；
尺度层将j4的输出与c51层的输出进行相乘操作；
复原层f4将尺度层j4的输出与退化图特征相加，输出第p4级增强特征；
第一到第三卷积操作均为64个1*1，步长为1的卷积操作；
第四到七卷积操作为128个3*3，步长为1的卷积操作；
第八到九卷积操作为128个1*1，步长为1的卷积操作；
最后输出多级自适应特征融合后的增强退化图特征。
作为优选的是，增强后退化图特征重建模块，作为优选的是，m5＝3；
输入逐级增强后的退化图特征，
特征重建模块包含卷积层c56、卷积层c57、卷积层c58和卷积层c59；
特征重建模块包含空洞卷积残差块d7、空洞卷积残差块d8和空洞卷积残差块d9；
卷积层c56用于逐级增强后的退化图特征进行第一卷积操作和激活操作；
空洞卷积残差残差块d7用于对卷积层c56的输出进行第一空洞卷积操作、激活操作、残差操作、第二空洞卷积操作、激活操作、残差操作；
上采样层s1用于对d7的输出使用pixelshuffle，对特征进行上采样两倍；
卷积层c57用于上采样层s1的输出依次进行第二卷积操作、归一化操作和激活操作；
空洞卷积残差残差块d8用于对卷积层c57的输出进行第三空洞卷积操作、激活操作、残差操作、第四空洞卷积操作、激活操作、残差操作；
上采样层s2用于对d8的输出使用pixelshuffle，对特征进行上采样两倍；
卷积层c58用于上采样层s1的输出依次进行第三卷积操作、归一化操作和激活操作；
空洞卷积残差残差块d9用于对卷积层c58的输出进行第五空洞卷积操作、激活操作、残差操作、第六空洞卷积操作、激活操作、残差操作；
卷积层c59用于空洞卷积残差残差块d9的输出进行第四卷积操作
输出激活操作将c59的输出进行最后一次激活操作；
输出激活操作的输出为最终复原结果；
激活操作采用lrelu函数，最后一次激活操作采用tanh，
第一卷积操作为256个3*3、步长为1的卷积操作；
第一空洞卷积操作为256个3*3，步长为1，空洞率为1的空洞卷积操作；
第二空洞卷积操作为256个3*3，步长为1，空洞率为1的空洞卷积操作；
第二卷积操作为128个3*3，步长为1的卷积操作；
第三空洞卷积操作为128个3*3，步长为1，空洞率为1的空洞卷积操作；
第四空洞卷积操作为128个3*3，步长为1，空洞率为1的空洞卷积操作；
第三卷积操作为64个3*3，步长为1的卷积操作；
第五空洞卷积操作为64个3*3，步长为1，空洞率为1的空洞卷积操作；
第六空洞卷积操作为64个3*3，步长为1，空洞率为1的空洞卷积操作；
第四卷积操作为32个3*3，步长为1的卷积操作。
作为优选的是，通过重建损失来约束整个网络学习，具体方式为；
重建损失包括复原后的人脸图像
像素空间损失的欧式距离损失定义为：
式中，c，h，w表示图像的通道数以及和宽度；
人脸识别网络的特征空间损失的欧式距离损失定义为：
式中，ψu为预先训练好人脸识别网络得到的第u层卷积特征，cu、hu和wu分别为输入的人脸图片在预先训练好的人脸识别网络得到的第u层卷积特征的通道数、高度和宽度，u属于[1,2,3,4]。
作为优选的是，约束复原图像和未退化图像的分布，具体方式为：
风格损失通过计算复原图像和未退化图像在人脸识别网络特征空间的gram矩阵，具体如下：
式中，cu、hu和wu分别为输入的人脸图片在预先训练好的人脸识别网络得到的第u层卷积特征的通道数、高度和宽度，u属于[1,2,3,4]。
作为优选的是，通过判别损失来约束人脸图像复原网络，具体方式为：
训练网络通过自注意力的判别网络来获得判别损失；
判别网络输出的特征进行hingeloss计算判别损失。
对于更新判别网络，损失定义为：
对于更新生成网络，损失定义为：
作为优选的是，训练网络采用adam优化算法对引导图变形网络和人脸图像重建网络进行端对端的训练。
本发明所述的基于多引导图和自适应特征融合的人脸图像复原系统，在现有基于卷积神经网络的人脸图像复原系统的基础上，引入了多引导图、多引导图优化选择操作、移动的最小二乘的姿态纠正操作、自适应实例归一化的光照纠正分布、逐级自适应特征融合操作。对于一张退化图，有n张高清同一身份的引导图，该引导图可以具有不同的姿态、光照、表情、和背景；最优引导图通过计算退化图和引导图之间人脸关键点的优化加权仿射变换距离，选择出对于退化图具有最相似表情和姿态的最优引导图；最优引导图特征提取模块包含m1个空洞卷积残差模块，获得引导图特征；退化图特征提取模块包含m2个空洞卷积残差模块，获得退化图特征；退化图人脸关键点特征提取模块包含m3个无偏差卷积操作，获得人脸面部关键点特征；最优引导图特征的姿态纠正模块，通过计算退化图人人脸关键点以及最优引导图关键点之间的移动最小二乘(movingleastsquare)获得形变向量，将最优引导图进一步形变到退化图姿态和表情上，获得形变后最优引导图；形变后最优引导图特征的光照分布纠正模块，通过自适应的实例归一化操作(adaptiveinstancenorm)，进一步在特征层上将形变引导图的光照分布纠正为退化图光照分布上，获得最终引导图特征；逐级的自适应特征融合模块，包含m4个自适应特征融合操作，将引导图特征动态自适应且逐级的加入到退化图中，获得增强后的退化图特征；复原结果重建模块将增强后的退化图特征经过m5个空洞卷积残差块，输出复原人脸图。
本发明能够应用在具有多张引导图的任何人脸修复场景中，本发明包含但不局限于以下两种场景：
1、手机相册中根据身份分组的照片，可以利用已知的高质量图片辅助拍摄过程或者低质量图像增强。
2、电影修复中，根据已知的主演信息，找到高清的图像，可以有效的复原电影中主演脸部增强，
本发明利用神经网络结构中卷积操作和多层卷积操作实现，并不局限于一种神经网络。
本发明中所述的最小二乘为leastsquare算法，所述的自适应的实例归一化操作为adaptiveinstancenorm，所述加权最小二乘模块为weightedleastsquare。
本发明所述的最终引导图指的是最优引导图经过特征提取、形变、光照纠正后的特征。
需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。
1.基于多引导图和自适应特征融合的人脸图像复原系统，其特征在于所述系统包括最优引导图选择模块、最优引导图特征提取模块、退化图特征提取模块、退化图人脸关键点特征提取模块、最优引导图特征姿态纠正模块、光照分布纠正模块、逐级自适应特征融合模块和复原结果重建模块，
所述最优引导图选择模块通过计算退化图和引导图之间人脸关键点的优化加权仿射变换距离，在多个引导图中选择出对于退化图具有最相似表情和姿态的最优引导图；
所述最优引导图特征提取模块用于提取最优引导图的特征；
所述退化图特征提取模块用于提取退化图的特征；
所述退化图人脸关键点特征提取模块用于根据退化图的关键点获得人脸面部关键点特征，其中，退化图的关键点通过人脸关键点检测算法对退化图进行关键点检测得到；
所述最优引导图特征姿态纠正模块通过计算人脸面部关键点特征以及最优引导图关键点之间的移动最小二乘获得形变向量，将最优引导图形变到退化图姿态和表情上，获得形变后最优引导图，其中，最优引导图关键点通过人脸关键点检测算法对最优引导图进行关键点检测得到；
所述光照分布纠正模块用于将形变后的最优引导图的特征与退化图的特征进行自适应的实例归一化操作，获得最终引导图的特征；
所述逐级自适应特征融合模块用于将最终引导图的特征动态自适应且逐级的加入到退化图的特征中，获得增强后的退化图的特征；
所述复原结果重建模块用于将增强后的退化图的特征经过多层神经网络输出复原人脸图。
2.根据权利要求1所述的基于多引导图和自适应特征融合的人脸图像复原系统，其特征在于所述最优引导图特征提取模块包含m1个空洞卷积残差单元，所述退化图特征提取模块包含m2个空洞卷积残差单元、所述退化图人脸关键点特征提取模块包含m3个无偏差卷积层，所述逐级自适应特征融合模块包含m4个自适应特征融合单元、所述复原结果重建模块中多层神经网络为m5个空洞卷积残差单元，其中，m1、m2、m3、m4、m5均大于或等于1。
3.根据权利要求2所述的基于多引导图和自适应特征融合的人脸图像复原系统，其特征在于所述引导图包含n张不同姿态、表情和光照的同一身份高清人脸图像，n大于或等于1。
4.根据权利要求3所述的基于多引导图和自适应特征融合的人脸图像复原系统，其特征在于所述最优引导图选择模块执行如下步骤：
首先采用基于人脸关键点相似性的优化的加权最小二乘模块，所述加权最小二乘模块执行如下步骤：首先从n张引导图中选择出与退化图具有最相似的姿态和表情，然后采用人脸关键点检测算法，检测出每张引导图p个关键点，lp＝(xp,yp)表示人脸关键点的第p个关键点横轴和纵轴坐标，将退化图的关键点定义为ld，对于该退化图对应的所有引导图中，第m个引导图的关键点定义为
其中k*表示从n个引导图中选择出来的最优的引导图序号；
a表示仿射变换矩阵；
wm表示第m个关键点的权重；
给定一个退化图和引导图，闭合解为：
其中w＝diag(w)是关键点权重w的对角矩阵；
利用网络梯度反向传播算法更新权重w，定义如下：
对w求导更新整个权重，获得最优引导图。
5.根据权利要求4所述的基于多引导图和自适应特征融合的人脸图像复原系统，其特征在于，所述最优引导图特征提取模块中空洞卷积残差单元为3个，所述最优引导图特征提取模块执行如下步骤；
输入选择的最优引导图；
最优引导图特征提取模块包含卷积层c1、卷积层c2、卷积层c3、卷积层c4、空洞卷积单元d1、空洞卷积单元d2和空洞卷积单元d3；
卷积层c1用于对最优引导图进行第一卷积操作和激活操作；
空洞卷积残差单元d1用于对卷积层c1的输出进行第一空洞卷积操作、激活操作、残差操作、第二空洞卷积操作、激活操作和残差操作；
卷积层c2用于空洞卷积残差单元d1的输出依次进行第二卷积操作、归一化操作和激活操作；
空洞卷积残差单元d2用于对卷积层c2的输出进行第三空洞卷积操作、激活操作、残差操作、第四空洞卷积操作、激活操作和残差操作；
卷积层c3用于空洞卷积残差单元d2的输出依次进行第三卷积操作、归一化操作和激活操作；
空洞卷积残差单元d3用于对卷积层c3的输出进行第五空洞卷积操作、激活操作、残差操作、第六空洞卷积操作、激活操作和残差操作；
卷积层c4用于对空洞卷积残差单元d3的输出依次进行第四卷积操作和激活操作；
卷积层c4的输出为最优引导图特征；
其中，激活操作采用lrelu函数，归一化操作均采用batchnorm，
第一卷积操作为64个3*3，步长为1的卷积操作；
第一空洞卷积操作为64个3*3，步长为1，空洞率为7的空洞卷积操作；
第二空洞卷积操作为64个3*3，步长为1，空洞率为5的空洞卷积操作；
第二卷积操作为128个3*3，步长为2的卷积操作；
第三空洞卷积操作为128个3*3，步长为1，空洞率为5的空洞卷积操作；
第四空洞卷积操作为128个3*3，步长为1，空洞率为3的空洞卷积操作；
第三卷积操作为128个3*3，步长为2的卷积操作；
第五空洞卷积操作为128个3*3，步长为1，空洞率为3的空洞卷积操作；
第六空洞卷积操作为128个3*3，步长为1，空洞率为1的空洞卷积操作；
第四卷积操作为128个3*3，步长为1的卷积操作。
6.根据权利要求5所述的基于多引导图和自适应特征融合的人脸图像复原系统，其特征在于所述退化图特征提取模块中空洞卷积残差单元为3个，其执行如下步骤：
输入退化图；
退化图特征提取模块包含卷积层c5、卷积层c6、卷积层c7、卷积层c8、空洞卷积残差单元d4、空洞卷积残差单元d5和空洞卷积残差单元d6；
卷积层c5用于对退化图进行第一卷积操作和激活操作；
空洞卷积残差单元d4用于对卷积层c5的输出进行第一空洞卷积操作、激活操作、残差操作、第二空洞卷积操作、激活操作和残差操作；
卷积层c6用于空洞卷积残差单元d4的输出依次进行第二卷积操作、归一化操作和激活操作；
空洞卷积残差单元d5用于对卷积层c6的输出进行第三空洞卷积操作、激活操作、残差操作、第四空洞卷积操作、激活操作和残差操作；
卷积层c7用于空洞卷积残差单元d5的输出依次进行第三卷积操作、归一化操作和激活操作；
空洞卷积残差单元d6用于对卷积层c7的输出进行第五空洞卷积操作、激活操作、残差操作、第六空洞卷积操作、激活操作和残差操作；
卷积层c8用于对空洞卷积残差单元d6的输出依次进行第四卷积操作、激活操作；
卷积层c8的输出为退化图的特征；
其中，激活操作采用lrelu函数，归一化操作均采用batchnorm，
第一卷积操作为64个3*3，步长为1的卷积操作；
第一空洞卷积操作为64个3*3，步长为1，空洞率为7的空洞卷积操作；
第二空洞卷积操作为64个3*3，步长为1，空洞率为5的空洞卷积操作；
第二卷积操作为128个3*3，步长为2的卷积操作；
第三空洞卷积操作为128个3*3，步长为1，空洞率为5的空洞卷积操作；
第四空洞卷积操作为128个3*3，步长为1，空洞率为3的空洞卷积操作；
第三卷积操作为128个3*3，步长为2的卷积操作；
第五空洞卷积操作为128个3*3，步长为1，空洞率为3的空洞卷积操作；
第六空洞卷积操作为128个3*3，步长为1，空洞率为1的空洞卷积操作；
第四卷积操作为128个3*3，步长为1的卷积操作。
7.根据权利要求6所述的基于多引导图和自适应特征融合的人脸图像复原系统，其特征在于所述退化图人脸关键点特征提取模块中无偏差卷积层为10个，其执行如下步骤：
输入退化图人脸关键点；
退化图人脸关键点特征提取模块包含卷积层c9、卷积层c10、卷积层c11、卷积层c12、卷积层c13、卷积层c14、卷积层c15、卷积层c16、卷积层c17和卷积层c18；
卷积层c9用于对退化图人脸关键点图进行第一卷积操作和激活操作；
卷积层c10用于对c9的输出进行第二卷积操作和激活操作；
卷积层c11用于对c10的输出进行第三卷积操作和激活操作；
卷积层c12用于对c11的输出进行第四卷积操作和激活操作；
卷积层c13用于对c12的输出进行第五卷积操作和激活操作；
卷积层c14用于对c13的输出进行第六卷积操作和激活操作；
卷积层c15用于对c14的输出进行第七卷积操作和激活操作；
卷积层c16用于对c15的输出进行第八卷积操作和激活操作；
卷积层c17用于对c16的输出进行第九卷积操作和激活操作；
卷积层c18用于对c17的输出进行第十卷积操作和激活操作；
卷积层c18的输出为退化图人脸关键点特征；
激活操作采用lrelu函数，
第一卷积操作为64个9*9，步长为2，偏执为0的卷积操作；
第二卷积操作为64个3*3，步长为1，偏执为0的卷积操作；
第三卷积操作为64个7*7，步长为1，偏执为0的卷积操作；
第四卷积操作为128个3*3，步长为1，偏执为0的卷积操作；
第五卷积操作为128个5*5，步长为2，偏执为0的卷积操作；
第六卷积操作到第十卷积操作为128个3*3、步长为1，偏执为0的卷积操作。
8.根据权利要求7所述的基于多引导图和自适应特征融合的人脸图像复原系统，其特征在于，所述最优引导图特征姿态纠正模块执行如下步骤：
输入最优引导图的特征、最优引导图人脸关键点、退化图人脸关键点；
定义最优引导图特征为fg，最优引导图的人脸关键点为lg，退化图的人脸关键点为ld，；利用移动的最小二乘形变方法，每个点的仿射变换矩阵为：
其中：
根据仿射变换矩阵，通过双线性插值方式，获得的形变最优引导图特征为：
9.根据权利要求8所述的基于多引导图和自适应特征融合的人脸图像复原系统，其特征在于，所述光照分布纠正模块执行如下步骤：
输入形变后最优引导图的特征、退化图的特征，
将形变后引导图通过自适应的实例归一化，将形变后引导图光照进一步与退化图分布一致，公式为：
其中，
fd为退化图特征；
fg,w为形变后最优引导图特征；
σ(·)表示沿着特征图的空间通道位置的均值；
μ(·)表示沿着特征图的空间通道位置的标准差，
输出为光照纠正后的最终引导图的特征。
10.根据权利要求9所述的基于多引导图和自适应特征融合的人脸图像复原系统，其特征在于，所述自适应特征融合单元为4个，包括自适应特征融合单元p1、p2、p3和p4，其执行如下步骤：
输入最终引导图特征、退化图特征、退化图人脸关键点特征，
p1特征融合时：
卷积层c19用于对退化图特征进行第一次卷积操作，进一步特征提取；
卷积层c20用于对最终引导图特征进行第二次卷积操作，进一步特征提取；
卷积层c21用于对人脸关键点特征进行第三次卷积操作，进一步特征提取；
串联层t1将卷积层c19、c20和c21的输出进行特征串联；
卷积层c22对t1的输出进行第四次卷积操作、激活操作；
卷积层c23对c22的输出进行第五次卷积操作、激活操作；
卷积层c24对退化图特征进行第六次卷积、激活操作；
卷积层c25对c24的输出进行第七次卷积、激活操作；
卷积层c26对最终引导图特征进行第八次卷积、激活操作；
卷积层c27对c26的输出进行第九次卷积、激活操作；
残差层j1对c25层的输出与c27层的输出进行相减操作；
尺度层将j1的输出与c23层的输出进行相乘操作；
复原层f1将尺度层j1的输出与退化图特征相加，输出第p1级增强特征；
第一到第三卷积操作均为64个1*1，步长为1的卷积操作；
第四到七卷积操作为128个3*3，步长为1的卷积操作；
第八到九卷积操作为128个1*1，步长为1的卷积操作；
p2特征融合时：
卷积层c28用于对p1增强后退化图特征进行第一次卷积操作，进一步特征提取；
卷积层c29用于对最终引导图特征进行第二次卷积操作，进一步特征提取；
卷积层c30用于对人脸关键点特征进行第三次卷积操作，进一步特征提取；
串联层t2将卷积层c28、c29和c30的输出进行特征串联；
卷积层c31对t2的输出进行第四次卷积操作、激活操作；
卷积层c32对c31的输出进行第五次卷积操作、激活操作；
卷积层c33对退化图特征进行第六次卷积、激活操作；
卷积层c34对c33的输出进行第七次卷积、激活操作；
卷积层c35对p1增强后退化图特征进行第八次卷积、激活操作；
卷积层c36对c35的输出进行第九次卷积、激活操作；
残差层j2对c34层的输出与c36层的输出进行相减操作；
尺度层将j2的输出与c32层的输出进行相乘操作；
复原层f2将尺度层j2的输出与退化图特征相加，输出第p2级增强特征；
第一到第三卷积操作均为64个1*1，步长为1的卷积操作；
第四到七卷积操作为128个3*3，步长为1的卷积操作；
第八到九卷积操作为128个1*1，步长为1的卷积操作；
p3特征融合时：
卷积层c37用于对p2增强后退化图特征进行第一次卷积操作，进一步特征提取；
卷积层c38用于对最终引导图特征进行第二次卷积操作，进一步特征提取；
卷积层c39用于对人脸关键点特征进行第三次卷积操作，进一步特征提取；
串联层t3将卷积层c37、c38和c39的输出进行特征串联；
卷积层c40对t3的输出进行第四次卷积操作、激活操作；
卷积层c41对c40的输出进行第五次卷积操作、激活操作；
卷积层c42对退化图特征进行第六次卷积、激活操作；
卷积层c43对c44的输出进行第七次卷积、激活操作；
卷积层c45对p1增强后退化图特征进行第八次卷积、激活操作；
卷积层c46对c45的输出进行第九次卷积、激活操作；
残差层j3对c43层的输出与c46层的输出进行相减操作；
尺度层将j3的输出与c41层的输出进行相乘操作；
复原层f3将尺度层j3的输出与退化图特征相加，输出第p3级增强特征；
第一到第三卷积操作均为64个1*1，步长为1的卷积操作；
第四到七卷积操作为128个3*3，步长为1的卷积操作；
第八到九卷积操作为128个1*1，步长为1的卷积操作；
p4特征融合时：
卷积层c47用于对p3增强后退化图特征进行第一次卷积操作，进一步特征提取；
卷积层c48用于对最终引导图特征进行第二次卷积操作，进一步特征提取；
卷积层c49用于对人脸关键点特征进行第三次卷积操作，进一步特征提取；
串联层t4将卷积层c47、c48和c49的输出进行特征串联；
卷积层c50对t4的输出进行第四次卷积操作、激活操作；
卷积层c51对c50的输出进行第五次卷积操作、激活操作；
卷积层c52对退化图特征进行第六次卷积、激活操作；
卷积层c53对c32的输出进行第七次卷积、激活操作；
卷积层c54对p1增强后退化图特征进行第八次卷积、激活操作；
卷积层c55对c54的输出进行第九次卷积、激活操作；
残差层j4对c53层的输出与c55层的输出进行相减操作；
尺度层将j4的输出与c51层的输出进行相乘操作；
复原层f4将尺度层j4的输出与退化图特征相加，输出第p4级增强特征；
第一到第三卷积操作均为64个1*1，步长为1的卷积操作；
第四到七卷积操作为128个3*3，步长为1的卷积操作；
第八到九卷积操作为128个1*1，步长为1的卷积操作；
最后输出多级自适应特征融合后的增强退化图特征。
11.根据权利要求10所述的基于多引导图和自适应特征融合的人脸图像复原系统，其特征在于，所述复原结果重建模块中空洞卷积残差单元为3个，其执行如下步骤
输入逐级增强后的退化图的特征，
特征重建模块包含卷积层c56、卷积层c57、卷积层c58、卷积层c59、空洞卷积残差单元d7、空洞卷积残差单元d8和空洞卷积残差单元d9；
卷积层c56用于逐级增强后的退化图特征进行第一卷积操作和激活操作；
空洞卷积残差单元d7用于对卷积层c56的输出进行第一空洞卷积操作、激活操作、残差操作、第二空洞卷积操作、激活操作、残差操作；
上采样层s1用于对d7的输出使用pixelshuffle，对特征进行上采样两倍；
卷积层c57用于上采样层s1的输出依次进行第二卷积操作、归一化操作和激活操作；
空洞卷积残差单元d8用于对卷积层c57的输出进行第三空洞卷积操作、激活操作、残差操作、第四空洞卷积操作、激活操作、残差操作；
上采样层s2用于对d8的输出使用pixelshuffle，对特征进行上采样两倍；
卷积层c58用于上采样层s1的输出依次进行第三卷积操作、归一化操作和激活操作；
空洞卷积残差单元d9用于对卷积层c58的输出进行第五空洞卷积操作、激活操作、残差操作、第六空洞卷积操作、激活操作、残差操作；
卷积层c59用于空洞卷积残差单元d9的输出进行第四卷积操作
输出激活操作将c59的输出进行最后一次激活操作；
输出激活操作的输出为最终复原结果；
激活操作采用lrelu函数，最后一次激活操作采用tanh，
第一卷积操作为256个3*3、步长为1的卷积操作；
第一空洞卷积操作为256个3*3，步长为1，空洞率为1的空洞卷积操作；
第二空洞卷积操作为256个3*3，步长为1，空洞率为1的空洞卷积操作；
第二卷积操作为128个3*3，步长为1的卷积操作；
第三空洞卷积操作为128个3*3，步长为1，空洞率为1的空洞卷积操作；
第四空洞卷积操作为128个3*3，步长为1，空洞率为1的空洞卷积操作；
第三卷积操作为64个3*3，步长为1的卷积操作；
第五空洞卷积操作为64个3*3，步长为1，空洞率为1的空洞卷积操作；
第六空洞卷积操作为64个3*3，步长为1，空洞率为1的空洞卷积操作；
第四卷积操作为32个3*3，步长为1的卷积操作。
12.根据权利要求11所述的基于多引导图和自适应特征融合的人脸图像复原系统，其特征在于，所述系统还包括训练网络，所述训练网络通过重建损失来约束整个网络学习，
所述重建损失包括复原后的人脸图像
所述像素空间损失的欧式距离损失定义为：
其中，c,h,w表示图像的通道数以及和宽度；
所述人脸识别网络的特征空间损失的欧式距离损失定义为：
式中，ψu为预先训练好人脸识别网络得到的第u层卷积特征，cu、hu和wu分别为输入的人脸图片在预先训练好的人脸识别网络得到的第u层卷积特征的通道数、高度和宽度，u属于[1,2,3,4]。
13.根据权利要求12所述的基于多引导图和自适应特征融合的人脸图像复原系统，其特征在于，所述训练网络还包括约束复原结果的特征分布与退化图像特征分布一致的步骤，该约束采用风格损失函数，具体方式为：
风格损失通过计算复原图像和未退化图像在人脸识别网络特征空间的gram矩阵，具体如下：
式中，cu、hu和wu分别为输入的人脸图片在预先训练好的人脸识别网络得到的第u层卷积特征的通道数、高度和宽度，u属于[1,2,3,4]。
14.根据权利要求13所述的基于多引导图和自适应特征融合的人脸图像复原系统，其特征在于，所述训练网络通过判别损失来约束人脸图像复原网络，具体方式为：
首先训练网络通过基于自注意力的判别网络来获得判别损失；
然后判别网络输出的特征进行hingeloss计算判别损失，
对于判别网络的学习，损失定义为：
对于生成网络在判别网络约束下的学习，损失定义为：
15.根据权利要求14所述的基于多引导图和自适应特征融合的人脸图像复原系统，其特征在于，所述训练网络采用adam优化算法对该图像复原的整体网络进行端对端的训练。
16.根据权利要求15所述的基于多引导图和自适应特征融合的人脸图像复原系统，其特征在于，所述退化图通过对高清人脸图像依次进行模糊、降采样、添加噪声和jpeg压缩处理得到，
其中，模糊处理采用高斯模糊和运动模糊，高斯模糊核标准差
降采样处理采用双三次降采样法，采样尺度s∈{1:0.1:s}；
添加噪声处理采用高斯白噪声，噪声水平n∈{0,1:0.1:n}；
jpeg压缩质量参数q∈{0,10:0.1:q}。
技术总结