本发明涉及图像处理
技术领域：
，尤其涉及一种基于残差-胶囊网络的视频图像鉴别方法。
背景技术：
：残差神经网络(residualnetworks)容易优化且收敛速度快，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。卷积神经网络(convolutionalneuralnetworks,cnn)是一类包含卷积计算且具有深度结构的前馈神经网络(feedforwardneuralnetworks)，是深度学习(deeplearning)的代表算法之一。卷积神经网络在目标识别和分类任务中的成功应用而被计算机视觉应用界所青睐。cnn是由堆叠在一起的多个神经元组成的。在神经元之间计算卷积需要大量的计算，因此通常使用池化来减小网络层的大小。卷积方法可以通过简单的计算来学习数据的许多复杂特征。它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。应用领域有计算机视觉、自然语言处理等。传统的卷积神经网络在提取重要特征方面检测性能很好，很难关注局部和整个对象之间的相对关系(如位置、比例、方向，大小，偏度)，从而丢失了一些重要的位置信息。如何正确的进行分类和保持部分与整体之间的对应关系，是解决图像分类问题中的关键问题。胶囊神经网络(capsnets)是一种全新的深度学习的体系结构，克服了cnn的缺点，是一种新的有前景的网络结构。胶囊代表图像中特定实体的各种特征，比如位置，大小，方向，速度，色调，纹理等等，作为一个单独逻辑单元存在，然后使用一个协议路由算法，当胶囊将自己学习到并预测到的数据传递给最高层次的胶囊时，如果预测一致，更高级别的胶囊就会变得活跃，这个过程被称为动态路由。随着路由机制的不断迭代，就能将各种胶囊训练成学习不同思维的逻辑单元，让神经网络识别面部，就将面孔的不同部分分别路由到能够理解眼睛，鼻子，嘴，耳朵的胶囊中去。与传统的神经网络相比，胶囊网络具有如下的特点。基于深度学习的发展，存在被伪造合法用户的人脸攻击的风险。在深度学习的大势下，出现了一批高质量虚假图像视频生成技术。最近比较火的deepfake技术、face2face技术、gan以及变体技术等，这些技术的滥用在金融行业中引发安全隐患，所以对于伪造的图像视频的鉴别是金融反欺诈领域的关键环节。数字媒体取证方法主要基于纹理，运动信息，多光谱特征。常见的伪造检测方法有分析gan生成的图像与真实图像的差异；利用共现矩阵检测gan生成图像；利用gan生成的图像与真实图像在非rgb颜色空间中的颜色差异；基于视频中眨眼的检测，以这种生物信号来检测deepfake生成的假视频；通过扭曲面区域和周围环境的分辨率不一致留下的独特伪影检测伪造视频；利用头部姿态的不一致性来鉴伪；基于光流法的前后景相关性分析来辨别影像真伪，这种方法是基于皮肤和其他材料在光谱反射率上的差异来判定真假；基于扩散速度的局部模式，从视频中提取人脸区域的运动信息来判断真假人脸。这些检测方法在一定程度上说明纹理特性，运动信息，多光谱特征的重要性。缺点：纹理特征容易受到光照、图像分辨率等的影响。运动信息虽然应用广泛，但是容易受到攻击者对人脸照片的嘴部和眼部掏空后按照要求做相应的指令的低风险攻击。多光谱特征对采光的要求比较严格，呈现的多光谱图像所带来的用户体验较差，成本高于可见光系统。随着深度神经网络的发展，鉴伪方法可以基于学习特征的检测。基于双流网络的人脸篡改检测方法，分别训练了googlenet和基于补丁的三重网络来利用特征捕获局部噪声残差和相机特征两个流来检测伪造的人脸，使用卷积神经网络和胶囊网络的混合方法检测；提出新的网络，是一个基于cnn的网络，用于检测视频中的面部篡改；基于学习的方法进行通用操作检测，不依赖于预先选择的特征，可以自动学习如何检测多种图像操作或任何预处理；xceptionnet是基于具有残余连接的可分离卷积在imagenet上训练的传统cnn。相比纹理特征、运动信息、多光谱特征，基于学习特征的检测方法受到外界的影响因素较少，检测率较高，对伪造人脸检测性能较好。大部分都是针对特定的伪造场景进行鉴别。提出一种可以应用于多种伪造场景的神经网络结果，解决分类问题中出现的梯度消失，过拟合问题，提高鉴别网络的泛化能力。技术实现要素：针对现有分类方法采用的卷积神经网络中存在的过拟合、梯度消失等问题，本发明提供了一种基于残差-胶囊网络的视频图像鉴别方法。为了达到上述发明目的，本发明采用的技术方案为：一种基于残差-胶囊网络的视频图像鉴别方法，包括以下步骤：s1、输入包含人脸的视频图像并进行预处理；s2、采用预训练的残差神经网络模型提取人脸图像中潜在的网络特征，得到人脸潜在特征图；s3、采用胶囊网络模型对步骤s2得到的人脸潜在特征图进行特征提取；s4、采用解码器对步骤s3提取的特征进行特征图重建，根据重建的可视化特征图与步骤s2得到的人脸潜在特征图的匹配程度对视频图像进行鉴别分类。进一步地，所述步骤s1中对包含人脸的视频图像进行预处理具体为：采用dlib人脸识别定位库对包含人脸的视频图像进行人脸定位，并将检测到的人脸裁剪为设定大小。进一步地，所述步骤s2中残差神经网络模型包括依次连接的二维卷积单元、池化单元、第一残差层和第二残差层，其中第一残差层包括三个残差块，第二残差层包括四个残差块，每个残差块包括两个卷积块。进一步地，所述步骤s2利用残差神经网络模型中的二维卷积单元提取人脸图像中特征，再依次通过第一残差层和第二残差层，提取人脸图像中的潜在特征。进一步地，所述步骤s3中胶囊网络模型包括提取胶囊和输出胶囊；所述提取胶囊采用三个并列的特征提取模块进行特征提取，并将提取的特征进行叠加操作，再进行压缩操作，最后通过动态路由算法将特征信息发送至输出胶囊；所述输出胶囊采用真胶囊和假胶囊作为真伪鉴别的分类胶囊。进一步地，所述特征提取模块包括一个二维卷积单元、一个统计池单元和一个一维卷积单元，所述二维卷积单元后面设置有二维归一化单元和relu激活函数，所述一维卷积单元后面设置有一维归一化单元和输出单元。进一步地，所述步骤s4中解码器采用两层前馈神经网络对提取的特征进行特征图重建，与胶囊网络模型共同构建全连接解码器方式的残差-胶囊网络结构。进一步地，所述特征提取模块包括两个二维卷积单元，其中第一个二维卷积单元后面设置有二维归一化单元和relu激活函数，第二个二维卷积单元后面设置有二维归一化单元和输出单元。进一步地，所述步骤s4中解码器采用三个二维反卷积单元对提取的特征进行特征图重建，与胶囊网络模型共同构建反卷积解码器方式的残差-胶囊网络结构。进一步地，所述对视频图像进行鉴别分类的损失函数采用边缘损失函数和重建损失函数构成总损失函数，表示为：其中，lmargin表示边缘损失函数，l_recon表示重建损失函数，λ表示重建损失函数权重，tk表示k类，，vk表示k类别输出胶囊，x_recon表示重建的输入特征，x表示输入特征，n表示输入的特征个数，m ,m-分别表示正例样本和负例样本的比例系数。本发明具有以下有益效果：(1)采用比传统的卷积神经网络更加稳定的残差神经网络对预处理的图像进行首次特征提取，从而保证提取的潜在特征具有更多的特征点；(2)融合胶囊网络构建了两种不同的重建实现方式，一种全连接解码器方式的网络结构，一种反卷积解码器方式的网络结构，最大限度的提高伪造检测的性能；(3)在胶囊网络的一致性动态路由算法中加入了随机高斯噪声和压缩操作，解决了过拟合问题和梯度消失问题；(4)在整个图像鉴别过程中，对重建前后图像的特征图进行可视化，便于网络训练过程中调参和理解网络结构。附图说明图1是本发明基于残差-胶囊网络的视频图像鉴别方法流程示意图；图2是本发明实施例中残差神经网络结构示意图；图3是本发明实施例中不同层激活状态图；图4是本发明实施例中全连接解码器方式的残差-胶囊网络结构示意图；图5是本发明实施例中反卷积解码器方式的残差-胶囊网络结构示意图；图6是本发明实施例中动态路由算法流程示意图；图7是本发明实施例中重建前后特征对比图。具体实施方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。如图1所示，本发明实施例公开了一种基于残差-胶囊网络的视频图像鉴别方法，其特征在于，包括以下步骤s1至s4：s1、输入包含人脸的视频图像并进行预处理；在本实施例中，本发明在输入包含人脸的视频图像后，对包含人脸的视频图像进行预处理，具体过程为：采用dlib人脸识别定位库对包含人脸的视频图像进行人脸定位，并将检测到的人脸裁剪为设定大小；这里通过resize将人脸图像缩放到128*128大小。s2、采用预训练的残差神经网络模型提取人脸图像中潜在的网络特征，得到人脸潜在特征图；在本实施例中，本发明采用预训练的残差神经网络模型的第一层或者第二层来提取潜在的网络特征，并将其作为胶囊网络模型的输入，如图2所示。残差神经网络模型包括依次连接的二维卷积单元、池化单元、第一残差层和第二残差层，其中第一残差层包括三个残差块，第二残差层包括四个残差块，每个残差块包括两个卷积块。利用残差神经网络模型中的二维卷积单元提取人脸图像中特征，再依次通过第一残差层和第二残差层，提取人脸图像中的潜在特征。如图2所示，人脸图像先由7x7的2d卷积提取特征，依次经过残差网络的第一残差层和第二残差层，最后输出提取的潜在网络特征，得到128个16x16大小的特征图。其中3x3conv,64表示卷积核为3x3的conv2d()函数，残差块由两个3x3的2d卷积构成。本发明在deepfake数据集上测试残差网络不同层提取的特征对网络最后鉴别检测性能的影响，如表1所示。表1、deepfake数据集测试结果resnet18_accresnet34_acclayer190％93％layer291％95％layer383％88％经过实验对比可以发现，残差网络在第二层提取的特征作为输入检测性能最好，训练结果更加稳定。如图3所示，从左到右依次是resnet34神经网络layer1、layer2和layer3的特征激活状态图。经过对比发现在第一层和第二层相比于第三层激活的特征更多，在结合实验的综合考虑选择第二层作为特征提取层。本发明采用残差神经网络模型提取人脸图像中潜在的网络特征的优势在于：(1)采用迁移学习的方式，通过迁移学习的方式不仅减少训练模型时间而且预训练的模型使用训练有素、构造良好的网络在大集合上所学到的知识，并将它们应用于在较小的数据集上提高检测器的性能，可以达到更高的起始精度、更快的收敛速度和更高的逼近精度。(2)残差网络代替传统的卷积神经网络，一方面可以避免卷积神经网络中丢失更多位置信息；另一方面，残差网络可以实现不同分辨率特征的组合，浅层容易有高分辨率但是低级语义的特征，而深层的特征有高级语义，但分辨率很低。(3)作为一个正则化器来指导训练，减少过度拟合。s3、采用胶囊网络模型对步骤s2得到的人脸潜在特征图进行特征提取；在本实施例中，胶囊网络模型包括提取胶囊(extractorcapsule)和输出胶囊(outputcapsule)。提取胶囊采用三个并列的特征提取模块进行特征提取，并将提取的特征进行叠加(stack)操作，再进行压缩(squash)操作，最后通过动态路由算法将特征信息发送至输出胶囊。输出胶囊采用真胶囊(realcapsule)和假胶囊(fakecapsule)作为真伪鉴别的分类胶囊。上述提取胶囊可以采用全连接式胶囊网络层或反卷积式胶囊网络层两种方式实现。参照图4，全连接式胶囊网络层中每个特征提取模块包括一个二维卷积单元、一个统计池单元和一个一维卷积单元，二维卷积单元后面设置有二维归一化单元和relu激活函数，一维卷积单元后面设置有一维归一化单元和输出单元。提取胶囊中每个特征提取模块先由3x3大小2d卷积核提取特征，再进行2d的数据归一化处理，再经过统计池statspooling对数据池化，再由5x5大小的1d卷积核提取特征，再进行1d的数据归一化处理，转化最终结果为一维向量输出。本发明通过设置统计池有助于使网络独立于输入图像的大小，这意味着一个网络结构可以应用于不同输入大小的不同问题，而无需重新设计网络，每个滤波器的均值和方差在统计池层中计算。参照图5，反卷积式胶囊网络层中每个特征提取模块包括两个二维卷积单元，其中第一个二维卷积单元后面设置有二维归一化单元和relu激活函数，第二个二维卷积单元后面设置有二维归一化单元和输出单元。通过去掉了统计池，从而保留了更多卷积信息。提取胶囊中每个特征提取模块先由3x3大小2d卷积核提取特征，再进行2d的数据归一化处理；再经过5x5大小的2d卷积核提取特征，再进行2d的数据归一化处理；再经过3x3大小的2d卷积核提取特征，再进行2d的数据归一化处理，转化最终结果为一维向量输出。本发明通过残差神经网络的第二层进行潜在特征提取，输出大小128*16*16，输入到胶囊网络中，在胶囊网络层中采用三个相同的特征提取模块同时进行特征提取，将提取到的信息在最后一维进行叠加，叠加后的进行压缩操作。压缩操作对向量中的每个元素进行规范化，使其介于0和1之间。其中压缩函数squash()表示为：其中，vj为capsulej的矢量输出，sj为其输入。本发明的胶囊网络中extractcapsule和outputcapsule的实现通过动态路由算法(dynamicroutingalgorithm)，协议在运行时动态计算，结果将被输出到适当的outputcapsule。根据实验，迭代路由次数为2次效果较佳。动态路由机制是确定信息主要发送到哪里，动态路由算法计算的capsule之间的一致性可以很好的描述对象部分之间的层次姿态关系，提高视觉任务之间的准确性。设定extractcapsule的胶囊输出向量为u(i)，outputcapsule的realcapsule称真胶囊为v(1)，fakecapsule称假胶囊为v(2)，w(i,j)是将u(i)路由到v(j)的矩阵，r是迭代次数；胶囊网络层的输出通过动态路由算法将信息传递给下一层胶囊层中，如图6所示，为extractorcapsule路由到outputcapsule发送信息的动态路由过程，图中详细示出了动态路由的参数更新和迭代过程。在动态路由过程中，首先采用非线性的激活函数squash对输出的capsule(u(i))进行squash()操作，表示为eq.2；对到做仿射变换，表示为eq.1；对三维张量w加入随机高斯噪声noise，表示为eq.3；对进行dropout操作，表示为eq.4；通过对输出的capsule(u(i))进行squash()操作和进行dropout操作，从而使得训练过程更加稳定。压缩函数用于将矢量大小缩放到单位长度。整个路由过程中需要更新的参数有w(i,j)根据反向传播算法；bi,j和cij根据动态路由一致原则，bi,i初始化为0，更新公式为eq.6；cij更新公式为eq.5；最后进行权重加和求解sj，表示为eq.7；对sj进行非线性的激活函数squash操作输出胶囊向量v(i)，表示为v(j)←squash(sj)。对路由算法后的预测输出胶囊应用softmax函数输出的每个维度胶囊向量来实现强极化而不是简单地使用的长度输出胶囊，通过最大化的方式对胶囊进行调整，最终结果为所有softmax输出的平均值，计算公式为：其中，m表示维度数。s4、采用解码器对步骤s3提取的特征进行特征图重建，根据重建的可视化特征图与步骤s2得到的人脸潜在特征图的匹配程度对视频图像进行鉴别分类。在本实施例中，本发明利用解码器重建来自最终胶囊的输入，迫使网络尽可能多的保存来自整个网络输入的信息，作为有效的正则化器，降低过拟合风险。解码器部分采用两种实现方式：(1)全连接式解码器：采用两层前馈神经网络对提取的特征进行特征图重建，与胶囊网络模型共同构建全连接解码器方式的残差-胶囊网络结构。全连接式解码器部分的网络结构采用两个线性函数进行映射最后用sigmoid函数进行处理。(2)反卷积式解码器：采用三个二维反卷积单元对提取的特征进行特征图重建，与胶囊网络模型共同构建反卷积解码器方式的残差-胶囊网络结构。反卷积式解码器部分的网络结构依次采用3x3大小2d反卷积核；6x6大小2d反卷积核；3x3大小2d反卷积核进行处理。整个过程中使用到三个损失函数：边缘损失函数marginloss，重建损失函数reconstructionloss，总损失totalloss为marginloss和reconstructionloss，将二者loss求和避免reconstructionloss对marginloss的计算影响。边缘损失函数marginloss表示为：lk＝tkmax(0,m -||vk||)2 λ(1-tk)max(0,||vk||-m-)2其中tk＝1表示k类，m ，m-分别表示正例样本和负例样本的比例系数，m ＝0.9,m-＝0.1。λ是为了减小图片中没有出现过的类别的损失。本发明使用λ＝0.5。总损失就是所有输出胶囊的损失之和。重建损失函数reconstructionloss表示为：从而将总损失函数表示为：其中，lmargin表示边缘损失函数，l_recon表示重建损失函数，λ表示重建损失函数权重，tk表示k类，，vk表示k类别输出胶囊，x_recon表示重建的输入特征，x表示输入特征，n表示输入的特征个数，m ,m-分别表示正例样本和负例样本的比例系数。本发明将胶囊网络输出的重建图像和胶囊网络的输入进行可视化。通过对比可视化的图像特征图更加有利于理解网络对图像的特征操作和调整整个网络参数，从而提高图像分类的精度。重建前后的特征图的对比图，可以看出重建后的图像特征点更加明显，通过重建损失作为有效的正则化器来迫使网络尽可能多的保存来自整个网络输入的信息，可以有效的降低过拟合风险。图像在重建后的可视化特征图如图7所示。为了进一步说明本发明方法的的有效性，本发明使用deepfake数据集和deepfake_detection的数据集进行了图像分类和原始图像重建实验。在实验中，deepfake数据集是faceforensics 中的数据集，包括977个从youtube下载的视频，1000个提取出来的原始序列，这些序列包含一个可以轻松跟踪的、没有任何问题的面部。详细训练数据见表1。目前已经托管由谷歌和jigsaw提供的深度伪造检测数据集deepfake_detection,数据集包含了来自28个不同场景的3000多个经过处理的视频,详情见表2。表1、deepfake数据集real(youtube)fake(deepfake)train40004000val500500test500500表2、deepfake_detection数据集实验是在gtx1060ti的pc上进行训练；训练时，选择adam作为优化器，学习率为0.0005；测试时，用相同的数据集在原始的胶囊中分别进行测试，结果表明，我们重建的网络结构在两个数据集表现都优于原始的伪造检测网络结果。测试结果如表3所示。表3、不同模型在不同数据集上的测试结果对比模型deepfake_accdeepfake_detection_acc原始95.70％85.34％全连接式96.30％87.53％反卷积式98.60％88.16％数据集在重建前后的特征图的对比图，可以看出重建后的图像特征点更加明显，通过重建损失作为有效的正则化器来迫使网络尽可能多的保存来自整个网络输入的信息，可以有效的降低过拟合风险。实验结果表明：数据集的复杂程度会直接影响鉴别的性能，deepfake数据集相对于谷歌提供的deepfake_detection数据集场景简单，都是人物的正面图片，鉴别的性能较好。重建思路在一定程度优于交叉熵损失的思路，根据重建与原始图像的匹配程度对模型进行鉴别，可以有效的提高鉴别分类的精确度。本发明在真伪鉴别的分类任务中性能得到了提升，解决了神经网络中的过拟合和梯度消失问题，这种融合了胶囊网络的重建网络结构提高了真伪鉴别性能。本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。当前第1页1 2 3
技术特征：1.一种基于残差-胶囊网络的视频图像鉴别方法，其特征在于，包括以下步骤：
s1、输入包含人脸的视频图像并进行预处理；
s2、采用预训练的残差神经网络模型提取人脸图像中潜在的网络特征，得到人脸潜在特征图；
s3、采用胶囊网络模型对步骤s2得到的人脸潜在特征图进行特征提取；
s4、采用解码器对步骤s3提取的特征进行特征图重建，根据重建的可视化特征图与步骤s2得到的人脸潜在特征图的匹配程度对视频图像进行鉴别分类。
2.如权利要求1所述的基于残差-胶囊网络的视频图像鉴别方法，其特征在于，所述步骤s1中对包含人脸的视频图像进行预处理具体为：采用dlib人脸识别定位库对包含人脸的视频图像进行人脸定位，并将检测到的人脸裁剪为设定大小。
3.如权利要求1所述的基于残差-胶囊网络的视频图像鉴别方法，其特征在于，所述步骤s2中残差神经网络模型包括依次连接的二维卷积单元、池化单元、第一残差层和第二残差层，其中第一残差层包括三个残差块，第二残差层包括四个残差块，每个残差块包括两个卷积块。
4.如权利要求3所述的基于残差-胶囊网络的视频图像鉴别方法，其特征在于，所述步骤s2利用残差神经网络模型中的二维卷积单元提取人脸图像中特征，再依次通过第一残差层和第二残差层，提取人脸图像中的潜在特征。
5.如权利要求1所述的基于残差-胶囊网络的视频图像鉴别方法，其特征在于，所述步骤s3中胶囊网络模型包括提取胶囊和输出胶囊；所述提取胶囊采用三个并列的特征提取模块进行特征提取，并将提取的特征进行叠加操作，再进行压缩操作，最后通过动态路由算法将特征信息发送至输出胶囊；所述输出胶囊采用真胶囊和假胶囊作为真伪鉴别的分类胶囊。
6.如权利要求5所述的基于残差-胶囊网络的视频图像鉴别方法，其特征在于，所述特征提取模块包括一个二维卷积单元、一个统计池单元和一个一维卷积单元，所述二维卷积单元后面设置有二维归一化单元和relu激活函数，所述一维卷积单元后面设置有一维归一化单元和输出单元。
7.如权利要求6所述的基于残差-胶囊网络的视频图像鉴别方法，其特征在于，所述步骤s4中解码器采用两层前馈神经网络对提取的特征进行特征图重建，与胶囊网络模型共同构建全连接解码器方式的残差-胶囊网络结构。
8.如权利要求5所述的基于残差-胶囊网络的视频图像鉴别方法，其特征在于，所述特征提取模块包括两个二维卷积单元，其中第一个二维卷积单元后面设置有二维归一化单元和relu激活函数，第二个二维卷积单元后面设置有二维归一化单元和输出单元。
9.如权利要求8所述的基于残差-胶囊网络的视频图像鉴别方法，其特征在于，所述步骤s4中解码器采用三个二维反卷积单元对提取的特征进行特征图重建，与胶囊网络模型共同构建反卷积解码器方式的残差-胶囊网络结构。
10.如权利要求7或9所述的基于残差-胶囊网络的视频图像鉴别方法，其特征在于，所述对视频图像进行鉴别分类的损失函数采用边缘损失函数和重建损失函数构成总损失函数，表示为：
其中，lmargin表示边缘损失函数，l_recon表示重建损失函数，λ表示重建损失函数权重，tk表示k类，，vk表示k类别输出胶囊，x_recon表示重建的输入特征，x表示输入特征，n表示输入的特征个数，m ,m-分别表示正例样本和负例样本的比例系数。
技术总结本发明公开了一种基于残差‑胶囊网络的视频图像鉴别方法，属于计算机视觉图像处理领域的图像分类技术。该方法通过提取图像潜在特征的残差神经网络、编码局部和整个对象之间对应关系的胶囊网络和重建图像的解码器构建残差‑胶囊神经网络，主要解决卷积神经网络中过拟合问题,梯度消失的问题，同时通过胶囊网络的输出向量重建原始输入图像，根据重建与原始图像的匹配程度对模型进行鉴别分类，进一步提高伪造人脸图像、视频的检测性能。
技术研发人员：陈波;冯婷婷;张勇;邓媛丹;吴思璠
受保护的技术使用者：电子科技大学
技术研发日：2020.01.06
技术公布日：2020.06.05
