本发明涉及语音和图像处理、模式识别领域，特别是涉及一种基于多模深度学习的双模态情感识别方法。
背景技术：
：语音信号和人脸表情是人类之间情感交流的两种主要方式。融合音视频中的情感语音信息和人脸表情信息进行情感识别，通常称为“音视频情感识别”。音视频情感识别研究的最终目标是让计算机通过情感语音和人脸表情同时对用户的情感信息进行获取、识别和响应，以便帮助用户在和谐、自然地交互模式下高效地完成既定的任务。因此，该研究在人工智能、自然人机交互等领域具有重要的应用价值。在音视频情感特征的提取方面，现有技术采用手工设计的典型的音视频情感特征参数，即语音情感识别领域和人脸表情识别领域中常用的主流特征参数，具体包括：与情感语音相关的韵律特征、音质特征、谱特征，以及与人脸表情相关的形变特征、运动特征等(比如文献：y.wangandl.guan.recognizinghumanemotionalstatefromaudiovisualsignals.ieeetransactiononmultimedia,10(5):936–946,2008.)。尽管这些手工设计的典型的音视频情感特征参数已经成为音视频情感识别研究中的主流特征参数，但是手工设计的情感特征依赖于设计者的经验和专业知识，可靠性不够，很难利用大数据的优势。此外，手工设计的特征都属于低层次的情感特征，因为它们对于情感语义的表示力非常有限，尤其与人脑理解的高层次的情感语义之间存在较大差异，即存在“情感鸿沟”问题。在音视频情感信息的融合策略方面，现有的融合方法，如特征层融合和决策层融合，都是采用某种规则或模型对最后获得的手工设计的音视频情感特征数据进行一次简单的融合操作，如串联，因此它们都属于浅层融合方法。这些浅层融合方法无法对具有高度非线性的音视频情感特征数据之间的内在关系进行深度建模，因而也无法构建出高层次的跨媒体的音视频情感特征数据的统一表征。技术实现要素：本发明是为了解决手工设计特征对于情感语义的表示力有限以及现有融合方法无法构建高层次的音视频统一特征表示的问题，提供一种基于多模深度学习的双模态情感识别方法，本发明采用两个深度卷积神经网络(cnn)模型分别对音频、视频信号进行高层次的特征学习，然后采用全连接层构成的融合网络实现音视频情感信息的融合，构建高层次的音视频统一特征表示，用于音视频情感的分类。为了实现上述目的，本发明采用以下技术方案：一种基于多模深度学习的双模态情感识别方法，包括步骤：a)采集音视频信号，获取语音mel频谱片段和与语音mel频谱片段对应的视频片段，获得音频rgb图像三通道输入矩阵和视频rgb图像三通道输入矩阵，获得音频数据样本和视频数据样本；b)构建音频深度卷积神经网络和视频深度卷积神经网络，利用音频数据样本训练音频深度卷积神经网络，获得高层次音频特征；利用视频数据样本训练深度卷积神经网络，获得高层次视频特征；c)构建高层次的音视频统一特征，建立由全连接层构成的融合网络，融合网络最后一层全连接层与分类器相连；d)将最后一层全连接层的输出聚合成全局特征，将全局特征输入到分类器中，获得音视频情感识别分类结果，验证融合网络的识别率。通过采用两个深度卷积神经网络模型分别对音频、视频信号进行高层次的特征学习，然后采用全连接层构成的融合网络实现音视频情感信息的融合，构建高层次的音视频统一特征表示，用于音视频情感的分类。进一步地，步骤a)中，获得音频数据样本包括步骤：a1)采集一维的情感语音信号，采用n1个mel滤波器和n2帧的文本窗大小，获得n1×n2的二维静态频谱片段特征；a2)对二维静态频谱片段特征在时间轴上进行一阶求导，获得一阶求导系数；a3)对二维静态频谱片段特征在时间轴上进行二阶求导，获得二阶求导系数；a4)将语音信号的二维静态频谱片段特征、一阶求导系数和二阶求导系数分别作为rgb图像的三通道，获得特征为n1×n2×3的音频rgb图像三通道输入矩阵；a5)对特征为n1×n2×3的音频rgb图像三通道输入矩阵进行缩放处理，获得预设特征大小的音频rgb图像三通道输入矩阵；a6)依次重复步骤a1)至a5)，获得k个音频数据样本，记为{α1，α2，...，αk}。对于一维的情感语音信号，先采用n1个mel滤波器和n2帧的文本窗大小，计算出二维的静态频谱片段n1×n2，然后对其在时间轴上进行一阶和二阶求导，以便抓住该频谱片段的时间动态特性。最后，将语音信号的静态的频谱片段特征、以及它的一阶求导系数和二阶求导系数作为rgb图像的三个通道，从而得到一个类似于rgb图像的三维mel频谱片段，特征为n1×n2×3，然后缩放成预设特征大小的音频rgb图像三通道输入矩阵，将其作为音频深度卷积神经网络的音频输入，获得k个音频数据样本。进一步地，步骤a)中，获得视频数据样本包括步骤：a11)选取与语音mel频谱片段对应的视频片段最中心的一帧图像作为关键帧图像；a22)对每一幅关键帧图像进行实时性人脸检测与定位；a33)计算出人脸双眼瞳孔中心之间的距离，将双眼瞳孔中心之间的距离统一缩放到n个像素大小的距离；a44)把图像裁切成包含嘴巴、鼻子、额头等关键表情部位的n3×n4×3大小区域图像；a55)对n3×n4×3大小区域图像进行缩放处理，获得预设特征大小的视频rgb图像三通道输入矩阵；a66)依次重复步骤a11)至a55)，获得k个视频数据样本，记为{v1，v2，...，vk}。在产生的语音mel频谱片段所对应的视频片段中，选取该视频片段最中心的一帧图像作为关键帧图像，用于视频的表情识别。进一步地，步骤a5)中，采用双线性内插法对特征为n1×n2×3的音频rgb图像三通道输入矩阵进行缩放处理；步骤a55)中，采用双线性内插法对n3×n4×3大小区域图像进行缩放处理。通过采用双线性内插法对图像进行缩放处理，使缩放处理后的图像能够满足深度卷积神经网络模型的图像输入特征要求。进一步地，步骤b)中，对音频深度卷积神经网络和视频深度卷积神经网络进行初始化，卷积神经网络均包含5个卷积层、3个池化层和3个全连接层，所有池化层均采用平均池化，最后一层全连接层与分类器相连。对每个音视频片段，均采用两个深度卷积神经网络，在目标情感数据集上进行微调，分别学习出高层次的音频、视频情感特征表示。这两个深度卷积神经网络模型都采用深度卷积神经网络，对其进行初始化，两个卷积神经网络均包含5个卷积层、3个池化层和3个全连接层，3个全连接层分别为fc6,fc7和fc8。其中，fc7层表示卷积神经网络所学习到的高层次的属性特征；而fc8层与分类器相连，利用分类器输出情感识别分类结果。进一步地，步骤b)中，还包括计算总样本损失函数，更新网络权重值；通过计算得到损失函数，其中，表示第j个情感识别类别的真实值，sj表示深度卷积神经网络的分类器输出的第j个情感识别类别预测值，l表示情感类别数目；通过计算得到总样本损失函数，li(s,y)为第i个样本的损失函数，k为样本总数。获得音视频样本{(a1,v1,y1),...(ai,vi,yi),...,(ak,vk,yk)}，其中(ai,vi,yi)表示第i个音视频数据样本，ai表示第i个音频数据样本，vi表示第i个视频数据样本，yi表示第i个音视频数据样本真实的情感识别类别向量，将分类器设为softmax分类器，利用音频数据训练样本对音频深度卷积神经网络a进行训练，则相当于求解最优化问题：其中，ai表示第i个音频数据样本，θa为网络a的网络参数，υa(ai；θa)为网络a的最后一层全连接层的特征表示，wa为网络a的最后一层全连接层的权重值。利用视频数据训练样本对深度卷积神经网络v进行训练，则相当于求解最优化问题：其中，vi表示第i个视频数据样本，θv为网络v的网络参数，γv(vi；θv)为网络v的最后一层全连接层的特征表示，wv为网络v的最后一层全连接层的权重值。进一步地，步骤c)中，构建高层次的音视频统一特征，包括：c1)对训练好的音频深度卷积神经网络的权重值wa和视频深度卷积神经网络的权重值wv进行固定；c2)去掉音频深度卷积神经网络的分类器和视频深度卷积神经网络的分类器；c3)将去掉分类器后的音频深度卷积神经网络最后一层全连接层的输出与去掉分类器后的视频深度卷积神经网络最后一层全连接层的输出进行串联，获得总的特征向量，将总的特征向量作为融合模型f的输入，获得高层次的音视频统一特征。采用全连接层构成的融合网络对多模深度卷积神经网络学习到的音频、视频特征进行融合学习，构建高层次的音视频统一特征表示，包括：将训练好的音频网络a和视频网络v的权重值(wa，wv)进行固定，并去掉这两个网路最后连接的分类器，然后把这两个网络的最后一层全连接层输出(υa＝υa(ai；θa)和υv＝υv(vi；θv))串联在一起，得到一个总的特征向量f([υa,υv]，把总的特征向量f([υa,υv]作为融合模型f的输入。此时融合模型f的训练相当于求解最优化问题：其中，softmax(f[γa,γv]；wf；θf)表示融合模型f的分类器的输出，wf表示网络f所有全连接层的权重值，θf为网络f的网络参数。进一步地，融合网络包括输入数据层和全连接层，将高层次的音视频统一特征作为融合网络的输入数据层，全连接层之间采用随机失活优化方法，融合网络的分类器采用线性支持向量机分类器或softmax分类器，线性支持向量机采用线性核函数。随机失活(dropout)是对具有深度结构的人工神经网络进行优化的方法，在学习过程中通过将部分权重或输出随机归零，降低节点间的相互依赖性，从而实现神经网络的正则化，提高模型的泛化能力，降低网络的结构风险。进一步地，融合网络采用深度信念网络，深度信念网络包括可见层和隐藏层，将高层次的音视频统一特征直接输入到深度信念网络的可见层。深度信念网络是由多个受限玻尔兹曼机(rbm)堆栈而成，层与层之间全连接，层内无连接，通过多个rbm的无监督学习，使得网络参数接近局部最优，以便网络能有效学习出输入数据的结构特点。由于深度信念网络中的每个rbm都可以用来对音视频情感特征数据进行融合学习，因此深度信念网络能够通过多个rbm的学习实现音视频情感特征数据的深度融合，从而构建出高层次的音视频统一特征表示，用于音视频情感识别。进一步地，步骤d)中，验证融合网络的识别率采用留一法交叉验证方式，计算平均识别率，将平均识别率作为最终融合网络的识别率。留一法交叉验证方式使得每次迭代中都使用了最大可能数目的样本来训练。本发明具有如下有益效果：解决了现有特征提取方法提取的特征对于情感语义的表示力比较有限的问题，采用多模深度卷积神经网络从原始的音视频信号来学习高层次的音视频情感特征。并且解决了现有融合方法无法构建高层次的音视频统一特征表示的问题，采用全连接层构成的融合网络对多模深度卷积神经网络学习到的音视频情感特征进行融合学习，从而构建出高层次的音视频统一特征，对音视频情感识别进行分类。附图说明图1是本发明的实施例一流程示意图。图2是本发明的实施例一获得音频数据样本流程示意图。图3是本发明的实施例一获得视频数据样本流程示意图。图4是本发明的实施例一多模深度卷积神经网络结构示意图。图5是本发明的实施例一音视频情感数据集rml表情样本示例图。具体实施方式下面结合附图与具体实施方式对本发明做进一步的描述。实施例一，一种基于多模深度学习的双模态情感识别方法，如图1所示，包括：a)采集音视频信号，采用音视频情感数据集rml进行音视频情感识别性能测试(见文献：y.wangandl.guan.recognizinghumanemotionalstatefromaudiovisualsignals.ieeetransactiononmultimedia,10(5):936–946,2008.)。如图5所示，该数据集由8个人录制而成，包含720个音视频样本，6种情感，即生气(anger)、高兴(joy)、悲伤(sadness)、厌恶(disgust)、惊奇(surprise)以及害怕(fear)。获取语音mel频谱片段和与语音mel频谱片段对应的视频片段，获得音频rgb图像三通道输入矩阵和视频rgb图像三通道输入矩阵，如图2所示，获得音频数据样本包括步骤：a1)采集一维的情感语音信号，采用64个mel滤波器和64帧的文本窗大小，获得64×64的二维静态频谱片段特征；a2)对二维静态频谱片段特征在时间轴上进行一阶求导，获得一阶求导系数；a3)对二维静态频谱片段特征在时间轴上进行二阶求导，获得二阶求导系数；a4)将语音信号的二维静态频谱片段特征、一阶求导系数和二阶求导系数分别作为rgb图像的三通道，获得特征为64×64×3的音频rgb图像三通道输入矩阵；a5)采用双线性内插法对特征为64×64×3的音频rgb图像三通道输入矩阵进行缩放处理，获得特征为227×227×3的音频rgb图像三通道输入矩阵；a6)依次重复步骤a1)至a5)，获得k个音频数据样本，记为{a1，a2，...，ak}。如图3所示，获得视频数据样本包括步骤：a11)选取与语音mel频谱片段对应的视频片段最中心的一帧图像作为关键帧图像；a22)对每一幅关键帧图像进行实时性人脸检测与定位；a33)计算出人脸双眼瞳孔中心之间的距离，将双眼瞳孔中心之间的距离统一缩放到55个像素大小的距离；a44)把图像裁切成包含嘴巴、鼻子、额头等关键表情部位的150×110×3大小区域图像；a55)采用双线性内插法对150×110×3大小区域图像进行缩放处理，获得特征为227×227×3视频rgb图像三通道输入矩阵；a66)依次重复步骤a11)至a55)，获得k个视频数据样本，记为{v1，v2，...，vk}。b)构建音频深度卷积神经网络和视频深度卷积神经网络，如图4所示，音频深度卷积神经网络和视频深度卷积神经网络均采用imagenet数据集上预训练好的alexnet网络模型，对网络进行初始化，两个深度卷积神经网络均包含5个卷积层、3个池化层和3个全连接层，3个全连接层分别为fc6,fc7和fc8。其中，fc7层表示卷积神经网络所学习到的高层次的属性特征，fc8层与分类器相连，利用分类器输出情感识别分类结果，所有池化层均采用平均池化，分类器采用softmax分类器。利用音频数据样本训练音频深度卷积神经网络，计算音频深度卷积神经网络的总样本损失函数，更新音频深度卷积神经网络权重值，获得高层次音频特征；利用视频数据样本训练深度卷积神经网络，计算视频深度卷积神经网络的总样本损失函数，更新视频深度卷积神经网络权重值，获得高层次视频特征。其中通过计算得到损失函数，其中，表示第j个情感识别类别的真实值，sj表示深度卷积神经网络的分类器输出的第j个情感识别类别预测值，l表示情感类别数目；通过计算得到总样本损失函数，li(s,y)为第i个样本的损失函数，k为样本总数。c)构建高层次的音视频统一特征包括：c1)对训练好的音频深度卷积神经网络的权重值wa和视频深度卷积神经网络的权重值wv进行固定；c2)去掉音频深度卷积神经网络的分类器和视频深度卷积神经网络的分类器；c3)将去掉分类器后的音频深度卷积神经网络最后一层全连接层的输出与去掉分类器后的视频深度卷积神经网络最后一层全连接层的输出进行串联，获得总的特征向量，将总的特征向量作为融合模型f的输入，获得高层次的音视频统一特征。建立由全连接层构成的融合网络，融合网络最后一层全连接层与分类器相连。d)将最后一层全连接层的输出聚合成全局特征，将全局特征输入到分类器中，获得音视频情感识别分类结果。融合网络包括输入层和三层全连接层，将高层次的音视频统一特征作为融合网络的输入层，全连接层之间采用随机失活优化方法，令dropout为0.3，防止过拟合。最后一层全连接层与分类器相连，融合网络的分类器采用线性支持向量机分类器，线性支持向量机采用线性核函数。验证融合网络的识别率时采用留一法交叉验证方式，计算平均识别率，将平均识别率作为最终融合网络的识别率。对采用线性支持向量机和采用低层次手工音视频情感特征得到的情感识别结果进行对比分析。采用低层次手工音视频情感特征进行情感识别的方法时，对每一句情感语音提取出1582维声学特征参数(lld)，对每一幅关键帧表情图像提取出2478维的局部二元模式(lbp)特征作为表情特征。其中，alexaudio、alexvisual分别表示alexnet网络模型的fc7直接作为特征提取的方法，eflld lbp表示将1582维声学特征参数与2478维的局部二元模式特征进行特征层融合的融合方法。如表1所示，alexnet网络模型不做微调，直接用于特征提取的性能接近手工特征的性能。可见，采用预训练好的alexnet模型进行cnn的网络初始化是可行的。表1采用线性支持向量机和手工音视频情感特征得到的情感识别结果分析方法lldlbpalexaudioalexvisualeflld lbp正确识别率(％)61.8656.9059.4654.4970.62表1将本实施例采用的全连接层融合网络分别与特征层融合方法、决策层融合方法的性能进行比较。其中，特征层融合方法是在分类前将音视频特征进行直接串联，称为前期融合(earlyfusion,ef)方法。决策层融合方法采用多数投票方法对音视频的分类结果进行融合，称为后期融合lf(latefusion,lf)方法。三种方法的正确识别率分析结果如表2所示。表2基于多模cnn方法的识别结果分析方法anetvnetfnetlfef正确识别率(％)66.1760.7974.3257.4572.18表2表中，anet、vnet分别表示alexnet网络模型微调之后的音频情感识别方法和视频情感识别方法，fnet表示采用全连接层构成的融合网络方法，lf表示后期融合方法，ef表示前期融合方法。通过对比，可以看出全连接层融合网络方法的性能也明显优于后期融合方法和前期融合方法，这表明全连接层构成的融合网络可以学习到更具判别力的音视频情感特征用于情感的分类。上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明保护范围以内。当前第1页1 2 3
技术特征：1.一种基于多模深度学习的双模态情感识别方法，其特征在于，包括步骤：
a)采集音视频信号，获取语音mel频谱片段和与语音mel频谱片段对应的视频片段，获得音频rgb图像三通道输入矩阵和视频rgb图像三通道输入矩阵，获得音频数据样本和视频数据样本；
b)构建音频深度卷积神经网络和视频深度卷积神经网络，利用音频数据样本训练音频深度卷积神经网络，获得高层次音频特征；利用视频数据样本训练深度卷积神经网络，获得高层次视频特征；
c)构建高层次的音视频统一特征，建立由全连接层构成的融合网络，融合网络最后一层全连接层与分类器相连；
d)将最后一层全连接层的输出聚合成全局特征，将全局特征输入到分类器中，获得音视频情感识别分类结果，验证融合网络的识别率。
2.根据权利要求1所述的一种基于多模深度学习的双模态情感识别方法，其特征在于，步骤a)中，获得音频数据样本包括步骤：
a1)采集一维的情感语音信号，采用n1个mel滤波器和n2帧的文本窗大小，获得n1×n2的二维静态频谱片段特征；
a2)对二维静态频谱片段特征在时间轴上进行一阶求导，获得一阶求导系数；
a3)对二维静态频谱片段特征在时间轴上进行二阶求导，获得二阶求导系数；
a4)将语音信号的二维静态频谱片段特征、一阶求导系数和二阶求导系数分别作为rgb图像的三通道，获得特征为n1×n2×3的音频rgb图像三通道输入矩阵；
a5)对特征为n1×n2×3的音频rgb图像三通道输入矩阵进行缩放处理，获得预设特征大小的音频rgb图像三通道输入矩阵；
a6)依次重复步骤a1)至a5)，获得k个音频数据样本，记为{α1，α2，...，αk}。
3.根据权利要求2所述的一种基于多模深度学习的双模态情感识别方法，其特征在于，步骤a)中，获得视频数据样本包括步骤：
a11)选取与语音mel频谱片段对应的视频片段最中心的一帧图像作为关键帧图像；
a22)对每一幅关键帧图像进行实时性人脸检测与定位；
a33)计算出人脸双眼瞳孔中心之间的距离，将双眼瞳孔中心之间的距离统一缩放到n个像素大小的距离；
a44)把图像裁切成包含嘴巴、鼻子、额头等关键表情部位的n3×n4×3大小区域图像；
a55)对n3×n4×3大小区域图像进行缩放处理，获得预设特征大小的视频rgb图像三通道输入矩阵；
a66)依次重复步骤a11)至a55)，获得k个视频数据样本，记为{v1，v2，...，vk}。
4.根据权利要求3所述的一种基于多模深度学习的双模态情感识别方法，其特征在于，步骤a5)中，采用双线性内插法对特征为n1×n2×3的音频rgb图像三通道输入矩阵进行缩放处理；步骤a55)中，采用双线性内插法对n3×n4×3大小区域图像进行缩放处理。
5.根据权利要求1所述的一种基于多模深度学习的双模态情感识别方法，其特征在于，步骤b)中，对音频深度卷积神经网络和视频深度卷积神经网络进行初始化，所述卷积神经网络均包含5个卷积层、3个池化层和3个全连接层，所有池化层均采用平均池化，最后一层全连接层与分类器相连。
6.根据权利要求1所述的一种基于多模深度学习的双模态情感识别方法，其特征在于，步骤b)中，还包括计算总样本损失函数，更新网络权重值；通过计算得到损失函数，其中，表示第j个情感识别类别的真实值，sj表示深度卷积神经网络的分类器输出的第j个情感识别类别预测值，l表示情感类别数目；通过计算得到总样本损失函数，li(s,y)为第i个样本的损失函数，k为样本总数。
7.根据权利要求5所述的一种基于多模深度学习的双模态情感识别方法，其特征在于，步骤c)中，构建高层次的音视频统一特征，包括：
c1)对训练好的音频深度卷积神经网络的权重值wa和视频深度卷积神经网络的权重值wv进行固定；
c2)去掉音频深度卷积神经网络的分类器和视频深度卷积神经网络的分类器；
c3)将去掉分类器后的音频深度卷积神经网络最后一层全连接层的输出与去掉分类器后的视频深度卷积神经网络最后一层全连接层的输出进行串联，获得总的特征向量，将总的特征向量作为融合模型f的输入，获得高层次的音视频统一特征。
8.根据权利要求1或7所述的一种基于多模深度学习的双模态情感识别方法，其特征在于，所述融合网络包括输入数据层和全连接层，将高层次的音视频统一特征作为所述融合网络的输入数据层，全连接层之间采用随机失活优化方法，所述融合网络的分类器采用线性支持向量机分类器或softmax分类器，所述线性支持向量机采用线性核函数。
9.根据权利要求1或7所述的一种基于多模深度学习的双模态情感识别方法，其特征在于，所述融合网络采用深度信念网络，所述深度信念网络包括可见层和隐藏层，将高层次的音视频统一特征直接输入到所述深度信念网络的可见层。
10.根据权利要求1或9所述的一种基于多模深度学习的双模态情感识别方法，其特征在于，步骤d)中，验证融合网络的识别率采用留一法交叉验证方式，计算平均识别率，将平均识别率作为最终融合网络的识别率。
技术总结本发明涉及语音和图像处理、模式识别领域，公开了一种基于多模深度学习的双模态情感识别方法，包括步骤：A)分别获得音频和视频RGB图像三通道输入矩阵，获得音频数据样本和视频数据样本；B)构建音频深度卷积神经网络和视频深度卷积神经网络，获得高层次音频特征和获得高层次视频特征；C)建立由全连接层构成的融合网络，构建高层次音视频统一特征；D)将融合网络最后一层全连接层输出的音视频统一特征聚合成全局特征，将全局特征输入到分类器中，获得音视频情感识别分类结果。本发明采用了全连接层构成的融合网络，实现对音视频情感信息的融合，构建高层次的音视频统一特征表示，有效地提高音视频情感识别性能。
技术研发人员：赵小明;张石清
受保护的技术使用者：台州学院
技术研发日：2019.10.08
技术公布日：2020.06.05
