本发明属于多模态情感分析，涉及基于细粒度语义分解网络的多模态情感分析方法及其系统，具体是通过细粒度语义分解方法进行情感检测。
背景技术：
1、由于情感分析在电子商务、智能客服，网络舆情分析等领域的潜在效用，情感分析任务近年来引起了人们的广泛关注。多模态情感分析是利用机器学习或深度学习的方法，对文本，图像，语音等具有情感取向的数据进行处理的过程，以识别其情感倾向。人类通常综合采用文本、面部表情，肢体语言等表达情感，所以多模态情感分析可以一定程度上克服基于单模态的局限性。与基于单模态的情感分析相比，基于多模态的研究因其在识别多个模态之间的相互作用的卓越表现而引起了极大的关注。虽然多模态数据包含更多的信息，但是有效整合提取模态中和模态间的信息是当前情感分析任务的一个关键问题。
2、当前模态融合方法一般有三种，特征层面融合，即把多模态数据加权连接或拼接的方法形成新的向量，并输入到情感分类模型中去；决策层面融合是分别对单个模态信息进行分类，然后在使用分类器综合分析后对模态表现的信息进行分类；混合融合兼具上述两种方法。在模型上，当前的多模态情感分类方法大多基于注意力机制或者基于图卷积网络。基于注意力机制的模型可以突出关键信息从来增强模型的性能，图卷积网络在发掘不同模态之间的关系具有良好的效果。现有的研究主要关注情感因素的细粒度的不一致性分析，忽略了情感语义耦合问题，这限制了情感分析模型的表现和鲁棒性。
技术实现思路
1、本发明的目的是针对现有技术的不足，提供基于细粒度语义分解网络的多模态情感分析方法及其系统。
2、第一方面，本发明提供基于细粒度语义分解网络的多模态情感分析方法，所述方法包括以下步骤：
3、步骤一、数据采集
4、获取带有情感标签的多模态数据，所述多模态包括语音、文本、图像三个模态；
5、步骤二、多模态特征提取
6、多模态数据结合情感标签构建多模态样本对a表示语音模态，v表示图像模态，t表示文本模态，n表示样本量；表示模态m的第i个样本，表示样本的情感标签，取值为0或1；
7、对多模态数据分别进行特征提取，并通过细粒度语义分解网络，通过模态内语义解纠缠和模态间语义解纠缠强化显性和隐性语义线索之间的语义分离，得到多模态特征xm；将多模态特征xm构成数据集
8、步骤三：构建跨语义空间语义交互网络，并利用数据集进行训练、测试和验证；
9、所述跨语义空间语义交互网络依次包括输入层、跨语义空间注意力层、多头注意力层、输出层；输入层接受多模态特征xm，将文本模态特征xt作为语言语义空间xt,视频模态特征xv和音频模态特征xa通过对应位置相加得到非语言语义空间x(a,v)；
10、所述跨语义空间注意力层包括语言语义空间注意力层、非语言语义空间注意力层、融合层；语言语义注意力层将语言语义空间xt作为transformer中自注意力模块的查询向量qt，非语言语义空间x(a,v)作为transformer中自注意力模块的键向量kt和值向量vt，并将transformer中自注意力模块的输出和qt相加后归一化，得到语言语义空间上下文向量attent→(a,v)；非语言语义注意力层将非语言语义空间x(a,v)作为transformer中自注意力模块的查询向量q(a,v)，语言语义空间xt作为transformer中自注意力模块的键向量k(a,v)和值向量v(a,v)，并将transformer中自注意力模块的输出和q(a,v)相加后归一化，得到非语言语义空间上下文向量atten(a,v)→t；融合层将语言语义空间上下文向量attent→(a,v)和非语言语义空间上下文向量atten(a,v)→t通过对应位置相加得到上下文向量xavt；
11、然后将上下文向量xavt输入多头注意力层，经输出层得到情感分析结果outavt；
12、步骤四：利用细粒度语义分解网络和训练、测试和验证好的跨语义空间语义交互网络实现多模态情感分析。
13、作为优选，步骤二中所述模态内语义解纠缠具体操作如下：
14、分别将每个样本视为中心样本，若其他样本与中心样本标签一致，则构成中心样本的正样本，否则为中心样本的负样本，正样本和负样本共同构成该中心样本的扩增样本u为其中np表示正样本数，nn表示负样本数，n＝np+nn+1,表示m模态的第np个正样本，表示m模态的第nn个负样本；
15、则模态内对比损失函数m∈{a,v,t}，计算公式如下：
16、
17、θm是可学习参数；
18、作为优选，步骤二中模态间语义解纠缠具体操作如下：
19、使用s(t,v),s(t,a),s(v,a)分别衡量每个样本的文本-图像模态对，文本-音频模态对，音频-图像模态对之间的语义差异；
20、
21、
22、
23、θ(t,v),θ(v,a),θ(t,a)是可学习的参数；
24、则模态间对比损失函数如下：
25、
26、
27、
28、其中分别为文本-图像模态之间对比损失函数，文本-音频模态之间对比损失函数，图像-音频模态之间对比损失函数；
29、作为优选，步骤二中通过模态间对比损失函数和模态内对比损失函数的约束，实现语义特征的分离和提取，得到多模态特征xm；
30、作为优选，步骤三中，语言语义空间上下文向量attent→(a,v)具体公式如下：
31、
32、其中，wht、是线性变换矩阵；上标t表示转置；dk表示xt,xav的维度。
33、6.根据权利要求1所述方法，其特征在于步骤三中，非语言语义空间上下文向量atten(a,v)→t公式如下：
34、
35、其中wh(a,v)、是相应的线性变换矩阵；
36、作为优选，总损失函数trainloss计算如下：
37、
38、其中表示交叉熵损失函数，表示模态内对比损失函数，分别为文本-图像模态之间对比损失函数，文本-音频模态之间对比损失函数，图像-音频模态之间对比损失函数。
39、第二方面，本发明提供一种多模态情感分析系统，包括：
40、数据采集模块，获取多模态数据；
41、特征提取模块，利用特征提取器对多模态数据进行特征提取，利用细粒度语义分解网络获得多模态特征；
42、分析模块，将多模态特征输入至训练、测试和验证好的跨语义空间语义交互网络，获得情感分析结果。
43、第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行所述的方法。
44、第四方面，本发明提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现所述的方法。
45、本发明的有益效果是：
46、本发明提出了一种细粒度语义分解网络(fsdn)来处理多模态情感分析中的情感语义耦合问题，采用模态内语义解纠缠过程和模态间语义解纠缠过程增强了潜在语义信息的发掘，提高了情感检测的效率。
47、本发明还提出跨语义空间语义交互网络，其充分利用来自语言和非语言语义空间的跨语义空间的长距离的情感语义线索，显著提高情感检测效果和模型的鲁棒性。
1.基于细粒度语义分解网络的多模态情感分析方法，其特征在于所述方法包括以下步骤：
2.根据权利要求1所述方法，其特征在于步骤二中所述模态内语义解纠缠具体操作如下：
3.根据权利要求2所述方法，其特征在于步骤二中模态间语义解纠缠具体操作如下：
4.根据权利要求3所述方法，其特征在于步骤二中通过模态间对比损失函数和模态内对比损失函数的约束，实现语义特征的分离和提取，得到多模态特征xm。
5.根据权利要求1所述方法，其特征在于步骤三中，语言语义空间上下文向量attent→(a,v)具体公式如下：
6.根据权利要求1所述方法，其特征在于步骤三中，非语言语义空间上下文向量atten(a,v)→t公式如下：
7.根据权利要求1所述方法，其特征在于总损失函数trainloss计算如下：
8.实现权利要求1-7任一项所述方法的多模态情感分析系统，其特征在于包括：
9.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-7中任一项所述的方法。
10.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-7中任一项所述的方法。
