本发明涉及情感识别技术，尤其涉及一种基于可迁移注意力神经网络的脑电情感识别方法及装置。
背景技术：
人类作为世界上情感最为丰富的动物，在进行各种活动的过程中，总是伴随着情感的发生。在人类的日常生活交流中，对于情感的互相感知，是人类流畅交流的重要部分。积极的情感使人身心愉悦，有助于健康且可以提高人的工作效率；消极的情感会引起很多健康问题，例如长时间累积的消极情绪更容易诱发抑郁症甚至是自杀倾向。所以，研究人类的情感就显得十分重要。
大脑是人类情感产生的根源，对于大脑的直接研究，就是从根源上来研究人类的情感。与大脑直接相关的脑电(eeg)信号，作为大脑神经元信息传递过程中发出的一种电信号，为从根源上直接解码人类的情感提供了一种途径和手段。和表情与语音数据不同，脑电数据不能被伪装，因此其更能准确的反应一个人的真实情感。受益于新型无线脑电设备的高可穿戴性、低价格、便携性和易用性等特点，脑电情感识别技术正在逐步走向市场。其可以应用在众多领域如娱乐设施、在线学习、虚拟现实技术和各种电子医疗等。因此，脑电情感识别受到了越来越多研究者的关注，并已经成为情感计算和模式识别领域的一个新的研究热点。然而，脑电情感识别存在准确率不高等问题。
近十年来，深度学习发展迅猛，在众多分类问题上取得巨大突破，这为提高脑电情感识别率提供了新思路，具有十分重要的价值。
技术实现要素：
发明目的：本发明针对现有技术存在的问题，提供一种基于可迁移注意力神经网络的脑电情感识别方法及装置，识别准确率更高。
技术方案：本发明所述的基于可迁移注意力神经网络的脑电情感识别方法包括：
(1)获取一个脑电情感数据库，分为训练集和测试集，其中，脑电情感数据库中包含有若干脑电情感数据和对应的情感类别标签；
(2)建立基于可迁移注意力神经网络的脑电情感识别网络，所述脑电情感识别网络包括特征提取器和情感分类器，所述特征提取器包括依次连接的深度特征提取模块、局部注意力子网和全局注意力子网，用于提取输入样本数据中易于迁移与情感相关的全局特征，所述情感分类器用于预测输入的样本数据的情感类别；
(3)对所述脑电情感识别网络进行训练，训练时，将训练集和测试集中每一脑电情感数据作为一个样本，输入特征提取器，提取大脑全局特征，并将从训练集中每一脑电情感数据提取的全局特征作为一个样本，输入情感分类器，网络总损失为情感分类器损失加上注意力熵损失后再减去注意力子网和全局注意力子网损失，通过随机梯度下降法更新网络参数，完成网络训练；
(4)提取待识别的脑电情感数据，将其作为一个测试集样本输入训练好的脑电情感识别网络，并按照步骤(3)对脑电情感识别网络调整，得到识别的情感类别。
进一步的，所述深度特征提取模块具体包括：
脑电情感数据获取单元，用于获取输入的脑电情感数据
第一递归神经网络，用于从水平方向扫描脑电情感数据中所有电极采集的脑电信号，获得水平方向上包含自身和左右电极关系的电极数据表示hh＝{hh,i}；其中，所述第一递归神经网络包括n个隐藏单元，每个隐藏单元执行如下计算：
式中，hh,i、hh,j为第一递归神经网络的第i、j个隐藏单元的输出，i＝1,…,n，df是输出数据维度；
第二递归神经网络，用于从垂直方向扫描脑电情感数据中所有电极采集的脑电信号，获得垂直方向上包含自身和上下电极关系的电极数据表示hv＝{hv,i}；其中，所述第二递归神经网络包括n个隐藏单元，每个隐藏单元执行如下计算：
式中，hv,i、hv,j为第二递归神经网络的第i、j个隐藏单元的输出，i＝1,…,n，
顺序调整单元，用于调整hh和hv中元素的顺序，使变换后的电极位置一致；
特征合并单元，用于根据下式计算得到的脑电情感数据x的深度特征h：
h＝{hk}
式中，p和q为两个变换矩阵。
进一步的，所述局部注意力子网具体包括：
大脑区域分组单元，用于将大脑区域分为n个脑区，并按照脑区划分规则将脑电情感数据的深度特征h进行划分，得到每个脑区的深度特征h1,...,hn；
排序单元，用于将所有脑区的深度特征按序组成特征：
n个局部域判别器，输入为对应脑区的深度特征hl，用于获取输入数据属于测试集的概率
可迁移性量化单元，用于量化局部域判别器输入数据的可迁移性，即每个脑区数据从训练集迁移到测试集的难易程度，量化公式为：
式中，l表示第l个脑区，h(dl)表示hl的可迁移性值；
注意力值获取单元，用于根据所述可迁移性值计算得到局部注意力值wl：
wl＝1-h(dl)，l＝1,...,n
局部特征获取单元，用于将注意力值wl与对应的特征进行相乘，得到局部特征
损失函数确认单元，用于确认局部注意力子网的损失为：
其中，ld()表示局部注意力子网损失，
进一步的，所述全局注意力子网具体包括：
特征变换单元，用于采用可学习的变换矩阵s将局部注意力子网获取的局部特征
全局域判别器，输入为变换后的局部特征
可迁移性量化单元，用于量化全局域判别器输入数据的可迁移性，即
h(d)＝-ds·log(ds)-dt·log(dt)
式中，h(d)表示
注意力值获取单元，用于根据所述可迁移性值计算得到全局注意力值w：
w＝1 h(d)
损失函数确认单元，用于确认全局注意力子网损失为：
其中，
注意力熵损失确认单元，用于确认注意力熵损失为：
式中，le()表示注意力熵损失，xt表示训练集xs和测试集xt的合集中第t个样本，θe是注意力熵参数；p(c|xt)输入样本xt属于第c类情感类别的概率，c表示情感类别总数。
进一步的，所述情感分类器具体包括：
特征变换单元，用于将特征提取器提取的全局特征
全连接层，用于对向量
式中，o是线性变换输出矢量，g和bc是可学习的线性变换矩阵，c是情感类别总数；
softmax层，用于根据线性变换输出矢量进行情感类别预测：
式中，
损失函数确认单元，用于确认情感分类器损失为：
式中，lc()表示情感分类器损失，θc表示情感分类器参数。
进一步的，所述脑电情感识别网络的网络总损失为：
其中，xs表示训练集，xt表示测试集，lc()表示情感分类器损失，θc表示情感分类器参数，le()表示注意力熵损失，θe是注意力熵参数，ld()表示局部注意力子网损失，
本发明所述的基于可迁移注意力神经网络的脑电情感识别方法装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
有益效果：本发明与现有技术相比，其显著优点是：本发明识别准确率更高。
附图说明
图1是本发明提供的基于可迁移注意力神经网络的脑电情感识别方法的流程示意图；
图2是本发明提供的的脑电情感识别网络结构图。
具体实施方式
本实施例提供了一种基于可迁移注意力神经网络的脑电情感识别方法，如图1和图2所示，包括以下步骤：
(1)获取一个脑电情感数据库，分为训练集和测试集，其中，脑电情感数据库中包含有若干脑电情感数据和对应的情感类别标签。
(2)建立基于可迁移注意力神经网络的脑电情感识别网络，所述脑电情感识别网络包括特征提取器和情感分类器，所述特征提取器包括依次连接的深度特征提取模块、局部注意力子网和全局注意力子网，用于提取输入样本数据中易于迁移与情感相关的全局特征，所述情感分类器用于预测输入的样本数据的情感类别。
其中，所述深度特征提取模块具体包括：
脑电情感数据获取单元，用于获取输入的脑电情感数据
第一递归神经网络，用于从水平方向扫描脑电情感数据中所有电极采集的脑电信号，获得水平方向上包含自身和左右电极关系的电极数据表示hh＝{hh,i}；其中，所述第一递归神经网络包括n个隐藏单元，每个隐藏单元执行如下计算：
式中，hh,i、hh,j为第一递归神经网络的第i、j个隐藏单元的输出，i＝1,…,n，df是输出数据维度；
第二递归神经网络，用于从垂直方向扫描脑电情感数据中所有电极采集的脑电信号，获得垂直方向上包含自身和上下电极关系的电极数据表示hv＝{hv,i}；其中，所述第二递归神经网络包括n个隐藏单元，每个隐藏单元执行如下计算：
式中，hv,i、hv,j为第二递归神经网络的第i、j个隐藏单元的输出，i＝1,…,n，
顺序调整单元，用于调整hh和hv中元素的顺序，使变换后的电极位置一致；
特征合并单元，用于根据下式计算得到的脑电情感数据x的深度特征h：
h＝{hk}
式中，p和q为两个变换矩阵。
其中，所述局部注意力子网使获得的信息更加关注迁移过程(训练的模型用于测试)中与情感分类相关的局部(脑区)信息，具体包括：
大脑区域分组单元，用于将大脑区域分为n个脑区，并按照脑区划分规则将脑电情感数据的深度特征h进行划分，得到每个脑区的深度特征h1,...,hn：
…
脑区n：
ni表示第i个脑区中的电极数量，满足式n1 ... nn＝n；
排序单元，用于将所有脑区的深度特征按序组成特征：
n个局部域判别器，输入为对应脑区的深度特征hl，用于获取输入数据属于测试集的概率
可迁移性量化单元，用于量化局部域判别器输入数据的可迁移性，即每个脑区数据从训练集迁移到测试集的难易程度，量化公式为：
式中，l表示第l个脑区，h(dl)表示hl的可迁移性值；
注意力值获取单元，用于根据所述可迁移性值计算得到局部注意力值wl：
wl＝1-h(dl)，l＝1,...,n
使模型更加关注、并降低难以迁移的脑区数据的权重，以达到加强易于迁移的与情感相关的脑区数据的目的；
局部特征获取单元，用于将注意力值wl与对应的特征进行相乘，得到局部特征
损失函数确认单元，用于确认局部注意力子网的损失为：
其中，ld()表示局部注意力子网损失，
其中，所述全局注意力子网使获得的信息更加关注迁移过程(训练的模型用于测试)中与情感分类相关的训练集正样本，及其全局信息，具体包括：
特征变换单元，用于采用可学习的变换矩阵s将局部注意力子网获取的局部特征
全局域判别器，输入为变换后的局部特征
可迁移性量化单元，用于量化全局域判别器输入数据的可迁移性，即
h(d)＝-ds·log(ds)-dt·log(dt)
式中，h(d)表示
注意力值获取单元，用于根据所述可迁移性值计算得到全局注意力值w：
w＝1 h(d)
损失函数确认单元，用于确认全局注意力子网损失为：
其中，
注意力熵损失确认单元，用于确认注意力熵损失为：
式中，le()表示注意力熵损失，xt表示训练集xs和测试集xt的合集中第t个样本，θe是注意力熵参数；p(c|xt)输入样本xt属于第c类情感类别的概率，c表示情感类别总数。
其中，所述情感分类器具体包括：
特征变换单元，用于将特征提取器提取的全局特征
全连接层，用于对向量
式中，o是线性变换输出矢量，g和bc是可学习的线性变换矩阵，c是情感类别总数；
softmax层，用于根据线性变换输出矢量进行情感类别预测：
式中，
损失函数确认单元，用于确认情感分类器损失为：
式中，lc()表示情感分类器损失，θc表示情感分类器参数。
(3)对所述脑电情感识别网络进行训练，训练时，将训练集和测试集中每一脑电情感数据作为一个样本，输入特征提取器，提取大脑全局特征，并将从训练集中每一脑电情感数据提取的全局特征作为一个样本，输入情感分类器，网络总损失为情感分类器损失加上注意力熵损失后再减去注意力子网和全局注意力子网损失，通过随机梯度下降法更新网络参数，完成网络训练。
其中，脑电情感识别网络的网络总损失为：
其中，xs表示训练集，xt表示测试集，lc()表示情感分类器损失，θc表示情感分类器参数，le()表示注意力熵损失，θe是注意力熵参数，ld()表示局部注意力子网损失，
训练时迭代地优化情感分类器、注意力标签熵、局部注意力子网和全局注意力子网。具体地，可以通过最小化和最大化下列公式来寻找模型的最优参数，如下式
上述最大化问题，通过在域判别器之前加入梯度反转层(grl)，可以将转化为最小化问题。其在前向传播中充当恒等变换，但在执行反向传播操作时反转梯度符号。这样，可以使用随机梯度下降(sgd)算法轻松地解决上述参数优化过程。具体而言，可以按照以下规则更新参数
(4)提取待识别的脑电情感数据，将其作为一个测试集样本输入训练好的脑电情感识别网络，并按照步骤(3)对脑电情感识别网络调整，得到识别的情感类别。
本实施例还提供了一种基于可迁移注意力神经网络的脑电情感识别装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
为验证本发明的有效性，在seed脑电情感数据库、seed-iv脑电情感数据库脑电情感数据库、mped脑电情感数据库上做了脑电情感识别，并与另外12种方法进行了相同的实验，进行对比。这些方法包括：支持向量机(svm)、随机森林(rf)、典型相关分析(cca)、组稀疏典型相关分析(gscca)、深度置信网络(dbn)、图正则稀疏线性回归(grslr)、图卷积神经网络(gcnn)、动态图卷积神经网络(dgcnn)、域对抗神经网络(dann)、双半球域对抗神经网络(bidann)、emotionmeter以及有注意力的长短时记忆网络(a-lstm)。
验证结果如表1所示：
表1
注意，由于计算机存储器限制和计算问题，基于子空间的方法(例如tca，sa和gfk)在处理大量eeg数据方面存在问题。因此，为了与它们进行比较，不得不从训练数据集中随机选择5000个eeg特征样本来训练这些方法。
实验结果表明，基于本发明提出的脑电情感识别方法tann，识别率更高。
1.一种基于可迁移注意力神经网络的脑电情感识别方法，其特征在于该方法包括：
(1)获取一个脑电情感数据库，分为训练集和测试集，其中，脑电情感数据库中包含有若干脑电情感数据和对应的情感类别标签；
(2)建立基于可迁移注意力神经网络的脑电情感识别网络，所述脑电情感识别网络包括特征提取器和情感分类器，所述特征提取器包括依次连接的深度特征提取模块、局部注意力子网和全局注意力子网，用于提取输入样本数据中易于迁移与情感相关的全局特征，所述情感分类器用于预测输入的样本数据的情感类别；
(3)对所述脑电情感识别网络进行训练，训练时，将训练集和测试集中每一脑电情感数据作为一个样本，输入特征提取器，提取大脑全局特征，并将从训练集中每一脑电情感数据提取的全局特征作为一个样本，输入情感分类器，网络总损失为情感分类器损失加上注意力熵损失后再减去注意力子网和全局注意力子网损失，通过随机梯度下降法更新网络参数，完成网络训练；
(4)提取待识别的脑电情感数据，将其作为一个测试集样本输入训练好的脑电情感识别网络，并按照步骤(3)对脑电情感识别网络调整，得到识别的情感类别。
2.根据权利要求1所述的基于可迁移注意力神经网络的脑电情感识别方法，其特征在于：所述深度特征提取模块具体包括：
脑电情感数据获取单元，用于获取输入的脑电情感数据
第一递归神经网络，用于从水平方向扫描脑电情感数据中所有电极采集的脑电信号，获得水平方向上包含自身和左右电极关系的电极数据表示hh＝{hh,i}；其中，所述第一递归神经网络包括n个隐藏单元，每个隐藏单元执行如下计算：
式中，hh,i、hh,j为第一递归神经网络的第i、j个隐藏单元的输出，i＝1,…,n，df是输出数据维度；
第二递归神经网络，用于从垂直方向扫描脑电情感数据中所有电极采集的脑电信号，获得垂直方向上包含自身和上下电极关系的电极数据表示hv＝{hv,i}；其中，所述第二递归神经网络包括n个隐藏单元，每个隐藏单元执行如下计算：
式中，hv,i、hv,j为第二递归神经网络的第i、j个隐藏单元的输出，i＝1,…,n，
顺序调整单元，用于调整hh和hv中元素的顺序，使变换后的电极位置一致；
特征合并单元，用于根据下式计算得到的脑电情感数据x的深度特征h：
h＝{hk}
式中，p和q为两个变换矩阵。
3.根据权利要求1所述的基于可迁移注意力神经网络的脑电情感识别方法，其特征在于：所述局部注意力子网具体包括：
大脑区域分组单元，用于将大脑区域分为n个脑区，并按照脑区划分规则将脑电情感数据的深度特征h进行划分，得到每个脑区的深度特征h1,...,hn；
排序单元，用于将所有脑区的深度特征按序组成特征：
n个局部域判别器，输入为对应脑区的深度特征hl，用于获取输入数据属于测试集的概率
可迁移性量化单元，用于量化局部域判别器输入数据的可迁移性，即每个脑区数据从训练集迁移到测试集的难易程度，量化公式为：
式中，l表示第l个脑区，h(dl)表示hl的可迁移性值；
注意力值获取单元，用于根据所述可迁移性值计算得到局部注意力值wl：
wl＝1-h(dl)，l＝1,...,n
局部特征获取单元，用于将注意力值wl与对应的特征进行相乘，得到局部特征
损失函数确认单元，用于确认局部注意力子网的损失为：
其中，ld()表示局部注意力子网损失，
4.根据权利要求1所述的基于可迁移注意力神经网络的脑电情感识别方法，其特征在于：所述全局注意力子网具体包括：
特征变换单元，用于采用可学习的变换矩阵s将局部注意力子网获取的局部特征
全局域判别器，输入为变换后的局部特征
可迁移性量化单元，用于量化全局域判别器输入数据的可迁移性，即
h(d)＝-ds·log(ds)-dt·log(dt)
式中，h(d)表示
注意力值获取单元，用于根据所述可迁移性值计算得到全局注意力值w：
w＝1 h(d)
损失函数确认单元，用于确认全局注意力子网损失为：
其中，
注意力熵损失确认单元，用于确认注意力熵损失为：
式中，le()表示注意力熵损失，xt表示训练集xs和测试集xt的合集中第t个样本，θe是注意力熵参数；p(c|xt)输入样本xt属于第c类情感类别的概率，c表示情感类别总数。
5.根据权利要求1所述的基于可迁移注意力神经网络的脑电情感识别方法，其特征在于：所述情感分类器具体包括：
特征变换单元，用于将特征提取器提取的全局特征
全连接层，用于对向量
式中，o是线性变换输出矢量，g和bc是可学习的线性变换矩阵，c是情感类别总数；
softmax层，用于根据线性变换输出矢量进行情感类别预测：
式中，
损失函数确认单元，用于确认情感分类器损失为：
式中，lc()表示情感分类器损失，θc表示情感分类器参数。
6.根据权利要求1所述的基于可迁移注意力神经网络的脑电情感识别方法，其特征在于：所述脑电情感识别网络的网络总损失为：
其中，xs表示训练集，xt表示测试集，lc()表示情感分类器损失，θc表示情感分类器参数，le()表示注意力熵损失，θe是注意力熵参数，ld()表示局部注意力子网损失，
7.一种基于可迁移注意力神经网络的脑电情感识别方法装置，其特征在于：包括处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-6中任意一项所述的方法。
技术总结