一种基于面部血流分布的情感分类方法及系统与流程

专利2022-06-29  208


本发明涉及情感分类领域,特别是涉及一种基于面部血流分布的情感分类方法及系统。



背景技术:

随着人工智能的快速发展,让机器能够识别并“拥有”情感变的至关重要,情感分类已经成为人机自然交互的关键因素。科学家对此做了大量的研究,其中很大一部分科学家着力于根据人的面部表情和语音信息作为情感分类的特征,其分类效果良好。但是这种分类方法会因为个体差异而产生差异,有的人善于控制自己的面部表情或者控制自己的语音语调来掩饰自己当时的情感,那么通过上述方法可能就会产生情感分类的错误。



技术实现要素:

本发明的目的是提供一种基于面部血流分布的情感分类方法及系统,以避免分类对象因控制自己的面部表情或者控制自己的语音语调来掩饰自己当时的情感,导致情感分类的错误,提高情感分类的准确性。

为实现上述目的,本发明提供了如下方案:

一种基于面部血流分布的情感分类方法,所述情感分类方法包括如下步骤:

获取待分类的面部视频数据;将面部视频数据的一帧作为一个面部图像数据;

选取面部图像数据的鼻翼两侧及脸颊的区域作为roi区域;

确定roi区域的最佳脉搏波;

从所述roi区域的最佳脉搏波的时域和频域信息中提取基本特征,所述基本特征包括心动周期、峰值间隔、起始与峰值的间隔、波形幅值、标准心率频域和最大幅值;

利用所述roi区域的最佳脉搏波,从所述面部图像数据中提取面部血流分布;

将每个面部图像数据的基本特征和面部血流分布依次排列构成面部血流分布特征序列,作为输入特征数据;

将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据训练svm模型,得到训练后的svm模型;

将所述输入特征数据输入所述训练后的svm模型,进行情感分类。

可选的,所述确定roi区域的最佳脉搏波,具体包括:

分别采用rppg算法计算roi区域的r通道、g通道、b通道平均像素灰度值,作为r通道脉搏波、g通道脉搏波、b通道脉搏波;

分别对r通道脉搏波、g通道脉搏波、b通道脉搏波进行去趋势化、带通滤波和独立成分分析,得到r通道独立成分、g通道独立成分、b通道独立成分;

将r通道独立成分、g通道独立成分、b通道独立成分中与所述g通道脉搏波的相关性最大的独立成分作为最佳脉搏波。

可选的,所述利用所述roi区域的最佳脉搏波,从所述面部图像数据中提取面部血流分布,具体包括:

利用roi区域的最佳脉搏波的频谱图的最大幅值对应的频率计算心率,得到标准心率;

将面部图像数据进行等边长分割,将分割得到的每个区域作为一个血流分布检测器,得到多个血流分布检测器;

确定每个所述血流分布检测器的最佳脉搏波;

将每个所述血流分布检测器的最佳脉搏波的频谱图与所述标准心率进行匹配,选取所述标准心率对应的血流分布检测器的最佳脉搏波的幅值作为表征所述血流分布检测器的血流分布强度的参数,得到面部血流分布。

可选的,所述利用roi区域的最佳脉搏波的频谱图的最大幅值对应的频率计算心率,得到标准心率,具体包括:

利用roi区域的最佳脉搏波的频谱图的最大幅值对应的频率fmax,利用公式hr=fmax*60,计算心率hr,得到标准心率。

可选的,所述将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据训练svm模型,具体包括:

将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据,采用十折交叉验证法,训练svm模型,得到训练后的svm模型。

一种基于面部血流分布的情感分类系统,所述情感分类系统包括:

面部视频数据获取模块,用于获取待分类的面部视频数据;将面部视频数据的一帧作为一个面部图像数据;

roi区域选取模块,用于选取面部图像数据的鼻翼两侧及脸颊的区域作为roi区域;

roi区域的最佳脉搏波确定模块,用于确定roi区域的最佳脉搏波;

基本特征提取模块,用于从所述roi区域的最佳脉搏波的时域和频域信息中提取基本特征,所述基本特征包括心动周期、峰值间隔、起始与峰值的间隔、波形幅值、标准心率频域和最大幅值;

面部血流分布提取模块,用于利用所述roi区域的最佳脉搏波,从所述面部图像数据中提取面部血流分布;

输入特征数据获取模块,用于将每个面部图像数据的基本特征和面部血流分布依次排列构成面部血流分布特征序列,作为输入特征数据;

训练模块,用于将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据训练svm模型,得到训练后的svm模型;

分类模块,用于将所述输入特征数据输入所述训练后的svm模型,进行情感分类。

可选的,所述roi区域的最佳脉搏波确定模块,具体包括:

平均像素灰度值计算子模块,用于分别采用rppg算法计算roi区域的r通道、g通道、b通道平均像素灰度值,作为r通道脉搏波、g通道脉搏波、b通道脉搏波;

独立成分获取子模块,用于分别对r通道脉搏波、g通道脉搏波、b通道脉搏波进行去趋势化、带通滤波和独立成分分析,得到r通道独立成分、g通道独立成分、b通道独立成分;

roi区域的最佳脉搏波确定子模块,用于将r通道独立成分、g通道独立成分、b通道独立成分中与所述g通道脉搏波的相关性最大的独立成分作为最佳脉搏波。

可选的,所述面部血流分布提取模块,具体包括:

标准心率计算子模块,用于利用roi区域的最佳脉搏波的频谱图的最大幅值对应的频率计算心率,得到标准心率;

区域分割子模块,用于将面部图像数据进行等边长分割,将分割得到的每个区域作为一个血流分布检测器,得到多个血流分布检测器;

血流分布检测器的最佳脉搏波确定子模块,用于确定每个所述血流分布检测器的最佳脉搏波;

面部血流分布提取子模块,用于将每个所述血流分布检测器的最佳脉搏波的频谱图与所述标准心率进行匹配,选取所述标准心率对应的血流分布检测器的最佳脉搏波的幅值作为表征所述血流分布检测器的血流分布强度的参数,得到面部血流分布。

可选的,所述标准心率计算子模块,具体包括:

标准心率计算单元,用于利用roi区域的最佳脉搏波的频谱图的最大幅值对应的频率fmax,利用公式hr=fmax*60,计算心率hr,得到标准心率。

可选的,所述训练模块,具体包括:

训练子模块,用于将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据,采用十折交叉验证法,训练svm模型,得到训练后的svm模型。

根据本发明提供的具体实施例,本发明公开了以下技术效果:

本发明所提供的一种基于面部血流分布的情感分类方法,所述情感分类方法:获取待分类的面部视频数据;选取面部图像数据的鼻翼两侧及脸颊的区域作为roi区域;确定roi区域的最佳脉搏波;从所述roi区域的最佳脉搏波的时域和频域信息中提取基本特征;利用所述roi区域的最佳脉搏波,从所述面部图像数据中提取面部血流分布;将每个面部图像数据的基本特征和面部血流分布依次排列构成面部血流分布特征序列,作为输入特征数据;将所述输入特征数据输入所述训练后的svm模型,进行情感分类。本发明的方法在情感分类过程中应用了面部血流分布特征等生理信息,以避免分类对象因控制自己的面部表情或者控制自己的语音语调来掩饰自己当时的情感,导致情感分类的错误,提高情感分类的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本发明提供的基于面部血流分布的情感分类方法的流程图;

图2为本发明实施例2提供的最佳脉搏波的流程图确定的流程图;

图3为本发明实施例2提供的训练svm模型的流程图;

图4为本发明实施例2提供的最佳脉搏波时域特征图;

图5为本发明实施例2提供的最佳脉搏波频域特征图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明的目的是提供一种基于面部血流分布的情感分类方法及系统,以避免分类对象因控制自己的面部表情或者控制自己的语音语调来掩饰自己当时的情感,导致情感分类的错误,提高情感分类的准确性。

为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。

为实现上述目的,本发明提供了如下方案:

实施例1

如图1所示,本发明提供一种基于面部血流分布的情感分类方法,所述情感分类方法包括如下步骤:

获取待分类的面部视频数据;将面部视频数据的一帧作为一个面部图像数据;

选取面部图像数据的鼻翼两侧及脸颊的区域作为roi区域;

确定roi区域的最佳脉搏波。

所述确定roi区域的最佳脉搏波,具体包括:分别采用rppg算法计算roi区域的r通道、g通道、b通道平均像素灰度值,作为r通道脉搏波、g通道脉搏波、b通道脉搏波;分别对r通道脉搏波、g通道脉搏波、b通道脉搏波进行去趋势化、带通滤波和独立成分分析,得到r通道独立成分、g通道独立成分、b通道独立成分;将r通道独立成分、g通道独立成分、b通道独立成分中与所述g通道脉搏波的相关性最大的独立成分作为最佳脉搏波。

从所述roi区域的最佳脉搏波的时域和频域信息中提取基本特征,所述基本特征包括心动周期、峰值间隔、起始与峰值的间隔、波形幅值、标准心率频域和最大幅值;

利用所述roi区域的最佳脉搏波,从所述面部图像数据中提取面部血流分布。

所述利用所述roi区域的最佳脉搏波,从所述面部图像数据中提取面部血流分布,具体包括:利用roi区域的最佳脉搏波的频谱图的最大幅值对应的频率计算心率,得到标准心率;将面部图像数据进行等边长分割,将分割得到的每个区域作为一个血流分布检测器,得到多个血流分布检测器;确定每个所述血流分布检测器的最佳脉搏波;将每个所述血流分布检测器的最佳脉搏波的频谱图与所述标准心率进行匹配,选取所述标准心率对应的血流分布检测器的最佳脉搏波的幅值作为表征所述血流分布检测器的血流分布强度的参数,得到面部血流分布。

其中,所述利用roi区域的最佳脉搏波的频谱图的最大幅值对应的频率计算心率,得到标准心率,具体包括:利用roi区域的最佳脉搏波的频谱图的最大幅值对应的频率fmax,利用公式hr=fmax*60,计算心率hr,得到标准心率。

将每个面部图像数据的基本特征和面部血流分布依次排列构成面部血流分布特征序列,作为输入特征数据;

将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据训练svm模型,得到训练后的svm模型;

所述将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据训练svm模型,具体包括:将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据,采用十折交叉验证法,训练svm模型,得到训练后的svm模型。

将所述输入特征数据输入所述训练后的svm模型,进行情感分类。

实施例2

本实施例将对情感进行二分类,通过面部血流分布将情感分为积极情感和消极情感,具体流程如附图1所示。

一、采集面部彩色视频并用视频的方式刺激产生情感变化;

步骤1:通过摄像机采集人脸视频,将摄像机置于补光灯中心,对被测者面部均匀补光。拍摄时,被测人员脸部正对相机,关闭相机图像优化功能,保持图像的原始性。被测人员面部与摄像机距离30厘米左右,且测试过程中被测人员应尽量避免出现头部摇晃等行为

步骤2:在情感激发实验开始前,首先需要减少来自自身情绪状态的影响。为了达到这个目的,在视频激发情感开始之前,都会给被测者播放一段中性的短片,让被测人员“清空”他们目前的情绪思想;

步骤3:在采集过程中,被测者通过观看不同情感类型的视频来激发情感的改变,情感视频片段包括平静、恐惧两类共三段(平静——恐惧——平静),实验总用时15分钟,各阶段均为5分钟;

步骤4:采集55名被测者(男35名,女20名,年龄23±2岁)面部彩色视频作为样本集,并在观看视频过程中禁止被测者与他人交流,完成实验后,被测者填写情感评估量表评估情感变化,若被测者主观评估情感不是实验需要情感类型,则从数据样本中剔除(例如被测者观看恐惧视频,但其主观评估情感并非恐惧,则将此类样本从数据集种剔除),最后得到42名被测者的有效数据。

二、脉搏波的获取(如附图2所示)

步骤1:将采集系统获取到的面部视频中血管主要分布区域(鼻翼两侧及脸颊)作为提取脉搏波的roi,并提取出roi中的皮肤区域;

步骤2:分别计算彩色视频中每一帧roi中r通道、g通道、b通道平均像素灰度值得到3种基本脉搏波;

步骤3:将上述的基本脉搏波进行去趋势化、带通滤波和独立成分分析,将会得到3种独立成分,选取与g通道脉搏波相关性最大的独立成分作为最佳脉搏波。

三、血流分布的获取

步骤1:将上述最佳脉搏波信号进行fft变换得到其频谱图,选取最大幅度对应的频率计算心率,计算公式如下:

hr=fmax*60(bmp)

步骤2:利用自动识别获取最佳roi区域计算出的心率作为标准值,通过时间窗滑动计算过程来减少环境光突变带来的误差;

步骤3:对时间窗内的视频帧进行等变长区域分割,这里我们选取区域边长为30像素,每块区域作为一个检测器分别通过上述方法提取最佳脉搏波成分,并对每个检测器最佳成分频域幅值分别与标准心率值进行匹配,从而得到面部血流分布强度;

四、构建情感分类器(如附图3所示)

步骤1:对每个感情段的脉搏波信号从时域和频域提取基本特征(如图4、图5所示),这些特征包含心动周期、峰值间隔(ts-s、tp-p)、起始-峰值间隔(tp-w)、波形幅值(y)、标准心率频域最大幅值(ymax)、血流分布强度趋势,然后计算这些特征的平均值、标准差、最大值、最小值和中位数作为最终分类器特征。

步骤2:70%的有效数据样本作为训练集并采用十折交叉验证方法进行训练,30%的有效数据样本作为测试集,而测试集的测试结果作为重要指标评估整个系统;

步骤3:采用svm(supportvectormachine,支持向量机)算法作为分类器。svm模型核函数选择rbf(radialbasisfunction,径向基核函数),最优惩罚因子c和核函数γ通过网络搜寻法确定。

步骤4:将上述基本特征和所有检测器的血流分布强度作为总体特征输入到训练好的分类器模型,最终模型输出两类情绪(平静、恐惧)的分类结果,以此达到情感分类的目的。

实施例3

本发明还提供一种基于面部血流分布的情感分类系统,所述情感分类系统包括:

面部视频数据获取模块,用于获取待分类的面部视频数据;将面部视频数据的一帧作为一个面部图像数据。

roi区域选取模块,用于选取面部图像数据的鼻翼两侧及脸颊的区域作为roi区域。

roi区域的最佳脉搏波确定模块,用于确定roi区域的最佳脉搏波。

所述roi区域的最佳脉搏波确定模块,具体包括:平均像素灰度值计算子模块,用于分别采用rppg算法计算roi区域的r通道、g通道、b通道平均像素灰度值,作为r通道脉搏波、g通道脉搏波、b通道脉搏波;独立成分获取子模块,用于分别对r通道脉搏波、g通道脉搏波、b通道脉搏波进行去趋势化、带通滤波和独立成分分析,得到r通道独立成分、g通道独立成分、b通道独立成分;roi区域的最佳脉搏波确定子模块,用于将r通道独立成分、g通道独立成分、b通道独立成分中与所述g通道脉搏波的相关性最大的独立成分作为最佳脉搏波。

基本特征提取模块,用于从所述roi区域的最佳脉搏波的时域和频域信息中提取基本特征,所述基本特征包括心动周期、峰值间隔、起始与峰值的间隔、波形幅值、标准心率频域和最大幅值。

面部血流分布提取模块,用于利用所述roi区域的最佳脉搏波,从所述面部图像数据中提取面部血流分布。

所述面部血流分布提取模块,具体包括:标准心率计算子模块,用于利用roi区域的最佳脉搏波的频谱图的最大幅值对应的频率计算心率,得到标准心率;区域分割子模块,用于将面部图像数据进行等边长分割,将分割得到的每个区域作为一个血流分布检测器,得到多个血流分布检测器;血流分布检测器的最佳脉搏波确定子模块,用于确定每个所述血流分布检测器的最佳脉搏波;面部血流分布提取子模块,用于将每个所述血流分布检测器的最佳脉搏波的频谱图与所述标准心率进行匹配,选取所述标准心率对应的血流分布检测器的最佳脉搏波的幅值作为表征所述血流分布检测器的血流分布强度的参数,得到面部血流分布。

其中,所述标准心率计算子模块,具体包括:标准心率计算单元,用于利用roi区域的最佳脉搏波的频谱图的最大幅值对应的频率fmax,利用公式hr=fmax*60,计算心率hr,得到标准心率。

输入特征数据获取模块,用于将每个面部图像数据的基本特征和面部血流分布依次排列构成面部血流分布特征序列,作为输入特征数据。

训练模块,用于将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据训练svm模型,得到训练后的svm模型。

所述训练模块,具体包括:训练子模块,用于将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据,采用十折交叉验证法,训练svm模型,得到训练后的svm模型。

分类模块,用于将所述输入特征数据输入所述训练后的svm模型,进行情感分类。

由于通过人的生理信息可以更加准确地判断一个人的情感,情感变化往往伴随着生理信息变化,如心跳、血压、呼吸、皮肤电反映、瞳孔等等,这些变化主要由内分泌系统的变化所决定,较少受当事人主管控制。生活中在人处于特定情感时脸色会通红或者发白,面部的血液循环系统反映了一个人的脸色。情感变化可以表现为外周血管的舒张与收缩的变化,本发明采集并获取人的面部血流分布,并提取面部血流分布的主要特征进行情感分类,提高情感分类的性能。本发明提出的方法不仅能反映人的面部血流分布,而且能够利用面部血流分布的特征进行情感分类。利用特定的面部血流分布数据集,例如对平静、高兴、悲伤、愤怒、恐惧等情感进行分类,通过本发明的情感分类模型能够准确分类。

本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。


技术特征:

1.一种基于面部血流分布的情感分类方法,其特征在于,所述情感分类方法包括如下步骤:

获取待分类的面部视频数据;将面部视频数据的一帧作为一个面部图像数据;

选取面部图像数据的鼻翼两侧及脸颊的区域作为roi区域;

确定roi区域的最佳脉搏波;

从所述roi区域的最佳脉搏波的时域和频域信息中提取基本特征,所述基本特征包括心动周期、峰值间隔、起始与峰值的间隔、波形幅值、标准心率频域和最大幅值;

利用所述roi区域的最佳脉搏波,从所述面部图像数据中提取面部血流分布;

将每个面部图像数据的基本特征和面部血流分布依次排列构成面部血流分布特征序列,作为输入特征数据;

将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据训练svm模型,得到训练后的svm模型;

将所述输入特征数据输入所述训练后的svm模型,进行情感分类。

2.根据权利要求1所述的基于面部血流分布的情感分类方法,其特征在于,所述确定roi区域的最佳脉搏波,具体包括:

分别采用rppg算法计算roi区域的r通道、g通道、b通道平均像素灰度值,作为r通道脉搏波、g通道脉搏波、b通道脉搏波;

分别对r通道脉搏波、g通道脉搏波、b通道脉搏波进行去趋势化、带通滤波和独立成分分析,得到r通道独立成分、g通道独立成分、b通道独立成分;

将r通道独立成分、g通道独立成分、b通道独立成分中与所述g通道脉搏波的相关性最大的独立成分作为最佳脉搏波。

3.根据权利要求1所述的基于面部血流分布的情感分类方法,其特征在于,所述利用所述roi区域的最佳脉搏波,从所述面部图像数据中提取面部血流分布,具体包括:

利用roi区域的最佳脉搏波的频谱图的最大幅值对应的频率计算心率,得到标准心率;

将面部图像数据进行等边长分割,将分割得到的每个区域作为一个血流分布检测器,得到多个血流分布检测器;

确定每个所述血流分布检测器的最佳脉搏波;

将每个所述血流分布检测器的最佳脉搏波的频谱图与所述标准心率进行匹配,选取所述标准心率对应的血流分布检测器的最佳脉搏波的幅值作为表征所述血流分布检测器的血流分布强度的参数,得到面部血流分布。

4.根据权利要求3所述的基于面部血流分布的情感分类方法,其特征在于,所述利用roi区域的最佳脉搏波的频谱图的最大幅值对应的频率计算心率,得到标准心率,具体包括:

利用roi区域的最佳脉搏波的频谱图的最大幅值对应的频率fmax,利用公式hr=fmax*60,计算心率hr,得到标准心率。

5.根据权利要求1所述的基于面部血流分布的情感分类方法,其特征在于,所述将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据训练svm模型,具体包括:

将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据,采用十折交叉验证法,训练svm模型,得到训练后的svm模型。

6.一种基于面部血流分布的情感分类系统,其特征在于,所述情感分类系统包括:

面部视频数据获取模块,用于获取待分类的面部视频数据;将面部视频数据的一帧作为一个面部图像数据;

roi区域选取模块,用于选取面部图像数据的鼻翼两侧及脸颊的区域作为roi区域;

roi区域的最佳脉搏波确定模块,用于确定roi区域的最佳脉搏波;

基本特征提取模块,用于从所述roi区域的最佳脉搏波的时域和频域信息中提取基本特征,所述基本特征包括心动周期、峰值间隔、起始与峰值的间隔、波形幅值、标准心率频域和最大幅值;

面部血流分布提取模块,用于利用所述roi区域的最佳脉搏波,从所述面部图像数据中提取面部血流分布;

输入特征数据获取模块,用于将每个面部图像数据的基本特征和面部血流分布依次排列构成面部血流分布特征序列,作为输入特征数据;

训练模块,用于将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据训练svm模型,得到训练后的svm模型;

分类模块,用于将所述输入特征数据输入所述训练后的svm模型,进行情感分类。

7.根据权利要求6所述的基于面部血流分布的情感分类系统,其特征在于,所述roi区域的最佳脉搏波确定模块,具体包括:

平均像素灰度值计算子模块,用于分别采用rppg算法计算roi区域的r通道、g通道、b通道平均像素灰度值,作为r通道脉搏波、g通道脉搏波、b通道脉搏波;

独立成分获取子模块,用于分别对r通道脉搏波、g通道脉搏波、b通道脉搏波进行去趋势化、带通滤波和独立成分分析,得到r通道独立成分、g通道独立成分、b通道独立成分;

roi区域的最佳脉搏波确定子模块,用于将r通道独立成分、g通道独立成分、b通道独立成分中与所述g通道脉搏波的相关性最大的独立成分作为最佳脉搏波。

8.根据权利要求6所述的基于面部血流分布的情感分类系统,其特征在于,所述面部血流分布提取模块,具体包括:

标准心率计算子模块,用于利用roi区域的最佳脉搏波的频谱图的最大幅值对应的频率计算心率,得到标准心率;

区域分割子模块,用于将面部图像数据进行等边长分割,将分割得到的每个区域作为一个血流分布检测器,得到多个血流分布检测器;

血流分布检测器的最佳脉搏波确定子模块,用于确定每个所述血流分布检测器的最佳脉搏波;

面部血流分布提取子模块,用于将每个所述血流分布检测器的最佳脉搏波的频谱图与所述标准心率进行匹配,选取所述标准心率对应的血流分布检测器的最佳脉搏波的幅值作为表征所述血流分布检测器的血流分布强度的参数,得到面部血流分布。

9.根据权利要求8所述的基于面部血流分布的情感分类系统,其特征在于,所述标准心率计算子模块,具体包括:

标准心率计算单元,用于利用roi区域的最佳脉搏波的频谱图的最大幅值对应的频率fmax,利用公式hr=fmax*60,计算心率hr,得到标准心率。

10.根据权利要求6所述的基于面部血流分布的情感分类系统,其特征在于,所述训练模块,具体包括:

训练子模块,用于将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据,采用十折交叉验证法,训练svm模型,得到训练后的svm模型。

技术总结
本发明所提供的一种基于面部血流分布的情感分类方法及系统,该方法:获取待分类的面部视频数据;选取面部图像数据的鼻翼两侧及脸颊的区域作为ROI区域;确定ROI区域的最佳脉搏波;从ROI区域的最佳脉搏波的时域和频域信息中提取基本特征;利用ROI区域的最佳脉搏波,从面部图像数据中提取面部血流分布;将每个面部图像数据的基本特征和面部血流分布依次排列构成面部血流分布特征序列,作为输入特征数据;输入训练后的SVM模型,进行情感分类。本发明的方法在情感分类过程中应用了面部血流分布特征等生理信息,以避免分类对象因控制自己的面部表情或者控制自己的语音语调来掩饰自己当时的情感,导致情感分类的错误,提高情感分类的准确性。

技术研发人员:王慧泉;何森;梁晓韵;陈瑞娟;王金海
受保护的技术使用者:天津工业大学
技术研发日:2020.02.21
技术公布日:2020.06.09

转载请注明原文地址: https://bbs.8miu.com/read-17203.html

最新回复(0)