可穿戴式工作负荷测量方法、系统、装置和存储介质与流程

专利2022-06-29  74


本发明涉及脑电信号采集处理技术领域,尤其是一种可穿戴式工作负荷测量方法、系统、装置和存储介质。



背景技术:

近年来,随着人机交互系统系统信息化和自动化程度的提升,人的认知需求相应增加,人机交互中“人的因素”越来越受到设计者的重视,工作负荷也成为了相关研究领域最为关注的方向之一。1977年,北约(:nato)人因特别委员会组织召开的“工作负荷的理论与测量”(mentalworkload:itstheoryandmeasurement)专题会议上普遍接受的观点认为工作负荷是一个多维概念,它涉及任务需求(taskdemand)、时间压力(timepressure)、操作者能力(operator’scapacity)和努力程度(effort)、行为表现(performance)和其他众多因素。kakizakit等人发现,90%以上的工作负荷会导致人们过度的心理工作压力,这样会导致系统可靠性和安全性的降低,从而引发严重事故。因此,人机交互过程中人的工作负荷研究对于交互任务的操作效能和安全性具有重要意义。

但现有的研究结果都是在离线环境中对数据进行分析得到的,无法实时直观的观测工作负荷状态,而且现有的研究仪器对使用者来说过于繁琐,可能会对使用者的主观感受起到干扰作用,不利于在日常工作中的工作负荷识别,而且大部分研究的分类结果不够直观形象。现有的方法为了提高分类精度,方法过于复杂,识别速度较慢,不能实时反馈信息。



技术实现要素:

为解决上述问题,本发明的目的在于提供一种可穿戴式工作负荷测量方法、系统、装置和存储介质,可以直观监测到使用者的工作负荷状态,不会对使用者的正常工作产生干扰,而且识别方法简单高效,可以实现实时反馈。

本发明解决其问题所采用的技术方案是:

第一方面,本发明实施例提出了一种可穿戴式工作负荷测量方法,包括:

采集实时脑电信号;

将脑电信号放大,并对放大后的脑电信号进行伪影消除;

对脑电信号进行处理,用傅里叶变换提取出频带能量值和用相位测量估算出脑连接强度值;

将频带能量值和脑连接强度值组成特征向量作为工作负荷判断的分类样本;

对分类样本进行分类处理,输出分类输出值,并以颜色渐变的方式显示工作负荷状态。

进一步,所述采集实时脑电信号包括:每秒采集到的脑电信号为64×250的矩阵形式,每秒的脑电信号代表一个样本。

进一步,所述将脑电信号放大,并对放大后的脑电信号进行伪影消除包括:将脑电信号经过放大器放大,再采用1-42hzfir带通滤波器和独立成分分析对放大后的脑电信号进行伪影消除。

进一步,所述对脑电信号进行处理,用傅里叶变换提取出频带能量值和用相位测量估算出脑连接强度值包括:对脑电信号进行处理,用傅里叶变换提取出64个通道的频带能量值和通道间的脑连接强度值。

进一步,所述将频带能量值和脑连接强度值组成特征向量作为工作负荷判断的分类样本包括:对64个通道进行能量提取,且每个通道的能量p定义为:

其中,f(t)为每个样本每个通道的脑电信号,t代表每个通道样本的点数,t为250,每个样本有64个通道,每个通道提取θ和α频带的能量,总共128个能量值,估计通道间的脑连接强度得到2016个连接强度值,把能量值和连接强度值组成特征向量作为分类样本。

进一步,所述对分类样本进行分类处理,输出分类输出值,并以颜色渐变的方式显示工作负荷状态包括:对分类样本进行分类处理,输出分类输出值,分类采用支持向量机分类器对工作负荷分类进行五次交叉验证,对于一组样本n,支持向量机分类器优化如下:

其中,c表示可调正则化参数,x是映射函数,i是松弛变量;

支持向量机无阈值输出为:

f(x)=yiαixtxi b

每一个样本的f(x)输出为一个值,当f(x)大于0时,认为此时为高负荷状态;当f(x)小于0时,认为此时为低负荷状态。

进一步,所述对分类样本进行分类处理,输出分类输出值,并以颜色渐变的方式显示工作负荷状态包括:显示的颜色为红色到蓝色的渐变色,高负荷状态为红色,低负荷状态为蓝色。

第二方面,本发明实施例还提出了一种可穿戴式工作负荷测量系统,包括:

信号采集模块,用于采集实时脑电信号;

伪影消除模块,用于将脑电信号放大,并对放大后的脑电信号进行伪影消除;

提取模块,用于对脑电信号进行处理,用傅里叶变换提取出频带能量值和用相位测量估算出脑连接强度值;

特征融合模块,用于将频带能量值和脑连接强度值组成特征向量作为工作负荷判断的分类样本;

分类输出模块,用于对分类样本进行分类处理,输出分类输出值,并以颜色渐变的方式显示工作负荷状态。

第三方面,本发明实施例还提出了一种可穿戴式工作负荷测量装置,包括:

从上至下依次层叠的半球形显示屏、帆布鸭舌帽和干电极脑电采集仪,所述半球形显示屏与所述干电极脑电采集仪电性连接,所述干电极脑电采集仪上设置有脑电信号处理器;以及,

与所述脑电信号处理器通信连接的存储器;其中,

所述存储器存储有可被所述脑电信号处理器执行的指令,所述指令被所述脑电信号处理器执行,以使所述脑电信号处理器能够执行本发明第一方面所述的方法。

第四方面,本发明实施例还提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行本发明第一方面所述的方法。

本发明实施例中提供的一个或多个技术方案,至少具有如下有益效果:本发明提供的一种可穿戴式工作负荷测量方法、系统、装置和存储介质,可以监测并直观显示使用者的工作负荷状态,不会对使用者的正常工作产生干扰,而且识别方法简单高效,可以实现实时反馈。本发明采用的信号处理方法只用简单的方法进行分类识别,并获得了优秀的性能,方法简单有效,可以快速识别使用者当前的工作负荷状态。

附图说明

下面结合附图和实例对本发明作进一步说明。

图1是本发明第一实施例中可穿戴式工作负荷测量方法的流程简图;

图2是本发明第二实施例中可穿戴式工作负荷测量系统的结构简图;

图3是本发明第三实施例中可穿戴式工作负荷测量装置的原理框图;

图4是本发明第三实施例中可穿戴式工作负荷测量装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。

需要说明的是,如果不冲突,本发明实施例中的各个特征可以相互结合,均在本发明的保护范围之内。另外,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。

下面结合附图,对本发明实施例作进一步阐述。

如图1所示,本发明的第一实施例提供了一种可穿戴式工作负荷测量方法,包括但不限于以下步骤:

s100:采集实时脑电信号;

s200:将脑电信号放大,并对放大后的脑电信号进行伪影消除;

s300:对脑电信号进行处理,用傅里叶变换提取出频带能量值和用相位测量估算出脑连接强度值;

s400:将频带能量值和脑连接强度值组成特征向量作为工作负荷判断的分类样本;

s500:对分类样本进行分类处理,输出分类输出值,并以颜色渐变的方式显示工作负荷状态。

在步骤s100中,每秒采集到的脑电信号为64×250的矩阵形式,每秒的脑电信号代表一个样本。

在步骤s200中,因为脑电信号为微小信号,所以需要将脑电信号经过放大器放大;同时,采用1-42hzfir带通滤波器和独立成分分析对放大后的脑电信号进行伪影消除。

在步骤s300中,一般认为θ和α频段的脑电特征可以较为明显的反应大脑的工作负荷状态,因此对64个通道的脑电信号进行傅里叶变换,提取出此频带的能量值。

在步骤s400中,为了可以更加有效的识别工作负荷状态,在提取频带后需要进行特征提取。现阶段最多最有效的方法是提取能量特征。每个通道的能量p定义为:

其中,f(t)为每个样本每个通道的脑电信号,t代表每个通道样本的点数,t为250,每个样本有64个通道对应有64个能量值,将64个能量值变换成横向量作为分类样本。

在步骤s500中,特征提取后需要进行分类处理,分类采用支持向量机分类器(svm)对工作负荷进行分类,对于一组样本n,支持向量机分类器优化如下:

其中,c表示可调正则化参数,x是映射函数,i是松弛变量。线性支持向量机可以通过二次规划问题求解,并可以直接使用相应的优化计算包。然而,它通常转化为一个对偶问题,使用序贯最小优化(smo)或更有效的方法来解决svm的对偶问题可以表示如下:

对偶问题还需要满足以下kkt(karush-kuhn-tucker)条件:

支持向量机无阈值输出为:

f(x)=yiαixtxi b

每一个样本的f(x)输出为一个值,当f(x)大于0时,认为此时为高负荷状态;当f(x)小于0时,认为此时为低负荷状态。

综上所述,与现有技术相比,可穿戴式工作负荷测量方法的优点在于:可以监测并直观显示使用者的工作负荷状态,不会对使用者的正常工作产生干扰,而且识别方法简单高效,可以实现实时反馈。本发明采用的信号处理方法只用简单的方法进行分类识别,并获得了优秀的性能,方法简单有效,可以快速识别使用者当前的工作负荷状态。

另外,如图2所示,本发明的第二实施例提供了一种可穿戴式工作负荷测量系统,包括:

信号采集模块110,用于采集实时脑电信号;

伪影消除模块120,用于将脑电信号放大,并对放大后的脑电信号进行伪影消除;

提取模块130,用于对脑电信号进行处理,用傅里叶变换提取出频带能量值和用相位测量估算出脑连接强度值;

特征融合模块140,用于将频带能量值和脑连接强度值组成特征向量作为工作负荷判断的分类样本;

分类输出模块150,用于对分类样本进行分类处理,输出分类输出值,并以颜色渐变的方式显示工作负荷状态。

本实施例中的可穿戴式工作负荷测量系统与第一实施例中的可穿戴式工作负荷测量方法基于相同的发明构思,因此,本实施例中的可穿戴式工作负荷测量系统具有相同的有益效果:可以监测并直观显示使用者的工作负荷状态,不会对使用者的正常工作产生干扰,而且识别方法简单高效,可以实现实时反馈。本系统采用的信号处理方法只用简单的方法进行分类识别,并获得了优秀的性能,方法简单有效,可以快速识别使用者当前的工作负荷状态。

如图3-4所示,本发明的第三实施例还提供了一种可穿戴式工作负荷测量装置200,包括:

从上至下依次层叠的半球形显示屏210、帆布鸭舌帽220和干电极脑电采集仪230,半球形显示屏210与干电极脑电采集仪230电性连接,干电极脑电采集仪230上设置有脑电信号处理器;以及,

与脑电信号处理器通信连接的存储器;

其中,存储器存储有可被脑电信号处理器执行的指令,指令被所述脑电信号处理器执行,以使脑电信号处理器能够执行如上述第一实施例中任意一种可穿戴式工作负荷测量方法。

帆布鸭舌帽220覆盖在干电极脑电采集仪230上方,确立了本装置的主要外观形象,其外观简易美观,适合使用者的日常佩戴。

半球形显示屏210均匀地覆盖在帆布鸭舌帽220周围,其采用半球性结构更好地符合使用者大脑外形,外形更加美观。半球形显示屏210与干电极脑电采集仪230电性连接,将脑电信号处理器分析的结果直观的显示在半球形显示屏210上。半球形显示屏210显示的颜色为红色到蓝色的渐变色,高负荷状态为红色,低负荷状态为蓝色。在高负荷状态时,干电极脑电采集仪230的分类输出值越大,颜色越深,输出值越小,颜色越浅;在低负荷状态时,干电极脑电采集仪230的分类输出值越小,颜色越深,输出值越大,颜色越浅。

可以实时直观的监测使用者的工作负荷状态,以半球形显示屏210的方式显示在头顶,并有较高的精度,而且整个装置简易美观,适合使用者的日常佩戴,不会产生干扰影响。

存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块,如本发明实施例中的虚拟影像控制方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块,从而执行立体成像处理装置的各种功能应用以及数据处理,即实现上述任一方法实施例的可穿戴式工作负荷测量方法。

存储器可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据立体成像处理装置的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至该立体投影装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器中,当被所述一个或者多个处理器执行时,执行上述任意方法实施例中的可穿戴式工作负荷测量方法,例如第一实施例中的方法步骤s100至s500。

本发明的第四实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个控制处理器执行,可使得上述一个或多个处理器执行上述方法实施例中的一种可穿戴式工作负荷测量方法,例如第一实施例中的方法步骤s100至s500。

以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述,本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory,rom)或随机存储记忆体(randomaccessmemory,ram)等。

以上是对本发明的较佳实施进行了具体说明,但本发明并不局限于上述实施方式,熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。


技术特征:

1.一种可穿戴式工作负荷测量方法,其特征在于,包括:

采集实时脑电信号;

将脑电信号放大,并对放大后的脑电信号进行伪影消除;

对脑电信号进行处理,用傅里叶变换提取出频带能量值和用相位测量估算出脑连接强度值;

将频带能量值和脑连接强度值组成特征向量作为工作负荷判断的分类样本;

对分类样本进行分类处理,输出分类输出值,并以颜色渐变的方式显示工作负荷状态。

2.根据权利要求1所述的一种可穿戴式工作负荷测量方法,其特征在于,所述采集实时脑电信号包括:每秒采集到的脑电信号为64×250的矩阵形式,每秒的脑电信号代表一个样本。

3.根据权利要求2所述的一种可穿戴式工作负荷测量方法,其特征在于,所述将脑电信号放大,并对放大后的脑电信号进行伪影消除包括:将脑电信号经过放大器放大,再采用1-42hzfir带通滤波器和独立成分分析对放大后的脑电信号进行伪影消除。

4.根据权利要求3所述的一种可穿戴式工作负荷测量方法,其特征在于,所述对脑电信号进行处理,用傅里叶变换提取出频带能量值和用相位测量估算出脑连接强度值包括:对脑电信号进行处理,用傅里叶变换提取出64个通道的频带能量值和通道间的脑连接强度值。

5.根据权利要求4所述的一种可穿戴式工作负荷测量方法,其特征在于,所述将频带能量值和脑连接强度值组成特征向量作为工作负荷判断的分类样本包括:对64个通道进行能量提取,且每个通道的能量p定义为:

其中,f(t)为每个样本每个通道的脑电信号,t代表每个通道样本的点数,t为250,每个样本有64个通道,每个通道提取θ和α频带的能量,总共128个能量值,估计通道间的脑连接强度得到2016个连接强度值,把能量值和连接强度值组成特征向量作为分类样本。

6.根据权利要求5所述的一种可穿戴式工作负荷测量方法,其特征在于,所述对分类样本进行分类处理,输出分类输出值,并以颜色渐变的方式显示工作负荷状态包括:对分类样本进行分类处理,输出分类输出值,分类采用支持向量机分类器对工作负荷进行分类,对于一组样本n,支持向量机分类器优化如下:

ξi≥0,i=1,2,…,n

其中,c表示可调正则化参数,x是映射函数,i是松弛变量;

支持向量机无阈值输出为:

f(x)=yiαixtxi b

每一个样本的f(x)输出为一个值,当f(x)大于0时,认为此时为高负荷状态;当f(x)小于0时,认为此时为低负荷状态。

7.根据权利要求5所述的一种可穿戴式工作负荷测量方法,其特征在于,所述对分类样本进行分类处理,输出分类输出值,并以颜色渐变的方式显示工作负荷状态包括:显示的颜色为红色到蓝色的渐变色,高负荷状态为红色,低负荷状态为蓝色。

8.一种可穿戴式工作负荷测量系统,其特征在于,包括:

信号采集模块,用于采集实时脑电信号;

伪影消除模块,用于将脑电信号放大,并对放大后的脑电信号进行伪影消除;

提取模块,用于对脑电信号进行处理,用傅里叶变换提取出频带能量值和用相位测量估算出脑连接强度值;

特征融合模块,用于将频带能量值和脑连接强度值组成特征向量作为工作负荷判断的分类样本;

分类输出模块,用于对分类样本进行分类处理,输出分类输出值,并以颜色渐变的方式显示工作负荷状态。

9.一种可穿戴式工作负荷测量装置,其特征在于,包括:

从上至下依次层叠的半球形显示屏、帆布鸭舌帽和干电极脑电采集仪,所述半球形显示屏与所述干电极脑电采集仪电性连接,所述干电极脑电采集仪上设置有脑电信号处理器;以及,

与所述脑电信号处理器通信连接的存储器;其中,

所述存储器存储有可被所述脑电信号处理器执行的指令,所述指令被所述脑电信号处理器执行,以使所述脑电信号处理器能够执行如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1-7任一项所述的方法。

技术总结
本发明公开了一种可穿戴式工作负荷测量方法、系统、装置和存储介质,可以监测并直观显示使用者的工作负荷状态,不会对使用者的正常工作产生干扰,而且识别方法简单高效,可以实现实时反馈。本发明采用的信号处理方法只用简单的方法进行分类识别,并获得了优秀的性能,方法简单有效,可以快速识别使用者当前的工作负荷状态。

技术研发人员:李俊华;裴子安;王洪涛
受保护的技术使用者:五邑大学
技术研发日:2020.01.19
技术公布日:2020.06.09

转载请注明原文地址: https://bbs.8miu.com/read-28876.html

最新回复(0)