本发明属于监护系统技术领域，具体涉及一种基于多模态注意力融合的高血压老年人活动分析方法。
背景技术：
适量的身体活动是高血压、糖尿病和骨关节炎等慢性疾病辅助治疗的重要手段之一。量化慢病人群日常活动的强度和类型有助于医生或家人了解其活动方式、规律、类型及活动量，提高健康评价的准确性，以制定更合适的康复治疗策略。随着无线通信及可穿戴传感技术的发展，穿戴式传感设备可以实时采集人体活动过程的加速度、心率、心电等数据，通过对采集的数据进行分析，利用机器学习技术可实现对高血压等慢病人群日常活动进行监测。
技术实现要素：
本发明的目的是为了解决老年人日常适量活动的问题，提出了一种基于多模态注意力融合的高血压老年人活动分析方法。
本发明的技术方案是：一种基于多模态注意力融合的高血压老年人活动分析方法，包括以下步骤：
s1：采用加速度传感器采集老年人的人体活动的加速度数据；采用光电体积描记器传感器采集老年人的人体活动的脉搏波数据；采用心电图传感器采集老年人的人体活动的心电图数据；
s2：对加速度数据、脉搏波数据和心电图数据分别进行归一化处理，得到加速度归一化数据、脉搏波归一化数据和心电图归一化数据；
s3：将加速度归一化数据、脉搏波归一化数据和心电图归一化数据均按照长度为1分钟，重叠为50％的时间窗口分割，得到加速度模态数据、脉搏波模态数据和心电图模态数据；
s4：将加速度模态数据、脉搏波模态数据和心电图模态数据分别输入各自对应的cnn-lstm模型，进行池化，得到用户日常活动类型；
s5：基于用户日常活动类型，对脉搏波数据和心电图数据进行去噪；
s6：计算去噪后脉搏波信号和心电图信号之间的距离d以及脉搏波转换延迟时间tdelay；
s7：根据d和tdelay计算脉搏波传导速度pwv；
s8：根据pwv计算脉搏波传导时间ptt；
s9：根据ptt计算血压实时测量值bp；
s10：根据bp计算血压变异性系数cv；
s11：根据用户日常活动类型和血压变异性阈值，提取血压变异性系数cv大于血压变压性阈值的时段，得到血压变异性强的时段t；
s12：基于时段t连续测量用户的血压一周，标记频率最高的3个用户日常活动类型，并提醒用户进行安全防范，完成老年人活动分析。
本发明的有益效果是：本发明的分析方法基于卷积神经网络模型和长短期记忆神经网络组合模型，引入注意力机制，实现多模态特征提取及融合，可有效改善活动识别精度。并且本方法分析实时血压与日常活动之间的关联，为高血压老年人推荐合理的日常活动提供依据。
进一步地，步骤s1中，加速度传感器和光电体积描记器传感器的采样频率均为50hz，心电图传感器的采样频率为256hz。
上述进一步方案的有益效果是：在本发明中，不同的传感器采用不同的频率可采集连续时序数据，方便后续步骤进行活动识别。
进一步地，步骤s2中，归一化处理的公式为：
其中，x*分别为加速度归一化数据、脉搏波归一化数据和心电图归一化数据，x分别为采集的加速度数据、脉搏波数据和心电图数据，xmin分别为采集的加速度数据、脉搏波数据和心电图数据中的最小值，xmax分别为采集的加速度数据、脉搏波数据和心电图数据中的最大值。
上述进一步方案的有益效果是：在本发明中，不同传感器采集的数据具有不同的范围和量纲，为了消除数据之间的范围和量纲影响，不影响数据分析结果的准确性，需要对其进行归一化处理。初始数据经过归一化处理后，各指标处于同一数量级，并消除了量纲，有利于进行综合对比评价。
进一步地，步骤s4包括以下子步骤：
s41：将各个cnn-lstm模型均分为8层，其中第1层为输入层，第2-5层为卷积-池化层，第6-7层为全连接层，分别为第1层lstm网络和第2层lstm网络，第8层为softmax层；
s42：利用cnn算法分别提取加速度模态数据、脉搏波模态数据和心电图模态数据的空间特征信息，并以时间片的形式输入到各自对应的第6层lstm模型隐含单元，经过第7层lstm模型进一步提取各模态数据的时序特征；
s43：向各个cnn-lstm模型的第6层和第7层之间均加入注意力机制；
s44：根据注意力机制计算t时刻所有模态数据的全局注意力ct；
s45：基于t时刻的ct，根据注意力机制计算t时刻加速度模态数据的全局注意力
s46：将
s47：将
s48：将
s49：获取第1层lstm网络的跨模态融合特征，输入到第2层lstm网络进行提取时序特征表示，并输入到第8层；
s410：根据特征表示计算第8层的日常活动输出类别
其中，f为第2层lstm网络的输出特征，w为第8层和第2层lstm网络的连接权重；
s411：根据
其中，n为样本数，y为真实的活动类别，
上述进一步方案的有益效果是：在本发明中，对各模态数据进行池化，提取模态数据的低层统计特征和高层抽象特征，得到用户日常活动类型，给后续分析步骤提供依据。
进一步地，步骤s44包括以下子步骤：
s441：根据注意力机制计算所有模态数据的注意力ati；其计算公式为：
ati＝wahi ba
其中，i＝1,…,t-1，wa为所有模态数据的注意力层权重，hi为所有模态数据的隐藏状态，ba为注意力机制的单元偏置；
s442：根据ati和注意力机制计算t时刻所有模态数据的全局注意力ct，其计算公式为：
其中，ati为所有模态数据的注意力，hi为所有模态数据的隐藏状态。
上述进一步方案的有益效果是：在本发明中，计算t时刻所有模态数据的全局注意力ct便于与各个模态数据的特征向量进行拼接。
进一步地，步骤s45包括以下子步骤：
s451：基于t时刻的ct，根据注意力机制计算t时刻加速度模态数据的注意力
其中，i＝1,…,t-1，
s452：根据
其中，
上述进一步方案的有益效果是：在本发明中，计算t时刻各个模态数据的全局注意力，以便更好反映同一活动下相同时刻用户的人体加速度、脉搏波和心电图的特征表示。
进一步地，步骤s7中，脉搏波传导速度pwv的计算公式为：
其中，d为脉搏波信号和心电图信号之间的距离，tdelay为脉搏波传导时间。
上述进一步方案的有益效果是：在本发明中，光电体积描记器传感器用于检测传播脉搏波，脉搏波传导速度pwv用于计算脉搏波传导时间ptt。
进一步地，步骤s8中，脉搏波传导时间ptt的计算公式为:
其中，l为主动脉起始和放置光电体积描记器传感器之间的距离，pwv为脉搏波传导速度。
上述进一步方案的有益效果是：在本发明中，脉搏波传导时间ptt是指心脏搏动产生脉搏波经血管传送到人体某个部位所耗时间，且心电信号在人体内传导速度远远大于脉搏波传导速度，因而可以忽略不计心电传导时间。故通常以同一心脏搏动周期内心电信号r波的波峰位置与脉搏波信号的主波波峰位置的时间间隔作为心动周期的脉搏波传导时间。
进一步地，步骤s9中，血压实时测量值bp的计算公式为：
bp＝α*ptt β
其中，α和β均为根据回归函数计算人体个性化的待定参数，ptt为脉搏波传导时间。
上述进一步方案的有益效果是：在本发明中，血压实时测量值bp可用于计算血压变异性系数，便于与血压变异性阈值对比。
进一步地，步骤s10中，血压变异性系数cv的计算公式为：
其中，σ为30min内血压实时测量值bp的标准差，mean为30min内血压实时测量值bp的平均值。
上述进一步方案的有益效果是：在本发明中，血压变异性系数cv反映30min内血压波动的程度，该值是一个相对值，没有单位，其大小同时受血压实时测量值bp的标准差和平均值的影响。在比较不同时间段的血压变异性程度时，变异性系数不受血压实时测量值bp的标准差和平均值的影响。
附图说明
图1为老年人活动分析方法的流程图；
图2为步骤s4的流程图；
图3为步骤s44的流程图；
图4为步骤s45的流程图；
图5为cnn模型和lstm模型的架构图；
图6为用户的脉搏波传导时间的分析图。
具体实施方式
下面结合附图对本发明的实施例作进一步的说明。
如图1所示，本发明提供了一种基于多模态注意力融合的高血压老年人活动分析方法，包括以下步骤：
s1：采用加速度传感器采集老年人的人体活动的加速度数据；采用光电体积描记器传感器采集老年人的人体活动的脉搏波数据；采用心电图传感器采集老年人的人体活动的心电图数据；
s2：对加速度数据、脉搏波数据和心电图数据分别进行归一化处理，得到加速度归一化数据、脉搏波归一化数据和心电图归一化数据；
s3：将加速度归一化数据、脉搏波归一化数据和心电图归一化数据均按照长度为1分钟，重叠为50％的时间窗口分割，得到加速度模态数据、脉搏波模态数据和心电图模态数据；
s4：将加速度模态数据、脉搏波模态数据和心电图模态数据分别输入各自对应的cnn-lstm模型，进行池化，得到用户日常活动类型；
s5：基于用户日常活动类型，对脉搏波数据和心电图数据进行去噪；
s6：计算去噪后脉搏波信号和心电图信号之间的距离d以及脉搏波转换延迟时间tdelay；
s7：根据d和tdelay计算脉搏波传导速度pwv；
s8：根据pwv计算脉搏波传导时间ptt；
s9：根据ptt计算血压实时测量值bp；
s10：根据bp计算血压变异性系数cv；
s11：根据用户日常活动类型和血压变异性阈值，提取血压变异性系数cv大于血压变压性阈值的时段，得到血压变异性强的时段t；
s12：基于时段t连续测量用户的血压一周，标记频率最高的3个用户日常活动类型，并提醒用户进行安全防范，完成老年人活动分析。
在本发明实施例中，如图1所示，步骤s1中，加速度传感器和光电体积描记器传感器的采样频率均为50hz，心电图传感器的采样频率为256hz。
在本发明中，不同的传感器采用不同的频率可采集连续时序数据，方便后续步骤进行活动识别。
在本发明实施例中，如图1所示，步骤s2中，归一化处理的公式为：
其中，x*分别为加速度归一化数据、脉搏波归一化数据和心电图归一化数据，x分别为采集的加速度数据、脉搏波数据和心电图数据，xmin分别为采集的加速度数据、脉搏波数据和心电图数据中的最小值，xmax分别为采集的加速度数据、脉搏波数据和心电图数据中的最大值。
在本发明中，不同传感器采集的数据具有不同的范围和量纲，为了消除数据之间的范围和量纲影响，不影响数据分析结果的准确性，需要对其进行归一化处理。初始数据经过归一化处理后，各指标处于同一数量级，并消除了量纲，有利于进行综合对比评价。
在本发明实施例中，如图2所示，步骤s4包括以下子步骤：
s41：将各个cnn-lstm模型均分为8层，其中第1层为输入层，第2-5层为卷积-池化层，第6-7层为全连接层，分别为第1层lstm网络和第2层lstm网络，第8层为softmax层；
s42：利用cnn算法分别提取加速度模态数据、脉搏波模态数据和心电图模态数据的空间特征信息，并以时间片的形式输入到各自对应的第6层lstm模型隐含单元，经过第7层lstm模型进一步提取各模态数据的时序特征；
s43：向各个cnn-lstm模型的第6层和第7层之间均加入注意力机制；
s44：根据注意力机制计算t时刻所有模态数据的全局注意力ct；
s45：基于t时刻的ct，根据注意力机制计算t时刻加速度模态数据的全局注意力
s46：将
s47：将
s48：将
s49：获取第1层lstm网络的跨模态融合特征，输入到第2层lstm网络进行提取时序特征表示，并输入到第8层；
s410：根据特征表示计算第8层的日常活动输出类别
其中，f为第2层lstm网络的输出特征，w为第8层和第2层lstm网络的连接权重；
s411：根据
其中，n为样本数，y为真实的活动类别，
在本发明中，对各模态数据进行池化，提取模态数据的低层统计特征和高层抽象特征，得到用户日常活动类型，给后续分析步骤提供依据。
在本发明实施例中，如图3所示，步骤s44包括以下子步骤：
s441：根据注意力机制计算所有模态数据的注意力ati；其计算公式为：
ati＝wahi ba
其中，i＝1,…,t-1，wa为所有模态数据的注意力层权重，hi为所有模态数据的隐藏状态，ba为注意力机制的单元偏置；
s442：根据ati和注意力机制计算t时刻所有模态数据的全局注意力ct，其计算公式为：
其中，ati为所有模态数据的注意力，hi为所有模态数据的隐藏状态。
在本发明中，计算t时刻所有模态数据的全局注意力ct便于与各个模态数据的特征向量进行拼接。
在本发明实施例中，如图4所示，步骤s45包括以下子步骤：
s451：基于t时刻的ct，根据注意力机制计算t时刻加速度模态数据的注意力
其中，i＝1,…,t-1，
s452：根据
其中，
在本发明中，计算t时刻各个模态数据的全局注意力，以便更好反映同一活动下相同时刻用户的人体加速度、脉搏波和心电图的特征表示。
在本发明实施例中，如图1所示，步骤s7中，脉搏波传导速度pwv的计算公式为：
其中，d为脉搏波信号和心电图信号之间的距离，tdelay为脉搏波传导时间。
在本发明中，光电体积描记器传感器用于检测传播脉搏波，脉搏波传导速度pwv用于计算脉搏波传导时间ptt。
在本发明实施例中，如图1所示，步骤s8中，脉搏波传导时间ptt的计算公式为:
其中，l为主动脉起始和放置光电体积描记器传感器之间的距离，pwv为脉搏波传导速度。
在本发明中，脉搏波传导时间ptt是指心脏搏动产生脉搏波经血管传送到人体某个部位所耗时间，且心电信号在人体内传导速度远远大于脉搏波传导速度，因而可以忽略不计心电传导时间。故通常以同一心脏搏动周期内心电信号r波的波峰位置与脉搏波信号的主波波峰位置的时间间隔作为心动周期的脉搏波传导时间。
在本发明实施例中，如图1所示，步骤s9中，血压实时测量值bp的计算公式为：
bp＝α*ptt β
其中，α和β均为根据回归函数计算人体个性化的待定参数，ptt为脉搏波传导时间。
在本发明中，血压实时测量值bp可用于计算血压变异性系数，便于与血压变异性阈值对比。
在本发明实施例中，如图1所示，步骤s10中，血压变异性系数cv的计算公式为：
其中，σ为30min内血压实时测量值bp的标准差，mean为30min内血压实时测量值bp的平均值。
在本发明中，血压变异性系数cv反映30min内血压波动的程度，该值是一个相对值，没有单位，其大小同时受血压实时测量值bp的标准差和平均值的影响。在比较不同时间段的血压变异性程度时，变异性系数不受血压实时测量值bp的标准差和平均值的影响。
本发明的工作原理及过程为：本发明的分析方法基于cnn模型和lstm模型，融合多模态数据特征，并基于注意力机制提取各模态数据的注意力表示，以体现不同模态数据在识别活动中的权重。同时基于脉搏波和心电传感器测量高血压老年人实时血压，并计算血压变异性，分析实时活动和血压关联的关系，得出适合高血压老年人的日常活动。
cnn模型和lstm模型的架构如图5所示，其中第1层为输入层，acc为加速度传感器，ppg为光电体积描记器传感器，ecg为心电图传感器；第2-5层为卷积-池化层，第2层为cnn卷积层，卷积核的大小为1×3，卷积核的数量为64个，共有256个参数，第3层为池化层，采用最大池化过滤规则，过滤器大小为1×2，步长为2，参数大小为2，第4、5层分别和第2、3层的参数设置相同；第6-7层为lstm全连接层，第8层为softmax层。
采用本发明的分析方法测量计算用户的脉搏波传导时间如图6所示。
本发明的有益效果为：本发明的分析方法基于卷积神经网络模型和长短期记忆神经网络组合模型，引入注意力机制，实现多模态特征提取及融合，可有效改善活动识别精度。并且本方法分析实时血压与日常活动之间的关联，为高血压老年人推荐合理的日常活动提供依据。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
1.一种基于多模态注意力融合的高血压老年人活动分析方法，其特征在于，包括以下步骤：
s1：采用加速度传感器采集老年人的人体活动的加速度数据；采用光电体积描记器传感器采集老年人的人体活动的脉搏波数据；采用心电图传感器采集老年人的人体活动的心电图数据；
s2：对加速度数据、脉搏波数据和心电图数据分别进行归一化处理，得到加速度归一化数据、脉搏波归一化数据和心电图归一化数据；
s3：将加速度归一化数据、脉搏波归一化数据和心电图归一化数据均按照长度为1分钟，重叠为50％的时间窗口分割，得到加速度模态数据、脉搏波模态数据和心电图模态数据；
s4：将加速度模态数据、脉搏波模态数据和心电图模态数据分别输入各自对应的cnn-lstm模型，进行池化，得到用户日常活动类型；
s5：基于用户日常活动类型，对脉搏波数据和心电图数据进行去噪；
s6：计算去噪后脉搏波信号和心电图信号之间的距离d以及脉搏波转换延迟时间tdelay；
s7：根据d和tdelay计算脉搏波传导速度pwv；
s8：根据pwv计算脉搏波传导时间ptt；
s9：根据ptt计算血压实时测量值bp；
s10：根据bp计算血压变异性系数cv；
s11：根据用户日常活动类型和血压变异性阈值，提取血压变异性系数cv大于血压变压性阈值的时段，得到血压变异性强的时段t；
s12：基于时段t连续测量用户的血压一周，标记频率最高的3个用户日常活动类型，并提醒用户进行安全防范，完成老年人活动分析。
2.根据权利要求1所述的基于多模态注意力融合的高血压老年人活动分析方法，其特征在于，所述步骤s1中，加速度传感器和光电体积描记器传感器的采样频率均为50hz，心电图传感器的采样频率为256hz。
3.根据权利要求1所述的基于多模态注意力融合的高血压老年人活动分析方法，其特征在于，所述步骤s2中，归一化处理的公式为：
其中，x*分别为加速度归一化数据、脉搏波归一化数据和心电图归一化数据，x分别为采集的加速度数据、脉搏波数据和心电图数据，xmin分别为采集的加速度数据、脉搏波数据和心电图数据中的最小值，xmax分别为采集的加速度数据、脉搏波数据和心电图数据中的最大值。
4.根据权利要求1所述的基于多模态注意力融合的高血压老年人活动分析方法，其特征在于，所述步骤s4包括以下子步骤：
s41：将各个cnn-lstm模型均分为8层，其中第1层为输入层，第2-5层为卷积-池化层，第6-7层为全连接层，分别为第1层lstm网络和第2层lstm网络，第8层为softmax层；
s42：利用cnn算法分别提取加速度模态数据、脉搏波模态数据和心电图模态数据的空间特征信息，并以时间片的形式输入到各自对应的第6层lstm模型隐含单元，经过第7层lstm模型进一步提取各模态数据的时序特征；
s43：向各个cnn-lstm模型的第6层和第7层之间均加入注意力机制；
s44：根据注意力机制计算t时刻所有模态数据的全局注意力ct；
s45：基于t时刻的ct，根据注意力机制计算t时刻加速度模态数据的全局注意力
s46：将
s47：将
s48：将
s49：获取第1层lstm网络的跨模态融合特征，输入到第2层lstm网络进行提取时序特征表示，并输入到第8层；
s410：根据特征表示计算第8层的日常活动输出类别
其中，f为第2层lstm网络的输出特征，w为第8层和第2层lstm网络的连接权重；
s411：根据
其中，n为样本数，y为真实的活动类别，
5.根据权利要求4所述的基于多模态注意力融合的高血压老年人活动分析方法，其特征在于，所述步骤s44包括以下子步骤：
s441：根据注意力机制计算所有模态数据的注意力ati；其计算公式为：
ati＝wahi ba
其中，i＝1,…,t-1，wa为所有模态数据的注意力层权重，hi为所有模态数据的隐藏状态，ba为注意力机制的单元偏置；
s442：根据ati和注意力机制计算t时刻所有模态数据的全局注意力ct，其计算公式为：
其中，ati为所有模态数据的注意力，hi为所有模态数据的隐藏状态。
6.根据权利要求4所述的基于多模态注意力融合的高血压老年人活动分析方法，其特征在于，所述步骤s45包括以下子步骤：
s451：基于t时刻的ct，根据注意力机制计算t时刻加速度模态数据的注意力
其中，i＝1,…,t-1，wa1为加速度模态数据的注意力层权重，wa2为脉搏波模态数据的注意力层权重，wa3为心电图模态数据的注意力层权重；
s452：根据
其中，
7.根据权利要求1所述的基于多模态注意力融合的高血压老年人活动分析方法，其特征在于，所述步骤s7中，脉搏波传导速度pwv的计算公式为：
其中，d为脉搏波信号和心电图信号之间的距离，tdelay为脉搏波转换延迟时间。
8.根据权利要求1所述的基于多模态注意力融合的高血压老年人活动分析方法，其特征在于，所述步骤s8中，脉搏波传导时间ptt的计算公式为:
其中，l为主动脉起始和放置光电体积描记器传感器之间的距离，pwv为脉搏波传导速度。
9.根据权利要求1所述的基于多模态注意力融合的高血压老年人活动分析方法，其特征在于，所述步骤s9中，血压实时测量值bp的计算公式为：
bp＝α*ptt β
其中，α和β均为根据回归函数计算人体个性化的待定参数，ptt为脉搏波传导时间。
10.根据权利要求1所述的基于多模态注意力融合的高血压老年人活动分析方法，其特征在于，所述步骤s10中，血压变异性系数cv的计算公式为：
其中，σ为30min内血压实时测量值bp的标准差，mean为30min内血压实时测量值bp的平均值。
技术总结