本发明涉及智能看护，尤其涉及一种多模态人体呼吸监测方法、装置、设备及介质。
背景技术：
1、监控人体的呼吸状况对于早期发现并处理呼吸问题至关重要。传统上，这种监控通常依赖于接触式传感器，例如胸带或鼻夹。然而，接触式传感器可能会引起不适，尤其是对于新生儿来说，因此非接触式监控方法具有很大的潜力。非接触式监控技术可以提供更舒适的监测体验，并减少对新生儿的干扰，从而更好地保护他们的隐私和舒适度。
2、现有技术利用通过可见光视频图像和热红外视频图像结合监控人体的呼吸状况，热红外视频图像能够捕获物体表面的温度变化。当用户呼吸时，由于呼吸过程中空气的流动，鼻子区域的温度会发生周期性的变化。通过分析热红外视频中鼻子区域的温度变化，并提取呼吸信号，可以得到用户的呼吸率。然而，使用其中一种视频可能会受到光照条件、遮挡或环境干扰等因素的影响，从而影响呼吸率的准确性。因此，结合两种视频并综合分析它们的特征可以提高呼吸率提取的准确性和稳定性。
3、公开号为cn117357093a的中国专利，其公开了一种基于双光谱面部视频的非接触呼吸率监测方法及系统，其具体包括使用核相关滤波算法对热红外视频图像中的鼻子感兴趣区域进行追踪定位，将热红外视频图像和可见光视频图像的呼吸信号融合处理并通过去趋势处理、归一化处理和高斯拟合处理提取呼吸信号曲线；使用核相关滤波算法对热红外视频中的鼻子感兴趣区域进行追踪定位时，可能受到热红外图像中的噪声、遮挡或运动模糊的影响，导致定位不准确，并且采用的预设信号处理方式无法有效地适应不同的呼吸信号特征，导致处理效果不佳，存在呼吸频率监测准确度低的问题。
技术实现思路
1、有鉴于此，本发明实施例提供了多模态人体呼吸监测方法、装置、设备及介质，用以解决现有技术中存在呼吸频率监测准确度低的问题。
2、第一方面，本发明实施例提供了一种多模态人体呼吸监测方法，所述方法包括：
3、对可见光视频图像进行关键点检测，获取目标人体的第一脸部关键点集，其中，所述第一脸部关键点集包括所述可见光视频图像中所述目标人体的若干第一脸部关键点；
4、根据所述第一脸部关键点集和预设配准矩阵，获取热红外视频图像中目标人体的第二脸部关键点集，其中，所述可见光视频图像和所述热红外视频图像均包括所述目标人体的图像，所述预设配准矩阵用于表征热红外视频图像和可见光视频图像中像素点的映射关系，所述第二脸部关键点集包括所述热红外视频图像中所述目标人体的若干第二脸部关键点，所述第一脸部关键点和所述第二脸部关键点一一对应；
5、根据热红外视频图像和所述第二脸部关键点集，获取第一热红外数据和第二热红外数据，其中，所述第二脸部关键点包括若干鼻部关键点和所述鼻部关键点以外的若干第三脸部关键点，所述第一热红外数据基于鼻部关键点获取，所述第二热红外数据基于所述第三脸部关键点获取；
6、根据所述第一热红外数据和所述第二热红外数据的差值，获取差值时间序列；
7、根据所述差值时间序列，获取所述目标人体的呼吸频率。
8、优选地，所述根据热红外视频图像和所述第二脸部关键点集，获取第一热红外数据和第二热红外数据包括：
9、根据各所述鼻部关键点的最小外接矩阵，获取鼻部区域；
10、获取所述热红外视频图像的每一帧热红外图像中所述鼻部区域的热红外数据，以得到每一帧热红外图像的第一热红外数据；
11、获取所述热红外视频图像的每一帧热红外图像中各所述第三脸部关键点的热红外数据，以得到每一帧热红外图像的所述第二热红外数据。
12、优选地，所述根据所述第一热红外数据和所述第二热红外数据的差值，获取差值时间序列的步骤，包括：
13、对每一帧所述热红外图像对应的第一热红外数据进行排序，获取热红外数值前10%的热红外数据的平均值，得到第一均值序列；
14、根据每一帧所述热红外图像对应的第二热红外数据的平均值，获取第二均值序列；
15、获取所述第一均值序列和所述第二均值序列的差值，得到初始差值序列；
16、根据第一预设时间窗口和所述初始差值序列，获取所述差值时间序列。
17、优选地，所述根据所述差值时间序列，获取所述目标人体的呼吸频率包括：
18、对所述差值时间序列进行滤波处理，得到滤波差值时间序列；
19、根据预设异常值去除方法去除所述滤波差值时间序列的异常值，得到目标呼吸序列；
20、根据所述目标呼吸序列中峰值的间隔，获取所述目标人体的呼吸频率。
21、优选地，所述根据预设异常值去除方法去除所述滤波差值时间序列的异常值，得到目标呼吸序列包括：
22、计算所述滤波差值序列的平均值，得到标准值；
23、根据所述标准值对所述滤波差值序列进行筛选，得到所述滤波差值序列的异常值，其中，所述异常值大于所述标准值的两倍，或者，所述异常值小于所述标准值的二分之一；
24、根据所述标准值对所述滤波差值序列中的异常值进行替换，得到目标呼吸序列。
25、优选地，所述根据所述目标呼吸序列中峰值的间隔，获取所述目标人体的呼吸频率包括：
26、根据第二预设时间窗口，对所述目标呼吸序列进行移动平均计算，得到局部基线；
27、根据所述局部基线，计算所述目标呼吸序列中每一个数据点的局部标准差 或局部均方根，得到局部噪声水平；
28、根据所述局部噪声水平和所述局部基线，确定所述目标呼吸序列的峰值；
29、根据所述目标呼吸序列中相邻的所述峰值之间的间隔的倒数平均值，确定所述目标人体的呼吸频率。
30、优选地，所述根据所述局部噪声水平和所述局部基线，确定所述目标呼吸序列的峰值包括：
31、根据动态峰值阈值计算公式和所述局部噪声水平和所述局部基线，得到动态峰值阈值，其中，所述动态峰值阈值计算公式的表达式如下：式中，t为时间，t(t)为所述动态峰值阈值，b(t)为所述局部基线，α为预设阈值系数，σ(t)为所述局部噪声水平；
32、根据峰值确定规则和所述动态峰值阈值，得到若干所述目标呼吸序列中的峰值，其中，所述峰值确定规则包括：
33、当目标呼吸序列中一数据点的数值大于对应的动态峰值阈值并且所述数据点的数值大于所述数据点的预设邻域中的邻域数据点的数值，则将所述数据点标记为峰值。
34、第二方面，本发明实施例提供了一种多模态人体呼吸监测装置，所述装置包括：
35、第一关键点检测模块，用于对可见光视频图像进行关键点检测，获取目标人体的第一脸部关键点集，其中，所述第一脸部关键点集包括所述可见光视频图像中所述目标人体的若干第一脸部关键点；
36、第二关键点获取模块，用于根据所述第一脸部关键点集和预设配准矩阵，获取热红外视频图像中目标人体的第二脸部关键点集，其中，所述可见光视频图像和所述热红外视频图像均包括所述目标人体的图像，所述预设配准矩阵用于表征通过热红外视频图像和可见光视频图像中像素点的映射关系，所述第二脸部关键点集包括所述热红外视频图像中所述目标人体的若干第二脸部关键点，所述第一脸部关键点和所述第二脸部关键点一一对应；
37、热红外数据获取模块，用于根据热红外视频图像和所述第二脸部关键点集，获取第一热红外数据和第二热红外数据，其中，所述第二脸部关键点包括若干鼻部关键点和所述鼻部关键点以外的若干第三脸部关键点，所述第一热红外数据基于鼻部关键点获取，所述第二热红外数据基于所述第三脸部关键点获取。
38、第三方面，本发明实施例提供了一种电子设备设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
39、第四方面，本发明实施例提供了一种存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
40、综上所述，本发明的有益效果如下：
41、本发明实施例提供的多模态人体呼吸监测方法、装置、设备及存储介质，通过对可见光视频进行关键点检测，获取目标人体的第一脸部关键点集，通过关键点检测，可以精确地定位人体的脸部关键点；根据所述脸部关键点集和预设配准矩阵，获取热红外视频中目标人体的第二脸部关键点集，其中，所述预设配准矩阵用于表征通过热红外视频和可见光视频中像素点的映射关系，通过配准矩阵将可见光视频中的脸部关键点映射到热红外视频中，实现了可见光视频和热红外视频之间的对应关系，为后续步骤提供了跨模态的数据对齐；根据目标热红外视频和所述第二脸部关键点集，获取第一热红外数据和第二热红外数据，其中，所述第二脸部关键点集包括若干鼻部关键点和若干脸部关键点，所述第一热红外数据基于鼻部关键点获取，所述第二热红外数据基于所述脸部关键点获取，通过获取目标人体的鼻部关键点和脸部关键点，在热红外视频中定位目标区域，获得与人体面部相关的热红外数据； 根据所述第一热红外数据和所述第二热红外数据的差值，获取差值时间序列，差值时间序列反映了热红外视频中人体呼吸相关区域的温度变化，可用于呼吸状态的监测和分析；根据所述差值时间序列，获取所述目标人体的呼吸频率，差值时间序列可以提供连续的呼吸信号变化数据，实现了对人体呼吸状态的实时监测，通过对热红外图像中的差值时间序列进行分析，可以更准确地捕捉到呼吸状态的细微变化，提高监测的准确度和灵敏度。
1.一种多模态人体呼吸监测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的多模态人体呼吸监测方法，其特征在于，所述根据热红外视频图像和所述第二脸部关键点集，获取第一热红外数据和第二热红外数据包括：
3.根据权利要求2所述的多模态人体呼吸监测方法，其特征在于，所述根据所述第一热红外数据和所述第二热红外数据的差值，获取差值时间序列，包括：
4.根据权利要求1-3任一项所述的多模态人体呼吸监测方法，其特征在于，所述根据所述差值时间序列，获取所述目标人体的呼吸频率包括：
5.根据权利要求4所述的多模态人体呼吸监测方法，其特征在于，所述根据预设异常值去除方法去除所述滤波差值时间序列的异常值，得到目标呼吸序列包括：
6.根据权利要求4所述的多模态人体呼吸监测方法，其特征在于，所述根据所述目标呼吸序列中峰值的间隔，获取所述目标人体的呼吸频率包括：
7.根据权利要求6所述的多模态人体呼吸监测方法，其特征在于，所述根据所述局部噪声水平和所述局部基线，确定所述目标呼吸序列的峰值包括：
8.一种多模态人体呼吸监测装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-7中任一项所述的方法。
10.一种存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-7中任一项所述的方法。
