1.本发明涉及医疗器械监护领域，更具体的涉及一种有创机械通气患者脱管预警系统。
背景技术：2.有创机械通气是急诊科临床护理单位常见的治疗手段之一。对于自主呼吸难以维持身体需要的危重症患者，常需要进行气管插管，依靠呼吸机协助患者呼吸。插管过程中会对患者进行深度镇静，在之后的镇静维持方面，因为过量镇静会延迟患者康复后的脱机过程，目前的公认理念是最小化镇静原则，因此镇静强度下降后，患者可能恢复意识，半清醒的患者可能会因为术后伤口的疼痛，或对陌生环境的心理恐惧，或身体的不舒服而扭动头部和身躯。上述的挣扎行为，可能会造成患者的气管损伤，更重要的是，若患者无意识的自行拔出气管插管或插管在挣扎中意外脱落，这种脱管情况会对患者的声门造成严重损伤，并影响机械通气，一旦医护人员未及时发现，可能会危及患者的生命，甚至导致患者死亡。
3.现行临床对于患者异常的发现，常见解决方案是由医护人员加强巡视，多加注意，然而，相较于庞大的病患数量，医疗人员是相对稀缺的，一位医护人员需要照顾多位病患。因此难免会出现上述机械通气异常，却未及时发现的问题。中国专利文献cn112386414a公开了一种麻醉苏醒辅助装置，通过改进地面上的护理床、护理床上的摇摆装置以及起伏装置，在病患唤醒的过程中节省人力，并持续对病患唤醒，但缺点是需要对病床等装置进行较大的改动。中国专利文献cn111481174公开了一种麻醉与意识深度监护系统，包括头部的麻醉深度传感器、脑血氧饱和度传感器及与两传感器通过线缆连接的主控制器。同步脑电和脑血氧采集，实现同步采集、分析与相关指标的实时提取，但缺点是须佩戴较多传感设备于病患身上，影响病患舒适度以及医护人员对患者的治疗。
技术实现要素：4.本发明的目的是克服现有技术的上述不足，基于人工智能的计算机视觉处理能力，提供一种有创机械通气患者脱管预警系统，其以双摄像头影像为输入，进行场景的全角度分析。本发明的技术方案如下：
5.一种有创机械通气患者脱管预警系统，其特征在于，包括数据采集模块、数据处理模块、目标识别模块、异常分级模块以及分级预警模块；其中：
6.数据采集模块，用于采集医疗场景中目标对象的影像数据；
7.数据处理模块，与数据采集模块相连，用于对所述数据采集模块采集到的影像数据进行处理；
8.目标识别模块，与数据处理模块相连，用于对经过数据处理后的所述影像数据进行目标识别；
9.异常分级模块，与目标识别模块相连，根据目标识别结果，检测影像数据中的异常事件，进行危险等级判定；
10.分级预警模块，与所述异常分级模块相连，根据异常分级的结果向用户发出预警提示。
11.所述数据采集模块包括双摄像头，通过对目标对象所在医疗场景进行计算，得出两个摄像头的相对角度及位置。
12.所述数据处理模块基于低通滤波及腐蚀膨胀算法的数据处理算法，对影像进行初步的清理，将不重要的线路、细琐的杂物及其他干扰信息做初步滤除，并对可能为目标的物体进行信号加强。
13.所述目标识别模块包括患者头部与上肢识别模块、插管识别模块，医护识别模块，所述患者头部与上肢识别模块、插管识别模块，医护识别模块均采用yolov5或ssd算法构建目标检测模型，通过所述目标检测模型实现相应目标的识别。
14.所述异常分级模块包括输入模块、通道提升模块、纹理提取模块、映射模块、特征融合模块以及分级模块；其中，输入模块以时刻t、时刻t-1
……
时刻t-t的双摄像头影像数据为输入，总计(t+1)*2帧影像作为输入，其中t为进行异常事件检测时采纳的帧数。
15.所述通道提升模块针对时刻t、时刻t-1
……
时刻t-t的影像数据，以(t+1)组n1个1*1*6的卷积核进行卷积，再经过激活函数运算得到输出并作为下一层神经网络模型的输入。
16.所述纹理提取模块对通道提升模块的输出以数层(t+1)组n2个3*3*n1的卷积核进行卷积，再经过激活函数运算；所述纹理提取模块用数层3*3的卷积结构提取影像中的纹理特征。
17.所述特征融合模块将时刻t、时刻t-1
……
时刻t-t的(t+1)组m维特征向量，以注意力机制进行特征融合，注意力机制的公式为:att(q,k,v)＝ω(qk
t
)v，其中，q、k、v是查询向量矩阵、键向量矩阵、及值向量矩阵，分别是由该模块的输入乘上3个待训练的矩阵wq、wk、wv所得到，ω是softmax激活函数。
18.所述分级模块将特征融合模块的输出，输入全连阶层及激活函数进行运算，实现将输入映射为c类的输出，完成一个c分类的任务，其中分类数c由临床需求制定。
19.所述分级预警模块根据所述异常分级模块进行异常分级的结果发出不同程度的预警，具体分级方式和预警途径依具各医院临床实际需求进行调整。
20.本发明的技术方案，具有以下优点：
21.现有技术中直接对病床等硬件进行重新设计，或是需要佩戴较多的传感器，因此必须更换原有的医疗设备；而本技术仅是在原有医疗设备的基础上加装两个摄像头，实施和推广使用的成本较低。
22.本技术基于人工智能的计算机视觉处理，实现双摄像头视频图像处理、目标识别，并通过构建神经网络模型实现异常事件检测及分级，以及分级预警，检测准确率高，能够有效检测出患者异常事件并及时发出提醒，适于实际医疗场景中。
附图说明
23.本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
24.图1是本发明一个实施例的结构框图；
25.图2是本发明一个实施例的流程图。
具体实施方式
26.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
27.如图1所示，本发明提供了一种有创机械通气患者脱管预警系统，包括数据采集模块100、数据处理模块200、目标识别模块300、异常分级模块400以及分级预警模块500。
28.考虑到摄像头摆放角度引起的死角问题，本发明中数据采集模块包括两个摄像头，即摄像头110以及摄像头120，通过对目标对象所在医疗场景进行计算，得出两个摄像头的相对角度及位置，从而解决双摄像头的信息重叠及互补，完成双摄像头的协作，实现对医疗场景中目标对象的完整覆盖，避免单摄像头存在的视野死角的问题。
29.数据采集模块100将采集到的影像数据发送给数据处理模块200，数据处理模块200对所述影像数据进行数据处理。临床场景可能较为杂乱，各种仪器、线路、传感器充满画面。本发明采用基于低通滤波及腐蚀膨胀算法的数据处理算法，对影像进行初步的清理，将不重要的线路、细琐的杂物及其他干扰信息做初步滤除，并根据后续识别目标的形体，对可能为目标的物体进行信号加强。之后将处理得到的影像数据传输给目标识别模块300。
30.目标识别模块300包括患者头部、上肢识别模块310、插管识别模块320，医护识别模块330。所述患者头部、上肢识别模块310、插管识别模块320，医护识别模块330均采用yolov5或ssd算法构建目标检测模型，通过所述目标检测模型实现相应目标的识别。在识别过程中加入关键点检测等算法，从而提高模型识别准确率。
31.目标识别模块300以数据处理模块处理后的两个摄像头的影像数据作为输入，每个摄像头每帧影像为长*宽*rgb 3通道，识别目标对象后，将识别结果作为影像的一个新通道，识别成目标的位置设为1，其他位置设为0。将患者头部、上肢识别模块310、插管识别模块320，医护识别模块330输出的3个新通道叠加在原本影像上，形成2个摄像头*长*宽*6通道的输出，再分别输入异常分级模块。
32.异常分级模块400需要根据目标识别识别模块300的识别结果，判定异常事件并确定危险等级。患者头部的移动有转动、摆动、扭动等方式；手部的移动可能有挥舞、拨弄、拔除插管等行为，各项行为隐含的危险程度都不相同。而判断管路意外移动时还需要排除管路随呼吸造成的有节律移动。
33.本发明中异常分级模块400以注意力机制、卷积神经网络融合双摄像头获取的连续影像数据，检测影像中的异常事件，进行危险分级。异常分级模块400具体包括输入模块410、通道提升模块420、纹理提取模块430、映射模块440、特征融合模块450以及分级模块460。
34.输入模块410：以时刻t、时刻t-1
……
时刻t-t的双摄像头影像数据为输入，总计(t+1)*2帧影像作为输入，其中t为进行异常事件检测时采纳的帧数，可根据临床需求进行调整。
35.通道提升模块420：针对时刻t、时刻t-1
……
时刻t-t的影像数据，以(t+1)组n1个1*1*6的卷积核进行卷积，再经过激活函数运算得到输出并作为下一层神经网络模型的输
入。
36.纹理提取模块430：对通道提升模块420的输出以数层(t+1)组n2个3*3*n1的卷积核进行卷积，再经过激活函数运算。本模块用数层3*3的卷积结构提取影像中的纹理特征，并增加非线性。
37.映射模块440：将纹理提取模块430的输出，输入全连阶层及激活函数。本模块将纹理提取模块430的(t+1)组输出，映射到m维的特征向量，并增加非线性。
38.特征融合模块450：将时刻t、时刻t-1
……
时刻t-t的(t+1)组m维特征向量，以注意力机制进行特征融合。注意力机制的公式为:att(q,k,v)＝ω(qk
t
)v。其中，q、k、v是查询向量矩阵、键向量矩阵、及值向量矩阵，分别是由输入乘上3个待训练的矩阵wq、wk、wv所得到的。ω是激活函数，通常为softmax函数。
39.本模块将时刻t、时刻t-1
……
时刻t-t的高层特征，利用注意力机制进行融合。相较于将连续影像直接输入进行融合，高层特征融合能有效地结合更强的语义信息；注意力机制则能于特征融合时分析输入之间的关联性。
40.分级模块460：将特征融合模块450的输出，输入全连阶层及激活函数。本步骤将输入映射为c类的输出，完成一个c分类的任务。具体分类数c可由临床需求制定。举例而言:c可以为3，即完成一个3分类任务，对应着“正常”、“警告”、“危险”等不同预警等级。
41.分级预警模块500根据所述异常分级模块400进行异常分级的结果发出不同程度的预警，具体分级方式和预警途径可以依具各医院临床实际需求进行调整。例如，1.管路保持静止提示患者头部无移动，无脱管风险。2.管路偶有移动，但持续时间小于10秒，提示患者存在头部摆动，存在一定脱管风险，黄色警报。3.管路持续移动时间大于10秒，提示患者存在持续头部摆动，存在高意外脱管风险，红色警报。
42.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
43.本具体实施方式的实施例均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。
44.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读的记录介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读的记录介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读的记录介质甚至可以是可在其上打印所述程序的
纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
45.本领域的普通技术人员可以理解实现上述实施方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读的记录介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
技术特征：1.一种有创机械通气患者脱管预警系统，其特征在于，包括数据采集模块、数据处理模块、目标识别模块、异常分级模块以及分级预警模块；其中：数据采集模块，用于采集医疗场景中目标对象的影像数据；数据处理模块，与数据采集模块相连，用于对所述数据采集模块采集到的影像数据进行处理；目标识别模块，与数据处理模块相连，用于对经过数据处理后的所述影像数据进行目标识别；异常分级模块，与目标识别模块相连，根据目标识别结果，检测影像数据中的异常事件，进行危险等级判定；分级预警模块，与所述异常分级模块相连，根据异常分级的结果向用户发出预警提示。2.根据权利要求1所述的系统，其特征在于，所述数据采集模块包括双摄像头，通过对目标对象所在医疗场景进行计算，得出两个摄像头的相对角度及位置。3.根据权利要求2所述的系统，其特征在于，所述数据处理模块基于低通滤波及腐蚀膨胀算法的数据处理算法，对影像进行初步的清理，将不重要的线路、细琐的杂物及其他干扰信息做初步滤除，并对可能为目标的物体进行信号加强。4.根据权利要求3所述的系统，其特征在于，所述目标识别模块包括患者头部与上肢识别模块、插管识别模块，医护识别模块，所述患者头部与上肢识别模块、插管识别模块，医护识别模块均采用yolov5或ssd算法构建目标检测模型，通过所述目标检测模型实现相应目标的识别。5.根据权利要求1所述的系统，其特征在于，所述异常分级模块包括输入模块、通道提升模块、纹理提取模块、映射模块、特征融合模块以及分级模块；其中，输入模块以时刻t、时刻t-1
……
时刻t-t的双摄像头影像数据为输入，总计(t+1)*2帧影像作为输入，其中t为进行异常事件检测时采纳的帧数。6.根据权利要求5所述的系统，其特征在于，所述通道提升模块针对时刻t、时刻t-1
……
时刻t-t的影像数据，以(t+1)组n1个1*1*6的卷积核进行卷积，再经过激活函数运算得到输出并作为下一层神经网络模型的输入。7.根据权利要求5所述的系统，其特征在于，所述纹理提取模块对通道提升模块的输出以数层(t+1)组n2个3*3*n1的卷积核进行卷积，再经过激活函数运算；所述纹理提取模块用数层3*3的卷积结构提取影像中的纹理特征。8.根据权利要求7所述的系统，其特征在于，所述特征融合模块将时刻t、时刻t-1
……
时刻t-t的(t+1)组m维特征向量，以注意力机制进行特征融合，注意力机制的公式为:att(q,k,v)＝ω(qk
t
)v，其中，q、k、v是查询向量矩阵、键向量矩阵、及值向量矩阵，分别是由该模块的输入乘上3个待训练的矩阵w
q
、w
k
、w
v
所得到，ω是softmax激活函数。9.根据权利要求8所述的系统，其特征在于，所述分级模块将特征融合模块的输出，输入全连阶层及激活函数进行运算，实现将输入映射为c类的输出，完成一个c分类的任务，其中分类数c由临床需求制定。10.根据权利要求1所述的系统，其特征在于，所述分级预警模块根据所述异常分级模块进行异常分级的结果发出不同程度的预警，具体分级方式和预警途径依具各医院临床实际需求进行调整。
技术总结本发明涉及一种有创机械通气患者脱管预警系统，涉及医疗器械监护领域，其包括数据采集模块，用于采集医疗场景中目标对象的影像数据；数据处理模块，与数据采集模块相连，用于对所述数据采集模块采集到的影像数据进行处理；目标识别模块，与数据处理模块相连，用于对经过数据处理后的所述影像数据进行目标识别；异常分级模块，与目标识别模块相连，根据目标识别结果，检测影像数据中的异常事件，进行危险等级判定；分级预警模块，与所述异常分级模块相连，根据异常分级的结果向用户发出预警提示。本申请检测准确率高，能够有效检测出患者异常事件并及时发出提醒，适于实际医疗场景中。中。中。
技术研发人员：朱华栋 吴及 刘业成 高键东 刘继海 王项 张挺
受保护的技术使用者：中国医学科学院北京协和医院
技术研发日：2022.08.02
技术公布日：2022/12/1
