本发明涉及人工智能技术领域，特别涉及一种检测人员摔倒的方法、装置及系统。
背景技术：
近年来，计算机视觉逐渐被应用于社会建设中，公共场所广泛安装了摄像头，但是这些大多只具备摄像、录像功能，需要人工查看视频发现问题。目前，关于摔倒检测的行为，通常其数据是通过传感器获取的多个人体特征参数，如重力加速度，角加速度以及脚底压力。需要传感器辅助，只适用于佩戴传感器的特定人群。基于单片机的老年人在行走状态下的摔倒检测系统，利用惯性传感器和压力传感器获取踝关节角速度参数和足底压力参数，一次为依据判定老年人是否摔倒。
在现有技术的实现过程中，发明人发现现有技术至少存在如下技术问题：
现有技术中需要安装多个传感器来收集行人的行走状态参数，依赖硬件传感器辅助对公共场所行人摔倒行为进行判定。采用现有技术判断行人的行走状态，不但成本高，且判断精度不高。
技术实现要素：
本发明的目的在于提供一种检测人员摔倒的方法、装置及系统，以克服现有技术中成本高，且判断精度不高的缺陷。
为解决上述技术问题，本发明的实施方式提供了一种检测人员摔倒的方法，包括：
获取待检测视频图像帧，目标检测模型及人体姿态分析模型；
通过所述目标检测模型，确定所述待检测视频图像帧中的目标对象属性；
根据所述目标对象属性和所述人体姿态分析模型分析结果，判断所述目标对象是否为摔倒状态；
如果判断结果为摔倒状态，则发送提示信息。
为解决上述技术问题，本发明的实施方式还提供了一种检测人员摔倒的装置，包括：
图像获取单元，获取待检测视频图像帧，用于目标检测模型及人体姿态分析模型；
目标确定单元，用于通过所述目标检测模型，确定所述待检测视频图像帧中的目标对象属性；
状态判断单元，用于根据所述目标对象属性和所述人体姿态分析模型分析结果，判断所述目标对象是否为摔倒状态；
信息发送单元，用于如果判断结果为摔倒状态，则发送提示信息。
为解决上述技术问题，本发明的实施方式还提供了一种检测人员摔倒的系统，包括：如上所述检测人员摔倒的装置。
本发明提供的一种检测人员摔倒的方法、装置及系统，通过获取待检测视频图像帧，目标检测模型及人体姿态分析模型；通过所述目标检测模型，确定所述待检测视频图像帧中的目标对象属性；根据所述目标对象属性和所述人体姿态分析模型分析结果，判断所述目标对象是否为摔倒状态；如果判断结果为摔倒状态，则发送提示信息。采用本发明技术方案不但成本低，检测精度较高。
附图说明
图1是本发明实施例提供的一种检测人员摔倒的方法流程图；
图2是本发明实施例提供的一种检测人员摔倒的装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。
本发明的第一实施方式涉及一种检测人员摔倒的方法。具体流程如图1所示。该方法包括：
101：获取待检测视频图像帧，目标检测模型及人体姿态分析模型；
102：通过所述目标检测模型，确定所述待检测视频图像帧中的目标对象属性；
103：根据所述目标对象属性和所述人体姿态分析模型分析结果，判断所述目标对象是否为摔倒状态；
104：如果判断结果为摔倒状态，则发送提示信息。
需要说明的是，所述目标对象属性包括：目标对象的外接框和目标对象的类别；所述目标对象的类别包括：摔倒或直立。
还需要说明的是，所述根据所述目标对象属性和所述人体姿态分析模型分析结果，判断所述目标对象是否为摔倒状态的步骤，包括：
预设区域图片尺度；
根据所述目标对象的外接框，获取所述目标对象的类别为摔倒的目标对象图像；
将所述目标对象图像，按照所述区域图片尺度进行图像处理，获取标准尺度的目标对象图像；
根据所述标准尺度的目标对象图像和所述人体姿态分析模型，判断所述目标对象是否为摔倒状态。
还需要说明的是，所述根据所述目标对象属性和所述人体姿态分析模型分析结果，判断所述目标对象是否为摔倒状态的步骤，还包括：
预设摔倒姿态阈值；
根据所述标准尺度的目标对象图像，获取人体骨架姿态信息；
判断所述人体骨架姿态信息是否满足所述摔倒姿态规则。
以上所述实施例，具体分如下情况：
分两种情况：1、摔倒人正面或背面对着摄像机；2、摔倒人侧面对着摄像机。
1、两肩的水平间距s11除以肩到胯的垂直距离s12大于阈值r11，即：s11/s12>r11，在此基础上，当s11除以两膝到两胯的垂直平均距离s13大于阈值r12，即s11/s13>r12，判定为摔倒，否则没有摔倒。其中，r11的取值范围可以为0.9-1.1，最优选的取值为1.0，r12的取值范围可以为1.1-1.3，最优选的取值为1.2；
2、两肩的间距s21除以肩到胯的距离s22小于阈值r21，即：s21/s22<r21，在此基础上，当两膝到两肩的平均距离s23除以两胯到两肩的平均距离s24小于阈值r22，即s23/s24<r22，判定为摔倒，否则没有摔倒。其中，r21的取值范围可以为0.4-0.6，最优选的取值为0.5，r22的取值范围可以为1.2-1.4，最优选的取值为1.3；
3、其它情况不给出解决，待下一视频帧做判定。始终没有得出结论判定为没有摔倒。
还需要说明的是，所述人体骨架姿态信息包括：人体关键点位置信息和属性，以及预设关键点之间的位置信息(即以上所述r11、r12、r21、r22)；所述判断所述人体骨架姿态信息是否满足所述摔倒姿态规则的步骤，具体包括：
1、两肩的水平间距s11除以肩到胯的垂直距离s12大于阈值r11，即：s11/s12>r11，在此基础上，当s11除以两膝到两胯的垂直平均距离s13大于阈值r12，即s11/s13>r12，判定为摔倒，否则没有摔倒。
2、两肩的间距s21除以肩到胯的距离s22小于阈值r21，即：s21/s22<r21，在此基础上，当两膝到两肩的平均距离s23除以两胯到两肩的平均距离s24小于阈值r22，即s23/s24>r22，判定为摔倒，否则没有摔倒。
3、其它情况不给出解决，待下一视频帧做判定。始终没有得出结论判定为没有摔倒。
本发明的第二实施方式涉及一种检测人员摔倒的装置。具体如图2所示。
该装置包括：
图像获取单元201，获取待检测视频图像帧，用于目标检测模型及人体姿态分析模型；
目标确定单元202，用于通过所述目标检测模型，确定所述待检测视频图像帧中的目标对象属性；
状态判断单元203，用于根据所述目标对象属性和所述人体姿态分析模型分析结果，判断所述目标对象是否为摔倒状态；
信息发送单元204，用于如果判断结果为摔倒状态，则发送提示信息。
需要说明的是，所述目标对象属性包括：目标对象的外接框和目标对象的类别；所述目标对象的类别包括：摔倒或直立；
所述状态判断单元，还用于预设区域图片尺度；根据所述目标对象的外接框，获取所述目标对象的类别为摔倒的目标对象图像；将所述目标对象图像，按照所述区域图片尺度进行图像处理，获取标准尺度的目标对象图像；
根据所述标准尺度的目标对象图像和所述人体姿态分析模型，判断所述目标对象是否为摔倒状态。
还需要说明的是，所述状态判断单元，还用于预设摔倒姿态阈值；以上所述r11、r12、r21、r22，根据所述标准尺度(256*192)的目标对象图像，获取人体骨架姿态信息；判断所述人体骨架姿态信息是否满足所述摔倒姿态阈值规则。
还需要说明的是，所述人体骨架姿态信息包括：人体关键点位置信息和属性，以及预设关键点之间的位置信息；所述状态判断单元，具体包括：
1、两肩的水平间距s11除以肩到胯的垂直距离s12大于阈值r11，即：s11/s12>r11，在此基础上，当s11除以两膝到两胯的垂直平均距离s13大于阈值r12，即s11/s13>r12，判定为摔倒，否则没有摔倒。
2、两肩的间距s21除以肩到胯的距离s22小于阈值r21，即：s21/s22<r21，在此基础上，当两膝到两肩的平均距离s23除以两胯到两肩的平均距离s24小于阈值r22，即s23/s24>r22，判定为摔倒，否则没有摔倒。
3、其它情况不给出解决，待下一视频帧做判定。始终没有得出结论判定为没有摔倒。
本发明的第三实施方式涉及一种检测人员摔倒的系统。该系统包括：如上所述的检测人员摔倒的装置。
本发明提供的一种检测人员摔倒的方法、装置及系统，通过获取待检测视频图像帧，目标检测模型及人体姿态分析模型；通过所述目标检测模型，确定所述待检测视频图像帧中的目标对象属性；根据所述目标对象属性和所述人体姿态分析模型分析结果，判断所述目标对象是否为摔倒状态；如果判断结果为摔倒状态，则发送提示信息。采用本发明技术方案不但成本低，检测精度较高。
不难发现，本实施方式为与第一实施方式相对应的装置实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
基于以上实施例，设摄像机或直接采用监控摄像机架设在高度3m-6m范围，倾斜角度为与水平线夹角为30～45度，通过摄像机获取分析使用的视频流；本发明技术方案支持三维信息标定、路面监控区域设置；本发明技术方案从获取到的视频流中逐帧抽取图像，结合标定、监控区域设置，对图像裁剪、压缩处理，最终得到需要分析的图像。其中，本发明对监控区域内行人进行目标对象属性分析，对目标行人进行检测跟踪，包括摔倒时的检测和跟踪；在确定摔倒行人属性后，通过人体姿态分析模型，实时分析被跟踪行人的体态信息(即人体骨架姿态信息)，以此为依据二次判定行人是否摔倒，避免误报。
需要说明的是，本发明的目标检测模型采用深度学习的方法训练模型，检测包括直立行走和摔倒等体态的行人。采用的深度学习方法是fster-rcnn深度神经网络，它可同时得到目标对象的外接框和类别(摔倒或直立)。所述人体姿态分析模型分为人体骨架回归和判定两部分；所述人体姿态分析模型可以使用resnet50网络为特征学习、提取结构。
以上两个目标检测模型及人体姿态分析模型的具体实现流程为：所述目标检测模型产生的对象外接框可用于跟踪，同时根据此外接框抠取行人区域图像，经过缩放处理(即按照所述区域图片尺度进行缩放)后作为人体姿态分析模型的输入，该模型可得到人体头、左肩、右肩、左肘、右肘、左手腕、右手腕、左臀、右臀、左膝、右膝、左脚踝和右脚踝等15个关键点，同时根据这些点数据判定对象是直立或摔倒。判定部分根据以上15个关键点的相对坐标为模拟数据，训练一个简单的全连接的四层神经网络进行二分类，判定直立或摔倒。
还需要说明的是，跟踪机制为了避免同一对象摔倒时被反复报警，同时监控对象整个摔倒事件过程，当对象站立后结束报警。
还需要说明的是，本发明技术方案支持设定时段存储短时录像功能，便于对行人摔倒全过程进行视频记录。
本申请所提供的检测人员摔倒的方法、装置及系统，包括事件发现、事件结束汇报和整个事件过程记录。该方案不需要对象佩戴特殊传感器，实施便利，并且对事件整个过程进行汇报和记录，方便管理人员对事件及时处理和整个事件的查阅。对特定场所比如养老院、幼儿园、医院等场所具有更重要的意义。目标对象的检测识别的目标检测模型的结构还存在其它方法，比如yolo系列算法等，但本发明中才用的方法从实时性和准确率方面考虑为目前最佳方法。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
为了描述的方便，描述以上装置是以功能分为各种单元/模块分别描述。当然，在实施本发明时可以把各单元/模块的功能在同一个或多个软件和/或硬件中实现。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
1.一种检测人员摔倒的方法，其特征在于，包括：
获取待检测视频图像帧，目标检测模型及人体姿态分析模型；
通过所述目标检测模型，确定所述待检测视频图像帧中的目标对象属性；
根据所述目标对象属性和所述人体姿态分析模型分析结果，判断所述目标对象是否为摔倒状态；
如果判断结果为摔倒状态，则发送提示信息。
2.根据权利要求1所述的检测人员摔倒的方法，其特征在于，所述目标对象属性包括：目标对象的外接框和目标对象的类别；所述目标对象的类别包括：摔倒或直立。
3.根据权利要求2所述的检测人员摔倒的方法，其特征在于，所述根据所述目标对象属性和所述人体姿态分析模型分析结果，判断所述目标对象是否为摔倒状态的步骤，包括：
预设区域图片尺度；
根据所述目标对象的外接框，获取所述目标对象的类别为摔倒的目标对象图像；
将所述目标对象图像，按照所述区域图片尺度进行图像处理，获取标准尺度的目标对象图像；
根据所述标准尺度的目标对象图像和所述人体姿态分析模型，判断所述目标对象是否为摔倒状态。
4.根据权利要求3所述的检测人员摔倒的方法，其特征在于，所述根据所述目标对象属性和所述人体姿态分析模型分析结果，判断所述目标对象是否为摔倒状态的步骤，还包括：
预设摔倒姿态阈值；
根据所述标准尺度的目标对象图像，获取人体骨架姿态信息；
判断所述人体骨架姿态信息是否满足所述摔倒姿态规则。
5.根据权利要求4所述的检测人员摔倒的方法，其特征在于，所述人体骨架姿态信息包括：人体关键点位置信息和属性，以及预设关键点之间的位置信息。
6.一种检测人员摔倒的装置，其特征在于，包括：
图像获取单元，用于获取待检测视频图像帧，用于目标检测模型及人体姿态分析模型；
目标确定单元，用于通过所述目标检测模型，确定所述待检测视频图像帧中的目标对象属性；
状态判断单元，用于根据所述目标对象属性和所述人体姿态分析模型分析结果，判断所述目标对象是否为摔倒状态；
信息发送单元，用于如果判断结果为摔倒状态，则发送提示信息。
7.根据权利要求6所述的检测人员摔倒的装置，其特征在于，所述目标对象属性包括：目标对象的外接框和目标对象的类别；所述目标对象的类别包括：摔倒或直立；
所述状态判断单元，还用于预设区域图片尺度；根据所述目标对象的外接框，获取所述目标对象的类别为摔倒的目标对象图像；将所述目标对象图像，按照所述区域图片尺度进行图像处理，获取标准尺度的目标对象图像；
根据所述标准尺度的目标对象图像和所述人体姿态分析模型，判断所述目标对象是否为摔倒状态。
8.根据权利要求7所述的检测人员摔倒的装置，其特征在于，所述状态判断单元，还用于预设摔倒姿态阈值；根据所述标准尺度的目标对象图像，获取人体骨架姿态信息；判断所述人体骨架姿态信息是否满足所述摔倒姿态规则。
9.根据权利要求8所述的检测人员摔倒的装置，其特征在于，所述人体骨架姿态信息包括：人体关键点位置信息和属性，以及预设关键点之间的位置信息。
10.一种检测人员摔倒的系统，其特征在于，包括：如权利要求6-9中任意一项所述检测人员摔倒的装置。
技术总结