本发明属于深度学习方法的图像处理技术领域，尤其涉及一种基于电梯监控数据处理的自动告警方法及系统。
背景技术：
电梯是我们日常生活中非常常见的基础设施，。
但是我们时不时也会听到一些令人痛心的电梯出事故的新闻，其中一部分是没有能力及时告警导致事故发生，例如电梯内只有一个人突发疾病倒地后无法进行求救的情况；还有一部分是因为某些原因导致电梯内置的紧急求救装置失效而导致异常发生时无法与外界及时求救以至于乘梯人长时间被困在电梯内的事故。
技术实现要素：
本发明提供一种基于电梯监控数据处理的自动告警方法及系统，旨在解决电梯内发生摔倒晕倒无法进行有效的求救及挥手求救时能第一时间进行自动告警的问题。
本发明是这样实现的，一种基于电梯监控数据处理的自动告警方法及系统，摔倒晕倒及挥手求救的自动告警方法包括以下步骤：
s1、收集展示有人体姿态图片作为训练数据；
s2、将所述训练数据输入到人体姿态估计神经网络模型以进行模型训练，得到人体姿态分析模型；
s3、采集电梯内实时监控数据，利用人体姿态分析模型每隔一个预设时间段对其进行一次人体姿态估计，判断电梯内是否存在人体姿态告警行为；
s4、当判定电梯内存在摔倒、晕倒或挥手求救状态的人体姿态告警行为时，则立即通过后台对安保人员发送告警。
优选的，所述收集展示有人体姿态图片作为训练数据具体为：
采用coco公开数据集作为人体姿态分析神经网络模型的训练数据，并且图片上标注有关键点：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左臀、右臀、左膝盖、右膝盖、左脚踝和右脚踝。
优选的，所述将所述训练数据输入到人体姿态估计神经网络模型以进行模型训练，得到人体姿态分析模型具体为：
采用openpose网络模型作为基础模型，对抽取特征的骨干网络进行砍半，抽取特征后的原6个阶段的网络融合改成2个阶段网络融合，再把模型从32-bit数据存储量化到8-bit数据存储，将模型的后处理放在宽高各为原始尺寸1/8的缩略图上进行计算。
优选的，所述告警行为包括摔倒、晕倒和挥手求救操作。
优选的，所述判断电梯内是否存在人体姿态告警行为具体为：
当乘梯人未全身出镜或者未检测到下半身人体关键点坐标的时候，可当上本身的中心点y轴坐标低于下半身中心点的y轴坐标时或者上半身的中心点与下半身中心点所形成的连线与水平方向的x轴的夹角小于45°的情况下，则判定乘梯人是处于摔倒或晕倒状态，否则判定乘梯人处于正常的直立状态。
优选的，所述判断电梯内是否存在人体姿态告警行为具体为：
对身体的上半身所有所述关键点的坐标进行加权求平均得出一个上半身中心点的位置的坐标，同样对身体的下半身所有关键点：左臀、右臀、左膝盖、右膝盖、左脚踝、右脚踝的坐标进行加权求平均得出一个下半身中心点的位置的坐标，依据左肩和右肩坐标进行判断是否摔倒或晕倒状态，当左肩和右肩的坐标连线与竖直方向y轴所形成的夹角小于45°时，则判定乘梯人处于摔倒或晕倒状态。
优选的，所述判断电梯内是否存在人体姿态告警行为具体为：
计算左手肘、右手肘、左手腕、右手腕坐标的加权平均值作为手部中心点位置，将鼻子、左眼、右眼、左耳、右耳、左肩、右肩坐标的加权平均值作为头部中心点位置，当手部中心点的位置高于头部中心点的位置的时候，则判定乘梯人是在做双手高举的动作，在接下来的三秒内，根据手臂关键点的坐标信息判断乘梯人处于挥动手臂状态并且手部中心点高于头部中心点的位置，则判定乘梯人是在进行挥手求救操作。
本发明提供的摔倒晕倒及挥手求救的自动告警系统，包括：
监控模块，用于采集电梯内实时监控数据；
处理模块，其用于根据所述监控数据，利用人体姿态分析模型每隔一个预设时间段对其进行一次人体姿态估计，判断电梯内是否存在人体姿态告警行为；
告警模块，其用于当处理模块判定电梯内存在人体姿态告警行为时，发出告警信息。
与现有技术相比，本发明的有益效果是：本发明的一种基于电梯监控数据处理的自动告警方法及系统，通过设置能够针对晕倒、摔倒及挥手求救动作发生后快速进行自动告警，通知到安保及相关人员进行第一时间救助，尤其是针对只有一个人在电梯内，突发疾病导致无法进行有效的自主求救时，可通过本发明中的方法能够快速检测到电梯中的乘梯人的人体姿态并第一时间自动发出告警，让乘梯人得到及时的救助，保护乘梯人的生命安全，能够快速检测到电梯中的乘梯人的人体姿态。
附图说明
图1为本发明的一种基于电梯监控数据处理的自动告警方法的具体实施的流程示意图。
图2为本发明的一种基于电梯监控数据处理的自动告警系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，本发明提供一种技术方案：一种基于电梯监控数据处理的自动告警方法及系统，基于电梯监控数据处理的自动告警方法包括以下步骤：
s1、收集展示有人体姿态图片作为训练数据。
本发明采用coco公开数据集作为人体姿态分析神经网络模型的训练数据，并且图片上标注有关键点：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左臀、右臀、左膝盖、右膝盖、左脚踝和右脚踝。该数据集拥有超过20万张图片，包含25万人经过标注人体关键点的数据，每个人身体上一共有17类关键点，分别是：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左臀、右臀、左膝盖、右膝盖、左脚踝、右脚踝，结合以上关键点能够较为全面的展示人体的各个姿态，能够对各种人体姿态做到非常高的覆盖率，在实际应用场景中才能发挥出有效的作用，并且此数据集在学术界也是经常作为研究的标准数据集。
s2、将所述训练数据输入到人体姿态估计神经网络模型以进行模型训练，得到人体姿态分析模型。
采用openpose网络模型作为基础模型，该模型对各种姿态预测效果较好，但是在训练过程中发现其速度比较慢，在资源受限的arm架构的终端上运行需要17秒，无法满足1秒内通知报警的实时性，于是对其网络结构进行精简优化，经过大量的试验后，最终使用的方法是对抽取特征的骨干网络进行砍半，抽取特征后的原6个阶段的网络融合改成2个阶段网络融合，原模型大小从原来的200mb下降到47mb，再把模型从32-bit数据存储量化到8-bit数据存储后模型大小下降到11.75mb，在做模型推理计算时相比原始模型提速约为20倍，并对后处理流程进行大幅度优化，原有模型是在原始尺寸的图形上进行的后处理，将其后处理放在宽高各为原始尺寸1/8的缩略图上进行计算，计算量下降为原来1/64，后处理流程提速接近50倍，最终使得其在arm架构的硬件上的运行时间从17秒缩减到0.6秒，从而实现在1秒内即可对异常情况进行自动告警的及时高效性，17秒为7秒模型推理和10秒后处理，0.6秒为0.4秒模型推理和0.2秒后处理。
s3、采集电梯内监控摄像头采集电梯内的实时监控数据，利用人体姿态分析模型每隔1秒对其进行一次人体姿态估计，判断电梯内是否存在摔倒、晕倒或挥手求救状态的人体姿态告警行为。
具体实施时，首先从电梯监控摄像头提取图片，判定是否检测到人体姿态，是则继续判定人体姿态是否处于摔倒或晕倒的状态，否则继续提取图片。并且采用如下两种策略判定人体姿态是否处于摔倒或晕倒的状态：
策略一：对身体的上半身所有所述关键点的坐标进行加权求平均得出一个上半身中心点的位置的坐标，同样对身体的下半身所有关键点：左臀、右臀、左膝盖、右膝盖、左脚踝、右脚踝的坐标进行加权求平均得出一个下半身中心点的位置的坐标，当上本身的中心点y轴坐标低于下半身中心点的y轴坐标时或者上半身的中心点与下半身中心点所形成的连线与水平方向的x轴的夹角小于45°的情况下，则判定乘梯人是处于摔倒或晕倒状态，否则判定乘梯人处于正常的直立状态。
策略二：当乘梯人未全身出镜或者未检测到下半身人体关键点坐标的时候，可依据左肩和右肩坐标进行判断是否摔倒或晕倒状态，当左肩和右肩的坐标连线与竖直方向y轴所形成的夹角小于45°时，则判定乘梯人处于摔倒或晕倒状态。策略二是策略一的替补策略。
其中，策略二主要是为了解决当乘梯人不是完成的出现在镜头内的情况，此时无法预测出下半身的关节点的位置，此时无法使用策略一作为判定标准，转为使用策略二作为判定标准，因此在使用的时候首先是根据预测出的人体姿态关键点的位置先判断该乘梯人是否只有上半身关键点，如果是只有上半身的关键点，则采用策略二进行判断摔倒或晕倒的状态，否则采用策略一作为判定标准。在真实场景中，绝大部分预测都是采用策略一作为判断标准进行摔倒或晕倒的状态判定策略使用的。
在判定人体姿态是否处于进行挥手求救的状态时，计算左手肘、右手肘、左手腕、右手腕坐标的加权平均值作为手部中心点位置，将鼻子、左眼、右眼、左耳、右耳、左肩、右肩坐标的加权平均值作为头部中心点位置，当手部中心点的位置高于头部中心点的位置的时候，则判定乘梯人是在做双手高举的动作，在接下来的三秒内，根据手臂关键点的坐标信息判断乘梯人处于挥动手臂状态并且手部中心点高于头部中心点的位置，则判定乘梯人是在进行挥手求救操作。
若判定乘梯人未处在摔倒、晕倒或挥手求救状态时，则继续进行本步骤最开始的从电梯监控摄像头提取图片的步骤。
s4、当判定电梯内存在摔倒、晕倒或挥手求救状态的人体姿态告警行为时，则立即通过后台对安保人员发送告警。
本发明的一种基于电梯监控数据处理的自动告警系统，包括监控模块、处理模块和告警模块。监控模块用于采集电梯内实时监控数据，监控模块为电梯内的监控摄像头。处理模块其用于根据所述监控数据，利用人体姿态分析模型每隔一个预设时间段对其进行一次人体姿态估计，判断电梯内是否存在人体姿态告警行为。处理模块采用计算机设备，并且能够实现上述自动告警方法的步骤。告警模块用于当处理模块判定电梯内存在人体姿态告警行为时，发出告警信息。告警模块可以采用声光报警器或直接通过计算机显示告警信息，也可以采用其它报警方式以通知安保人员。
本发明的一种基于电梯监控数据处理的自动告警方法及系统，能够针对晕倒、摔倒及挥手求救动作发生1秒内进行自动告警，通知到安保及相关人员进行第一时间救助，尤其是针对只有一个人在电梯内，突发疾病导致无法进行有效的自主求救时，可通过本发明中的方法第一时间自动发出告警，让乘梯人得到及时的救助，保护乘梯人的生命安全，通过人体姿态估计神经网络模型能够快速检测到电梯中的乘梯人的人体姿态，可以在0.6秒时间内判定出乘梯人是否处于紧急状态，如处于摔倒晕倒及挥手求救状态会直接通过后台通知到安保人员进行第一时间安排救助。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
1.一种基于电梯监控数据处理的自动告警方法，其特征在于：包括以下步骤：
s1、收集展示有人体姿态图片作为训练数据；
s2、将所述训练数据输入到人体姿态估计神经网络模型以进行模型训练，得到人体姿态分析型；
s3、采集电梯内实时监控数据，利用人体姿态分析每隔一个预设时间段对其进行一次人体姿态估计，判断电梯内是否存在人体姿态告警行为；
s4、当判定电梯内存在摔倒、晕倒或挥手求救状态的人体姿态告警行为时，则立即通过后台对安保人员发送告警。
2.如权利要求1所述的一种基于电梯监控数据处理的自动告警方法，其特征在于：所述收集展示有人体姿态图片作为训练数据具体为：
采用coco公开数据集作为人体姿态分析神经网络模型的训练数据，并且图片上标注有关键点：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左臀、右臀、左膝盖、右膝盖、左脚踝和右脚踝。
3.如权利要求2所述的一种基于电梯监控数据处理的自动告警方法，其特征在于：所述将所述训练数据输入到人体姿态估计神经网络模型以进行模型训练，得到人体姿态分析具体为：
采用openpose网络模型作为基础模型，对抽取特征的骨干网络进行砍半，抽取特征后的原6个阶段的网络融合改成2个阶段网络融合，再把模型从32-bit数据存储量化到8-bit数据存储，将模型的后处理放在宽高各为原始尺寸1/8的缩略图上进行计算。
4.如权利要求3所述的一种基于电梯监控数据处理的自动告警方法，其特征在于：所述告警行为包括摔倒、晕倒和挥手求救操作。
5.如权利要求3所述的一种基于电梯监控数据处理的自动告警方法，其特征在于：所述判断电梯内是否存在人体姿态告警行为具体为：
对身体的上半身所有所述关键点的坐标进行加权求平均得出一个上半身中心点的位置的坐标，同样对身体的下半身所有关键点：左臀、右臀、左膝盖、右膝盖、左脚踝、右脚踝的坐标进行加权求平均得出一个下半身中心点的位置的坐标，当上本身的中心点y轴坐标低于下半身中心点的y轴坐标时或者上半身的中心点与下半身中心点所形成的连线与水平方向的x轴的夹角小于45°的情况下，则判定乘梯人是处于摔倒或晕倒状态，否则判定乘梯人处于正常的直立状态。
6.如权利要求1所述的一种基于电梯监控数据处理的自动告警方法，其特征在于：所述判断电梯内是否存在人体姿态告警行为具体为：
当乘梯人未全身出镜或者未检测到下半身人体关键点坐标的时候，可依据左肩和右肩坐标进行判断是否摔倒或晕倒状态，当左肩和右肩的坐标连线与竖直方向y轴所形成的夹角小于45°时，则判定乘梯人处于摔倒或晕倒状态。
7.如权利要求1所述的一种基于电梯监控数据处理的自动告警方法，其特征在于：所述判断电梯内是否存在人体姿态告警行为具体为：
计算左手肘、右手肘、左手腕、右手腕坐标的加权平均值作为手部中心点位置，将鼻子、左眼、右眼、左耳、右耳、左肩、右肩坐标的加权平均值作为头部中心点位置，当手部中心点的位置高于头部中心点的位置的时候，则判定乘梯人是在做双手高举的动作，在接下来的三秒内，根据手臂关键点的坐标信息判断乘梯人处于挥动手臂状态并且手部中心点高于头部中心点的位置，则判定乘梯人是在进行挥手求救操作。
8.如权利要求1所述的一种基于电梯监控数据处理的自动告警系统，其特征在于：包括：
监控模块，用于采集电梯内实时监控数据；
处理模块，其用于根据所述监控数据，利用人体图像模型每隔一个预设时间段对其进行一次人体姿态估计，判断电梯内是否存在人体姿态告警行为；
告警模块，其用于当处理模块判定电梯内存在人体姿态告警行为时，发出告警信息。
技术总结