本发明涉及电梯安全技术领域，具体涉及扶梯大件滞留物检测系统。
背景技术：
随着扶梯在地铁站、火车站、商场等公共场所的普及，关于扶梯的安全稳定和通畅运行等问题受到越来越广泛的重视。扶梯口的大件滞留物会引起扶梯出入口的拥挤，具有很严重的安全隐患。大件滞留物即一定体积大小的物体在扶梯内停留一定的时间。进行大件滞留物检测并提醒相关人员进行处理可以避免造成出入口拥挤，保障扶梯顺畅运行乘客，同时也避免了乘梯人员遗失随身的行李。
目前的滞留物检测往往对背景进行建模，然后使用背景减除法。例如，申请公布号cn106683077a，申请公布日2017年5月17日的发明专利申请所公开的一种扶梯口楼层板上大件物滞留检测方法。采用快、慢背景差分策略对“进入视野后滞留下来”的大件物进行检测。然而在实际场景中动态的物品，比如乘梯人员，背景的环境可能还会发生强烈的变化，比如室内场景关灯和开灯，使得系统容易产生误判。目前的方法很难对应用场景下的所有静态和动态环境有很好的适应性。
技术实现要素：
本发明为了解决上述问题，提出一种针对复杂环境下的扶梯大件滞留物检测系统，其特征在于，包括：
物体检测单元，判断当前帧的目标区域是否有物体；
背景差分单元，去除当前帧中的背景区域；
行人分割单元，减除已去除背景区域的当前帧中的行人区域；
大件滞留物判断单元，基于去除背景区域和行人区域的当前帧判断是否有大件滞留物。
上述技术方案通过行人分割、运动检测、背景差分等算法来检测是否存在大件滞留物，具有很好的鲁棒性。
作为优选，所述物体检测单元采用二分类器判断当前帧的目标区域是否物体；所述二分类器的训练数据包括当前应用场景下不同光照环境的视频帧；当所述当前应用场景在密闭环境中时，所述不同光照环境包括开灯环境和关灯环境；当所述当前应用场景在开放环境中时，所述不同光照环境包括早晨环境、白天环境、傍晚环境和晚上环境。
训练数据涵盖来所有光照环境的数据，可以帮助二分类器作出准确的判断，不易收到环境变化的影响。
作为优选，所述背景差分单元采用背景差分法得到差分图像并且对所述差分图像进行二值化以得到二值差分图。
作为优选，所述行人分割单元采用所述行人分割模型分割当前帧的目标区域中的行人区域，将所述行人区域对应到所述二值差分图中，去除所述二值差分图中的行人区域。
作为优选，所述行人分割模型的训练样本包括所述应用场景的现场数据和公开数据集中的行人数据。应用场景的现场数据能够对行人分割模型进行一定的微调，使得行人分割单元的分割更加准确。
作为优选，所述大件滞留物判断单元基于去除行人区域后的二值差分图像中白色连通区域的最小外接矩形的长和宽，判断是否有大件滞留物。省去复杂的计算环节，提高了判断速度。
作为优选，所述大件滞留物判断单元对去除行人区域后的二值差分图像进行膨胀操作后，基于白色连通区域的最小外接矩形的长和宽判断是否有大件滞留物。通过膨胀操作进行形态学处理，使得图片中的高亮区域逐渐增长。
作为优选，还包括背景更新模块，当所述物体检测单元在大于阈值时间内都判断没有人或者物体时，将当前帧作为新的背景帧。更新背景帧的操作可以使得检测不会受到环境剧烈变化的影响。
作为优选，还包括通讯模块，用于发送异常警告至安保系统和扶梯控制柜。可以实现不同终端的语音提示功能。
作为优选，所述通讯模块，在所述大件滞留物判断单元在连续的预设次数内判断存在大件滞留物时才发送异常警告。采用与的逻辑可以提高检测的稳定性。
本发明具有下述有益效果：
本发明专利通过对网络摄像头获取的实时数据流进行分析，采用行人分割、运动检测、背景差分等算法，同时对不同环境及时更新背景，可以有效应对各种复杂环境下的大件滞留物的检测，并在有异常时向相关人员发出警示。
附图说明
图1本发明实施例的摄像头的安装位置示意图。
图2本发明实施例的算法流程图。
具体实施例
以下是对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
实施例一
一种扶梯大件滞留物检测系统，针对复杂环境下的大件滞留物的检测。该系统通过对网络摄像头获取的实时数据流进行分析，采用行人分割、运动检测、背景差分等算法，可以有效应对各种复杂环境下的大件滞留物的检测，并在有异常时向相关人员发出警示。如图1所示，网络摄像头1安装在扶梯2上、下两个出入口所在位置处，摄像头视角倾斜朝下，以保证能完整且清晰覆盖扶梯出入口。扶梯大件滞留物检测系统由背景初始化模块、数据预处理模块、大件滞留检测模块、背景更新模块以及通讯模块组成。
背景初始化模块能够加载通过安装在扶梯处的摄像头采集到的、当前应用场景在没有物体时的视频帧作为背景帧提供给大件滞留检测模块使用。本文中的“应用场景”是指应该本实施例的系统来判断是否存在大件滞留物的对象所处的环境，也可以理解为处于扶梯摄像头视野内的环境。
数据预处理模块能够与加载通过安装在扶梯处的摄像头采集到的、当前应用场景的实时视频帧作为当前帧提供给大件滞留物判断单元进行判断。本实施例中，数据预处理模块还对当前帧进行预处理，裁剪出当前帧中需要判断是否存在大件滞留物的目标区域，同时进行归一化等常见的预处理操作提供给大件滞留物检测模块。数据预处理模块中的目标区域可以根据不同的扶梯场景任意修改，是一个可变传参。
大件滞留检测模块是本系统最关键的功能模块，其包括物体检测单元、背景差分单元、行人分割单元、大件滞留物判断单元这四个子功能单元。物体检测单元判断当前帧的目标区域是否有人或者物体，若没有则不进行后续操作，若有物体则背景差分单元去除当前帧中的背景区域。随后，行人分割单元减除已去除背景区域的当前帧中的行人区域，最后，大件滞留物判断单元基于去除背景区域和行人区域的当前帧判断是否有大件滞留物。具体地，物体检测单元采用二分类器判断当前帧的目标区域是否物体。该而分类器的训练数据包括当前应用场景下不同光照环境的视频帧，例如，可以采集安装在扶梯处摄像头处于不同光照环境下的视频流数据并且裁剪出目标区域，将有无物体（包括人）作为二分类问题，训练一个轻量化的二分类网络（例如采用mobilenetv2作为网络骨架的二分类器），训练保存最优模型后作为供物体检测单元调用的二分类器，以得到有无人或物体的二分类结果。“不同光照环境”对处于不同环境的当前应用场景是不同的：对于当前应用场景在密闭环境（也即室内环境）中时，“不同光照环境”包括开灯环境和关灯环境，对于当前应用场景在开放环境中（也即室外环境）时，“不同光照环境”包括早晨环境、白天环境、傍晚环境和晚上环境。背景差分单元，采用背景差分法得到差分图像并且对所述差分图像进行二值化以得到二值差分图。背景减除采用传统的背景差分方法，即当前帧减去背景帧得到差分图像，计算简单，可以快速得到运算结果。行人分割单元采用行人分割模型分割当前帧的目标区域中的行人区域，并且将行人区域对应到二值差分图中，去除二值差分图中的行人区域。本实施例中，行人分割模型的训练样本包括所述应用场景的现场数据和公开数据集中的行人数据。具体地，可以在pytorch框架下搭建行人分割的训练网络（例如采用mobilenetv2作为网络骨架的deeplabv3 轻量网络），保存训练出的最优模型作为行人分割模型使用。大件滞留物判断单元基于去除行人区域后的二值差分图像中白色连通区域的最小外接矩形的长和宽，判断是否有大件滞留物。例如，如果白色连通区域的最小外接矩形的长和宽中有一项大于事先设定的参数，则认为有大件滞留物，否则认为不存在大件滞留物。作为优选，大件滞留物判断单元对去除行人区域后的二值差分图像进行膨胀操作后，再基于白色连通区域的最小外接矩形的长和宽判断是否有大件滞留物。
背景更新模块主要用于对环境的变化作出迅速的调整，及时更新背景可以防止误报。调整的依据是物体检测单元的检测结果：当物体检测单元在大于阈值时间内都判断没有人或者物体时，将当前帧作为新的背景帧。连续的阈值时间内都没有人或者物体时才更新背景，可以提高检测稳定性。
通讯模块用于发送异常警告至安保系统和扶梯控制柜。将异常信号发送给安保系统可以提醒安保人员作出相应的措施，异常信号发送给扶梯控制柜可以控制其内的语音播放部件播放相应的提示音，提醒附近的乘梯人员。通讯模块的通讯方式可以采用中间件写入的模式，大件滞留物检测模块在检测到存在大件滞留物时将异常结果写入中间件，通讯模块接收到异常消息后从中间件读取异常信号，分发给安保系统和扶梯控制柜，实现不同终端的语音提示功能。作为优选，通讯模块在大件滞留物判断单元在连续的预设次数内判断存在大件滞留物时才发送异常警告，以提高检测稳定性。
本实施例的检测系统的工作流程如图2所示：
背景初始化模块进行初始化，加载当前环境下没有物体时的背景帧进行背景更新。视频流输入流入后，数据预处理模块加载对当前帧进行单帧图片预处理，裁剪出目标区域并将目标区域归一化成指定大小。随后，大件滞留物检测模块首先判断该区域有没有物体（包括人），若没有则不进行后续操作，若有物体则进入下一步背景减除：将当前帧与背景帧进行差分，进一步将其中的乘梯人员的区域去掉，若此时仍然存在大于某一阈值的区域，则认为此时存在大件物品滞留。而背景更新模块主要负责对背景进行更新，若目标区域一直没有物体，持续时间大于某一阈值时，则对背景进行更新。通讯模块的主要功能就是发出异常信号来出发警报。
虽然描述了本发明的实施方式，但是本领域普通技术人员可以在所附权利要求的范围内做出各种变形或修改。
1.扶梯大件滞留物检测系统，其特征在于，包括：
物体检测单元，判断当前帧的目标区域是否有物体；
背景差分单元，去除当前帧中的背景区域；
行人分割单元，减除已去除背景区域的当前帧中的行人区域；
大件滞留物判断单元，基于去除背景区域和行人区域的当前帧判断是否有大件滞留物。
2.根据权利要求1所述的扶梯大件滞留物检测系统，其特征在于：
所述物体检测单元采用二分类器判断当前帧的目标区域是否有物体；
所述二分类器的训练数据包括当前应用场景下不同光照环境的视频帧；
当所述当前应用场景在密闭环境中时，所述不同光照环境包括开灯环境和关灯环境；当所述当前应用场景在开放环境中时，所述不同光照环境包括早晨环境、白天环境、傍晚环境和晚上环境。
3.根据权利要求1所述的扶梯大件滞留物检测系统，其特征在于：
所述背景差分单元，采用背景差分法得到差分图像并且对所述差分图像进行二值化以得到二值差分图。
4.根据权利要求3所述的扶梯大件滞留物检测系统，其特征在于：
所述行人分割单元，采用所述行人分割模型分割当前帧的目标区域中的行人区域，将所述行人区域对应到所述二值差分图中，去除所述二值差分图中的行人区域。
5.根据权利要求4所述的扶梯大件滞留物检测系统，其特征在于：
所述行人分割模型的训练样本包括所述应用场景的现场数据和公开数据集中的行人数据。
6.根据权利要求4所述的扶梯大件滞留物检测系统，其特征在于：
所述大件滞留物判断单元基于去除行人区域后的二值差分图像中白色连通区域的最小外接矩形的长和宽，判断是否有大件滞留物。
7.根据权利要求4所述的扶梯大件滞留物检测系统，其特征在于：
所述大件滞留物判断单元对去除行人区域后的二值差分图像进行膨胀操作后，基于白色连通区域的最小外接矩形的长和宽判断是否有大件滞留物。
8.根据权利要求6或7所述的扶梯大件滞留物检测系统，其特征在于：
还包括背景更新模块，当所述物体检测单元在大于阈值时间内都判断没有人或者物体时，将当前帧作为新的背景帧。
9.根据权利要求6或7所述的扶梯大件滞留物检测系统，其特征在于：
还包括通讯模块，用于发送异常警告至安保系统和扶梯控制柜。
10.根据权利要求9所述的扶梯大件滞留物检测系统，其特征在于：
所述通讯模块，在所述大件滞留物判断单元在连续的预设次数内判断存在大件滞留物时才发送异常警告。
技术总结