本发明涉及扶梯安全监控以及图像处理的技术领域，尤其是涉及一种基于高斯混合模型的扶梯滞留检测方法及系统。
背景技术：
随着人们对快捷生活方式的不断追求，扶梯的使用越来越普遍，而扶梯的一些安全问题、顺畅运行问题越来越引起人们的关注，尤其是扶梯口位置，包括扶梯口客流是否拥堵、是否有乘客摔倒以及是否有大件物品滞留等。目前常用的做法是在扶梯口处安排工作人员进行看护，根据现场的情况进行相应的处理措施。人员看护不仅人工成本很大，而且很难做到对扶梯使用过程中客流情况及其行为的实时监测，从而很难在第一时间采取应对措施。因而，开发一种更智能化的扶梯运行监测方法很有必要，同时很多扶梯制造厂家也在积极关注和探索这一领域。
例如，一种在中国专利文献上公开的“自动检测校车滞留乘客的检测系统及检测方法”，其公告号cn109484292a，该发明本方法将数据处理器与校车信号联动，第一和第二对射型光电传感器分别检测进出车厢和进出座位乘客；数据处理器按接收信号序列判定乘客上车或下车并实时统计乘客总数；若在到达终点时车内乘客数非零，数据处理器输出报警信号，若为零，数据处理器接收热红外人体感应器检测信号对车内滞留乘客进行复核，若无检测信号，确认车内无滞留乘客。该发明采用射型光电传感器，只能对乘客进行检测，无法对滞留物品进行检测。
技术实现要素：
本发明是为了解决扶梯运行监测智能化的问题，提供一种基于高斯混合模型的扶梯滞留检测方法及系统。本发明利用机器学习方法构建分类模型，滤除了非滞留物的信息，从而减少了误检的情况，提高了滞留物检测的精确度，另外建立高斯混合模型对滞留行为进行识别和判断，并对滞留行为给出警报提示，滞留检测准确率高。
为了实现上述目的，本发明采用以下技术方案：
一种基于高斯混合模型的扶梯滞留检测方法，包括步骤：
a)通过摄像头获取扶梯区域监控视频图像，利用深度学习网络从视频图像中提取行人信息，收集误检行人信息和真实行人信息，将误检行人信息记为负样本，将真实行人信息记为正样本；
b)利用机器学习方法构建分类模型，利用负样本和正样本对分类模型进行训练，通过已训练好的分类模型对实时检测到的行人信息进行分类筛选，保留真实行人信息，去除误检行人信息；判断在扶梯出入口区域范围内是否存在行人信息，若是，则进入步骤c)，若否，则重复步骤a)；
c)构建高斯混合模型，获得检测区域背景，利用背景减法获取背景差分图像，利用帧间差分法获取帧差法图像，将背景差分图像与帧差法图像进行异或处理，获取当前帧的滞留目标图像；
d)对滞留目标图像进行预处理，对预处理后的滞留目标图像进行截取，获得在扶梯出入口滞留检测区域内的图像；
e)采用边缘检测算法获取滞留检测区域内的候选滞留目标轮廓，设置面积阈值，获取各个候选滞留目标轮廓的最小外接矩形，将最小外接矩形面积大于面积阈值的各个候选滞留目标轮廓的最小外接矩形作为为候选滞留框，设置滞留计数器，将滞留计数器置1；
f)设置重叠阈值和计数器阈值，判断上一帧图像的候选滞留框与当前帧图像的候选滞留框的重叠比例是否大于重叠阈值，若否，将滞留计数器置1，若是，将滞留计数器加1；
判断滞留计数器是否大于计数器阈值，若是，则进行扶梯出入口物品或人员滞留报警，若否，则重复本步骤。
本发明先利用深度学习网络从视频图像中提取行人信息，再利用机器学习方法构建分类模型，滤除缓慢变化的非滞留物的信息，从而减少了误检的情况。混合高斯模型使用多个高斯模型来表征视频图像中各个像素点的特征，在新一帧视频图像获得后实时更新混合高斯模型，用当前视频图像中的每个像素点与混合高斯模型相匹配，如果匹配成功则判定该点为背景点,否则为前景点。步骤e)中采用边缘检测算法获取滞留检测区域内的候选滞留目标轮廓，通过对候选滞留目标轮廓的最小外接矩形面积进行判断分析，从而选取出大物件滞留品。步骤f)中通过实时地比较上一帧图像的候选滞留框与当前帧图像的候选滞留框，不断地更新，判断滞留物品是否停留在滞留区域中，若是，则随着时间变化不断地累加滞留计数器，当滞留计数器的值超过计数器阈值时，也就是判断出滞留物品的滞留时间比较长，则进行滞留报警。
扶梯区域监控视频图像包括扶梯入口图像和/或扶梯出口图像。
步骤a)中深度学习网络为openpose、ssd、yolo及faster-cnn中的任一种。
进一步地，机器学习方法为支持向量机。
支持向量机是通过寻找一个分割超平面将样本集进行正确地分类，在样本集较少的情况下，分类效果比神经网络好。
进一步地，步骤c)中利用在无人状态下的500帧视频图像构建高斯混合模型。
通过构建高斯混合模型，也就是构建出一种可以表征“背景”的模型。在没有运动目标即无人状态下获取500帧视频图像，利用500帧视频图像构建高斯混合模型，消除光照变化、目标运动等诸多因素的影响。
进一步地，步骤c)中，将高斯混合模型中的学习率参数设置为低学习率，在低学习率下利用背景减法获取背景差分图像dn(x,y)，设定阈值t，按照式子
高斯混合模型主要由方差和均值两个参数决定，对均值和方差的学习，采取不同的学习机制将直接影响到模型的稳定性、精确性和收敛性。由于本发明是对运动目标的背景提取进行建模，因此需要对高斯混合模型中方差和均值两个参数实时更新。为提高模型的学习能力，采用不同的学习率对均值和方差的更新，使用高斯混合模型构建检测区域背景，设置极低的学习率，利用背景减法将当前帧图像与背景图像进行差分运算，获得背景差分图像，在差分图像中提取运动目标，同时保证系统能够适应缓慢的光照变化。背景减法的运算过程首先利用高斯混合模型建立一幅背景图像帧b，记当前图像帧为fn，将背景帧和当前帧对应像素点的灰度值进行相减并取绝对值后得到差分图像dn(x,y)。设定阈值t，按照式子
进一步地，步骤c)中将高斯混合模型中的学习率参数设置为高学习率，在高学习率下利用帧间差分法获取帧差法图像en(x,y)，设定阈值t2，按照式子
摄像机采集的视频序列具有连续性的特点。如果场景内没有运动目标，则连续帧的变化很微弱，如果存在运动目标，则连续的帧和帧之间会有明显地变化。由于场景中的目标在运动，目标的影像在不同图像帧中的位置也会不同。利用帧间差分法对时间上连续的两帧或三帧图像进行差分运算，不同帧对应的像素点相减，判断灰度差的绝对值，当绝对值超过一定阈值时，即可判断为运动目标，从而实现目标的检测功能。
进一步地，步骤d)中对滞留目标图像进行预处理，预处理为腐蚀和/或膨胀。
预处理时采用形态学图像处理中腐蚀和/或膨胀的方法，从滞留目标图像中提取图像区域形状中有用的图像分量。
进一步地，步骤e)中边缘检测算法采用sobel算子、laplacian算子及canny算子中的任一种。
图像处理的边缘检测方法大幅度地减少了数据量，并且剔除了可以认为不相关的信息，保留了图像重要的结构属性。本发明采用sobel算子、laplacian算子及canny算子中任一种边缘检测算法获取滞留检测区域内的候选滞留目标轮廓。
一种高斯混合模型的扶梯滞留检测系统，包括获取模块、行人识别模块、行人分析模块、滞留检测模块、预处理模块、滞留分析模块和判断模块；
获取模块，用于获取扶梯区域监控视频图像；
行人识别模块，用于利用深度学习网络模型从当前帧图像中提取行人信息；
行人分析模块，用于收集误检及真实行人信息，并打上相应标签，构建正常行人及误检数据正负样本，利用机器学习方法构建分类模型，对实时行人检测信息进行分类筛选，保留正确的行人信息，去除误检行人信息；
滞留检测模块，用于判断在扶梯出入口区域范围内是否存在行人信息，构建检测区域背景，获取当前帧图像的背景差分图像和帧差法图像，再将背景差分图像与帧差法图像进行异或处理，获取滞留目标图像；
预处理模块，用于对滞留目标图像进行预处理消除噪声，截取该图像在扶梯出入口滞留检测区域内的图像；
滞留分析模块，采用边缘检测算法获取滞留检测区域内的候选滞留目标轮廓，设置面积阈值，获取各个候选滞留目标轮廓的最小外接矩形，将最小外接矩形面积大于面积阈值的各个候选滞留目标轮廓的最小外接矩形作为为候选滞留框，滞留计数器置1，设置重叠阈值，判断上一帧图像的候选滞留框与当前帧图像的候选滞留框的重叠比例是否大于重叠阈值，若小于，将滞留计数器置1；若大于，将滞留计数器加1；
判断模块，用于判断滞留计数器是否大于计数器阈值，若是，则进行扶梯出入口物品或人员滞留报警，系统现场声音报警。
因此，本发明具有如下有益效果：采用机器学习方法构建行人识别的分类模型，利用机器学习方法构建分类模型，滤除了非滞留物的信息，从而减少了误检的情况，提高了滞留物检测的精确度，另外建立高斯混合模型对滞留行为进行识别和判断，对扶梯出入口处的物品及乘客滞留进行检测与实时报警，达到了对扶梯出入口区域滞留行为监测的目的，滞留检测准确率高。
附图说明
图1是本发明实施例一的流程框图。
图2是本发明实施例一的扶梯滞留检测系统结构示意图。
图3是本发明实施例一的无人状态下扶梯出入口视频原始图像。
图4是本发明实施例一的无人状态下扶梯出入滞留检测区域标识效果图。
图5是本发明实施例一的背景差分处理效果图。
图6是本发明实施例一的帧差法处理效果图。
图7是本发明实施例一的异或处理效果图。
图8是本发明实施例一的腐蚀膨胀处理效果图。
图9是本发明实施例一的截取滞留区域效果图。
图10是本发明实施例一的人员滞留报警效果图。
图11是本发明实施例一的物品滞留报警效果图。
100获取模块、200、行人识别模块，300、行人分析模块，400、滞留检测模块，500、预处理模块，600、滞留分析模块，700、判断模块。
具体实施方式
下面结合附图与具体实施方式对本发明做进一步的描述。
实施例一，一种基于高斯混合模型的扶梯滞留检测方法，如图1所示，包括步骤：a)通过摄像头获取扶梯区域监控视频图像，利用openpose深度学习网络从视频图像中提取行人信息，收集误检行人信息和真实行人信息，将误检行人信息记为负样本，将真实行人信息记为正样本；
b)采用支持向量机方法构建分类模型，利用负样本和正样本对分类模型进行训练，通过已训练好的分类模型对实时检测到的行人信息进行分类筛选，保留真实行人信息，去除误检行人信息；判断在扶梯出入口区域范围内是否存在行人信息，若是，则进入步骤c)，若否，则重复步骤a)，如图4所示，为无人状态下扶梯出入滞留检测区域标识效果图。
c)利用在无人状态下的500帧视频图像构建高斯混合模型，如图3所示，为无人状态下扶梯出入口视频原始图像。通过高斯混合模型获得检测区域背景，将高斯混合模型中的学习率参数设置为低学习率，在低学习率下利用背景减法获取背景差分图像dn(x,y)，如图5所示，为背景差分处理效果图。设定阈值t，按照式子
步骤c)中将高斯混合模型中的学习率参数设置为高学习率，在高学习率下利用帧间差分法获取帧差法图像en(x,y)，如图6所示，为帧差法处理效果图。设定阈值t2，按照式子
将背景差分图像与帧差法图像进行异或处理，如图7所示，为帧差法处理效果图。获取当前帧的滞留目标图像，即获得相比背景图像多出的静止目标。
d)对滞留目标图像进行预处理，预处理包括腐蚀和膨胀，如图8所示，为腐蚀膨胀处理效果图。对预处理后的滞留目标图像进行截取，获得在扶梯出入口滞留检测区域内的图像，如图9所示，为截取滞留区域效果图。
e)采用边缘检测算法获取滞留检测区域内的候选滞留目标轮廓，设置面积阈值，获取各个候选滞留目标轮廓的最小外接矩形，将最小外接矩形面积大于面积阈值的各个候选滞留目标轮廓的最小外接矩形作为为候选滞留框，设置滞留计数器，将滞留计数器置1；
f)设置重叠阈值和计数器阈值，判断上一帧图像的候选滞留框与当前帧图像的候选滞留框的重叠比例是否大于重叠阈值，若否，将滞留计数器置1，若是，将滞留计数器加1；
判断滞留计数器是否大于计数器阈值，若是，则进行扶梯出入口物品或人员滞留报警，若否，则重复本步骤。如图10、图11所示，分别为人员滞留和物品滞留报警效果图。
一种高斯混合模型的扶梯滞留检测系统，如图2所示，包括获取模块100、行人识别模块200、行人分析模块300、滞留检测模块400、预处理模块500、滞留分析模块600和判断模块700；
获取模块100，用于获取扶梯区域监控视频图像；
行人识别模块200，用于利用深度学习网络模型从当前帧图像中提取行人信息；
行人分析模块300，用于收集误检及真实行人信息，并打上相应标签，构建正常行人及误检数据正负样本，利用机器学习方法构建分类模型，对实时行人检测信息进行分类筛选，保留正确的行人信息，去除误检行人信息；
滞留检测模块400，用于判断在扶梯出入口区域范围内是否存在行人信息，构建检测区域背景，获取当前帧图像的背景差分图像和帧差法图像，再将背景差分图像与帧差法图像进行异或处理，获取滞留目标图像；
预处理模块500，用于对滞留目标图像进行预处理消除噪声，截取该图像在扶梯出入口滞留检测区域内的图像；
滞留分析模块600，采用边缘检测算法获取滞留检测区域内的候选滞留目标轮廓，设置面积阈值，获取各个候选滞留目标轮廓的最小外接矩形，将最小外接矩形面积大于面积阈值的各个候选滞留目标轮廓的最小外接矩形作为为候选滞留框，滞留计数器置1，设置重叠阈值，判断上一帧图像的候选滞留框与当前帧图像的候选滞留框的重叠比例是否大于重叠阈值，若小于，将滞留计数器置1；若大于，将滞留计数器加1；
判断模块700，用于判断滞留计数器是否大于计数器阈值，若是，则进行扶梯出入口物品或人员滞留报警，系统现场声音报警。
本发明利用机器学习方法构建分类模型，滤除了非滞留物的信息，从而减少了误检的情况，提高了滞留物检测的精确度，另外建立高斯混合模型对滞留行为进行识别和判断，对扶梯出入口处的物品及乘客滞留进行检测与实时报警，达到了对扶梯出入口区域滞留行为监测的目的，滞留检测准确率高。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明保护范围以内。
1.一种基于高斯混合模型的扶梯滞留检测方法，其特征是，包括步骤：
a)通过摄像头获取扶梯区域监控视频图像，利用深度学习网络从视频图像中提取行人信息，收集误检行人信息和真实行人信息，将误检行人信息记为负样本，将真实行人信息记为正样本；
b)利用机器学习方法构建分类模型，利用负样本和正样本对分类模型进行训练，通过已训练好的分类模型对实时检测到的行人信息进行分类筛选，保留真实行人信息，去除误检行人信息；判断在扶梯出入口区域范围内是否存在行人信息，若是，则进入步骤c)，若否，则重复步骤a)；
c)构建高斯混合模型，获得检测区域背景，利用背景减法获取背景差分图像，利用帧间差分法获取帧差法图像，将背景差分图像与帧差法图像进行异或处理，获取当前帧的滞留目标图像；
d)对滞留目标图像进行预处理，对预处理后的滞留目标图像进行截取，获得在扶梯出入口滞留检测区域内的图像；
e)采用边缘检测算法获取滞留检测区域内的候选滞留目标轮廓，设置面积阈值，获取各个候选滞留目标轮廓的最小外接矩形，将最小外接矩形面积大于面积阈值的各个候选滞留目标轮廓的最小外接矩形作为为候选滞留框，设置滞留计数器，将滞留计数器置1；
f)设置重叠阈值和计数器阈值，判断上一帧图像的候选滞留框与当前帧图像的候选滞留框的重叠比例是否大于重叠阈值，若否，将滞留计数器置1，若是，将滞留计数器加1；
判断滞留计数器是否大于计数器阈值，若是，则进行扶梯出入口物品或人员滞留报警，若否，则重复本步骤。
2.根据权利要求1所述的一种基于高斯混合模型的扶梯滞留检测方法，其特征是，所述扶梯区域监控视频图像包括扶梯入口图像和/或扶梯出口图像。
3.根据权利要求1或2所述的一种基于高斯混合模型的扶梯滞留检测方法，其特征是，步骤a)中所述深度学习网络为openpose、ssd、yolo及faster-cnn中的任一种。
4.根据权利要求3所述的一种基于高斯混合模型的扶梯滞留检测方法，其特征是，
所述机器学习方法为支持向量机。
5.根据权利要求1和4所述的一种基于高斯混合模型的扶梯滞留检测方法，其特征是，步骤c)中利用在无人状态下的500帧视频图像构建高斯混合模型。
6.根据权利要求5所述的一种基于高斯混合模型的扶梯滞留检测方法，其特征是，
步骤c)中，将高斯混合模型中的学习率参数设置为低学习率，在低学习率下利用背景减法获取背景差分图像dn(x,y)，设定阈值t1，按照式子
7.根据权利要求1或6所述的一种基于高斯混合模型的扶梯滞留检测方法，其特征是，步骤c)中将高斯混合模型中的学习率参数设置为高学习率，在高学习率下利用帧间差分法获取帧差法图像en(x,y)，设定阈值t2，按照式子
8.根据权利要求7所述的一种基于高斯混合模型的扶梯滞留检测方法，其特征是，步骤d)中对滞留目标图像进行预处理，所述预处理为腐蚀和/或膨胀。
9.根据权利要求1或8所述的一种基于高斯混合模型的扶梯滞留检测方法，其特征是，
步骤e)中所述边缘检测算法采用sobel算子、laplacian算子及canny算子中的任一种。
10.一种高斯混合模型的扶梯滞留检测系统，适用于如权利要求1至9任一项所述的一种基于高斯混合模型的扶梯滞留检测方法，其特征是，包括获取模块、行人识别模块、行人分析模块、滞留检测模块、预处理模块、滞留分析模块和判断模块；
所述获取模块，用于获取扶梯区域监控视频图像；
所述行人识别模块，用于利用深度学习网络模型从当前帧图像中提取行人信息；
所述行人分析模块，用于收集误检及真实行人信息，并打上相应标签，构建正常行人及误检数据正负样本，利用机器学习方法构建分类模型，对实时行人检测信息进行分类筛选，保留正确的行人信息，去除误检行人信息；
所述滞留检测模块，用于判断在扶梯出入口区域范围内是否存在行人信息，构建检测区域背景，获取当前帧图像的背景差分图像和帧差法图像，再将背景差分图像与帧差法图像进行异或处理，获取滞留目标图像；
所述预处理模块，用于对滞留目标图像进行预处理消除噪声，截取该图像在扶梯出入口滞留检测区域内的图像；
所述滞留分析模块，采用边缘检测算法获取滞留检测区域内的候选滞留目标轮廓，设置面积阈值，获取各个候选滞留目标轮廓的最小外接矩形，将最小外接矩形面积大于面积阈值的各个候选滞留目标轮廓的最小外接矩形作为为候选滞留框，滞留计数器置1，设置重叠阈值，判断上一帧图像的候选滞留框与当前帧图像的候选滞留框的重叠比例是否大于重叠阈值，若小于，将滞留计数器置1；若大于，将滞留计数器加1；
所述判断模块，用于判断滞留计数器是否大于计数器阈值，若是，则进行扶梯出入口物品或人员滞留报警，系统现场声音报警。
技术总结