本发明涉及一种堵煤识别方法，尤其是涉及一种基于目标检测的皮带转载点堵煤识别方法。
背景技术：
随着我国煤炭生产的不断发展，矿井运输已趋于皮带化、高速化，大量的皮带运输机已经成为矿井运输的主要工具。由于大块煤的出现，皮带转载点处极易发生堵煤堆煤现象，严重影响煤矿运输效率。因此，如何安全可靠地实现对皮带转载点处的堵煤识别，对于保障煤矿安全生产有重要意义。
目前大多采用接触式的堆煤传感器实现堵煤检测，这种方式容易受矿井空气湿气煤尘影响，导致报警不准确，耐用性、灵敏度及可靠性都不理想。同时，部分研究人员提出通过背景建模、运动检测、图像特征提取等数字图像处理的方式来检测堵煤，这种方式通过架设在转载点处的监控摄像头，实时分析处理，实施成本低，但容易受井下低光照粉尘等条件影响，影响图像特征提取，识别准确性低。
技术实现要素：
本发明提供了一种基于目标检测的皮带转载点堵煤识别方法，是一种准确稳定且简单易实施的转载点堵煤检测方法，用于解决检测转载点堵煤的问题，其技术方案如下所述：
一种基于目标检测的皮带转载点堵煤识别方法，包括下列步骤：
s1：对摄像头采集的视频图像逐帧读取，并对视频帧进行图像预处理；
s2：将预处理后的图像输入训练好的煤块检测模型；
s3：判断预处理后的图像中是否有煤块，若有煤块则输出煤块检测框；
s4：根据煤块检测框宽度与转载点区域宽度比是否大于阈值，判断该煤块是否是大煤块；
s5：判断大煤块在设定时间内是否发生移动，如果未移动则说明该大煤块堵在转载点，判定为转载点堵煤并报警。
进一步的，步骤s1中，所述图像预处理包括以下步骤：s11：使用高斯滤波对视频帧图像进行去噪和平滑处理；
s12：根据工作人员设定的转载点区域位置截取出转载点区域图像；
s13：截取出的转载点区域图像按照煤块检测模型输入尺寸要求进行等比缩放，且缩放过程中保持图像宽高比。
进一步的，步骤s2中，所述煤块检测模型的训练流程包括以下步骤：
s21：收集煤矿井下不同环境不同工况的皮带运煤的视频数据，截取存在煤块的视频帧；
s22：在视频帧上标注煤块，进行数据标注；
s23：累积标注设定数量的图像数据，形成煤块检测数据集；
s24：将数据集切分为训练集和测试集，并选择目标检测模型进行训练调参；
s25：输出并持久化煤块检测模型。
并且，步骤s24中，目标检测模型选用yolov3模型。
进一步的，步骤s3中，如果有煤块，则输出煤块检测框左上右下两个点在原图像中的坐标，以及该检测框判断是否为煤块的置信得分，若检测到多个煤块，则过滤掉低得分的检测框，保留最大且得分较高的检测框，输出该煤块检测框。
进一步的，步骤s4中，截取的转载点区域宽度为wt，煤块检测框宽度为wc，设定阈值tw，当wc与wt的比值大于tw时，认为该煤块是大煤块。
所述阈值tw根据摄像头架设角度以及工作人员经验进行调整。
进一步的，步骤s5中，判断大煤块是否移动包括以下步骤：
s51：计算大煤块检测框中心点坐标，并加入缓存队列，继续下一帧处理；
s52：当连续n帧检测到大煤块时进行判断，计算n帧内检测框的中心点坐标方差（dx，dy），判断方差是否均小于设定的极小值ds；
s53：若方差小于ds，则认为大煤块未发生移动，此时判断当前转载点发生堵煤并报警；
s54：若方差大于ds，则说明检测到的大煤块发生一定程度的移动，判断为未堵煤。
并且，步骤s52中，所述n通过人工设定，为连续的60-80帧。
所述摄像头位于下游皮带上方，高度距下游皮带水平位置1米-1.5米，且拍摄方向与下游皮带平行。
本发明通过收集并标注运输过程中的煤块图像，构建煤块图像数据集，训练目标检测模型识别转载点煤块。当煤块大小超过预设阈值时，认为是大煤块；当大煤块在一定时间内未发生移动，则判断为堵煤。一旦发生堵煤，可以立即发出报警信息，以便及时处理，降低安全隐患，提高生产效率。相比于传统的堵煤检测方式，本发明能适应井下复杂多变的环境下，通过训练单阶段煤块目标检测模型，能稳定准确快速识别转载点堵煤。
附图说明
图1是本发明中转载点堵煤识别装置的示意图；
图2是本发明中煤块检测模型训练流程图；
图3是本发明中转载点堵煤检测流程。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
如图1所示，本发明在皮带运输机转载点处架设摄像头1，摄像头应位于下游皮带上方，高度距下游皮带水平位置1米-1.5米，且拍摄方向与下游皮带平行，以便能准确抓取到导致堵煤的大煤块。转载点处的监控视频数据通过井下交换机2上传到井上计算机3进行模型推理计算，当检测到堵煤时发出报警信息以便工作人员及时处理。
硬件方面，本发明包含一个监控摄像头，用于获取转载点处视频帧图像；一个交换机，用于将视频帧数据传输到井上计算机；一台井上计算机，用于模型推理，判断是否发生堵煤并发出报警。
本发明提供一种基于目标检测的转载点堵煤识别方法，按照以下步骤实施。
步骤1利用煤块数据集训练煤块检测模型：
当前煤矿行业自动化智能化的背景下，监控摄像头已经遍布矿井各个重要区域，如何有效利用这些重要数据服务煤矿智能化智慧化已成为煤矿行业亟待考虑的问题。
目标检测也叫物体检测，是计算机视觉领域的核心任务，其目的是从背景中分离出感兴趣的目标，并确定这一目标的描述（类别和位置）。深度学习模型由于其强大的表示能力，加之数据量的积累和计算力的进步，成为目标检测的热点研究方向。常用的目标检测方法包含两大类，即单阶段检测算法和两阶段检测算法。
常见的两阶段算法包括rcnn，fast-rcnn，faster-rcnn，rfcn等，该类算法需要预先生成一个可能包含待检测物体的候选区域，再通过卷积神经网络进行分类即定位回归。此类算法精度高但推理速度较慢，不适用煤矿需要实时处理视频数据的场景。单阶段检测算法包括yolo系列，ssd，retinanet等，算法不需要预先提出候选区域，而是直接将图像输入卷积神经网络提取特征并预测物体类别及位置。相比于两阶段算法，单阶段算法检测精度略低，但推理速度较快，适用于需要实时处理场景。
参照图2所示的煤块检测模型训练流程图。本发明通过收集煤矿井下不同环境不同工况的皮带运煤视频数据，截取存在煤块的视频帧进行数据标注，累积标注超过一万张图像数据，形成煤块检测原始数据集。
然后，将数据集切分为训练集和测试集，并选择合适的目标检测模型进行训练调参，最终输出并持久化煤块检测模型。本发明选用的yolov3模型是一种经典的单阶段目标检测模型，能够将图片中的煤块检测出来，该模型速度快且检测较准。它采用多层卷积神经网络（darknet-53）提取图片特征，采用多级预测并调整损失函数的方式，在精确检测到各尺度目标的同时具备极快的推理速度，可实时处理视频帧数据。
步骤2利用煤块检测模型检测煤块：
如图3所示，训练好煤块检测模型后，逐帧读取摄像头视频流，先使用高斯滤波对视频帧图像进行去噪和平滑处理，减少光照条件对煤块检测模型精度的影响。
然后截取出转载点区域位置，该区域位置由工作人员人为设定。此步骤是为了聚焦感兴趣区域，排除其他影响。截取出的图像按照煤块检测模型输入尺寸要求进行等比缩放，缩放过程中保持图像宽高比，以避免因图像失真导致推理错误。
将缩放后的图像输入训练好的煤块检测模型，判断是否有煤块，如果有则输出检测框左上右下两个点在原图像中的坐标以及该检测框判断是否为煤块的置信得分。一张图片里可能包含多个煤块，都可能被煤块检测模型检测出来。大煤块是导致堵煤的主要原因，若检测到多个煤块，则过滤低得分的检测框，保留最大且得分较高（煤块检测模型判断是煤块的概率最大）的检测框，输出检测结果并进行下一步骤判断。
步骤3根据检测结果判断是否发生转载点堵煤：
当前帧图像的检测结果先根据煤块检测框宽度比例判断是否是大煤块，假设截取的转载点区域宽度为wt，煤块检测框宽度为wc，设定阈值tw，当wc与wt的比值大于tw时，认为该煤块是大煤块。
否则不算大煤块，阈值tw可根据摄像头架设角度以及工作人员经验调整。因堵煤大多由于大煤块造成，因此若煤块检测模型未检测到大煤块，则判断为不堵煤。
之后，判断大煤块是否一段时间未移动，如果未移动则说明该大煤块堵在转载点，系统判定为堵煤并报警，如果移动则说明检测到的大煤块并未卡堵，判定为未堵煤。
判断大煤块是否移动的方式是，计算大煤块检测框中心点坐标，并加入缓存队列，继续下一帧处理。当连续n帧检测到大煤块时进行判断，计算n帧内检测框的中心点坐标方差（dx，dy），当方差均小于一个极小值ds时，认为大煤块未发生移动，此时判断当前帧转载点发生堵煤并报警；若方差大于ds，则说明检测到的大煤块发生一定程度的移动，判断为未堵煤。
所述n为人工设定，实施例中，是连续的60-80帧。
本发明提出的基于目标检测的转载点堵煤识别方法，通过训练目标检测模型识别大煤块，根据大煤块移动情况判断是否堵煤。方法简单明晰，识别速度快精度高，误报率低稳定性好，能快速部署应用到煤矿皮带运输系统。
1.一种基于目标检测的皮带转载点堵煤识别方法，包括下列步骤：
s1：对摄像头采集的视频图像逐帧读取，并对视频帧进行图像预处理；
s2：将预处理后的图像输入训练好的煤块检测模型；
s3：判断预处理后的图像中是否有煤块，若有煤块则输出煤块检测框；
s4：根据煤块检测框宽度与转载点区域宽度比是否大于阈值，判断该煤块是否是大煤块；
s5：判断大煤块在设定时间内是否发生移动，如果未移动则说明该大煤块堵在转载点，判定为转载点堵煤并报警。
2.根据权利要求1所述的基于目标检测的皮带转载点堵煤识别方法，其特征在于：步骤s1中，所述图像预处理包括以下步骤：s11：使用高斯滤波对视频帧图像进行去噪和平滑处理；
s12：根据工作人员设定的转载点区域位置截取出转载点区域图像；
s13：截取出的转载点区域图像按照煤块检测模型输入尺寸要求进行等比缩放，且缩放过程中保持图像宽高比。
3.根据权利要求1所述的基于目标检测的皮带转载点堵煤识别方法，其特征在于：步骤s2中，所述煤块检测模型的训练流程包括以下步骤：
s21：收集煤矿井下不同环境不同工况的皮带运煤的视频数据，截取存在煤块的视频帧；
s22：在视频帧上标注煤块，进行数据标注；
s23：累积标注设定数量的图像数据，形成煤块检测数据集；
s24：将数据集切分为训练集和测试集，并选择目标检测模型进行训练调参；
s25：输出并持久化煤块检测模型。
4.根据权利要求3所述的基于目标检测的皮带转载点堵煤识别方法，其特征在于：步骤s24中，目标检测模型选用yolov3模型。
5.根据权利要求1所述的基于目标检测的皮带转载点堵煤识别方法，其特征在于：步骤s3中，如果有煤块，则输出煤块检测框左上右下两个点在原图像中的坐标，以及该检测框判断是否为煤块的置信得分，若检测到多个煤块，则过滤掉低得分的检测框，保留最大且得分较高的检测框，输出该煤块检测框。
6.根据权利要求1所述的基于目标检测的皮带转载点堵煤识别方法，其特征在于：步骤s4中，截取的转载点区域宽度为wt，煤块检测框宽度为wc，设定阈值tw，当wc与wt的比值大于tw时，认为该煤块是大煤块。
7.根据权利要求6所述的基于目标检测的皮带转载点堵煤识别方法，其特征在于：所述阈值tw根据摄像头架设角度以及工作人员经验进行调整。
8.根据权利要求1所述的基于目标检测的皮带转载点堵煤识别方法，其特征在于：步骤s5中，判断大煤块是否移动包括以下步骤：
s51：计算大煤块检测框中心点坐标，并加入缓存队列，继续下一帧处理；
s52：当连续n帧检测到大煤块时进行判断，计算n帧内检测框的中心点坐标方差（dx，dy），判断方差是否均小于设定的极小值ds；
s53：若方差小于ds，则认为大煤块未发生移动，此时判断当前转载点发生堵煤并报警；
s54：若方差大于ds，则说明检测到的大煤块发生一定程度的移动，判断为未堵煤。
9.根据权利要求8所述的基于目标检测的皮带转载点堵煤识别方法，其特征在于：步骤s52中，所述n通过人工设定，为连续的60-80帧。
10.根据权利要求1所述的基于目标检测的皮带转载点堵煤识别方法，其特征在于：所述摄像头位于下游皮带上方，高度距下游皮带水平位置1米-1.5米，且拍摄方向与下游皮带平行。
技术总结