本发明涉及人工智能目标检测领域,更具体地说,是涉及一种基于深度学习的移动式安全帽佩戴检测方法。
背景技术:
在煤矿、电厂、变电站、建筑工地等实际场景中,佩戴安全帽能够有效保护操作人员的头部安全,是一种必须执行的安全措施。但由于部分人员缺乏安全意识,不按规定佩戴安全帽,带来了巨大的安全风险。目前,主要管理办法是进行施工现场视频监控,采用人工监督是否佩戴安全帽。但是这种人工监管办法,一方面,因为现场场地众多,监控屏幕较大,监控人员容易疲劳,导致监控疏漏;另一方面,需要大量人力,造成资源浪费。
近年来人工智能快速发展,计算机视觉作为人工智能的一个重要研究方向,也迎来了第三次热潮。目标检测作为计算机视觉领域的一个研究热点,大量的基于卷积神经网络的优秀目标检测算法取得了巨大的成功,激励着越来越多的学者开始致力于深度学习目标检测算法的研究。因安全帽作为安全防护用品,其主要作用是保护施工现场人员的头部,防高空物体坠落,防物体打击、碰撞,对安全生产起到重要价值,视频图像的安全帽检测受到重视。
目前,主要管理办法是进行施工现场视频监控,采用人工监督是否佩戴安全帽。即使存在视频检测,也是固定摄像头,多用于建筑工地、电厂入口,对现场监管力度不够。
人工监管办法,一方面,因为现场场地众多,监控屏幕较大,监控人员容易疲劳,导致监控疏漏;另一方面,需要大量人力,造成资源浪费;固定点检测因视角有限,只能对局部区域进行监视,不能排除其它未被覆盖区域人员操作规范情况。
技术实现要素:
本发明所要解决的技术问题是,克服现有技术中存在的不足,提供一种基于深度学习的移动式安全帽佩戴检测方法。
煤炭、电厂皮带机巡检机器人在轨道上运行,通过分析云台摄像头转送回来的视频图像,利用sdd模型进行目标识别,通过图中所检测人体数、未戴安全帽人头数、戴安全帽人头数,利用当前与之前三帧所检测图像的人体数,判定视频中是否存在人员变化,当存在人员变化时,则利用所检测对象关系,判定巡检机器人沿途中是否有人及人员是否佩戴安全帽,同时,对未戴安全帽的一帧视频图像进行存储,减少数据冗余,防止相同违规行为,多次存储的现象。如此,则实现当现场出现未戴安全帽现象时,只是保存一帧违规图像。
本方法采用tensorflow深度学习框架,其为谷歌公司第二代开源的深度学习平台,也是目前最受欢迎的用来实现神经网络的机器学习框架。
tensorflow广泛支持包括计算机视觉、语音识别、人机对弈和自然语言处理等大量功能。据此,本方法在以往研究的基础上,提出一种基于深度学习的移动式安全帽佩戴检测方法。过程包括样本收集、模型训练、检测。并通过巡检机器人云台摄像头实现对周围环境的检测、识别,验证算法对于现场工人安全帽佩戴检测的可行性和有效性。并对未按标准佩戴安全的现象进行警报、违规图像存储。
本发明一种基于深度学习的移动式安全帽佩戴检测方法,煤炭、电厂皮带机巡检机器人在轨道上运行,通过分析云台摄像头转送回来的视频图像,具体检测方法步骤如下:
1.样本采集:就是获取所监视现场含有人的图片,其需包括带安全帽人体(施工现场)、未带安全人体(可用其它场所);
2.模型训练:利用获取的样本,通过labelimg软件进行训练目标坐标的提取,经一系列转化获取训练所需要的数据,并将其送入目标识别模型进行训练;
3.检测部分:
a.进行一帧视频图像的采集;
b.启动图像目标检测;
c.对检测结果进行统计及标注,统计包括戴安全帽人头数、未戴安全帽人头数、人体数;
d.判定是否取消判定,若不取消则启动判定是否有人未戴安全帽,若取消判定则不做任何处理,关闭检测标志;
e.根据当前与之前三帧人数,判定是否开启检测标志;
f.更新存储相邻三种中所检测的人体数,最后将带有识别结果图像显示。
所述样本采集,基于tensorflow框架对施工现场图像中佩戴安全帽和未佩戴安全帽的工作人员进行识别;首先采集一定数量的工人图像作为模型的训练和测试集,目前,由于没有一个完整的关于工人个人安全设备检测的数据集,需要自行开发设计一个数据集以训练和测试ssd_mobilenet_v2模型。本研究需要检测未戴安全帽人头部图像、戴安全帽头部图像、人体图像。为了节省人力,使用tensorflow框架下ssd_mobilenet_v2_coco预训练模型进行人体的采集,采集2000张现场人员戴安全帽人体图像,然后收集2000张未带安全帽人体图像(可其它场所)。
所述模型训练,下载labelimg软件,标注所收集的样本,其包括:戴安全帽人头部、未戴安全帽人头部、人体,标注标签后数据会自动保存为xml格式;然后,把xml数据集分为了训练集占90%,test为测试集10%。之后,把xml转换成csv文件,再将csv文件转换成训练需要的tfrecord格式;在工程文件目录下创建标签分类的配置文件(label_map.pbtxt),需要检测几种目标,将创建几个id;配置管道配置文件,最后,根据配置好的文件启动训练。
与现有技术相比,本发明的有益效果是:
本发明通过收集现场图片信息和人工标注的方法,构建了训练集和测试集。通过采用深度学习算法,在数据集上得到了一种具备安全帽检测的神经网络模型。经验证,该模型在构建的测试集上达到了良好的检测效果。
附图说明
图1是本发明流程图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
煤炭、电厂皮带机巡检机器人在轨道上运行,通过分析云台摄像头转送回来的视频图像,检测方法如图1所示,启动系统后,首先进行程序相关参数设置,包括:网络摄像头的设置;检测存储的未带戴安全帽图像的文件夹是否存在,若不存在,则重新建立;检测训练模型的加载,因模型加载数据量比较大,所以需要较长时间等待。
完成初始化后,系统进行一帧视频图像采集,因原图像分辨率一般在200万以上,为了减轻检测带来的运行压力,这里讲图像处理成960*540。
读取一帧视频后,便进行图像识别算法的运行,检测结果分为三类。而后,对检测结果进行统计及标注,统计戴安全帽人头数、未带安全帽人头数、人体数。
根据统计结果,判定是否取消判定,判定标准是检测人体数或人体数与戴安全帽数是否相等。若人体为零或人体数等于戴安全帽人头数,则说明不存在未戴安全帽现象,检测标志关闭。否者启动检测判定是否有人未戴安全帽,判断的标准:未戴安全帽的人体大于零且检测标志被开启,若满足条件,则判定存在未戴安全帽的现象,进行输出警报及存储未戴安全帽图像,最后将检测标志关闭。
判定检测人数是否变化,判定的标志,依据当前检测与存储的三次人体数,当同时满足以下条件者将启动检测标志:当前图像人体数与存储第三个帧中的人体数相同;2.当前帧人体数与第一、二帧人体数都不同;3.目前人体数不为零;4.当前帧人体数大于所检测戴安全帽人头数。
最后,更新存储相邻三种中所检测的人体数,并图像上显示识别结果。
1.一种基于深度学习的移动式安全帽佩戴检测方法,其特征是,皮带机巡检机器人在轨道上运行,通过分析云台摄像头转送回来的视频图像,检测方法按照下述步骤进行:
1)样本采集:就是获取所监视现场含有人的图片,其需包括带安全帽人体图片用于施工现场,未带安全帽的人体图片用于其它场所;所述样本采集,是基于tensorflow框架对施工现场图像中佩戴安全帽和未佩戴安全帽的工作人员进行识别,采集一定数量的工人图像作为模型的训练和测试集;
2)模型训练:利用获取的样本,通过labelimg软件进行训练目标坐标的提取,经一系列转化获取训练所需要的数据,并将其送入目标识别模型进行训练;
3)检测部分:
a.进行一帧视频图像的采集;
b.启动图像目标检测;
c.对检测结果进行统计及标注,统计包括戴安全帽人头数、未戴安全帽人头数、人体数;
d.判定是否取消判定,若不取消则启动判定是否有人未戴安全帽,若取消判定则不做任何处理,关闭检测标志;
e.根据当前与之前三帧人数,判定是否开启检测标志;
f.更新存储相邻三种中所检测的人体数,最后将带有识别结果图像显示。
2.根据权利要求所述的基于深度学习的移动式安全帽佩戴检测方法,其特征是,所述样本采集,设计一个数据集以训练和测试ssd_mobilenet_v2模型,采集2000张现场人员戴安全帽人体图像,然后收集2000张未带安全帽人体图像。
3.根据权利要求所述的基于深度学习的移动式安全帽佩戴检测方法,其特征是,所述模型训练,下载labelimg软件,标注所收集的样本,其包括:戴安全帽人头部、未戴安全帽人头部、人体,标注标签后数据会自动保存为xml格式;然后,把xml数据集分为了训练集占90%,test为测试集10%;之后,把xml转换成csv文件,再将csv文件转换成训练需要的tfrecord格式;在工程文件目录下创建标签分类的配置文件label_map.pbtxt,检测几种目标,将创建几个id;配置管道配置文件,最后,根据配置好的文件启动训练。
技术总结