本申请涉及车辆检测技术领域,特别是涉及一种车辆灯光工位的检测方法、装置、计算机设备和存储介质。
背景技术:
随着经济的快速发展和物质生活水平的提高,机动车在人们生活中也越来越普及。随着机动车数量的增长,机动车的年检工作也极剧增加。
机动车的灯光检测为车辆年检的项目之一,机动车灯光检测通常采用灯光检测仪进行自动检测。在检测过程中由检测人员确认车灯灯光打开后,操作灯光检测仪对机动车的前灯和/或后灯进行检测。为了监督机动车灯光工位的作业流程完整且不存在人工干扰等现象,往往会将灯光工位的检测过程录制成视频,由监督人员检测机动车灯光工位的检测过程是否符合规范。传统的检测灯光工位的检测流程是否符合规范的方法,主要通过人工观看视频进行检测,存在浪费人力、检测效率低的问题。
技术实现要素:
基于此,有必要针对上述技术问题,提供一种能够提高车辆灯光工位检测效率的车辆灯光工位的检测方法、装置、计算机设备和存储介质。
一种车辆灯光工位的检测方法,所述方法包括:
获取待检测视频,待检测视频为采集车辆灯光工位得到的视频;
将待检测视频中的图像帧输入至基于深度学习的检测模型中,以通过检测模型识别当前图像帧中的车辆状态;
将车辆状态与标准车辆状态进行比较;
当车辆状态与标准车辆状态一致时,则检测当前图像帧中灯光检测仪的运动状态;
根据灯光检测仪的运动状态,生成车辆灯光检测流程的检测结果。
在其中一个实施例中,标准车辆状态包括标准车牌号码和车灯亮起状态;通过检测模型识别当前图像帧中的车辆状态,将车辆状态与标准车辆状态进行比较,包括:
基于深度学习的目标检测和文本识别模型识别当前图像帧中的车牌号码,将车牌号码与标准车牌号码进行比较;
当车牌号码与标准车牌号码一致时,则通过目标检测和分类模型识别当前图像帧中的车灯状态,判断车灯状态是否为车灯亮起状态。
在其中一个实施例中,检测当前图像帧中灯光检测仪的运动状态,包括:
计算当前图像帧与当前图像帧的上一帧或者下一帧中,相同坐标的像素值的差值;
根据像素值的差值,生成二值化差分图像;
根据二值化差分图像,确定当前图像帧中灯光检测仪的运动状态。
在其中一个实施例中,根据灯光检测仪的运动状态,生成车辆灯光检测流程的检测结果,包括:
获取灯光检测仪的运动起始时间和运动结束时间,计算灯光检测仪的检测时间;
将检测时间与第一阈值进行比较;
若检测时间大于或者等于第一阈值,则生成车辆灯光检测流程检测通过的检测结果;
若检测时间小于第一阈值,则生成车辆灯光检测流程检测未通过的检测结果。
在其中一个实施例中,运动状态包括运动起始状态和运动结束状态;所述方法还包括:
当检测到当前图像帧中灯光检测仪的运动状态为运动起始状态时,则记录当前图像帧的时间为运动起始时间;
当检测到当前图像帧中灯光检测仪的运动状态为运动结束状态时,则记录当前图像帧的时间为运动结束时间。
在其中一个实施例中,当检测到当前图像帧中灯光检测仪的运动状态为运动起始状态之后,还包括:
通过目标检测模型检测当前图像帧中的人物区域和灯光检测仪区域;
当当前图像帧中存在人物区域和灯光检测仪区域时,则获取人物区域和灯光检测仪区域的位置信息;
判断人物区域和灯光检测仪区域的位置信息是否满足预设要求;
若是,则继续检测当前图像帧中灯光检测仪的运动状态,直至检测到运动状态为运动结束状态。
在其中一个实施例中,判断人物区域和灯光检测仪区域的位置信息是否满足预设要求,包括:
根据人物区域和灯光检测仪区域的位置信息,计算人物区域和灯光检测仪区域的距离值;
将距离值与第二阈值进行比较;
若距离值大于或者等于第二阈值,则人物区域和灯光检测仪区域的位置信息满足预设要求;
若距离值小于第二阈值,则人物区域和灯光检测仪区域的位置信息不满足预设要求。
一种车辆灯光工位的检测装置,所述装置包括:
获取模块,用于获取待检测视频,待检测视频为采集车辆灯光工位得到的视频;
车辆状态检测模块,用于将待检测视频中的图像帧输入至基于深度学习的检测模型中,以通过检测模型识别当前图像帧中的车辆状态;
比较模块,用于将车辆状态与标准车辆状态进行比较;
物体运动状态检测模块,用于当车辆状态与标准车辆状态一致时,则检测当前图像帧中灯光检测仪的运动状态;
检测结果生成模块,用于根据灯光检测仪的运动状态,生成车辆灯光检测流程的检测结果。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待检测视频,待检测视频为采集车辆灯光工位得到的视频;
将待检测视频中的图像帧输入至基于深度学习的检测模型中以通过检测模型识别当前图像帧中的车辆状态;
将车辆状态与标准车辆状态进行比较;
当车辆状态与标准车辆状态一致时,则检测当前图像帧中灯光检测仪的运动状态;
根据灯光检测仪的运动状态,生成车辆灯光检测流程的检测结果。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待检测视频,待检测视频为采集车辆灯光工位得到的视频;
将待检测视频中的图像帧输入至基于深度学习的检测模型中,以通过检测模型识别当前图像帧中的车辆状态;
将车辆状态与标准车辆状态进行比较;
当车辆状态与标准车辆状态一致时,则检测当前图像帧中灯光检测仪的运动状态;
根据灯光检测仪的运动状态,生成车辆灯光检测流程的检测结果。
上述车辆灯光工位的检测方法、装置、计算机设备和存储介质,通过采集车辆灯光工位的待检测视频,将该待检测视频的图像帧输入至基于深度学习的检测模型中,以通过检测模型识别当前图像帧中的车辆状态;将车辆状态与标准车辆状态进行比较;当车辆状态与标准车辆状态一致时,则检测当前图像帧中灯光检测仪的运动状态;根据灯光检测仪的运动状态,生成车辆灯光检测流程的检测结果。上述车辆灯光工位的检测方法,一方面,使用基于深度学习的模型代替人工进行灯光工位视频的检测,不仅提高了检测的效率,同时也降低了出错率;另一方面,基于深度学习模型实现车辆灯管工位的自动化检测,节约了人力和时间成本。
附图说明
图1为一个实施例中车辆灯光工位的检测方法的流程示意图;
图2为一个实施例中检测车辆状态步骤的流程示意图;
图3为一个实施例中检测物体运动状态步骤的流程示意图;
图4为一个实施例中生成车辆检测结果步骤的流程示意图;
图5为一个实施例中检测人物区域步骤的流程示意图;
图6为一个实施例中车辆灯光工位的检测方法的流程示意图;
图7为一个实施例中车辆灯光工位的检测装置的结构框图;
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种车辆灯光工位的检测方法,本实施例以该方法应用于终端进行举例说明。其中,终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等。可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:
步骤110,获取待检测视频,待检测视频为采集车辆灯光工位得到的视频。
其中,待检测视频是指待进行检测的视频。车辆灯光工位是指检测车辆灯光是否合格时车辆所在的位置。具体地,待检测视频由图像采集装置采集得到。图像采集装置可以是监控摄像头、照相机等。图像采集装置可以是单独的设备,也可以是安装在终端中的采集装置。当车辆停在灯光工位,由灯光检测仪进行车辆灯光检测时,图像采集装置实时将灯光检测仪的检测过程、周围环境以及待检测车辆的车辆状态等以视频的方式进行采集,并将采集到的待检测视频发送至终端。
步骤120,将待检测视频中的图像帧中输入至基于深度学习的检测模型中,以通过检测模型识别当前图像帧中的车辆状态。
其中,可以根据车辆灯光工位的检测流程的需要选择合适的基于深度学习的检测模型,例如,检测模型可以包括目标检测模型、文本识别模型、分类模型等。车辆状态是指检测中的车辆的实际情况,可以用于判断检测中的车辆实际情况是否正确,例如,判断检测中的车辆是否为正确的需要检测的车辆。具体地,终端部署有预先训练好的检测模型。当终端获取到待检测视频数据后,将视频流中的当前图像帧依次输入至检测模型,通过检测模型检测得到待检测视频当前图像帧中的车辆状态。
步骤130,将车辆状态与标准车辆状态进行比较。
步骤140,当车辆状态与标准车辆状态一致时,则检测当前图像帧中灯光检测仪的运动状态。
其中,标准车辆状态是指车辆应具备的实际情况,例如,车辆的车灯应是被打开的状态。具体地,终端将获取的待检测车辆的车辆状态与标准车辆状态进行比较,当得到待检测车辆的车辆状态与标准车辆状态一致时,那么可以判断车辆的实际情况符合要求,则可以进一步获取后面的图像帧进行灯光检测仪的运动状态的检测。可以通过光流法检测、帧差法、背景消除法等方式检测得到灯光检测仪的运动状态。进一步地,在本实施例中,若判断待检测车辆的车辆状态与标准车辆状态不一致时,可以依此生成检测不通过的检测结果;或者继续获取下一帧进行检测,直至视频结束或者判断待检测车辆的车辆状态与标准车辆状态一致。
步骤150,根据灯光检测仪的运动状态,生成车辆灯光检测流程的检测结果。
具体地,运动状态可以是指灯光检测仪从静止到运动,和/或从运动到静止的状态。可以通过检测灯光检测仪的运动状态判断灯光检测仪的作业流程是否符合要求。例如,当检测灯光检测仪的运动状态包括从静止到运动,以及从运动到静止两个状态,可以判断灯光检测仪的作业流程符合要求。
上述车辆灯光工位的检测方法中,通过基于深度学习的检测模型识别待检测视频的当前图像帧中的车辆状态,将车辆状态与标准车辆状态进行比较;当车辆状态与标准车辆状态一致时,则根据灯光检测仪的运动状态,生成车辆灯光检测流程的检测结果。上述车辆灯光工位的检测方法,一方面,使用基于深度学习的模型代替人工进行灯光工位视频的检测,不仅提高了检测的效率,同时也降低了出错率;另一方面,基于深度学习模型实现车辆灯管工位的自动化检测,节约了人力和时间成本。
在一个实施例中,如图2所示,标准车辆状态包括标准车牌号码和车灯亮起状态;通过检测模型识别当前图像帧中的车辆状态,将车辆状态与标准车辆状态进行比较,包括以下步骤:
步骤131,基于深度学习的目标检测和文本识别模型识别当前图像帧中的车牌号码,将车牌号码与标准车牌号码进行比较。
其中,目标检测和文本识别模型可以包括目标检测模型和文本识别模型。目标检测模型可以但不限于是refinedet(一种基于单阶段的检测器)、fasterr-cnn(一种目标检测网络)、ssd(singleshotmultiboxdetector)和yolo(youonlylookonce)等,在此不做限定。文本识别模型可以但不限于是crnn(convolutionalrecurrentneuralnetwork,卷积递归神经网络)、ctpn(connectionisttextproposalnetwork,连接文本提议网络)等,在此不做限定。具体地,首先,通过已训练的目标检测模型定位出当前图像帧的车牌区域,得到车牌区域的图像。然后,将车牌区域的图像输入至已训练的文本识别模型进行识别,得到车牌号的字符串。最后,将得到的车牌号码的字符串与获取的标准车牌号码的字符串进行比对,若相同,则表示当前图像帧中的车辆是需要进行灯光检测的车辆。在本实施例中,标准车牌号码可以通过系统预先获取,或者用户通过终端手动输入,在此不做限定。可以理解的是,若检测当前图像帧中的车牌号码的字符串与获取的标准车牌号码的字符串不相同时,则表示当前图像帧中的车辆不是需要进行灯光检测的车辆,则生成检测未通过的检测结果,结束检测;或者继续获取下一帧进行检测,直至视频结束或者判断待检测车辆的车牌号码与标准车牌号码一致。
步骤132,当车牌号码与标准车牌号码一致时,则通过目标检测和分类模型识别当前图像帧中的车灯状态,判断车灯状态是否为车灯亮起状态。
其中,目标检测和分类模型可以包括目标检测模型和分类模型。目标检测模型可以但不限于是refinedet(一种基于单阶段的检测器)、fasterr-cnn(一种目标检测网络)、ssd(singleshotmultiboxdetector)和yolo(youonlylookonce)等,在此不做限定。分类模型可以但不限于是vggnet(visualgeometrygroupnetwork)、resnet(residualneuralnetwork,残差网络)等,在此不做限定。具体地,由于灯光检测时车灯应是亮起的状态,因此当检测当前图像帧中车辆的车牌号码与标准车牌号码一致时,继续使用目标检测模型和分类模型检测当前图像帧中的车灯状态。首先,通过已训练的目标检测模型定位出当前图像帧的车灯区域,得到车灯区域的图像。车灯区域是指车辆是前照灯和/或后照灯区域。可以理解的是,所得到的车灯区域的图像至少为2个。然后,将该车灯区域的图像输入至已训练的分类模型,得到车辆的前照灯和/或后照灯的车灯状态的分类结果。最后,根据得到的分类结果判断车灯状态是否符合要求。若检测到所有的车灯状态都为亮起状态时,可以判断车灯状态符合要求,则继续进行下一步检测;否则,继续获取下一帧进行灯光检测,直至视频结束或者判断所有的车灯状态都为亮起状态。
本实施例中,通过检测待检测视频中的车辆的车牌号码,可以识别使用其他车辆代替检测的作假行为;通过检测待检测视频中的车辆的车灯状态,可以保证灯光检测仪检测过程的准确性,从而提高车辆灯光工位检测的准确性。
在一个实施例中,如图3所示,检测当前图像帧中灯光检测仪的运动状态,包括以下步骤:
步骤141,计算当前图像帧与当前图像帧的上一帧或者下一帧中,相同坐标的像素值的差值。
步骤142,根据像素值的差值,生成二值化差分图像。
具体地,本实施例中通过使用帧间差法检测当前图像帧,以及当前图像帧的相邻帧的中发生变化的区域,从而得到灯光检测仪的运动状态。即,将当前图像帧,与当前图像帧的上一帧或者下一帧中相同坐标的像素值作差,根据阈值将差值图像进行二值化处理(大于阈值的灰度值变为255,小于阈值的灰度值变为0),得到二值化差分图像。
步骤143,根据二值化差分图像,确定当前图像帧中灯光检测仪的运动状态。
具体地,如果场景内没有运动目标,那么连续帧的变化将会很微弱,如果存在运动目标,那么连续的帧和帧之间会有明显地变化。因此,若根据当前图像帧以及当前图像帧的上一帧,得到的二值化差分图像中255的像素值在一定区域中很密集,则表示灯光检测仪开始移动;若根据当前图像帧以及当前图像帧的下一帧,得到的二值化差分图像中灰度值基本为0,则表示灯光检测仪停止运动。本实施例中,通过使用帧间差法检测灯光检测仪的运动状态,实现过程简单,运算速度快,从而可以提高车辆灯光工位的检测效率。
在一个实施例中,运动状态包括运动起始状态和运动结束状态;所述方法还包括:当检测到当前图像帧中灯光检测仪的运动状态为运动起始状态时,则记录当前图像帧的时间为运动起始时间;当检测到当前图像帧中灯光检测仪的运动状态为运动结束状态时,则记录当前图像帧的时间为运动结束时间。
其中,运动起始状态是指第一次检测到灯光检测仪的运动的状态。运动结束状态是指在检测到灯光检测仪运动后,第一检测到灯光检测仪静止的状态。具体地,当检测到灯光检测仪的当前图像帧的运动状态为运动起始状态时,表示灯光检测仪开始检测,终端可以记录当前图像帧的时间为运动起始时间。当检测到灯光检测仪的当前图像帧的运动状态为运动结束状态时,表示灯光检测仪检测结束,终端可以记录当前图像帧的时间为运动结束时间。
在一个实施例中,如图4所示,根据灯光检测仪的运动状态,生成车辆灯光检测流程的检测结果,包括以下步骤:
步骤151,获取灯光检测仪的运动起始时间和运动结束时间,计算灯光检测仪的检测时间。
步骤152,将检测时间与第一阈值进行比较。
步骤153,若检测时间大于或者等于第一阈值,则生成车辆灯光检测流程检测通过的检测结果。
步骤154,若检测时间小于第一阈值,则生成车辆灯光检测流程检测未通过的检测结果。
具体地,在得到灯光检测仪的运动起始时间和运动结束时间后,使用运动结束时间减去运动起始时间,即可以计算得到灯光检测仪的检测时间。将该检测时间与预设的阈值进行比较,若检测时间大于或者等于预设的阈值,则可以说明车辆灯光工位检测的整个流程通过;否则,则为不通过。本实施例中,通过根据灯光检测仪的运动状态获取其检测的时间,进一步利用检测时间进行车辆灯光工位的检测,使得检测结果更为精确,从而提高了检测结果的准确性。
在一个实施例中,如图5所示,当检测到当前图像帧中灯光检测仪的运动状态为运动起始状态之后,还包括以下步骤:
步骤510,通过目标检测模型检测当前图像帧中的人物区域和灯光检测仪区域。
具体地,在检测灯光检测仪开始运动后,可以进一步通过基于深度学习的目标检测模型确定灯光检测仪检测灯光的过程中有没有人工干扰。将视频流中的图像帧输入至已训练的目标检测模型,检测当前图像帧中的人物区域和灯光检测仪区域。
步骤520,当当前图像帧中存在人物区域和灯光检测仪区域时,则获取人物区域和灯光检测仪区域的位置信息。
步骤530,判断人物区域和灯光检测仪区域的位置信息是否满足预设要求,若是,则进入步骤540;否则,进入步骤550。
步骤540,继续检测当前图像帧中灯光检测仪的运动状态,直至检测到运动状态为运动结束状态。
步骤550,生成检测不通过的结果,结束检测。
具体地,当检测到当前图像帧中存在人物区域和灯光检测仪区域时,则获取目标检测模型输出的人物区域和灯光检测仪区域的位置信息。位置信息包括人物区域和灯光检测仪区域所在矩形框在当前图像帧中的坐标位置。可以根据人物区域和灯光检测仪区域的相对坐标位置,判断当前测试过程是否存在人工干扰。
本实施例中,在检测灯光检测仪开始运动后,通过使用目标检测模型检测过程中是否存在人物区域,可以避免检测过程中人工作假行为,从而提高了灯光工位检测的准确性。
在一个实施例中,判断人物区域和灯光检测仪区域的位置信息是否满足预设要求,包括:根据人物区域和灯光检测仪区域的位置信息,计算人物区域和灯光检测仪区域的距离值;将距离值与第二阈值进行比较;若距离值大于或者等于第二阈值,则人物区域和灯光检测仪区域的位置信息满足预设要求;若距离值小于第二阈值,则人物区域和灯光检测仪区域的位置信息不满足预设要求。
具体地,在获取目标检测模型输出的人物区域和灯光检测仪区域的位置坐标后,可以根据该位置坐标计算人物区域和灯光检测仪区域的相对距离。将该距离值与预设的阈值(例如1m)进行比较,若距离值小于第二阈值,则表示灯光检测仪检测的过程中可能存在人工干扰,可以依此判定检测结果不通过;否则,则继续检测当前图像帧中灯光检测仪的运动状态,直至检测到运动状态为运动结束状态。本实施例中,通过根据人物区域和灯光检测仪区域的距离值,判断灯光检测仪的检测过程中是否存在人工干扰,使得检测结果更为精确,从而提高了检测结果的准确性。
在一个实施例中,如图6所示,通过一个具体的实施例说明车辆灯光工位的检测方法,包括以下步骤:
步骤601,获取待检测视频,待检测视频为采集车辆灯光工位得到的视频。
步骤602,获取待检测视频的当前图像帧。
步骤603,判断待检测视频是否已结束,若是,则进入步骤604;否则,则进入步骤605。
步骤604,获取已检测的每一项待检测结果,判断已检测的每一项是否都合格,并进入步骤613,生成车辆灯光检测流程检测未通过的检测结果。
步骤605,检测当前图像帧中的车牌号码与标准车牌号码是否匹配。若匹配,则进入步骤606;否则,进入步骤602。
具体地,通过目标检测模型检测当前图像帧中的车牌区域。若检测存在车牌区域,则获取车牌区域的图像;否则,进入步骤602,继续获取下一帧进行检测。通过文本识别模型识别车牌区域的图像,得到车牌号码的字符串。比对车牌号码的字符串与标准车牌号码的字符串。若相同,则进入步骤606;否则,进入步骤602,继续获取下一帧进行检测。
步骤606,检测车灯状态是否都为亮起状态。若是,则进入步骤607;否则,进入步骤602,继续获取下一帧进行检测。
具体地,通过目标检测模型检测当前图像帧中的车灯区域。若检测存在车灯区域,则获取车灯区域的图像;否则,进入步骤602,继续获取下一帧进行检测。其中,车灯包括前照灯和/或后照灯,所得到的车灯区域的图像包括至少两个。将车灯区域的图像输入至分类模型,通过分类模型识别得到车灯的分类结果。识别车灯亮起则返回值为1,识别车灯未亮起的返回值为0。
本实施例中,分类模型采用resnet分类网络。resnet分类网络的获取方式可以如下:(1)首先收集一批车灯亮与不亮均有的车辆图像样本;(2)利用训练好的目标检测模型将车辆图像样本中的车灯都检测出来,得到一批车灯区域的图像样本;(3)对车灯区域的图像样本进行分类,分为亮与不亮两类,标签对应可以为1和0;(4)将这两类图像样本同时送入resnet分类网络中进行训练;(5)当网络收敛时,说明模型训练完成,得到一个可以在实际工程中使用的识别车灯亮灭的分类模型。
步骤607,检测灯光检测仪是否开始移动。若是,则获取运动起始时间,并进入步骤608;否则,进入步骤602,继续获取下一帧进行检测。
具体地,通过帧差法,即将当前图像帧的上一帧与当前图像帧中相同坐标的像素值作差,根据阈值将差值图像进行二值化处理(大于阈值的灰度值变为255,小于阈值的灰度值变为0),得到二值化差分图像。该二值化差分图像用于确定是否有目标在移动,原理是如果场景内没有运动目标,则连续帧的变化很微弱;如果存在运动目标,则连续的帧和帧之间会有明显地变化。如果二值化差分图像中255的像素值在一定区域中很密集,则表示灯光检测仪开始移动。
步骤608,检测是否存在人工干扰。若不存在,则进入步骤609;否则,进入步骤613,生成车辆灯光检测流程检测未通过的检测结果。
具体地,通过目标检测模型检测当前图像帧中的人物区域和灯光检测仪区域。若检测存在人物区域和灯光检测仪区域,则获取人物区域和灯光检测仪区域的坐标位置。根据人物区域和灯光检测仪区域的坐标位置,计算人物区域和灯光检测仪区域的距离值。将距离值与第二阈值进行比较。若距离值大于或者等于第二阈值,则可以判断灯光检测仪的检测过程中不存在人工干扰;否则,判断灯光检测仪的检测过程中存在人工干扰,则进入步骤609;否则,进入步骤613,生成车辆灯光检测流程检测未通过的检测结果。
步骤609,检测灯光检测仪是否结束移动。若是,则获取运动结束时间,并进入步骤610;否则,进入步骤602,继续获取下一帧进行检测。
步骤610,根据灯光检测仪的运动起始时间和运动结束时间,计算灯光检测仪的检测时间。
步骤611,将检测时间与第一阈值进行比较。若检测时间大于或者等于第一阈值,则进入步骤612,生成车辆灯光检测流程检测通过的检测结果;否则,进入步骤613,生成车辆灯光检测流程检测未通过的检测结果。
步骤612,生成车辆灯光检测流程检测通过的检测结果。结束本次检测。
步骤613,生成车辆灯光检测流程检测未通过的检测结果。结束本次检测。
本实施例中,在步骤605、606、608中采用的目标检测模型为refinedet(一种基于单阶段的检测器)模型。refinedet网络模型的获取方式可以如下:(1)首先收集一批灯光工位的图像样本,所有的图像样本都包含车辆信息和灯光检测仪信息,一半的图像样本中包含工作人员(或其他人员)信息,另一半不包含任何人员信息;(2)用矩形框将图像样本中的需要检测的信息标注出来,得到训练样本集。需要检测的信息包括车牌、车灯、工作人员(其他任何人员)和灯光检测仪;(3)将训练样本集输入至refinedet网络模型中进行训练;(4)当训练过程收敛时,则说明模型训练完毕,得到一个可在工程中实际使用的目标检测模型。
应该理解的是,虽然图1-6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1-6中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图7所示,提供了一种车辆灯光工位的检测装置700,包括:获取模块701、车辆状态检测模块702、比较模块703、物体运动状态检测模块704和检测结果生成模块705,其中:
获取模块701,用于获取待检测视频,待检测视频为采集车辆灯光工位得到的视频;
车辆状态检测模块702,用于将待检测视频中的图像帧输入至基于深度学习的检测模型中,以通过检测模型识别当前图像帧中的车辆状态;
比较模块703,用于将车辆状态与标准车辆状态进行比较;
物体运动状态检测模块704,用于当车辆状态与标准车辆状态一致时,则检测当前图像帧中灯光检测仪的运动状态;
检测结果生成模块705,用于根据灯光检测仪的运动状态,生成车辆灯光检测流程的检测结果。
在一个实施例中,标准车辆状态包括标准车牌号码和车灯亮起状态;车辆状态检测模块702,具体用于基于深度学习的目标检测和文本识别模型识别当前图像帧中的车牌号码,将车牌号码与标准车牌号码进行比较;当车牌号码与标准车牌号码一致时,则通过目标检测和分类模型识别当前图像帧中的车灯状态,判断车灯状态是否为车灯亮起状态。
在一个实施例中,物体运动状态检测模块704,具体用于计算当前图像帧与当前图像帧的上一帧或者下一帧中,相同坐标的像素值的差值;根据像素值的差值,生成二值化差分图像;根据二值化差分图像,确定当前图像帧中灯光检测仪的运动状态。
在一个实施例中,检测结果生成模块705,具体用于获取灯光检测仪的运动起始时间和运动结束时间,计算灯光检测仪的检测时间;将检测时间与第一阈值进行比较;若检测时间大于或者等于第一阈值,则生成车辆灯光检测流程检测通过的检测结果;若检测时间小于第一阈值,则生成车辆灯光检测流程检测未通过的检测结果。
在一个实施例中,运动状态包括运动起始状态和运动结束状态;车辆灯光工位的检测装置700还包括物体运动时间获取模块,用于当检测到当前图像帧中灯光检测仪的运动状态为运动起始状态时,则记录当前图像帧的时间为运动起始时间;当检测到当前图像帧中灯光检测仪的运动状态为运动结束状态时,则记录当前图像帧的时间为运动结束时间。
在一个实施例中,车辆灯光工位的检测装置700还包括人物区域检测模块,用于通过目标检测模型检测当前图像帧中的人物区域和灯光检测仪区域;当当前图像帧中存在人物区域和灯光检测仪区域时,则获取人物区域和灯光检测仪区域的位置信息;判断人物区域和灯光检测仪区域的位置信息是否满足预设要求;若是,则继续检测当前图像帧中灯光检测仪的运动状态,直至检测到运动状态为运动结束状态。
在一个实施例中,人物区域检测模块,具体用于根据人物区域和灯光检测仪区域的位置信息,计算人物区域和灯光检测仪区域的距离值;将距离值与第二阈值进行比较;若距离值大于或者等于第二阈值,则人物区域和灯光检测仪区域的位置信息满足预设要求;若距离值小于第二阈值,则人物区域和灯光检测仪区域的位置信息不满足预设要求。
关于车辆灯光工位的检测装置的具体限定可以参见上文中对于车辆灯光工位的检测方法的限定,在此不再赘述。上述车辆灯光工位的检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种车辆灯光工位的检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取待检测视频,待检测视频为采集车辆灯光工位得到的视频;将待检测视频中的图像帧输入至基于深度学习的检测模型中,以通过检测模型识别当前图像帧中的车辆状态;将车辆状态与标准车辆状态进行比较;当车辆状态与标准车辆状态一致时,则检测当前图像帧中灯光检测仪的运动状态;根据灯光检测仪的运动状态,生成车辆灯光检测流程的检测结果。
在一个实施例中,标准车辆状态包括标准车牌号码和车灯亮起状态;处理器执行计算机程序时还实现以下步骤:
基于深度学习的目标检测和文本识别模型识别当前图像帧中的车牌号码,将车牌号码与标准车牌号码进行比较;当车牌号码与标准车牌号码一致时,则通过目标检测和分类模型识别当前图像帧中的车灯状态,判断车灯状态是否为车灯亮起状态。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
计算当前图像帧与当前图像帧的上一帧或者下一帧中,相同坐标的像素值的差值;根据像素值的差值,生成二值化差分图像;根据二值化差分图像,确定当前图像帧中灯光检测仪的运动状态。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取灯光检测仪的运动起始时间和运动结束时间,计算灯光检测仪的检测时间;将检测时间与第一阈值进行比较;若检测时间大于或者等于第一阈值,则生成车辆灯光检测流程检测通过的检测结果;若检测时间小于第一阈值,则生成车辆灯光检测流程检测未通过的检测结果。
在一个实施例中,运动状态包括运动起始状态和运动结束状态;处理器执行计算机程序时还实现以下步骤:
当检测到当前图像帧中灯光检测仪的运动状态为运动起始状态时,则记录当前图像帧的时间为运动起始时间;当检测到当前图像帧中灯光检测仪的运动状态为运动结束状态时,则记录当前图像帧的时间为运动结束时间。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
通过目标检测模型检测当前图像帧中的人物区域和灯光检测仪区域;当当前图像帧中存在人物区域和灯光检测仪区域时,则获取人物区域和灯光检测仪区域的位置信息;判断人物区域和灯光检测仪区域的位置信息是否满足预设要求;若是,则继续检测当前图像帧中灯光检测仪的运动状态,直至检测到运动状态为运动结束状态。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据人物区域和灯光检测仪区域的位置信息,计算人物区域和灯光检测仪区域的距离值;将距离值与第二阈值进行比较;若距离值大于或者等于第二阈值,则人物区域和灯光检测仪区域的位置信息满足预设要求;若距离值小于第二阈值,则人物区域和灯光检测仪区域的位置信息不满足预设要求。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取待检测视频,待检测视频为采集车辆灯光工位得到的视频;将待检测视频中的图像帧输入至基于深度学习的检测模型中,以通过检测模型识别当前图像帧中的车辆状态;将车辆状态与标准车辆状态进行比较;当车辆状态与标准车辆状态一致时,则检测当前图像帧中灯光检测仪的运动状态;根据灯光检测仪的运动状态,生成车辆灯光检测流程的检测结果。
在一个实施例中,标准车辆状态包括标准车牌号码和车灯亮起状态;计算机程序被处理器执行时实现以下步骤:
基于深度学习的目标检测和文本识别模型识别当前图像帧中的车牌号码,将车牌号码与标准车牌号码进行比较;当车牌号码与标准车牌号码一致时,则通过目标检测和分类模型识别当前图像帧中的车灯状态,判断车灯状态是否为车灯亮起状态。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:
计算当前图像帧与当前图像帧的上一帧或者下一帧中,相同坐标的像素值的差值;根据像素值的差值,生成二值化差分图像;根据二值化差分图像,确定当前图像帧中灯光检测仪的运动状态。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:
获取灯光检测仪的运动起始时间和运动结束时间,计算灯光检测仪的检测时间;将检测时间与第一阈值进行比较;若检测时间大于或者等于第一阈值,则生成车辆灯光检测流程检测通过的检测结果;若检测时间小于第一阈值,则生成车辆灯光检测流程检测未通过的检测结果。
在一个实施例中,运动状态包括运动起始状态和运动结束状态;计算机程序被处理器执行时实现以下步骤:
当检测到当前图像帧中灯光检测仪的运动状态为运动起始状态时,则记录当前图像帧的时间为运动起始时间;当检测到当前图像帧中灯光检测仪的运动状态为运动结束状态时,则记录当前图像帧的时间为运动结束时间。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:
通过目标检测模型检测当前图像帧中的人物区域和灯光检测仪区域;当当前图像帧中存在人物区域和灯光检测仪区域时,则获取人物区域和灯光检测仪区域的位置信息;判断人物区域和灯光检测仪区域的位置信息是否满足预设要求;若是,则继续检测当前图像帧中灯光检测仪的运动状态,直至检测到运动状态为运动结束状态。
在一个实施例中,计算机程序被处理器执行时实现以下步骤:
根据人物区域和灯光检测仪区域的位置信息,计算人物区域和灯光检测仪区域的距离值;将距离值与第二阈值进行比较;若距离值大于或者等于第二阈值,则人物区域和灯光检测仪区域的位置信息满足预设要求;若距离值小于第二阈值,则人物区域和灯光检测仪区域的位置信息不满足预设要求。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-onlymemory,rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(randomaccessmemory,ram)或外部高速缓冲存储器。作为说明而非局限,ram可以是多种形式,比如静态随机存取存储器(staticrandomaccessmemory,sram)或动态随机存取存储器(dynamicrandomaccessmemory,dram)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
1.一种车辆灯光工位的检测方法,其特征在于,所述方法包括:
获取待检测视频,所述待检测视频为采集车辆灯光工位得到的视频;
将所述待检测视频中的图像帧输入至基于深度学习的检测模型中,以通过所述检测模型识别当前图像帧中的车辆状态;
将所述车辆状态与标准车辆状态进行比较;
当所述车辆状态与标准车辆状态一致时,则检测所述当前图像帧中灯光检测仪的运动状态;
根据所述灯光检测仪的运动状态,生成车辆灯光检测流程的检测结果。
2.根据权利要求1所述的方法,其特征在于,所述标准车辆状态包括标准车牌号码和车灯亮起状态;所述通过所述检测模型识别当前图像帧中的车辆状态,将所述车辆状态与标准车辆状态进行比较,包括:
基于深度学习的目标检测和文本识别模型识别所述当前图像帧中的车牌号码,将所述车牌号码与所述标准车牌号码进行比较;
当所述车牌号码与所述标准车牌号码一致时,则通过目标检测和分类模型识别所述当前图像帧中的车灯状态,判断所述车灯状态是否为车灯亮起状态。
3.根据权利要求1所述的方法,其特征在于,所述检测所述当前图像帧中灯光检测仪的运动状态,包括:
计算所述当前图像帧与所述当前图像帧的上一帧或者下一帧中,相同坐标的像素值的差值;
根据所述像素值的差值,生成二值化差分图像;
根据所述二值化差分图像,确定所述当前图像帧中灯光检测仪的运动状态。
4.根据权利要求1~3任一项所述的方法,其特征在于,所述根据所述灯光检测仪的运动状态,生成车辆灯光检测流程的检测结果,包括:
获取所述灯光检测仪的运动起始时间和运动结束时间,计算所述灯光检测仪的检测时间;
将所述检测时间与第一阈值进行比较;
若所述检测时间大于或者等于第一阈值,则生成车辆灯光检测流程检测通过的检测结果;
若所述检测时间小于第一阈值,则生成车辆灯光检测流程检测未通过的检测结果。
5.根据权利要求4所述的方法,其特征在于,所述运动状态包括运动起始状态和运动结束状态;所述方法还包括:
当检测到所述当前图像帧中灯光检测仪的运动状态为运动起始状态时,则记录所述当前图像帧的时间为所述运动起始时间;
当检测到所述当前图像帧中灯光检测仪的运动状态为运动结束状态时,则记录所述当前图像帧的时间为所述运动结束时间。
6.根据权利要求5所述的方法,其特征在于,所述当检测到所述当前图像帧中灯光检测仪的运动状态为运动起始状态之后,还包括:
通过目标检测模型检测所述当前图像帧中的人物区域和灯光检测仪区域;
当所述当前图像帧中存在所述人物区域和所述灯光检测仪区域时,则获取所述人物区域和所述灯光检测仪区域的位置信息;
判断所述人物区域和所述灯光检测仪区域的位置信息是否满足预设要求;
若是,则继续检测所述当前图像帧中灯光检测仪的运动状态,直至检测到所述运动状态为运动结束状态。
7.根据权利要求6所述的方法,其特征在于,所述判断所述人物区域和所述灯光检测仪区域的位置信息是否满足预设要求,包括:
根据所述人物区域和所述灯光检测仪区域的位置信息,计算所述人物区域和所述灯光检测仪区域的距离值;
将所述距离值与第二阈值进行比较;
若所述距离值大于或者等于所述第二阈值,则所述人物区域和所述灯光检测仪区域的位置信息满足所述预设要求;
若所述距离值小于所述第二阈值,则所述人物区域和所述灯光检测仪区域的位置信息不满足所述预设要求。
8.一种车辆灯光工位的检测装置,其特征在于,所述装置包括:
获取模块,用于获取待检测视频,所述待检测视频为采集车辆灯光工位得到的视频;
车辆状态检测模块,用于将所述待检测视频中的图像帧输入至基于深度学习的检测模型中,以通过所述检测模型识别当前图像帧中的车辆状态;
比较模块,用于将所述车辆状态与标准车辆状态进行比较;
物体运动状态检测模块,用于当所述车辆状态与标准车辆状态一致时,则检测所述当前图像帧中灯光检测仪的运动状态;
检测结果生成模块,用于根据所述灯光检测仪的运动状态,生成车辆灯光检测流程的检测结果。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
技术总结