动态目标行为识别方法、装置与流程

专利2022-06-29  122


本发明涉及图像识别领域,尤其涉及一种动态目标行为识别方法、装置。



背景技术:

如今,随着图像识别技术的长足发展,人们开始广泛的在各种领域中应用图像识别,其中动态目标的行为识别是其中的一类领域,主要是针对车辆,飞行器和其他移动目标的行为进行识别。

现有技术中,通常是将视频进行视频帧划分,逐个视频帧进行图像识别和行为判定,存在的问题是,当逐帧进行识别,如果其中的某几个视频帧中如果出现动态目标的缺失,则可能出现动态目标的丢失情况,导致难以在之后的视频帧中恢复对动态目标的捕捉。因此,最终影响行为识别结果的准确程度。



技术实现要素:

发明目的:本发明旨在提供一种动态目标行为识别方法、装置。

技术方案:本发明实施例中提供一种动态目标行为识别方法,包括:获取动态目标的监控视频;采用基于卷积神经网络的图像识别算法确定动态目标在监控视频中的位置,并提取视频帧中的图像特征;使用kcf算法,依据各个视频帧中的动态目标的图像特征追踪动态目标;依据动态目标在依序的各个视频帧中的行为确定动态目标的行为情形;根据动态目标的行为规范,从动态目标的行为情形确定动态目标的行为类别。

具体的,所述基于卷积神经网络的图像识别算法是scnn算法。

具体的,使用带标签的训练视频作为训练集,对使用残差式进行信息传递的scnn算法和kcf算法进行训练。

具体的,所述动态目标为行驶车辆时,带标签的训练视频作为的训练集中,标签包括场景标签和目标标签,卷积神经网络用于通过场景标签标记的场景特征确定场景规范,包括以下至少一种:车道线,红绿灯,交通标志;卷积神经网络用于通过目标标签标记的目标特征确定目标行为,包括以下至少一种:行驶车辆的车内仪表盘,行驶车辆。

具体的,提取视频帧中的场景特征和目标特征。

具体的,通过依序的各个视频帧中的目标特征,确定行驶车辆的连续行驶行为。

具体的,通过场景特征和预设的车辆行为基本标准,确定行驶车辆的当前行为规范。

具体的,将行驶车辆的连续行驶行为与行驶车辆的当前行为规范进行比对,在预设的行驶车辆的行为类别中确定属于的行为类别。

本发明实施例中还提供一种动态目标行为识别装置,包括:监控单元,特征提取单元,追踪单元,情形确定单元和类别确定单元,其中:所述监控单元,用于获取动态目标的监控视频;所述特征提取单元,用于采用基于卷积神经网络的图像识别算法确定动态目标在监控视频中的位置,并提取视频帧中的图像特征;所述追踪单元,用于使用kcf算法,依据各个视频帧中的动态目标的图像特征追踪动态目标;所述情形确定单元,用于依据动态目标在依序的各个视频帧中的行为确定动态目标的行为情形;所述类别确定单元,用于根据动态目标的行为规范,从动态目标的行为情形确定动态目标的行为类别。

具体的,所述特征提取单元,还用于使用带标签的训练视频作为训练集,对使用残差式进行信息传递的scnn算法和kcf算法进行训练。

有益效果:与现有技术相比,本发明具有如下显著优点:特别采用kcf追踪算法对从视频帧中提取的动态目标的图像特征进行追踪,避免出现动态目标丢失的情形,可以保证识别结果的准确度。

附图说明

图1为本发明实施例中提供的动态目标行为识别方法的流程示意图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

参阅图1,其为本发明实施例中提供的动态目标行为识别方法的流程示意图,包括具体步骤,以下结合具体步骤进行详细说明。

步骤s101,获取动态目标的监控视频。

在具体实施中,动态目标可以是移动中的目标,例如行驶中的车辆,飞行中的飞行器或者是行走中的人员。监控视频可以是基于从动态目标外部获取的,显示动态目标移动过程中的情况的视频,可以体现出动态目标在移动过程中与周围事物之间的位置关系的视频。

步骤s102,采用基于卷积神经网络的图像识别算法确定动态目标在监控视频中的位置,并提取视频帧中的图像特征。

在具体实施中,基于卷积神经网络的图像识别算法,可以进行深度的学习和训练,可以更加准确的定位到动态目标和其他需要进行图像特征提取的目标,进行准确的图像特征提取,进而可以保证识别结果的准确度优秀。

在具体实施中,应用于动态目标行为识别的视频帧可以由用户根据实际应用进行相应的确定,当视频包括的所有视频帧都应用于识别时,则可以保证动态目标的每个行为都进行分析和分类,当抽取视频帧应用于识别时,则可以提高识别效率。

本发明实施例中,所述基于卷积神经网络的图像识别算法是scnn算法。

在具体实施中,scnn(sequentialconvolutionalneuralnetwork)算法是十分优异的图像检验、识别算法,不同于现有技术中将scnn应用于从自动驾驶,即通过scnn对从车辆驾驶角度(车辆本身)获得的车辆行驶过程中周围的图像进行分析,本发明实施例将scnn应用于监控视频,可以更加完整地的确定动态目标的行为类别。

本发明实施例中,使用带标签的训练视频作为训练集,对使用残差式进行信息传递的scnn算法和kcf算法进行训练。

本发明实施例中,所述动态目标为行驶车辆时,带标签的训练视频作为的训练集中,标签包括场景标签和目标标签,卷积神经网络用于通过场景标签标记的场景特征确定场景规范,包括以下至少一种:车道线,红绿灯,交通标志;卷积神经网络用于通过目标标签标记的目标特征确定目标行为,包括以下至少一种:行驶车辆的车内仪表盘、行驶车辆。

在具体实施中,kcf(kernelcorrelationfilter)算法是跟踪算法,可以应用于对目标的高精度追踪,避免了在某几个视频没有动态目标出现的情况下,丢失追踪的动态目标,提升了识别结果的准确度。

在具体实施中,通过场景标签和目标标签,scnn算法可以在训练后识别车道线、红绿灯、交通标志、行驶车辆的车内仪表盘,行驶车辆,行驶车辆与其他主体之间的位置关系。在识别到目标特征后,可以将输出的目标特征作为kcf算法的输入,使用kcf实现对于动态目标的追踪。

在具体实施中,scnn算法的信息传递采用以下公式:

其中,x’i,j,k表示输入的三维张量,xi,j,k表示输出的三维张量,i表示通道数量,j表示行数,k表示列数,m表示通道的累加,n表示高的累加,x’m,j-1,k n-1表示上一次更新的张量,km,i,n表示其对应的权重,f()是relu函数。

在具体实施中,采用残差式的信息传递方式,更加易于进行训练学习,信息传递效果更好。

本发明实施例中,提取视频帧中的场景特征和目标特征。

在具体实施中,在训练完成后,实际应用之中,可以使用基于卷积神经网络的scnn算法提取场景特征和目标特征,不同的视频帧中的场景特征可能不一致,目标特征都是围绕动态目标进行提取。

在具体实施中,场景特征可以确定在对应的一段时间或路程中,行驶车辆所要遵守的场景规范。例如,车道线确定了车辆的换道规则,红绿灯确定了车辆的过道规则,交通标志确定了相应的行为规范。

步骤s103,使用kcf算法,依据各个视频帧中的动态目标的图像特征追踪动态目标。

步骤s104,依据动态目标在依序的各个视频帧中的行为确定动态目标的行为情形;

本发明实施例中,通过依序的各个视频帧中的目标特征,确定行驶车辆的连续行驶行为。

在具体实施中,通过kcf算法按照视频帧的顺序所对应的目标特征进行追踪。可以确定行驶车辆在整个监控视频的时间长度的范围内的行为情况,同时可以相应的确定在某一段的连续行为的过程中所对应的环境特征。例如,依据行驶车辆的车内仪表盘,可以确定行驶车辆在监控视频的范围内的行驶速度,此时环境特征中的交通标志对车辆行驶有速度限制;依据行驶车辆本身,可以确定行驶车辆本身在监控视频范围内的行驶路线以及与其他周围人员或者车辆之间的位置关系,此时环境特征中的车道线限制了车辆的换道。

步骤s105,根据动态目标的行为规范,从动态目标的行为情形确定动态目标的行为类别。

本发明实施例中,通过场景特征和预设的车辆行为基本标准,确定行驶车辆的当前行为规范。

本发明实施例中,将行驶车辆的连续行驶行为与行驶车辆的当前行为规范进行比对,在预设的行驶车辆的行为类别中确定属于的行为类别。

在具体实施中,由场景特征可以确定动态目标在场景特征的规制下的行为规范。例如,例如,车道线确定了车辆的换道规则。而预设的车辆行为基本标准是动态目标通用的行为规范,例如车辆与其他主体之间的距离须大于一定数值,与其他车辆接触属于追尾或碰擦情形。

在具体实施中,在确定了行驶车辆的行为规范后,可以确定行驶车辆是否违反行为规范,以及违反的是何种行为规范,不违反行为规范以及违反不同的行为规范分别属于不同的行为类别,据此确定车辆的行为类别。

本发明实施例中,采用scnn算法和kcf算法,优势在于可以进行灵活应用算法,避免出现识别效果低下和目标丢失的情形,依据场景特征和目标特征分别确定动态目标的行为规范和动态目标的连续行为,可以完整的、高效的对动态目标进行实时监控,并且确保了识别结果的准确度。

本发明实施例中还提供一种动态目标行为识别装置,包括:监控单元,特征提取单元,追踪单元,情形确定单元和类别确定单元,其中:

所述监控单元,用于获取动态目标的监控视频;

所述特征提取单元,用于采用基于卷积神经网络的图像识别算法确定动态目标在监控视频中的位置,并提取视频帧中的图像特征;

所述追踪单元,用于使用kcf算法,依据各个视频帧中的动态目标的图像特征追踪动态目标;

所述情形确定单元,用于依据动态目标在依序的各个视频帧中的行为确定动态目标的行为情形;

所述类别确定单元,用于根据动态目标的行为规范,从动态目标的行为情形确定动态目标的行为类别。

本发明实施例中,所述特征提取单元,还用于使用带标签的训练视频作为训练集,对使用残差式进行信息传递的scnn算法和kcf算法进行训练。

本发明实施例中,所述基于卷积神经网络的图像识别算法是scnn算法。

本发明实施例中,所述动态目标为行驶车辆时,带标签的训练视频作为的训练集中,标签包括场景标签和目标标签,卷积神经网络用于通过场景标签标记的场景特征确定场景规范,包括以下至少一种:车道线,红绿灯,交通标志;卷积神经网络用于通过目标标签标记的目标特征确定目标行为,包括以下至少一种:行驶车辆的车内仪表盘,行驶车辆。

本发明实施例中,所述特征提取单元,还用于提取视频帧中的场景特征和目标特征。

本发明实施例中,所述情形确定单元,还用于通过依序的各个视频帧中的目标特征,确定行驶车辆的连续行驶行为。

本发明实施例中,所述类别确定单元,还用于通过场景特征和预设的车辆行为基本标准,确定行驶车辆的当前行为规范。

本发明实施例中,所述类别确定单元,还用于将行驶车辆的连续行驶行为与行驶车辆的当前行为规范进行比对,在预设的行驶车辆的行为类别中确定属于的行为类别。


技术特征:

1.一种动态目标行为识别方法,其特征在于,包括:

获取动态目标的监控视频;

采用基于卷积神经网络的图像识别算法确定动态目标在监控视频中的位置,并提取视频帧中的图像特征;

使用kcf算法,依据各个视频帧中的动态目标的图像特征追踪动态目标;

依据动态目标在依序的各个视频帧中的行为确定动态目标的行为情形;

根据动态目标的行为规范,从动态目标的行为情形确定动态目标的行为类别。

2.根据权利要求1所述的动态目标行为识别方法,其特征在于,所述基于卷积神经网络的图像识别算法是scnn算法。

3.根据权利要求2所述的动态目标行为识别方法,其特征在于,在所述采用基于卷积神经网络的图像识别算法确定动态目标在监控视频中的位置,并提取视频帧中的图像特征之前,还包括:

使用带标签的训练视频作为训练集,对使用残差式进行信息传递的scnn算法和kcf算法进行训练。

4.根据权利要求3所述的动态目标行为识别方法,其特征在于,所述动态目标为行驶车辆时,带标签的训练视频作为的训练集中,标签包括场景标签和目标标签,卷积神经网络用于通过场景标签标记的场景特征确定场景规范,包括以下至少一种:车道线,红绿灯,交通标志;卷积神经网络用于通过目标标签标记的目标特征确定目标行为,包括以下至少一种:行驶车辆的车内仪表盘,行驶车辆。

5.根据权利要求4所述的动态目标行为识别方法,其特征在于,所述提取视频帧中的图像特征,包括:

提取视频帧中的场景特征和目标特征。

6.根据权利要求5所述的动态目标行为识别方法,其特征在于,所述依据动态目标在依序的各个视频帧中的行为确定动态目标的行为情形,包括:

通过依序的各个视频帧中的目标特征,确定行驶车辆的连续行驶行为。

7.根据权利要求6所述的动态目标行为识别方法,其特征在于,所述根据动态目标的行为规范,包括:

通过场景特征和预设的车辆行为基本标准,确定行驶车辆的当前行为规范。

8.根据权利要求7所述的动态目标行为识别方法,其特征在于,所述从动态目标的行为情形确定动态目标的行为类别,包括:

将行驶车辆的连续行驶行为与行驶车辆的当前行为规范进行比对,在预设的行驶车辆的行为类别中确定属于的行为类别。

9.一种动态目标行为识别装置,其特征在于,包括:监控单元,特征提取单元,追踪单元,情形确定单元和类别确定单元,其中:

所述监控单元,用于获取动态目标的监控视频;

所述特征提取单元,用于采用基于卷积神经网络的图像识别算法确定动态目标在监控视频中的位置,并提取视频帧中的图像特征;

所述追踪单元,用于使用kcf算法,依据各个视频帧中的动态目标的图像特征追踪动态目标;

所述情形确定单元,用于依据动态目标在依序的各个视频帧中的行为确定动态目标的行为情形;

所述类别确定单元,用于根据动态目标的行为规范,从动态目标的行为情形确定动态目标的行为类别。

10.根据权利要求9所述的动态目标行为识别装置,其特征在于,所述特征提取单元,还用于使用带标签的训练视频作为训练集,对使用残差式进行信息传递的scnn算法和kcf算法进行训练。

技术总结
本发明公开了一种动态目标行为识别方法、装置,所述方法包括:获取动态目标的监控视频;采用基于卷积神经网络的图像识别算法确定动态目标在监控视频中的位置,并提取视频帧中的图像特征;使用KCF算法,依据各个视频帧中的动态目标的图像特征追踪动态目标;依据动态目标在依序的各个视频帧中的行为确定动态目标的行为情形;根据动态目标的行为规范,从动态目标的行为情形确定动态目标的行为类别。采用上述方案,特别采用KCF追踪算法对从视频帧中提取的动态目标的图像特征进行追踪,避免出现动态目标丢失的情形,可以保证识别结果的准确度。

技术研发人员:梅舒欢;石霖;董晓飞;张萌
受保护的技术使用者:南京新一代人工智能研究院有限公司
技术研发日:2020.01.13
技术公布日:2020.06.09

转载请注明原文地址: https://bbs.8miu.com/read-18637.html

最新回复(0)