1.本发明涉及交通事件检测技术领域，具体涉及一种交通事件检测方法、装置、设备及存储介质。
背景技术：2.交通事件，指的是道路上实时发生的对道路通行造成影响的违法或异常事件。主要包含三种：第一，和各类交通参与者相关的事件，例如车辆逆行、违停、疑似事故，非机动车闯入、行人闯入等；第二，影响道路通行的人为或自然事件，例如遗洒物、团雾、烟火等；另外，交通本身呈现的状态，如车辆缓行、拥堵等。交通事件检测利用算力资源对部署在道路上的监控摄像机采集的视频进行实时分析和检测，当检测到交通事件时，发出预警信息。
3.现有技术一般采用枪球联动技术进行交通事件检测，枪机看全景，在发现交通事件后，驱动球机聚焦到目标进行跟踪分析。方案需要两个视频采集设备，硬件成本攀高，双机联动在部署过程中，需要对枪机和球机进行标定和校准，容易引入累积误差，可能导致对目标聚焦失败，无法提取细节信息；并且成像分辨率较高，从而导致图像传输带宽和计算耗时都较高。
技术实现要素：4.为了解决上述问题，本发明提出一种交通事件检测方法、装置、设备及存储介质，具备轻量化和成本低等特点，提高实时交通事件的精细化高精度判别和管理能力。
5.本发明实施例提供一种交通事件检测方法，所述方法包括：
6.控制球机按照预设的轮询参数依次获取由所述球机的全局视野划分的每一局部视野的视频帧；
7.将所述球机获取的所有局部视野的视频帧进行重新排列，得到所述全局视野的视频序列集；
8.对所述视频序列集中每一视频序列单元进行多维卷积运算，得到每一时刻全局视野的输入特征；
9.将得到输入特征输入到卷积神经网络中提取每一时刻的视觉特征；
10.将得到的视觉特征按照时间顺序输入到循环神经网络中进行分析，得到每一时刻各个事件的发生概率。
11.优选地，所述轮询参数确定过程具体包括：
12.将待监控的所述全局视野按照预设的规则切分为若干个局部视野；
13.根据每一局部视野的视角和所述球机的安装位置确定每一局部视野的视野参数，所述视野参数包括视野角度和视野焦距；
14.根据对所有局部视野预设的轮询顺序、预设的变换周期和每一局部视野的视野参数，确定所述球机的轮询参数。
15.作为一种优选方案，所述将所述球机获取的所有局部视野的视频帧进行重新排
列，得到所述全局视野的视频序列集，具体包括：
16.获取每一局部视野rj的视频帧，并按照固定周期顺序依次排列视频帧
17.对所有局部视野获取的视频帧进行重新排列后得到的全局视野的视频序列
[0018][0019][0020]
……
[0021]
为：
[0022]
在相同时刻对所有局部视野各取一视频帧进行重新排列，获取覆盖所述全局视野的视频序列单元
[0023]
对获取的所有视频序列单元按照时间顺序排列，得到所述全局视野的视频序列集w；
[0024]
其中，k表示当前视频帧为第k个完整周期，k＝0，1，
…
，s，s用于表示完整周期数量；i表示当前视频帧为当前完整周期的第i帧，i＝0，1，
…
，n，n用于表示每一完整周期的图像帧数；j表示当前视频帧为第j个局部视野的图像，j＝0，1，
…
，m，m用于表示局部视野数量，s，m，n》0。
[0025]
优选地，所述对所述视频序列集中每一视频序列单元进行多维卷积运算，得到每一时刻全局视野的输入特征，具体包括：
[0026]
获取每一视频序列单元包含的视频帧
[0027]
对所有视频帧进行多维卷积运算，得到每一时刻全局视野的输入特征
[0028]
其中，k表示当前视频帧为第k个完整周期，k＝0，1，
…
，s，s用于表示完整周期数量；i表示当前视频帧为当前完整周期的第i帧，i＝0，1，
…
，n，n用于表示每一完整周期的图像帧数；j表示当前视频帧为第j个局部视野的图像，j＝0，1，
…
，m，m用于表示局部视野数量，s，m，n》0，d为第d时刻，在当前时刻下，i和j已知，与当前时刻d对应，q表示当前的视频帧为第q通道的视频帧，q＝0，1，
…
，c，c用于表示每一视频帧包含的通道数，conv表示卷积操作，表示对x进行拼接操作。
[0029]
优选地，所述将得到输入特征输入到卷积神经网络中提取每一时刻的视觉特征，具体包括：
[0030]
根据卷积神经网络提取每一时刻的输入特征id的视觉特征fd；
[0031]
其中，fd＝net(id)，net为深度学习网络，d为第d时刻。
[0032]
优选地，所述将得到的视觉特征按照时间顺序输入到循环神经网络中进行分析，得到每一时刻各个事件的发生概率，具体包括：
[0033]
采用长短期记忆递归神经网络提取视觉特征中的时序信息，分析得出当前时刻各种交通事件的发生概率[y
0,d
,
…
,y
p,d
]；
[0034]
其中，[y
0,d
,
…
,y
p,d
]＝lstm(f
d-1
,fd)，d表示第d时刻，y
0,d
表示在第d时刻第x种交
通事件的发生概率，x＝0,1,
…
,p，p》0，fd表示第d时刻的视觉特征，f
d-1
表示第d-1时刻的视觉特征。
[0035]
作为一种优选方案，所述方法还包括；
[0036]
对每一时刻各个事件的发生概率进行判断；
[0037]
当出现发生概率不小于预设的阈值概率的事件时，记录该事件发生的时间和发生概率，生成报警信息。
[0038]
本发明实施例还提供一种交通事件检测装置，所述装置包括：
[0039]
图像获取模块，用于控制球机按照预设的轮询参数依次获取由所述球机的全局视野划分的每一局部视野的视频帧；
[0040]
视频序列集获取模块，用于将所述球机获取的所有局部视野的视频帧进行重新排列，得到所述全局视野的视频序列集；
[0041]
输入特征计算模块，用于对所述视频序列集中每一视频序列单元进行多维卷积运算，得到每一时刻全局视野的输入特征；
[0042]
视觉特征计算模块，用于将得到输入特征输入到卷积神经网络中提取每一时刻的视觉特征；
[0043]
概率计算模块，用于将得到的视觉特征按照时间顺序输入到循环神经网络中进行分析，得到每一时刻各个事件的发生概率。
[0044]
优选地，所述图像获取模块确定轮询参数的过程具体包括：
[0045]
将待监控的所述全局视野按照预设的规则切分为若干个局部视野；
[0046]
根据每一局部视野的视角和所述球机的安装位置确定每一局部视野的视野参数，所述视野参数包括视野角度和视野焦距；
[0047]
根据对所有局部视野预设的轮询顺序、预设的变换周期和每一局部视野的视野参数，确定所述球机的轮询参数。
[0048]
作为一种优选方案，所述视频序列集获取模块具体用于：
[0049]
获取每一局部视野rj的视频帧，并按照固定周期顺序依次排列视频帧
[0050]
对所有局部视野获取的视频帧进行重新排列后得到的全局视野的视频序列
[0051][0052][0053]
……
[0054]
为：
[0055]
在相同时刻对所有局部视野各取一视频帧进行重新排列，获取覆盖所述全局视野的视频序列单元
[0056]
对获取的所有视频序列单元按照时间顺序排列，得到所述全局视野的视频序列集w；
[0057]
其中，k表示当前视频帧为第k个完整周期，k＝0，1，
…
，s，s用于表示完整周期数量；i表示当前视频帧为当前完整周期的第i帧，i＝0，
1，
…
，n，n用于表示每一完整周期的图像帧数；j表示当前视频帧为第j个局部视野的图像，j＝0，1，
…
，m，m用于表示局部视野数量，s，m，n》0。
[0058]
优选地，所述输入特征计算模块具体用于：
[0059]
获取每一视频序列单元包含的视频帧
[0060]
对所有视频帧进行多维卷积运算，得到每一时刻全局视野的输入特征
[0061]
其中，k表示当前视频帧为第k个完整周期，k＝0，1，
…
，s，s用于表示完整周期数量；i表示当前视频帧为当前完整周期的第i帧，i＝0，1，
…
，n，n用于表示每一完整周期的图像帧数；j表示当前视频帧为第j个局部视野的图像，j＝0，1，
…
，m，m用于表示局部视野数量，s，m，n》0，d为第d时刻，在当前时刻下，i和j已知，与当前时刻d对应，q表示当前的视频帧为第q通道的视频帧，q＝0，1，
…
，c，c用于表示每一视频帧包含的通道数，conv表示卷积操作，表示对x进行拼接操作。
[0062]
优选地，所述视觉特征计算模块具体用于：
[0063]
根据卷积神经网络提取每一时刻的输入特征id的视觉特征fd；
[0064]
其中，fd＝net(id)，net为深度学习网络，d为第d时刻。
[0065]
优选地，所述概率计算模块具体用于：
[0066]
采用长短期记忆递归神经网络提取视觉特征中的时序信息，分析得出当前时刻各种交通事件的发生概率[y
0,d
,
…
,y
p,d
]；
[0067]
其中，[y
0,d
,
…
,y
p,d
]＝lstm(f
d-1
,fd)，d表示第d时刻，y
0,d
表示在第d时刻第x种交通事件的发生概率，x＝0,1,
…
,p，p》0，fd表示第d时刻的视觉特征，f
d-1
表示第d-1时刻的视觉特征。
[0068]
作为一种优选方案，所述装置还包括预警模块；
[0069]
所述预警模块具体用于：
[0070]
对每一时刻各个事件的发生概率进行判断；
[0071]
当出现发生概率不小于预设的阈值概率的事件时，记录该事件发生的时间和发生概率，生成报警信息。
[0072]
本发明实施例还提供一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一项实施例所述的一种交通事件检测方法。
[0073]
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任一项实施例所述的一种交通事件检测方法。
[0074]
本发明提供一种交通事件检测方法、装置、设备及存储介质，通过控制球机按照预设的轮询参数依次获取由所述球机的全局视野划分的每一局部视野的视频帧；将所述球机获取的所有局部视野的视频帧进行重新排列，得到所述全局视野的视频序列集；对所述视频序列集中每一视频序列单元进行多维卷积运算，得到每一时刻全局视野的输入特征；将得到输入特征输入到卷积神经网络中提取每一时刻的视觉特征；将得到的视觉特征按照时间顺序输入到循环神经网络中进行分析，得到每一时刻各个事件的发生概率。只部署一个
可变焦转动的球机，将需布控的全局视野拆分成若干局部视野，降低硬件成本及部署维护的成本，具备轻量化和成本低等特点，提高实时交通事件的精细化高精度判别和管理能力。
附图说明
[0075]
图1是本发明实施例提供的一种交通事件检测方法的流程示意图；
[0076]
图2是本发明实施例提供的一种全局视野划分的结构示意图；
[0077]
图3是本发明实施例提供的一种全局视角的视频序列的结构示意图；
[0078]
图4是本发明另一实施例提供的交通事件检测方法的流程示意图；
[0079]
图5是本发明实施例提供的一种交通事件检测装置的结构示意图；
[0080]
图6是本发明实施例提供的一种终端设备的结构示意图。
具体实施方式
[0081]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0082]
参见图1，是本发明实施例提供的一种交通事件检测方法的流程示意图，所述方法包括步骤s1～s5；
[0083]
s1，控制球机按照预设的轮询参数依次获取由所述球机的全局视野划分的每一局部视野的视频帧；
[0084]
s2，将所述球机获取的所有局部视野的视频帧进行重新排列，得到所述全局视野的视频序列集；
[0085]
s3，对所述视频序列集中每一视频序列单元进行多维卷积运算，得到每一时刻全局视野的输入特征；
[0086]
s4，将得到输入特征输入到卷积神经网络中提取每一时刻的视觉特征；
[0087]
s5，将得到的视觉特征按照时间顺序输入到循环神经网络中进行分析，得到每一时刻各个事件的发生概率。
[0088]
在本实施例具体实施时，在待监控的区域的高点位安装球机，通过球机来获取用于检测的视频帧；
[0089]
需要监控的视野一般较大，当球机直接对整体视野进行监控时，获取的图像质量较差，用于后期进行时间检测效果不佳。
[0090]
本实施例中通过控制球机按照设定的轮询参数，依次获取全局视野中每一局部视野的视频帧，通过获得的周期变换局部视野视频序列进行拥堵、事故等交通事件检测。
[0091]
将通过轮询参数获取的每一局部视野的视频帧进行重新排列，按照每一局部视野的视频帧数据进行排列，可得到一个个包含整体视野的视频序列单元；并按照时间先后循序，得到对局部视野进行拼接变换的全局视野的视频序列集，视频序列集中包括在不同时刻的不同局部视野下的视频帧拼接得到的全局视野的图像；通过依次对局部视野的图像获取，保证图像的清晰度，并减少同一时刻数据传输量。
[0092]
对获取的视频序列单元中全局视野的每一视频序列单元进行多维卷积运算，通过
多维卷积和连接操作提取，得到每一时刻全局视野的输入特征；
[0093]
将得到输入特征输入作为卷积神经网络的输入，通过cnn提取每一时刻的输入特征对应的视觉特征；
[0094]
将得到的视觉特征按照时间顺序输入到循环神经网络中进行分析，对不同事件，例如正常、拥堵、事故等交通事件进行预测，得到不同事件的发生概率。
[0095]
在只部署一个可变焦转动的球机的条件下，将需布控的全局视野拆分成若干局部视野，这样大大减小了需要消耗的资源，大幅降低硬件成本及部署维护的成本。
[0096]
在本发明提供的又一实施例中，所述轮询参数确定过程具体包括：
[0097]
将待监控的所述全局视野按照预设的规则切分为若干个局部视野；
[0098]
根据每一局部视野的视角和所述球机的安装位置确定每一局部视野的视野参数，所述视野参数包括视野角度和视野焦距；
[0099]
根据对所有局部视野预设的轮询顺序、预设的变换周期和每一局部视野的视野参数，确定所述球机的轮询参数。
[0100]
在本实施例具体实施时，参见图2，是本发明实施例提供的一种全局视野划分的结构示意图；
[0101]
将安装的球机能够监控的最大的视野范围确定为全局视野，将待监控的全局视野切分为多个局部视野，可将全局视野按照3*3切割为大小相同9个局部视野；
[0102]
根据每一局部视野在待监控的全局视野的位置和球机的安装位置确定每一局部视野的视野参数，所述视野参数用于控制球机将此时的整体视野调整到与当前的局部视野匹配；视野参数包括视野角度和视野焦距；
[0103]
根据对所有局部视野预设的轮询顺序、预设的变换周期和每一局部视野的视野参数，确定所述球机的轮询参数；其中轮询顺序可确定为按照3*3个局部视野的位置，从左至右、从上至下的先后顺序依次轮巡，设定的变换周期可具体为每一局部视野变换周期为1s，即在第一秒获取第一局部视野的视频帧，第二秒时获取第二局部视野的视频帧，依次类推，获取第九局部视野的视频帧后，循环获取第一局部视野的视频帧。
[0104]
控制球机按照确定的轮询参数自动运行与变换，获取每一局部视野的视频帧。
[0105]
需要说明的是，在本实施例中，以预设的规则为3*3的切分规则，轮询顺序为从左至右，从上至下，变换周期为1s为例，说明轮询规则的确定方法；在其他实施例中，切分规则、轮询顺序和变换周期均可设置为其他参数，可以提高局部视野的切分数量，缩短变换周期，以提高帧数据获取的信息量，提高最终交通事件的预测准确率；但是随之也会增加运行负担。
[0106]
在本发明提供的又一实施例中，所述步骤s2具体包括：
[0107]
获取每一局部视野rj的视频帧，并按照固定周期顺序依次排列视频帧
[0108]
对所有局部视野获取的视频帧进行重新排列后得到的全局视野的视频序列
[0109][0110][0111]
……
[0112]
为：
[0113]
在相同时刻对所有局部视野各取一视频帧进行重新排列，获取覆盖所述全局视野的视频序列单元
[0114]
对获取的所有视频序列单元按照时间顺序排列，得到所述全局视野的视频序列集w；
[0115]
其中，k表示当前视频帧为第k个完整周期，k＝0，1，
…
，s，s用于表示完整周期数量；i表示当前视频帧为当前完整周期的第i帧，i＝0，1，
…
，n，n用于表示每一完整周期的图像帧数；j表示当前视频帧为第j个局部视野的图像，j＝0，1，
…
，m，m用于表示局部视野数量，s，m，n》0。
[0116]
在本实施例具体实施时，局部视野使用rj表示，一般情况下使用9个局部视野覆盖全局视野，即每个局部视野对应r0～r8；
[0117]
提案按照固定周期顺序变换局部视野，即在单个变换周期内可获得对应局部视野的视频序列，比如按照n帧作为一个完整周期，则在一个完整周期内可以获得n张对应局部视野的视频帧，每9个周期可将所有局部视野轮巡一次。这里使用表示视频帧。k表示当前视频帧为第k个完整周期，k＝0，1，
…
，s，s用于表示完整周期数量；i表示当前视频帧为当前完整周期的第i帧，i＝0，1，
…
，n，n用于表示每一完整周期的图像帧数；j表示当前视频帧为第j个局部视野的图像，j＝0，1，
…
，m，m用于表示局部视野数量，s，m，n》0。
[0118]
对所有局部视野获取的视频帧进行重新排列后在s+1个完整周期得到的全
[0119][0120][0121]
……
[0122]
局视野的视频序列为：
[0123]
参见图3，是本发明实施例提供的一种全局视角的视频序列的结构示意图；在图中，以局部视野数量为9说明了获取的视频序列的结构。
[0124]
图3表示一个完整周期内的视频序列结构，每一局部视野采集当前完整周期内的视频帧，以1s为采样周期，每一完整周期采集9帧时，第一个局部视野在一完整周期内采集视频帧t
0,0
，t
1,0
，
…
，t
n,0
，第二个局部视野在一完整周期内采集视频帧t
0,1
，t
1,1
，
…
，t
n,1
，依此能够在同一完整周期内的所有视频帧。
[0125]
每完成一次完整周期，每个局部视野可以获得相同数量的视频帧。这样，在每个局部视野取一帧重新排列，获取覆盖所述全局视野的视频序列单元重组后，一个完整周期内，经过周期变换局部视野组成视频序列为即每个局部视野每个完整周期采样n+1帧，那么一个完整周期就可重组出n+1个全局视野的视频序列单元
[0126]
对获取的所有视频序列单元按照时间顺序排列，得到所述全局视野的视频序
列集
[0127]
在本发明提供的又一实施例中，所述步骤s3具体包括：
[0128]
获取每一视频序列单元包含的视频帧
[0129]
对所有视频帧进行多维卷积运算，得到每一时刻全局视野的输入特征
[0130]
其中，k表示当前视频帧为第k个完整周期，k＝0，1，
…
，s，s用于表示完整周期数量；i表示当前视频帧为当前完整周期的第i帧，i＝0，1，
…
，n，n用于表示每一完整周期的图像帧数；j表示当前视频帧为第j个局部视野的图像，j＝0，1，
…
，m，m用于表示局部视野数量，s，m，n》0，d为第d时刻，在当前时刻下，i和j已知，与当前时刻d对应，q表示当前的视频帧为第q通道的视频帧，q＝0，1，
…
，c，c用于表示每一视频帧包含的通道数，conv表示卷积操作，表示对x进行拼接操作。
[0131]
在本实施例具体实施时，获取视频帧时包括多个不同的获取通道；
[0132]
获取每一视频序列单元包含的视频帧q表示当前的视频帧为第q通道的视频帧，q＝1，
…
，c，c用于表示每一视频帧包含的通道数；
[0133]
若视频帧包括3通道，则采用多维卷积操作将一个视频序列单元转换为单时刻的输入特征id也包含3个通道。
[0134]
即id中单通道可表示为即视频帧单个通道表示为即视频帧单个通道表示为
[0135]
在具体实施时，以单通道为例进行说明，参见图4，是本发明另一实施例提供的交通事件检测方法的流程示意图，对所有视频序列单元u0～ud的视频帧进行n维卷积，得到每一时刻全局视野的输入特征i0～id；
[0136]
单个id包含所有局部视野的信息，因此可以覆盖整体视野，在计算单个id时，在当前时刻下，i和j已知，与当前时刻d对应；conv表示卷积操作；表示concat操作，即进行拼接操作。
[0137]
在本发明提供的又一实施例中，所述步骤s4具体包括：
[0138]
根据卷积神经网络提取每一时刻的输入特征id的视觉特征fd；
[0139]
其中，fd＝net(id)，net为深度学习网络，d为第d时刻。
[0140]
在本实施例具体实施时，参见图4，在视觉特征提取时，单时刻的输入id均通过一个cnn网络来提取视觉特征fd；即fd＝net(id)；
[0141]
其中，d为第d时刻，net可以采用常见深度学习网络，在本实施例中采用resnet50。
[0142]
在本发明提供的又一实施例中，所述步骤s5具体包括：
[0143]
采用长短期记忆递归神经网络提取视觉特征中的时序信息，分析得出当前时刻各种交通事件的发生概率[y
0,d
,
…
,y
p,d
]；
[0144]
其中，[y
0,d
,
…
,y
p,d
]＝lstm(f
d-1
,fd)，d表示第d时刻，y
0,d
表示在第d时刻第x种交通事件的发生概率，x＝0,1,
…
,p，p》0，fd表示第d时刻的视觉特征，f
d-1
表示第d-1时刻的视
觉特征。
[0145]
在本本实施例具体实施时，参见图4，在时序学习中，采用长短期记忆递归神经网络，即对每一时刻提取的视觉特征，均采用lstm来提取时序信息，分析每一事件的发生概率，每个时刻lstm输出的是一个一维数组，数组按顺序从左到右存放事件0～p的概率；
[0146]
通过对第0时刻的视觉特征f0采用lstm计算，得到在该时刻事件0～p的发生概率[y
0,0
,
…
,y
p,0
]；
[0147]
通过对第1时刻的视觉特征f1采用lstm计算，得到在该时刻事件0～p的发生概率[y
0,1
,
…
,y
p,1
]；
[0148]
同理，通过对第d时刻的视觉特征fd采用lstm计算，得到在该时刻事件0～p的发生概率[y
0,d
,
…
,y
p,d
]；
[0149]
基于深度学习和计算机视觉理论和方法，采用多维卷积、时序分析的特性，提出基于周期变换局部视野的视频序列的多种交通事件融合判别算法架构，在增加可判别交通事件类型的同时，几乎不产生额外的计算资源消耗，便于算法功能的持续扩展。
[0150]
在本发明提供的又一实施例中，所述方法还包括：
[0151]
对每一时刻各个事件的发生概率进行判断；
[0152]
当出现发生概率不小于预设的阈值概率的事件时，记录该事件发生的时间和发生概率，生成报警信息。
[0153]
在本实施例具体实施时，通过对每一时刻的每一事件发生概率y
x,d
与预设的阈值概率的对比判断；
[0154]
当出现发生概率不小于预设的阈值概率的事件时，记录该事件发生的时间和发生概率，生成报警信息。
[0155]
例如，当第5时刻的拥堵事件的概率为80％，大于设定的阈值概率75％时，则记录第5时刻拥堵事件的概率为80％，生成对应的报警信息，以便管理人员对这一事件进行处理。
[0156]
本发明提供的交通事件检测方法，可支持多种交通事件融合判定，具备端到端、轻量化、成本低等特点，可大范围快速部署，大幅提升实时交通事件的精细化高精度判别和管理能力。
[0157]
在本发明提供的又一实施例中，参见图5，是本发明实施例提供的一种交通事件检测装置的结构示意图，所述装置包括：图像获取模块、视频序列集获取、输入特征计算模块、视觉特征计算模块和概率计算模块；
[0158]
图像获取模块，用于控制球机按照预设的轮询参数依次获取由所述球机的全局视野划分的每一局部视野的视频帧；
[0159]
视频序列集获取模块，用于将所述球机获取的所有局部视野的视频帧进行重新排列，得到所述全局视野的视频序列集；
[0160]
输入特征计算模块，用于对所述视频序列集中每一视频序列单元进行多维卷积运算，得到每一时刻全局视野的输入特征；
[0161]
视觉特征计算模块，用于将得到输入特征输入到卷积神经网络中提取每一时刻的视觉特征；
[0162]
概率计算模块，用于将得到的视觉特征按照时间顺序输入到循环神经网络中进行
分析，得到每一时刻各个事件的发生概率。
[0163]
本实施例提供的交通事件检测装置，能够执行上述任一实施例提供的交通事件检测方法的所有步骤与功能，在此对该装置的具体功能不作赘述。
[0164]
参见图6，是本发明实施例提供的一种终端设备的结构示意图。所述终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如一种交通事件检测程序。所述处理器执行所述计算机程序时实现上述各个一种交通事件检测方法实施例中的步骤，例如图1所示的步骤s1～s5。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块的功能。
[0165]
示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述一种交通事件检测装置中的执行过程。例如，所述计算机程序可以被分割成各个模块，各模块具体功能在上述任一实施例提供的一种交通事件检测方法中已作详细说明，在此对该装置的具体功能不作赘述。
[0166]
所述一种交通事件检测装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述一种交通事件检测装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是一种交通事件检测装置的示例，并不构成对一种交通事件检测装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种交通事件检测装置还可以包括输入输出设备、网络接入设备、总线等。
[0167]
所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种交通事件检测装置的控制中心，利用各种接口和线路连接整个一种交通事件检测装置的各个部分。
[0168]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种交通事件检测装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0169]
其中，所述一种交通事件检测装置集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被
处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0170]
应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
技术特征：1.一种交通事件检测方法，其特征在于，所述方法包括：控制球机按照预设的轮询参数依次获取由所述球机的全局视野划分的每一局部视野的视频帧；将所述球机获取的所有局部视野的视频帧进行重新排列，得到所述全局视野的视频序列集；对所述视频序列集中每一视频序列单元进行多维卷积运算，得到每一时刻全局视野的输入特征；将得到输入特征输入到卷积神经网络中提取每一时刻的视觉特征；将得到的视觉特征按照时间顺序输入到循环神经网络中进行分析，得到每一时刻各个事件的发生概率。2.根据权利要求1所述的交通事件检测方法，其特征在于，所述轮询参数确定过程具体包括：将待监控的所述全局视野按照预设的规则切分为若干个局部视野；根据每一局部视野的视角和所述球机的安装位置确定每一局部视野的视野参数，所述视野参数包括视野角度和视野焦距；根据对所有局部视野预设的轮询顺序、预设的变换周期和每一局部视野的视野参数，确定所述球机的轮询参数。3.根据权利要求1所述的交通事件检测方法，其特征在于，所述将所述球机获取的所有局部视野的视频帧进行重新排列，得到所述全局视野的视频序列集，具体包括：获取每一局部视野r
j
的视频帧，并按照固定周期顺序依次排列视频帧对所有局部视野获取的视频帧进行重新排列后得到的全局视野的视频序列为：在相同时刻对所有局部视野各取一视频帧进行重新排列，获取覆盖所述全局视野的视频序列单元对获取的所有视频序列单元按照时间顺序排列，得到所述全局视野的视频序列集w；其中，k表示当前视频帧为第k个完整周期，k＝0，1，
…
，s，s用于表示完整周期数量；i表示当前视频帧为当前完整周期的第i帧，i＝0，1，
…
，n，n用于表示每一完整周期的图像帧数；j表示当前视频帧为第j个局部视野的图像，j＝0，1，
…
，m，m用于表示局部视野数量，s，m，n>0。4.根据权利要求1所述的交通事件检测方法，其特征在于，所述对所述视频序列集中每一视频序列单元进行多维卷积运算，得到每一时刻全局视野的输入特征，具体包括：获取每一视频序列单元包含的视频帧
对所有视频帧进行多维卷积运算，得到每一时刻全局视野的输入特征其中，k表示当前视频帧为第k个完整周期，k＝0，1，
…
，s，s用于表示完整周期数量；i表示当前视频帧为当前完整周期的第i帧，i＝0，1，
…
，n，n用于表示每一完整周期的图像帧数；j表示当前视频帧为第j个局部视野的图像，j＝0，1，
…
，m，m用于表示局部视野数量，s，m，n>0，d为第d时刻，在当前时刻下，i和j已知，与当前时刻d对应，q表示当前的视频帧为第q通道的视频帧，q＝0，1，
…
，c，c用于表示每一视频帧包含的通道数，conv表示卷积操作，表示对x进行拼接操作。5.根据权利要求1所述的交通事件检测方法，其特征在于，所述将得到输入特征输入到卷积神经网络中提取每一时刻的视觉特征，具体包括：根据卷积神经网络提取每一时刻的输入特征i
d
的视觉特征f
d
；其中，f
d
＝net(i
d
)，net为深度学习网络，d为第d时刻。6.根据权利要求1所述的交通事件检测方法，其特征在于，所述将得到的视觉特征按照时间顺序输入到循环神经网络中进行分析，得到每一时刻各个事件的发生概率，具体包括：采用长短期记忆递归神经网络提取视觉特征中的时序信息，分析得出当前时刻各种交通事件的发生概率[y
0，d
，...，y
p，d
]；其中，[y
0，d
，...，y
p，d
]＝lstm(f
d-1
，f
d
)，d表示第d时刻，y
0，d
表示在第d时刻第x种交通事件的发生概率，x＝0，1，...，p，p＞0，f
d
表示第d时刻的视觉特征，f
d-1
表示第d-1时刻的视觉特征。7.根据权利要求1所述的交通事件检测方法，其特征在于，所述方法还包括；对每一时刻各个事件的发生概率进行判断；当出现发生概率不小于预设的阈值概率的事件时，记录该事件发生的时间和发生概率，生成报警信息。8.一种交通事件检测装置，其特征在于，所述装置包括：图像获取模块，用于控制球机按照预设的轮询参数依次获取由所述球机的全局视野划分的每一局部视野的视频帧；视频序列集获取模块，用于将所述球机获取的所有局部视野的视频帧进行重新排列，得到所述全局视野的视频序列集；输入特征计算模块，用于对所述视频序列集中每一视频序列单元进行多维卷积运算，得到每一时刻全局视野的输入特征；视觉特征计算模块，用于将得到输入特征输入到卷积神经网络中提取每一时刻的视觉特征；概率计算模块，用于将得到的视觉特征按照时间顺序输入到循环神经网络中进行分析，得到每一时刻各个事件的发生概率。9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的交通事件检测方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权
利要求1至7中任意一项所述的交通事件检测方法。
技术总结本发明公开了一种交通事件检测方法、装置、设备及存储介质，通过控制球机按照预设的轮询参数依次获取由所述球机的全局视野划分的每一局部视野的视频帧；将所述球机获取的所有局部视野的视频帧进行重新排列，得到所述全局视野的视频序列集；对所述视频序列集中每一视频序列单元进行多维卷积运算，得到每一时刻全局视野的输入特征；将得到输入特征输入到卷积神经网络中提取每一时刻的视觉特征；将得到的视觉特征按照时间顺序输入到循环神经网络中进行分析，得到每一时刻各个事件的发生概率。只部署一个可变焦转动的球机，将需布控的全局视野拆分成若干局部视野，降低硬件成本及部署维护的成本，具备轻量化和成本低等特点，提高实时交通事件的精细化高精度判别和管理能力。能力。能力。
技术研发人员：林焕凯 王祥雪 陈利军 洪曙光
受保护的技术使用者：高新兴科技集团股份有限公司
技术研发日：2022.08.25
技术公布日：2022/12/1
