基于深度学习的时空事件预测方法和装置

专利2026-06-28  12


本发明涉及事件预测,尤其涉及一种基于深度学习的时空事件预测方法和装置。


背景技术:

1、在时空点过程中,每个点表示一个事件x=(t,s),其中t表示事件发生的时间戳,s表示空间位置。时空点过程是一种随机过程,该随机过程是一种建模包含时空事件序列的重要框架,并已经被应用于许多实际领域,例如地震和余震,疾病传播,城市移动性和应急情况。

2、传统的时空点过程模型对时间和空间两个维度主要采用分别建模的方式。例如时间维度用泊松过程、霍克斯过程和自校正过程等模型,空间维度采用核密度估计(kerneldensity estimation)等方法。这些方法能够建模简单的时空动态模式,但是无法有效捕捉时空耦合关系。随着神经网络的发展,一些新的基于神经网络架构被用于时空点过程的建模。

3、由于时空点过程的强时空关联性,事件发生的时间和空间高度相互依赖,因此需要联合建模。然而,联合建模时空具有两个主要的挑战:首先,时空联合分布样本空间非常大,直接拟合需要大量的训练样本,实践难度很高。通常的做法是将目标联合分布分解成条件独立分布,分别拟合一个时间密度和一个条件空间密度。尽管如此,条件空间密度的建模依然受到可选用模型的结构限制,如kde和cnf等方法由于限定了模型结构其表达能力存在不足。其次,事件的发生与复杂的时空耦合性高度相关。在真实场景中,不同的生成机制导致时空事件在不同的领域中表现出多样化的时空依赖性。

4、然而,现有的相关技术只针对特定化的时空事件进行建模和预测,例如模型只能针对移动行为进行建模,或者只针对突发事件、聚集事件进行预测,局限于某一类型城市城事件建模,不能泛化到多种时空事件,因此在实际应用中受限。


技术实现思路

1、本发明提供一种基于深度学习的时空事件预测方法和装置,用以解决现有技术中扩展性有限的缺陷,实现扩展性更强、应用范围不受限的时空事件预测。

2、本发明提供一种基于深度学习的时空事件预测方法,包括:

3、获取历史时空事件序列,将所述历史时空事件序列包括的预设数量个历史时空事件依次输入至预先构建的时空自注意力模块,得到隐藏层表征;

4、将所述隐藏层表征输入至预先训练的时空去噪扩散模型,得到目标预测事件;

5、其中,所述时空去噪扩散模型是基于深度神经网络,根据预先构建的共注意力机制利用海量历史时空事件样本进行训练得到的。

6、根据本发明提供的一种基于深度学习的时空事件预测方法,所述隐藏层表征包括隐藏层时间表征、隐藏层空间表征和隐藏层时空表征;所述将所述历史时空事件序列包括的预设数量个历史时空事件依次输入至预先构建的时空自注意力模块,得到隐藏层表征,具体包括:

7、对所述历史时空事件中的时间输入进行位置编码,得到时间编码向量,对所述历史时空事件中的空间输入进行线性投影转换,得到空间嵌入向量;

8、根据所述时间编码向量和所述空间嵌入向量得到时空嵌入向量;

9、根据预设数量个所述时间编码向量组成时间嵌入向量表征,根据预设数量个所述空间嵌入向量组成空间嵌入向量表征,根据预设数量个所述时空嵌入向量组成时空嵌入向量表征;

10、基于自注意力机制,依次将所述时间嵌入向量表征、所述空间嵌入向量表征和所述时空嵌入向量表征作为输入,通过线性投影得到注意力层输出,进而根据所述注意力层输出得到隐藏层时间表征、隐藏层空间表征和隐藏层时空表征。

11、根据本发明提供的一种基于深度学习的时空事件预测方法,所述基于深度神经网络,根据预先构建的共注意力机制利用海量历史时空事件样本训练得到所述时空去噪扩散模型,具体包括:

12、获取历史时空事件样本,所述历史时空事件样本包括空间输入和时间间隔输入;

13、将所述历史时空事件样本输入至所述时空自注意力模块,得到隐藏层表征样本;

14、基于深度神经网络构成扩散模型;

15、基于所述扩散模型对所述历史时空事件样本中的空间输入和时间间隔输入进行逐步扩散,直至变成纯高斯噪声,得到扩散步数及其对应的扩散步骤样本;

16、根据所述历史时空事件样本及其对应的所述隐藏层表征样本和所述扩散步骤样本得到训练事件样本,进而得到训练数据集;

17、基于所述扩散模型对所述训练事件样本中的纯高斯噪声进行逐步去噪重构,得到去噪步数及其对应的预测去噪步骤样本;

18、根据所述预测去噪步骤样本和所述训练数据集,利用梯度下降算法和预先构建的损失函数进行训练,直至模型收敛,得到所述时空去噪扩散模型。

19、根据本发明提供的一种基于深度学习的时空事件预测方法,所述基于所述扩散模型对所述训练事件样本中的纯高斯噪声进行逐步去噪重构,得到去噪步数及其对应的预测去噪步骤样本,具体包括:

20、对于每个所述训练事件样本,将所述纯高斯噪声和所述隐藏层表征样本输入至所述扩散模型,按照条件独立的方式对下一步骤的预测值进行建模,并同时学习空间和时间注意力,直至完成整个去噪过程,按照去噪步数的顺序记录所有去噪步骤,得到所述训练事件样本的多个预测去噪步骤样本。

21、根据本发明提供的一种基于深度学习的时空事件预测方法,所述基于所述扩散模型对所述训练事件样本中的纯高斯噪声进行逐步去噪重构,得到去噪步数及其对应的预测去噪步骤样本,具体包括:

22、s1:将所述纯高斯噪声和所述隐藏层表征样本输入至所述扩散模型,将前一个预测去噪步骤样本作为下一步去噪过程的输入;

23、s2:根据所述隐藏层表征样本和当前的去噪步数计算空间和时间的互注意力权重;

24、s3:根据所述互注意力权重,通过前向神经网络将所述隐藏层表征样本融入到前一个预测去噪步骤样本中,得到当前预测去噪步骤样本;

25、s4:将所述当前预测去噪步骤样本输入至所述扩散模型,重复步骤s2-s4,直至趋近于空间和时间的重构值。

26、根据本发明提供的一种基于深度学习的时空事件预测方法,所述将所述隐藏层表征输入至预先训练的时空去噪扩散模型,得到目标预测事件,具体包括:

27、将所述隐藏层表征和随机生成的高斯噪声输入至所述时空去噪扩散模型,基于所述高斯噪声和所述隐藏层表征进行时空事件重构,得到所述目标预测事件。

28、本发明还提供一种基于深度学习的时空事件预测装置,包括:

29、表征单元,用于获取历史时空事件序列,将所述历史时空事件序列包括的预设数量个历史时空事件依次输入至预先构建的时空自注意力模块,得到隐藏层表征;

30、预测单元,用于将所述隐藏层表征输入至预先训练的时空去噪扩散模型,得到目标预测事件;

31、其中,所述时空去噪扩散模型是基于深度神经网络,根据预先构建的共注意力机制利用海量历史时空事件样本进行训练得到的。

32、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述基于深度学习的时空事件预测方法。

33、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述基于深度学习的时空事件预测方法。

34、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述基于深度学习的时空事件预测方法。

35、本发明提供的基于深度学习的时空事件预测方法和装置,通过获取历史时空事件序列,将所述历史时空事件序列包括的预设数量个历史时空事件依次输入至预先构建的时空自注意力模块,得到隐藏层表征;将所述隐藏层表征输入至预先训练的时空去噪扩散模型,得到目标预测事件;其中,所述时空去噪扩散模型是基于深度神经网络,根据预先构建的共注意力机制利用海量历史时空事件样本进行训练得到的。本发明利用去噪扩散概率建模,能够有效地学习时空点过程的联合分布,适用于各种不同领域的时空点过程,实现扩展性更强、应用范围不受限的时空事件预测。


技术特征:

1.一种基于深度学习的时空事件预测方法,其特征在于,包括:

2.根据权利要求1所述的基于深度学习的时空事件预测方法,其特征在于,所述隐藏层表征包括隐藏层时间表征、隐藏层空间表征和隐藏层时空表征;所述将所述历史时空事件序列包括的预设数量个历史时空事件依次输入至预先构建的时空自注意力模块,得到隐藏层表征,具体包括:

3.根据权利要求2所述的基于深度学习的时空事件预测方法,其特征在于,所述基于深度神经网络,根据预先构建的共注意力机制利用海量历史时空事件样本训练得到所述时空去噪扩散模型,具体包括:

4.根据权利要求3所述的基于深度学习的时空事件预测方法,其特征在于,所述基于所述扩散模型对所述训练事件样本中的纯高斯噪声进行逐步去噪重构,得到去噪步数及其对应的预测去噪步骤样本,具体包括:

5.根据权利要求3或4所述的基于深度学习的时空事件预测方法,其特征在于,所述基于所述扩散模型对所述训练事件样本中的纯高斯噪声进行逐步去噪重构,得到去噪步数及其对应的预测去噪步骤样本,具体包括:

6.根据权利要求1所述的基于深度学习的时空事件预测方法,其特征在于,所述将所述隐藏层表征输入至预先训练的时空去噪扩散模型,得到目标预测事件,具体包括:

7.一种基于深度学习的时空事件预测装置,其特征在于,包括:

8.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6任一项所述基于深度学习的时空事件预测方法。

9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于深度学习的时空事件预测方法。

10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于深度学习的时空事件预测方法。


技术总结
本发明提供一种基于深度学习的时空事件预测方法和装置,包括:获取历史时空事件序列,将所述历史时空事件序列包括的预设数量个历史时空事件依次输入至预先构建的时空自注意力模块,得到隐藏层表征;将所述隐藏层表征输入至预先训练的时空去噪扩散模型,得到目标预测事件;其中,所述时空去噪扩散模型是基于深度神经网络,根据预先构建的共注意力机制利用海量历史时空事件样本进行训练得到的。本发明利用去噪扩散概率建模,能够有效地学习时空点过程的联合分布,适用于各种不同领域的时空点过程,实现扩展性更强、应用范围不受限的时空事件预测。

技术研发人员:丁璟韬,李勇,苑苑
受保护的技术使用者:清华大学
技术研发日:
技术公布日:2024/7/25
转载请注明原文地址: https://bbs.8miu.com/read-441590.html

最新回复(0)