本发明涉及一种面向时空数据的跨模态复杂信息网络融合系统及方法，属于跨模态融合和深度学习领域。
背景技术：
1、面向时空数据的跨模态复杂信息网络融合技术是一种涉及多个模态（如文本、图像、视频、音频等）和时空维度的数据处理技术。然而，目前面向时空数据的跨模态复杂信息网络融合技术主要依赖于深度学习、图嵌入、以及多模态融合等方法。这些技术通过提取不同模态数据的特征，并将其整合到一个统一的表示空间中，以实现跨模态特征的关联和融合。然而，这些方法在融合跨模态与时空特征时面临着以下主要缺点和不足。第一，特征融合不充分：现有的方法往往无法全面融合跨模态特征和时空特征，导致融合后的特征不能充分反映数据的复杂性和多样性。第二，实时性不足：在处理大规模时空数据时，现有的融合技术往往难以满足实时性的要求，无法提供及时有效的预测和分析。第三，预测精度有限：由于特征融合的不充分和模型设计的局限性，现有的技术在精准预测方面仍存在较大挑战，特别是在处理复杂多变的时空数据时。
技术实现思路
1、本发明技术解决问题：克服现有技术的不足，提供一种面向时空数据的跨模态复杂信息网络融合系统及方法，能够全面融合跨模态与时空特征，实现精准和实时预测。
2、本发明技术解决方案：
3、第一方面，本发明提供一种面向时空数据的跨模态复杂信息网络融合系统，包括数据采集模块、模态分类模块、跨模态特征提取模块、时空特征分析模块、跨模态特征融合模块、预测模块；其中：
4、数据采集模块，创建数据集，所述数据集包括若干样本，所述若干样本中每个样本包含样本的模态类别标签和样本的时空数据标签，所述样本的模态类别标签和样本的时空数据标签一起构成复杂信息；所述样本的模态类别标签指样本属于文本、图像和音频三种模态中的一种，所述样本的时空数据标签指样本为同时具有时间维度和空间维度的需实时处理的数据；
5、模态分类模块，将样本分离为文本、图像和音频三种模态，得到分离后模态类别标签为文本的样本、模态类别标签为图像的样本和模态类别标签为音频的样本；
6、跨模态特征提取模块，分别从分离后的模态类别标签为文本的样本、模态类别标签为图像的样本和模态类别标签为音频的样本中提取三种模态特征，即文本模态特征、图像模态特征和音频模态特征；
7、时空特征分析模块，分析确定各个样本的时空数据标签在时间和空间维度的关联关系，得到关联后每个样本的时空特征；
8、跨模态特征融合模块，对每个样本的三种模态特征和关联后的每个样本的时空特征进行融合，得到融合后的跨模态特征；
9、预测模块，对融合后的跨模态特征、模态类别标签和关联后每个样本的时空特征进行预测，得到每个样本的下一个时间和下一个空间维度的变化。
10、特别地，所述跨模态特征提取模块中，从分离后的模态类别标签为文本的样本中提取文本模态特征的过程为：
11、构建并训练文本特征提取神经网络模型,所述文本特征提取神经网络模型包括：bert嵌入层、卷积层、池化层、双向长短期记忆网络层、多个全连接层：
12、bert嵌入层，利用预训练的bert模型将输入的文本转换为固定维度的向量表示，得到嵌入后的文本；
13、卷积层，通过卷积操作对所述嵌入后的文本进行局部特征提取，得到局部文本特征；
14、池化层，对局部文本特征进行下采样，得到保留重要文本特征的局部文本特征，提高计算效率；
15、双向长短期记忆网络层，捕获局部文本特征中的时间关联关系，提取出具有时间关联关系的深层的文本特征；
16、多个全连接层，对具有时间关联关系的深层的文本特征进行转换，得到更高级别的具有时间关联关系的深层的文本特征，所述更高级别的具有时间关联关系的深层的文本特征即为最后得到文本模态特征。
17、特别地，所述跨模态特征提取模块中，从分离后的模态类别标签为音频的样本中提取音频模态特征通过音频特征提取神经网络模型实现；
18、所述音频特征提取神经网络模型包括：ica信号分离层、信号分割层、窗函数应用层、短时傅里叶变换层、频谱特征提取层、特征向量表示层和随机森林分类器：
19、ica信号分离层，利用独立成分分析算法从混合的音频信号中分离出相互独立的音频信号；
20、信号分割层，将所述音频信号分割成短时段的片段，称为帧；
21、窗函数应用层，对每个帧应用汉明窗函数进行加窗，得到加窗后的帧，以减少帧两端的振幅跳变，降低频谱泄漏；
22、短时傅里叶变换层，对加窗后的每个帧进行短时傅里叶变换，得到每个帧的频谱；
23、频谱特征提取层，从每个帧的频谱中提取一系列频谱特征，所述一系列频谱特征包括能量、频谱平均值、频谱带宽、频谱中心频率、频谱斜率；
24、特征向量表示层，将提取的一系列频谱特征表示为特征向量，特征向量即为得到的音频模态特征。
25、特别地，所述时空特征分析模块包括：数据预处理层、特征提取网络、特征融合与优化层；
26、数据预处理层，接收来自数据采集模块的各个样本的时空数据标签并进行预处理；预处理包括进行数据清洗、格式转换和标准化预处理；
27、特征提取网络层，基于预处理后的各个样本的时空数据标签，构建神经网络模型，提取时空特征；
28、所述神经网络模型包括：输入层、时空卷积层、池化层、全连接层和输出层：
29、输入层，输入预处理后的各个样本的时空数据标签，所述时空数据标签以张量的形式表示，包括时间和空间维度；
30、时空卷积层，通过设计的卷积核大小和步长，在不同的时间维度和空间维度上进行关联，得到关联后的时空特征；
31、池化层，降低提取到的时空特征的维度，减少计算量，并增强神经网络模型的鲁棒性；
32、全连接层，将池化层的输出展平为一维向量，并通过权重矩阵和激活函数进行非线性变换，通过堆叠多个全连接层来构建更复杂的网络结构，提高模型的表达能力和学习能力;
33、输出层，使用leaky relu作为激活函数输出不同时间和空间维度条件下的时间和空间特征，简称不同维度的时空特征；
34、特征融合与优化层通过加权融合，将数据集中的每个样本的在不同维度（即时间和空间维度）的时空特征进行整合；同时利用特征选择技术筛选出对后续指定任务贡献最大的特征组合，进一步提高神经网络模型的性能，最后得到关联后每个样本的时空特征。
35、特别地，所述跨模态特征融合模块包括跨模态融合神经网络模型；
36、所述跨模态神经网络模型：首先对提取得到的每个样本的三种模态特征，即文本、图像和音频的模态特征进行两两融合拼接，所述两两融合拼接方式指将两个模态特征向量拼接为增长向量，得到多个融合了不同模态特征和时空特征的跨模态特征组合；然后将这些融合后的跨模态特征组合输入至多输入分类器中进行初步分类，得到文本、图像和音频的初步分类特征，再进一步对文本、图像和音频的三种初步分类特征进行融合拼接，形成融合拼接后的跨模态特征，所述融合拼接方式指将三种初步分类特征向量逐一拼接为增长向量；将融合拼接后的跨模态特征输入至类器中进行监督学习，得到最终的跨模态特征。
37、第二方面，本发明还提供一种面向时空数据的跨模态复杂信息网络融合方法，包括：
38、数据采集步骤，创建数据集，所述数据集包括若干样本，所述若干样本中每个样本包含样本的模态类别标签和样本的时空数据标签，所述样本的模态类别标签和样本的时空数据标签一起构成复杂信息；所述样本的模态类别标签指样本属于文本、图像和音频三种模态中的一种，所述样本的时空数据标签指样本为同时具有时间维度和空间维度的需实时处理的数据；
39、模态分类步骤，将样本分离为文本、图像和音频三种模态，得到分离后模态类别标签为文本的样本、模态类别标签为图像的样本和模态类别标签为音频的样本；
40、跨模态特征提取步骤，分别从分离后的模态类别标签为文本的样本、模态类别标签为图像的样本和模态类别标签为音频的样本中提取三种模态特征；
41、时空特征分析步骤，分析确定各个样本的时空数据标签在时间和空间维度的关联关系，得到关联后每个样本的时空特征；
42、跨模态特征融合步骤，对每个样本的三种模态特征和关联后的每个样本的时空特征进行融合，得到融合后的跨模态特征；
43、预测步骤，对融合后的跨模态特征、模态类别标签和关联后每个样本的时空特征进行预测，得到每个样本的下一个时间和下一个空间维度的变化。
44、第三方面，本发明还提供一种电子设备，包括处理器和存储器，其中；
45、存储器，用于存放计算机程序；
46、处理器，用于执行存储器上所存放的计算机程序，执行时实现前述第一方面所述的系统，或第二方面所述的方法。
47、第四方面，本发明还一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序执行时，实现前述第一方面所述的系统，或第二方面所述的方法。
48、本发明与现有技术相比的优点在于：
49、本发明的面向时空数据的跨模态复杂信息网络融合系统中，首先采集包含不同模态（文本、图像、音频）和时空标签的样本数据，构建数据集。随后，系统对样本进行模态分类，以便对不同模态提取特征。接着，通过跨模态特征提取步骤，系统从各个模态的样本中提取出关键特征。同时，系统进行时空特征分析，得到样本在时间和空间维度上的关联关系。最后，在跨模态特征融合步骤中，将不同模态的特征与时空特征进行融合，形成跨模态特征，并基于此进行预测，得出样本在未来时间和空间的变化趋势。与现有技术相比，本发明的优点和创新点主要体现在：第一，模态分类与特征提取的细化：现有技术往往只关注单一模态或简单的多模态融合，而本发明通过模态分类步骤，将样本细分为文本、图像和音频三种模态，并分别提取各模态的特征，实现了更精细化的特征提取。第二，时空特征的深度分析：本发明不仅考虑了数据的模态特征，还深入分析了数据在时间和空间维度上的关联关系，提取出时空特征，这有助于更准确地理解数据的动态变化。第三，跨模态与时空特征的融合：现有技术中跨模态特征的融合往往忽略了时空特性，而本发明通过将不同模态的特征与时空特征进行融合，实现了跨模态与时空信息的全面整合，提高了预测的准确性。第四，实时预测能力：本发明针对需实时处理的数据进行设计，能够在数据产生的同时进行分析和预测，为实时决策提供了有力的支持。
1.一种面向时空数据的跨模态复杂信息网络融合系统，其特征在于，包括数据采集模块、模态分类模块、跨模态特征提取模块、时空特征分析模块、跨模态特征融合模块、预测模块；其中：
2.根据权利要求1所述的面向时空数据的跨模态复杂信息网络融合系统，其特征在于，所述跨模态特征提取模块中，从分离后的模态类别标签为文本的样本中提取文本模态特征的过程为：
3.根据权利要求1所述的面向时空数据的跨模态复杂信息网络融合系统，其特征在于：
4.根据权利要求1所述的面向时空数据的跨模态复杂信息网络融合系统，其特征在于，所述时空特征分析模块包括：数据预处理层、特征提取网络、特征融合与优化层；
5.根据权利要求1所述的面向时空数据的跨模态复杂信息网络融合系统，其特征在于，所述跨模态特征融合模块包括跨模态融合神经网络模型；
6.一种面向时空数据的跨模态复杂信息网络融合方法，其特征在于，包括：
7.一种电子设备，其特征在于，包括处理器和存储器，其中；
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序执行时，实现权利要求1-5中任意之一所述的系统，或权利要求6所述的方法。
