本发明涉及异常检测，尤其涉及一种多模态数据异常识别方法、装置、电子设备及存储介质。
背景技术：
1、随着数字化服务的蓬勃发展，诸如网约车、互联网医院等多样化的服务形式不断涌现。在海量数据的支持下，实现自动化的数字服务异常检测成为可能。异常数据指的是数据集中明显偏离大多数数据的异常噪声或意外模式。这些异常也可能表示错误、欺诈或其他类型的异常事件。异常检测的目标是识别这些异常并对其进行标记，以供技术人员作进一步调查。然而传统的数字服务异常内容检测方法面临着诸多挑战。一方面，由于各领域数字服务收集、整合的数据形式不同，而大多数检测方法往往只能针对单一数据类型，比如图像、表单文本或者数据库数据，从而严重限制了检测方法的落地实施。另一方面，在多领域多种数据之上，对于交互式提取共有信息，使得不同类型数据信息互补，在新的应用场景下同样获得异常检测效果方面也缺乏探索。
2、当前所采用的多模态异常检测方法主要基于图注意力网络和时间卷积网络，这种方式通用性不强，主要针对单一类型数据、单一规则以及单一场景。
技术实现思路
1、本发明提供了一种多模态数据异常识别方法、装置、电子设备及存储介质，用于解决或部分解决现有异常检测相关方法中存在的通用性不强、主要针对单一类型数据、单一规则以及单一场景的技术问题。
2、本发明提供的一种多模态数据异常识别方法，所述方法包括：
3、获取多模态数据集；
4、根据所述多模态数据集，构建图像-文本预训练集以及图像-文本微调数据集；
5、基于多模态嵌入对齐，根据所述图像-文本预训练集进行模型预训练，根据所述图像-文本微调数据集对预训练后获得的模型进行模型微调，获得多模态异常检测模型；
6、将待识别数据输入至所述多模态异常检测模型进行异常识别，获得异常识别结果。
7、可选地，所述多模态数据集包括异常文本数据以及异常图像数据，所述根据所述多模态数据集，构建图像-文本预训练集以及图像-文本微调数据集，包括：
8、对所述异常文本数据以及所述异常图像数据进行图像文本关联，生成多个图像文本数据对；
9、生成每一个所述图像文本数据对各自对应的描述文本；
10、针对每一个所述图像文本数据对，分别计算所述描述文本与所述图像文本数据对中图像的相似度，并基于所述图像文本数据对、所述描述文本以及所述相似度，生成图像文本预训练数据对；
11、根据各个所述图像文本预训练数据对，构建图像-文本预训练集；
12、获取预先创建的用于异常判断的场景指令集，并基于所述场景指令集，采用自指令方式对所述多个图像文本数据对进行拓展，获得各个所述图像文本数据对各自对应的图像文本微调数据对；
13、根据各个所述图像文本微调数据对，构建图像-文本微调数据集。
14、可选地，所述方法还包括：
15、创建多个不同的任务指令模板，每一个所述任务指令模板用于对一个垂直领域场景进行异常判断，每一个所述任务指令模板至少包括异常描述指令、异常问答指令以及异常分析指令；
16、根据所述多个任务指令模板，生成不同垂直领域场景下的场景指令集。
17、可选地，所述基于多模态嵌入对齐，根据所述图像-文本预训练集进行模型预训练，根据所述图像-文本微调数据集对预训练后获得的模型进行模型微调，获得多模态异常检测模型，包括：
18、选用llama2大语言模型作为多模态异常识别与检测的基座模型，结合lora优化策略，根据所述图像-文本预训练集对所述基座模型进行基于多模态嵌入对齐的模型预训练，以学习模态之间的语义关系和对齐信息，获得通用多模态异常检测模型；
19、结合llama2参数高效微调策略，根据所述图像-文本微调数据集对所述通用多模态异常检测模型进行基于多模态嵌入对齐的模型微调，获得多模态异常检测模型。
20、可选地，所述多模态嵌入对齐的处理流程，包括：
21、从当前处理阶段所采用的数据集中提取所述异常文本数据以及所述描述文本，并将所述异常文本数据以及所述描述文本以向量形式映射至嵌入空间，生成文本嵌入表示；
22、从当前处理阶段所采用的数据集中提取所述异常图像数据，并将所述异常图像数据输入至视觉编码器进行向量转换，生成图像嵌入表示；
23、构建所述文本嵌入表示对应的语义图，以及所述图像嵌入表示对应的视觉图，并对所述语义图以及所述视觉图进行数据关联，构建多模态异构图，所述多模态异构图包括多个节点；
24、引入带有跨模态注意力机制的图神经网络，基于所述图神经网络的消息传递机制，在迭代更新过程中，所述多模态异构图中每个目标节点接收来自邻居节点的消息；
25、针对不同模态消息设置不同权重，基于权重配比设置，将从所述邻居节点接收的不同模态消息与所述目标节点自身的嵌入进行差异化聚合，以更新节点自身嵌入，生成所述文本嵌入表示对应的文本对齐表示，以及所述图像嵌入表示对应的图像对齐表示。
26、可选地，所述将待识别数据输入至所述多模态异常检测模型进行异常识别，获得异常识别结果，包括：
27、将待识别数据输入至所述多模态异常检测模型，先结合信息度评价指标对所述待识别数据进行文本描述准确性判断，再结合事实性评价指标，以文本描述为基础进行异常判断，输出异常识别结果，所述异常识别结果包括异常判断结果、异常描述、异常原因推断以及异常位置。
28、可选地，在所述获取多模态数据集之前，所述方法包括：
29、获取公开异常检测数据集以及原始多模态异常数据集，所述公开异常检测数据集以及所述原始多模态异常数据集中均包括存在异常情况的文本数据、表单数据、图像数据以及视频数据；
30、对所述文本数据以及所述表单数据进行文本预处理，获得异常文本数据；
31、对所述图像数据以及所述视频数据进行图像预处理，获得处理图像数据；
32、将所述处理图像数据输入至预训练的图像异常检测模型中补充辅助信息，获得补充图像数据；
33、对所述补充图像数据进行图像区域划分，再基于预训练的图像描述模型，生成各个图像区域对应的图像描述以及图题信息，获得异常图像数据；
34、将所述异常文本数据以及所述异常图像数据，一并整合成多模态数据集。
35、本发明还提供了一种多模态数据异常识别装置，包括：
36、多模态数据集获取模块，用于获取多模态数据集；
37、图像文本数据集构建模块，用于根据所述多模态数据集，构建图像-文本预训练集以及图像-文本微调数据集；
38、多模态嵌入对齐处理模块，用于基于多模态嵌入对齐，根据所述图像-文本预训练集进行模型预训练，根据所述图像-文本微调数据集对预训练后获得的模型进行模型微调，获得多模态异常检测模型；
39、多模态异常识别模块，用于将待识别数据输入至所述多模态异常检测模型进行异常识别，获得异常识别结果。
40、本发明还提供了一种电子设备，所述设备包括处理器以及存储器：
41、所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
42、所述处理器用于根据所述程序代码中的指令执行如上任一项所述的多模态数据异常识别方法。
43、本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行如上任一项所述的多模态数据异常识别方法。
44、从以上技术方案可以看出，本发明具有以下优点：
45、提出了一种多模态数据异常识别方法。首先获取多模态数据集；接着根据多模态数据集，构建图像-文本预训练集以及图像-文本微调数据集；然后基于多模态嵌入对齐，根据图像-文本预训练集进行模型预训练，根据图像-文本微调数据集对预训练后获得的模型进行模型微调，获得多模态异常检测模型；最后将待识别数据输入至多模态异常检测模型进行异常识别，获得异常识别结果。从而基于多模态嵌入对齐以及模型微调策略，可以提高方法对多模态信息的捕捉能力，不仅实现了多模态数据服务的异常识别，还提升了模型在多场景多模态数据上的泛化能力，具有更强的通用性。
1.一种多模态数据异常识别方法，其特征在于，包括：
2.根据权利要求1所述的多模态数据异常识别方法，其特征在于，所述多模态数据集包括异常文本数据以及异常图像数据，所述根据所述多模态数据集，构建图像-文本预训练集以及图像-文本微调数据集，包括：
3.根据权利要求2所述的多模态数据异常识别方法，其特征在于，还包括：
4.根据权利要求2所述的多模态数据异常识别方法，其特征在于，所述基于多模态嵌入对齐，根据所述图像-文本预训练集进行模型预训练，根据所述图像-文本微调数据集对预训练后获得的模型进行模型微调，获得多模态异常检测模型，包括：
5.根据权利要求4所述的多模态数据异常识别方法，其特征在于，所述多模态嵌入对齐的处理流程，包括：
6.根据权利要求1所述的多模态数据异常识别方法，其特征在于，所述将待识别数据输入至所述多模态异常检测模型进行异常识别，获得异常识别结果，包括：
7.根据权利要求1至6任一项所述的多模态数据异常识别方法，其特征在于，在所述获取多模态数据集之前，所述方法包括：
8.一种多模态数据异常识别装置，其特征在于，包括：
9.一种电子设备，其特征在于，所述设备包括处理器以及存储器：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-7任一项所述的多模态数据异常识别方法。
