本发明涉及校园安全防控，具体的说，涉及了一种基于大数据的异构数据融合分析的异常行为检测系统和方法。
背景技术：
1、随着大数据、云计算和大模型技术的迅速发展，关于安全防范监控相关的大数据、云计算和大模型技术也需要随之更新，目前校园安全防范主要依靠监控摄像头全方位覆盖，结合初级的智能视频分析技术，可实现对打架斗殴、可疑人员校内徘徊等行为做出即时报警。
2、然而，现有的智能视频分析技术无法准确和有效的发现霸凌行为，纯靠视觉摄像头检测准确率不高，校园霸凌极为隐秘，诸如霸凌行为的推搡、扇耳光等动作极易与学生日常打闹或体育活动混淆，容易造成误判或者漏报。
3、其次，不同于打架斗殴等行为暴力，言语辱骂等精神上的语言暴力等霸凌行为时常发生。
4、在现有技术中，已有根据声音判别行为，以及对人体的动作动态进行抓取识别的专利，如cn202311410907.0，一种基于人工智能的智慧校园学生行为分析系统；cn202310901557.1，一种卫生间语音识别报警系统及其识别方法；cn202211110111.9，多传感器数据融合霸凌行为检测算法等。
5、上述专利文件从不同的角度去解决校园霸凌的问题，但对于霸凌手段的覆盖面都相对较小，融合不同数据对大多数行为进行识别，来最大限度的预警干预校园霸凌行为的发生，仍然是急需解决的技术问题。
6、为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。
技术实现思路
1、本发明的目的是针对现有技术的不足，从而提供一种对动作和声音数据进行融合处理和分析，判别当前状态是否处于校园安全防范的范畴的一种基于大数据的异构数据融合分析的异常行为检测系统和方法。
2、为了实现上述目的，本发明所采用的技术方案是：一种基于大数据的异构数据融合分析的异常行为检测系统，包括数据采集模块、数据存储模块、数据处理和分析模块、数据传输模块和预警平台；
3、所述数据采集模块包括视频采集模块和音频采集模块，分别用于采集监测区域内的视频数据和场景内的音频数据作为原始数据；
4、所述数据存储模块用于存储采集到的原始数据；
5、所述数据处理和分析模块用于对原始数据进行处理、清理、特征提取的预处理过程和分析判别过程，包括以下内容：
6、对于采集的音频数据进行预处理，确定每个目标人物声源方向信息，并将混合在一起的多个原始声音信号分离，获得各个方向目标人物的独立声音信息，然后对每个声源的独立声音信息进行是否涉及异常言语的判别，当被识别为异常言语时，存储发生时刻的音频和时间，得到语音标记结果；
7、对于采集的图像信息和视频流进行预处理，对每个检测到的人物目标进行图像分割和轮廓提取，对图像帧中的图像划分人物相关性区域，根据动作识别结果建立人物动作相关性向量表，将人物动作相关性向量表输入行为判别模型中进行行为判别，将行为判别结果作为动作标记结果；
8、基于语音标记结果和动作标记结果，进行融合性判别：
9、当语音标记结果指示语言暴力时，提取霸凌行为发生时刻的相关人物音频信息，并结合语音标记结果和视频相关性区域划分，实时获取对应时间段和区域的人物图像序列；
10、当动作标记结果标识异常霸凌行为时，迅速提取对应时间段和区域内涉及人物的人物图像序列，同时根据动作标记结果，从独立声音信息中提取相应时间段内涉及人物的音频信息；
11、将人物图像序列进行融合，结合相关人物音频信息，输入到异常行为融合分析模型中进行双模态融合分析，以判断是否发生异常行为；
12、所述数据传输模块用于完成不同模块之间的数据传递；
13、所述预警平台用于根据数据处理和分析模块的判定结果，发出警报。
14、基上所述，对于原始数据的预处理过程如下：
15、步骤11：通过视频采集设备采集校园区域内各监测点的监控视频数据信息，提取出各监测点的视频数据，并将每个监测点所提取的视频数据全部转化为对应的视频图像帧；
16、步骤12：使用多个麦克风组成的阵列采集校园区域内各监测点的麦克风阵列数据信息，获取多个声音信号的原始音频数据；
17、步骤13：通过对采集到的原始音频数据进行处理，确定每个目标人物声源方向信息，并将混合在一起的多个原始声音信号分离出来，获得各个方向目标人物的独立声音信息；
18、步骤14：对每个声源的独立声音信号进行增强处理，获得处理后的每个方向声源的独立声音信息。
19、基上所述，对于获取的视频图像帧数据进行进一步处理，过程如下：
20、步骤21，对视频图像帧集的人物进行目标检测，获取视频中的人物目标位置信息，并对对应的人物对象进行轮廓框定，获取人物轮廓大小信息；
21、步骤22，对于每个检测到的人物目标，使用图像分割算法对视频图像帧进行处理，将每个人物目标从背景中分割出来，形成具有透明背景的前景人物图像；
22、步骤23，将前景人物图像传输到动作识别模块中分析进行动作识别；
23、步骤24，根据人物轮廓大小信息，对视频图像帧中的图像划分人物相关性区域，根据动作识别结果建立人物动作相关性向量表；
24、步骤25，将人物动作相关性向量表送入到行为判别模型中进行行为判别，将行为判别结果作为动作标记结果。
25、基上所述，行为判别模型为已经预训练好的卷积神经网络,输出层使用softmax激活函数，其输入是单个的人物前景图像数据，输出为人物动作所属预设动作类别的概率分布；所述预设动作类别包括挥手、踢腿、推搡、投掷、倒地、蜷缩、抱头、行走、奔跑、站立、蹲地等动作，其中设定挥手、踢腿、推搡、投掷、倒地、蜷缩、抱头为异常动作；
26、当动作识别结果以异常动作为最大概率时，构建人物相关性区域，所述人物相关性区域大小为以初次动作识别结果为异常动作为最大概率的目标人物为中心且以该人物轮廓大小2h为半径的区域；h是人物轮廓大小的高度，所述人物动作相关性向量表为包含异常动作目标人物及相关性区域内的人物的动作信息的向量表；
27、首先将每个人的动作得分分布表示为:
28、ai＝[p1i,p2i,p3i,…,pki]
29、其中k是预设动作的数量，ai表示某个区域内第i个人的所有预设动作得分数组，pki是将第i个人返回的第k个预设动作类的得分；
30、根据相关性区域建立人物动作相关性向量表，以目标人物i为中心，m1＝ai,依次将整个相关性区域人物动作得分分布建立人物动作相关性向量表，表示为：
31、vj＝[m1,m2,m3,…,mn]
32、vj是一个k*n维数组,其中vj表示第j个区域内人物动作相关性向量表，n表示第j个区域内人物数量,其中m1为中心人物动作得分向量，其余为相关性区域内人物动作得分分布；
33、通过将人物动作相关向量表输入到行为判断模型中综合分析人物动作相关性，得到对应人物对象与相关性区域的行为判别结果。
34、基上所述，对于获取的独立声音信息进一步处理，过程如下：
35、步骤31：通过声学识别模型对各个人物独立语音信息进行异常言语识别；
36、步骤32：当识别结果为暴力时，存储语音暴力发生时刻音频和记录语音暴力发生时间，得到语音标记结果；
37、所述异常言语识别，包括语音识别和情感识别：
38、采用语音识别技术将语音信息识别为语义，并转化为文本信息，再进行分割和提取存储到语音识别数据库中，关键字、关键词和关键语句与预先设定的语音关键词汇等信息进行匹配、比对和判断；
39、采用情感识别技术，从采集到的语音数据中提取音调、音量、语速声学特征，通过预训练好的情感识别模型获取情感分类的匹配概率，以最大匹配概率为语音标记结果。
40、基上所述，基于语音标记结果和动作标记结果，进行融合性判别的过程如下：
41、步骤41：基于动作标记结果或音频识别结果，精准获取相应霸凌行为发生的时刻；
42、步骤42：当语音标记结果指示语言暴力时，提取霸凌行为发生时刻的相关人物音频信息，并结合语音标记结果和视频相关性区域划分，实时获取对应时间段和区域的人物图像序列；
43、步骤43：当动作标记结果标识异常霸凌行为时，迅速提取对应时间段和区域内涉及人物的人物图像序列，同时根据动作标记结果，从独立声音信息中提取相应时间段内涉及人物的音频信息；
44、步骤44：将人物图像序列进行融合，结合相关人物音频信息，输入到异常行为融合分析模型中进行双模态融合分析，以判断是否发生异常行为；
45、所述异常行为融合分析模型应是专为含有时间特征的图像序列和音频数据而设计的霸凌行为分析模型，通过融合这两种数据特征，实现更为深入的行为分析。
46、基上所述，所述预警平台的工作过程如下：
47、步骤51，当判断存在校园霸凌行为时，提取校园霸凌行为发生时对应的人物图像和视频以及对应音频，并采用时间对齐的方法，将音频和视频数据进行同步并合并存储，同时通过数据传输模块上传到预警平台；
48、步骤52，预警平台对校园霸凌行为发生的相关人物对象的对象图像与当前校园学生及教职工人员信息数据库进行匹配，获取相关人员信息；
49、步骤53，预警平台基于匹配结果发出预警提醒，并将对应的人员信息及异常行为合并音视频传输至预警系统进行报警。
50、本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明通过对检测区域的音频数据和视频数据进行预处理、特征提取和融合判断的过程，糅合了霸凌行为中的声音判断因素和动作判断因素，使霸凌行为的判断准确性更高，适用的霸凌行为范畴更广泛，不局限于特定范围的动作和场合，安全防范的级别更高。
51、进一步的，对于声音的预处理和分析过程中，包括了使用麦克风阵列数据获取目标人物的声源方向信息，进而分离目标人物的独立声音信息，进而输入声学识别模型中进行识别，并加入了情感识别功能，提升关于声学识别的准确性。
52、进一步的，对于动作行为的预处理和分析过程中，包括了使用行为判别模型的神经网络，提高识别准确性。
1.一种基于大数据的异构数据融合分析的异常行为检测系统，其特征在于：包括数据采集模块、数据存储模块、数据处理和分析模块、数据传输模块和预警平台；
2.根据权利要求1所述的基于大数据的异构数据融合分析的异常行为检测系统，其特征在于：对于原始数据的预处理过程如下：
3.根据权利要求2所述的基于大数据的异构数据融合分析的异常行为检测系统，其特征在于：对于获取的视频图像帧数据进行进一步处理，过程如下：
4.根据权利要求3所述的基于大数据的异构数据融合分析的异常行为检测系统，其特征在于：行为判别模型为已经预训练好的卷积神经网络,输出层使用softmax激活函数，其输入是单个的人物前景图像数据，输出为人物动作所属预设动作类别的概率分布；
5.根据权利要求2所述的基于大数据的异构数据融合分析的异常行为检测系统，其特征在于：对于获取的独立声音信息进一步处理，过程如下：
6.根据权利要求4或5所述的基于大数据的异构数据融合分析的异常行为检测系统，其特征在于：基于语音标记结果和动作标记结果，进行融合性判别的过程如下：
7.根据权利要求6所述的基于大数据的异构数据融合分析的异常行为检测系统，其特征在于：所述预警平台的工作过程如下：
8.一种基于大数据的异构数据融合分析的异常行为检测方法，其特征在于：包括权利要求1-7任一项所述的基于大数据的异构数据融合分析的异常行为检测系统，通过以下步骤进行检测：
