本发明涉及心理预测，具体而言，涉及一种基于多模态深度学习的特征提取测评系统及方法。
背景技术：
1、在企业招聘，学生心理问题筛查，商业产品调研等领域，通常会使用调查问卷的方式对用户的心理进行测评。早期研究者都是使用纸质的调查问卷进行，回收后的问卷经过电子化，将被测人员作答的数据录入计算机中经过分析得到测评结果。目前，互联网中出现很多电子化的测评平台，研究者可以直接在测评平台上创建电子化的调查问卷，来收集并分析被测人员的作答数据，得到被测人员的测评结果。
2、但这些测评平台实际上还是以传统问卷的采集模式来做测评，被测人员在作答的过程中可能会存在隐瞒以及谎报的情况，导致根据调查问卷的作答数据得到的测评结果与实际情况有误差，使得测评结果不准确。
技术实现思路
1、鉴于此，本发明提出了一种基于多模态深度学习的特征提取测评系统及方法，主要是为了解决问卷调查测评结果误差较大的问题。
2、一个方面，本发明提出了一种基于多模态深度学习的特征提取测评系统，该系统包括：
3、数据采集模块，用于获取测试者基于预设问卷测评的多模态测评数据；
4、数据处理模块，用于对所述多模态数据进行特征提取，以进行数据标记，所述数据标记类型包括情绪积极度标签和专注度标签；
5、模型学习模块，用于将进行数据标记后的所述多模态数据输入预先训练好的心理测评机器学习模型中，以得到心理评分；
6、结果测评模块，用于根据所述心理评分确定所述测试者的心理。
7、在本技术的一些实施例中，所述多模态测评数据包括：文本测评数据、音频测评数据、视频测评数据和生理监测数据。
8、在本技术的一些实施例中，所述数据处理模块在对所述多模态数据中的各模态数据分别进行特征提取，以进行数据标记时，包括：
9、获取所述文本测评数据；
10、通过分词算法对所述文本测评数据进行分词，以得到分词序列；
11、通过情感词汇表对所述分词序列中的各词语进行情感极性赋值，所述情感极性赋值的范围为[-1，1]；
12、当词语的情感极性值为正数时，则该词语为积极情绪；
13、当词语的情感极性值为负数时，则该词语为消极情绪；
14、当词语的情感极性值为零时，则该词语为中性情绪；
15、当对所述分词序列中的各词语进行情感极性赋值后，对所述分词序列中的各词语的情感极性值进行加和计算，得到所述分词序列的文本情绪评分。
16、在本技术的一些实施例中，在得到所述分词序列的文本情绪评分后，还包括：
17、预先设定情绪积极度标签类型包括：积极标签、消极标签和中性标签；
18、当所述文本情绪评分等于零时，则所述文本测评数据的所述情绪积极度标签为所述中性标签；
19、当所述文本情绪评分大于零时，则所述文本测评数据的所述情绪积极度标签为所述积极标签；
20、当所述文本情绪评分小于零时，则所述文本测评数据的所述情绪积极度标签为所述消极标签。
21、在本技术的一些实施例中，所述数据处理模块在对所述多模态数据中的各模态数据分别进行特征提取，以进行数据标记时，还包括：
22、将所述分词序列通过词嵌入模型表示为词向量；
23、提取所述预设问卷中的关键词并转化为关键词向量；
24、计算所述词向量和关键词向量之间的余弦相似性值；
25、所述余弦相似性值的范围为[-1，1]；
26、预先设定所述预先设定专注度标签类型包括：专注标签和非专注标签；
27、当所述余弦相似性值大于1时，则所述文本测评数据的所述专注度标签为所述专注标签；
28、当所述余弦相似性值小于等于1时，则所述文本测评数据的所述专注度标签为所述非专注标签。
29、在本技术的一些实施例中，所述数据处理模块在对所述多模态数据中的各模态数据分别进行特征提取，以进行数据标记时，还包括：
30、获取所述音频测评数据；
31、根据所述音频测试数据提取声学特征和语言特征；
32、通过语音信号处理技术提取所述声学特征，所述声学特征包括：语音信号强度特征、语音信号基本频率特征、语音时长特征和语音信号频谱特征；
33、通过对所述音频测评数据进行文本转换以提取所述语言特征，所述语言特征包括：情感词汇分析特征和语气语调分析特征；
34、将所述声学特征和语言特征输入预先训练好的语音情绪分类模型，所述语音情绪分类模型的分类结果包括：积极、中性和消极；
35、当所述语音情绪分类模型的输出结果为积极时，则所述音频测评数据的所述情绪积极度标签为所述积极标签；
36、当所述语音情绪分类模型的输出结果为中性时，则所述音频测评数据的所述情绪积极度标签为所述中性标签；
37、当所述语音情绪分类模型的输出结果为消极时，则所述音频测评数据的所述情绪积极度标签为所述消极标签。
38、在本技术的一些实施例中，所述数据处理模块在对所述多模态数据中的各模态数据分别进行特征提取，以进行数据标记时，还包括：
39、获取所述视频测评数据；
40、通过人脸检测工具对所述视频测试数据中的人脸进行检测，对检测到的人脸进行面部关键点检测，对检测到的面部关键点通过预先训练好的视频情绪分类模型进行面部表情分析，所述视频情绪分类模型的分类结果包括：积极、中性和消极；
41、当所述视频情绪分类模型的输出结果为积极时，则所述视频测评数据的所述情绪积极度标签为所述积极标签；
42、当所述视频情绪分类模型的输出结果为中性时，则所述视频测评数据的所述情绪积极度标签为所述中性标签；
43、当所述视频情绪分类模型的输出结果为消极时，则所述视频测评数据的所述情绪积极度标签为所述消极标签。
44、在本技术的一些实施例中，所述数据处理模块在对所述多模态数据中的各模态数据分别进行特征提取，以进行数据标记时，还包括：
45、获取所述生理监测数据；
46、提取所述生理监测数据在测评期间中的心率数据做均值计算，得到所述测试者的心率均值；
47、预先设定心率最低阈值；
48、当所述心率均值小于等于所述心率最低阈值时，则所述音频测评数据和视频测评数据的所述专注度标签为所述非专注标签；
49、当所述心率均值大于所述心率最低阈值时，则所述音频测评数据和视频测评数据的所述专注度标签为所述专注标签。
50、在本技术的一些实施例中，当所述心率均值大于所述心率最低阈值，则所述音频测评数据和视频测评数据的所述专注度标签为所述专注标签时，还包括：
51、提取所述生理监测数据在测评期间中的皮肤表面电导率数据做均值计算，得到所述测试者的皮肤电导率均值；
52、预先设定皮肤电导率最低阈值；
53、当所述皮肤电导率均值小于所述皮肤电导率最低阈值，则不对所述音频测评数据和视频测评数据的所述专注度标签进行调整；
54、当所述皮肤电导率均值大于等于所述皮肤电导率最低阈值，则对所述音频测评数据和视频测评数据的所述专注度标签进行调整，调整后的所述音频测评数据和视频测评数据的所述专注度标签为所述非专注标签。
55、在本技术的一些实施例中，在结果测评模块用于根据所述心理评分确定所述测试者的心理时，包括：
56、所述心理评分的范围为[1,100]；
57、预先设定心理类型包括：正常、轻度抑郁、中度抑郁、重度抑郁；
58、当所述测试者的心理评分小于等于60时，则确定所述测试者的心理为正常；
59、当所述测试者的心理评分大于60且小于等于75时，则确定所述测试者的心理为轻度抑郁；
60、当所述测试者的心理评分大于75且小于等于90时，则确定所述测试者的心理为中度抑郁；
61、当所述测试者的心理评分大于90且小于等于100时，则确定所述测试者的心理为重度抑郁。
62、另一个方面，本发明提出了一种基于多模态深度学习的特征提取测评方法，该方法包括：
63、获取测试者基于预设问卷测评的多模态测评数据；
64、对所述多模态数据进行特征提取，以进行数据标记，所述数据标记类型包括情绪积极度标签和专注度标签；
65、将进行数据标记后的所述多模态数据输入预先训练好的心理测评机器学习模型中，以得到心理评分；
66、根据所述心理评分确定所述测试者的心理；
67、其中，所述多模态测评数据包括：文本测评数据、音频测评数据、视频测评数据和生理监测数据。
68、与现有技术相比，本发明存在以下有益效果：本发明首先通过预设问卷和多模态测评，系统能够获取更全面和综合的测试者信息，包括文本、图像、声音等多种数据类型，提高了数据的多样性，有助于更全面地了解测试者的心理状态，从而提高测评的准确性和可靠性。通过特征提取和数据标记，系统可以更好地理解和处理多模态数据，提取关键信息用于后续的模型学习，有助于简化和优化数据，提高模型的训练效率，同时为模型提供了可解释性的特征，增强了对心理状态的理解。预先训练好的机器学习模型能够从标记后的多模态数据中学到心理模式，并生成心理评分，提高了对测试者心理状态的精准度，使系统能够更有效地分析和理解多模态数据中的复杂模式。根据心理评分，系统可以进行针对性的心理测评，为测试者提供有关其情感状态和专注度等心理方面的详细信息。为用户提供了更全面、个性化的心理测评，有助于提高测试者的自我认知和心理健康。
1.一种基于多模态深度学习的特征提取测评系统，其特征在于，包括：
2.根据权利要求1所述的基于多模态深度学习的特征提取测评系统，其特征在于，所述数据处理模块在对所述多模态数据中的各模态数据分别进行特征提取，以进行数据标记时，包括：
3.根据权利要求2所述的基于多模态深度学习的特征提取测评系统，其特征在于，在得到所述分词序列的文本情绪评分后，还包括：
4.根据权利要求3所述的基于多模态深度学习的特征提取测评系统，其特征在于，所述数据处理模块在对所述多模态数据中的各模态数据分别进行特征提取，以进行数据标记时，还包括：
5.根据权利要求4所述的基于多模态深度学习的特征提取测评系统，其特征在于，所述数据处理模块在对所述多模态数据中的各模态数据分别进行特征提取，以进行数据标记时，还包括：
6.根据权利要求5所述的基于多模态深度学习的特征提取测评系统，其特征在于，所述数据处理模块在对所述多模态数据中的各模态数据分别进行特征提取，以进行数据标记时，还包括：
7.根据权利要求6所述的基于多模态深度学习的特征提取测评系统，其特征在于，所述数据处理模块在对所述多模态数据中的各模态数据分别进行特征提取，以进行数据标记时，还包括：
8.根据权利要求7所述的基于多模态深度学习的特征提取测评系统，其特征在于，当所述心率均值大于所述心率最低阈值，则所述音频测评数据和视频测评数据的所述专注度标签为所述专注标签时，还包括：
9.根据权利要求8所述的基于多模态深度学习的特征提取测评系统，其特征在于，在结果测评模块用于根据所述心理评分确定所述测试者的心理时，包括：
10.一种基于多模态深度学习的特征提取测评方法，其特征在于，应用于如权利要求1-9任一项所述的基于多模态深度学习的特征提取测评系统中，包括：
