本发明涉及个性化推荐，尤其涉及一种基于时序知识图谱的兴趣点推荐方法、介质及电子设备。
背景技术：
1、随着移动互联网的突破性发展，世界各地用户的联系日益紧密，人们可以在基于地理位置的社交平台上分享自己的日常活动，传递生活乐趣。大量的用户交互信息也促使了地理标记数据集如foursquare、gowalla和yelp的出现，为兴趣点（point-of-interest,poi）推荐提供了新的生机和动力。poi推荐可以利用用户的历史签到信息预测用户下一个可能访问的地点，同时也可以利用时间、地理位置、poi类别、社交关系等多模态信息来实现更优秀的预测能力，为用户的日常出行提供便利。
2、在现有技术中，许多基于图神经网络的方法通过学习全局的用户和poi特征取得了不错的成效。但是，大多数现存的方法只是针对性地利用了轨迹信息、地理位置、社交网络和用户评论等因素中的一种，并没有充分发挥真实场景下多模态信息的优势。此外，用户历史轨迹中所包含的行为模式信息也没有得到有效地划分，不利于用户个性化偏好的学习。
3、因此，如何构建一个行之有效的模型来建立多模态信息关系并使之充分融合，是目前亟待解决的技术问题。
技术实现思路
1、为了克服上述现有技术的不足，本发明提供一种基于时序知识图谱的兴趣点推荐方法，可有效解决上述问题。
2、本发明具体采用的技术方案如下：
3、第一方面，本发明提供了一种基于时序知识图谱的兴趣点推荐方法，其包括：
4、s1、根据所有用户的完整历史行为轨迹，构建动态时序知识图谱和静态群组知识图谱；所述动态时序知识图谱为不同历史时间片的动态关系知识图谱组成的图谱集合，每个动态关系知识图谱记录了在历史时间片内所有用户和兴趣点之间的动态关系，所述动态关系包括用于记录用户对兴趣点访问行为的访问关系、用于记录用户对不同兴趣点相邻访问行为的跟随关系；所述静态群组知识图谱记录了在所有历史时间片内所有用户和兴趣点之间的静态关系，所述静态关系包括用于记录用户之间朋友关系的社交关系、用于记录兴趣点所坐落的空间区域的位置关系、用于记录不同兴趣点是否属于近邻点的相邻关系、用于记录兴趣点所属的兴趣点类别的类别关系、用于记录按照所访问兴趣点和所访问空间区域分别进行用户分组的群组关系；
5、s2、获取目标用户在待预测时刻之前的历史行为轨迹子串，并从中依次提取用户访问过的每个兴趣点的用户评论文本，利用基于预训练模型构建的方面级情感分析模块对用户评论文本进行词嵌入，并将所有用户评论文本的情感嵌入进行拼接，得到用户评论情感嵌入序列；
6、s3、将所述历史行为轨迹子串、动态时序知识图谱、静态群组知识图谱和用户评论情感嵌入序列输入兴趣点推荐模型，先由嵌入模块对输入数据进行词嵌入操作，再由多模态知识融合模块基于异构互注意力机制对动态时序知识图谱和静态群组知识图谱进行融合操作，并且将兴趣点、用户以及其他多模态信息进行融合获得兴趣点融合特征表示和用户融合特征表示，最后由解码模块将兴趣点融合特征表示和用户融合特征表示拼接后输入级联的循环神经网络和多层感知机中，预测下一时刻目标用户可能访问的兴趣点。
7、作为上述第一方面的优选，所述动态时序知识图谱中，通过由用户、访问关系标识符、访问兴趣点和访问时刻组成的四元组记录访问关系，通过由在先访问地点、跟随关标识符、在后访问地点和访问时刻组成的四元组记录跟随关系；
8、所述静态群组知识图谱中，通过由用户、社交关系标识符、用户组成的三元组记录社交关系，通过兴趣点、位置关系标识符、所坐落的geohash-5空间区域组成的三元组记录位置关系，通过兴趣点、相邻关系标识符、兴趣点组成的三元组记录相邻关系，通过兴趣点、类别关系标识符、所属兴趣点类别组成的三元组记录类别关系，通过用户、群组关系标识符、所属的用户群组组成的三元组记录群组关系，其中用户群组分为基于访问的兴趣点聚类划分得到的兴趣点级别群组和基于访问的geohash-5空间区域聚类划分得到的区域级别群组。
9、作为上述第一方面的优选，所述方面级情感分析模块由经过预训练的distilbert模型与多分类器级联后一起经过微调得到；在方面级情感分析模块中，先由distilbert模型对用户评论文本生成嵌入表示，然后将嵌入表示输入多分类器中，得到该用户评论文本对应的评论维度和在每个评论维度上的正负面得分，将所有评论维度上的正负面得分拼接后输出为用户评论文本对应的情感嵌入。
10、进一步的，所述评论维度包括产品、价格和服务三个维度。
11、作为上述第一方面的优选，所述多模态知识融合模块中的处理流程如下：
12、s31、将动态时序知识图谱和静态群组知识图谱分别输入异构图注意力网络中进行信息融合，获得融合后的动态时序知识图谱和静态群组知识图谱；
13、s32、将所述历史行为轨迹子串中的所有兴趣点按照用户的访问先后顺序排列，从所述融合后的动态时序知识图谱中按序提取各兴趣点对应的隐藏层向量，组成带有全局时间片信息的用户行为轨迹嵌入，从融合后的静态群组知识图谱中按序提取各兴趣点对应的隐藏层向量，组成带有全局静态信息的用户行为轨迹嵌入；从所述融合后的静态群组知识图谱中提取兴趣点级别群组特征和区域级别群组特征；
14、s33、以所述用户评论情感嵌入序列作为查询，通过注意力机制对带有全局时间片信息的用户行为轨迹嵌入和原始用户行为轨迹嵌入进行融合，得到融合后的用户行为轨迹嵌入；将融合后的用户行为轨迹嵌入作为值，将带有全局静态信息的用户行为轨迹嵌入作为查询，将兴趣点级别群组特征作为键，输入transformer模型的encoder模块进行融合编码，得到兴趣点融合特征表示；
15、s34、将兴趣点级别群组特征和区域级别群组特征拼接后进行融合，将得到的融合群组特征作为键，将所述融合后的静态群组知识图谱中所有用户的用户嵌入特征表示作为查询，将原始的静态群组知识图谱中所有用户的用户嵌入特征表示作为值，输入transformer模型的encoder模块进行融合编码，得到用户融合特征表示。
16、作为上述第一方面的优选，所述兴趣点推荐模型需预先通过总损失函数进行优化，所述总损失函数由兴趣点预测损失和静态图损失加权得到。
17、进一步的，所述兴趣点推荐模型需预先进行训练，训练所用的总损失函数由兴趣点预测损失和所有历史时间片的静态图损失加权得到；所述兴趣点预测损失为兴趣点推荐模型输出的预测值与标签值之间的交叉熵损失，任意第x个历史时间片的所述静态图损失的计算式为，其中超参数表示偏离角度的增大速度，表示静态群组知识图谱中由所有用户和所有兴趣点构成的实体集合中的实体数量，和分别代表实体集合中第i个实体在融合后的动态时序知识图谱和融合后的静态群组知识图谱中对应的嵌入特征表示。
18、第二方面，本发明提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时，能实现如上述第一方面任一项方案所述的基于时序知识图谱的兴趣点推荐方法。
19、第三方面，本发明提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，能实现如上述第一方面任一项方案所述的基于时序知识图谱的兴趣点推荐方法。
20、第四方面，本发明提供了一种计算机电子设备，其包括存储器和处理器；
21、所述存储器，用于存储计算机程序；
22、所述处理器，用于当执行所述计算机程序时，能实现如上述第一方面任一项方案所述的基于时序知识图谱的兴趣点推荐方法。
23、相对于现有技术而言，本发明的有益效果如下：
24、本发明针对多模态场景的下一个兴趣点推荐问题，提出了一种基于时序知识图谱的兴趣点推荐方法。该方法基于用户历史行为轨迹分别构建了动态时序知识图谱和静态群组知识图谱，以学习用户的动态行为偏好和静态特征。而且本发明利用异构互注意力机制对动态时序知识图谱和静态群组知识图谱进行信息聚合，以学习知识图谱中的多元异构信息，并通过引入多模态知识融合模块，在方面级情感分析模块从用户评论文本中提取的反映用户情感倾向的高质量语义信息辅助下，对用户特征和兴趣点特征进行交叉学习，有效地应对真实场景下的信息融合问题，为下一个兴趣点推荐提供指导。本发明具有准确度高、可扩展性强等特点，可以及时掌握用户行为走向，为实现个性化的用户行为轨迹预测提供技术支持。
1.一种基于时序知识图谱的兴趣点推荐方法，其特征在于，包括：
2.如权利要求1所述的基于时序知识图谱的兴趣点推荐方法，其特征在于，
3.如权利要求1所述的基于时序知识图谱的兴趣点推荐方法，其特征在于，所述方面级情感分析模块由经过预训练的distilbert模型与多分类器级联后一起经过微调得到；在方面级情感分析模块中，先由distilbert模型对用户评论文本生成嵌入表示，然后将嵌入表示输入多分类器中，得到该用户评论文本对应的评论维度和在每个评论维度上的正负面得分，将所有评论维度上的正负面得分拼接后输出为用户评论文本对应的情感嵌入。
4.如权利要求3所述的基于时序知识图谱的兴趣点推荐方法，其特征在于，所述评论维度包括产品、价格和服务三个维度。
5.如权利要求1所述的基于时序知识图谱的兴趣点推荐方法，其特征在于，所述多模态知识融合模块中的处理流程如下：
6.如权利要求1所述的基于时序知识图谱的兴趣点推荐方法，其特征在于，所述兴趣点推荐模型需预先进行训练，训练所用的总损失函数由兴趣点预测损失和所有历史时间片的静态图损失加权得到；所述兴趣点预测损失为兴趣点推荐模型输出的预测值与标签值之间的交叉熵损失，任意第x个历史时间片的所述静态图损失的计算式为，其中超参数表示偏离角度的增大速度，表示静态群组知识图谱中由所有用户和所有兴趣点构成的实体集合中的实体数量，和分别代表实体集合中第i个实体在融合后的动态时序知识图谱和融合后的静态群组知识图谱中对应的嵌入特征表示。
7.如权利要求1所述的基于时序知识图谱的兴趣点推荐方法，其特征在于， 所述解码模块中的循环神经网络采用长短期记忆网络。
8.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时，能实现如权利要求1~7任一项所述的基于时序知识图谱的兴趣点推荐方法。
9.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1~7任一所述的基于时序知识图谱的兴趣点推荐方法。
10.一种计算机电子设备，其特征在于，包括存储器和处理器；
