本发明涉及隐私保护和图神经网络领域,尤其涉及一种基于图自编码器的图神经网络隐私保护方法。
背景技术:
1、图神经网络是一种用于挖掘图结构数据的有效神经架构,因为它可以捕获图上的高阶内容和拓扑信息。尽管各方面取得了成功,但当图中包含个人数据时,图神经网络的实际部署会引发隐私问题:例如,社交或金融网络涉及有关个人及其交互的敏感信息。差分隐私通过随机化和添加噪声扰动数据实现,可以用于图神经网络训练的不同时机。
2、sajadmanesh和gatica-perez等人通过考虑分布式学习设置,提出了一种本地差分隐私图神经网络模型,其中节点特征和标签是私有的,但训练图神经网络是由可以访问图边的中央服务器联合进行的。然而他们的方法不能保证图的拓扑结构信息的隐私。具体参见[sina sajadmanesh and daniel gatica-perez.locally private graph neuralnetworks.in proceedings of the 2021acm sigsac conference on computer andcommunications security,pages 2130–2145,2021.]。
3、wu等人通过使用随机响应或拉普拉斯机制直接扰动输入图,提出了一种图神经网络的边级隐私学习算法。然后,在生成的噪声图上训练图神经网络。然而,他们的方法不能简单地扩展到节点级隐私设置。具体参见:[fan wu,yunhui long,ce zhang,and boli.linkteller:recovering private edges from graph neural networks viainfluence analysis.arxiv preprint arxiv:2108.06504,2021.]
4、jia等人通过对抗性图机器学习构建了一组噪声,并随机选择噪声来误导推理攻击人员。但是他们只处理节点的属性而忽略了节点之间的链接,因此他们的方法不能很好地抵抗利用图的拓扑结构信息(包括图边和节点)的推理攻击。具体参见:[j.jia andn.z.gong,“attriguard:a practical defense against attribute inference attacksvia adversarial machine learning,”in proc.27th usenix security symp.(usenixsecurity),2018,pp.513–529.]
5、daigavane等人提出了一种用于训练1层图神经网络的节点级差分隐私方法,通过扩展标准差分隐私随机梯度下降算法和将结果二次采样到有界度图数据来实现隐私放大。但是方法无法提供推理隐私,并且仅限于1层图神经网络,因此无法利用高阶多跳聚合。具体参见:[ameya daigavane,gagan madan,aditya sinha,abhradeep guha thakurta,gaurav aggarwal,and prateek jain.node-level differentially private graphneural networks.arxiv preprint arxiv:2111.15521,2021.]
6、但现有技术存在如下不足:
7、传统的分布式图神经网络结合本地差分隐私的方法,要求中央服务器可以访问图的边数据,这一设置可能存在隐私泄露的风险。
8、现有面向图神经网络的差分隐私保护方法通常是直接扰动输入的图数据,一般只能作用于边或者节点其中之一。然而,随着信息敏感度的提升,需要保护图拓扑结构的隐私信息,即隐藏节点的同时也隐藏其连接信息,隐私强度较高,难度较大,现有方法无法简单地将其扩展至图拓扑结构的隐私,其适用范围存在局限性。
9、现有图神经网络节点级差分隐私保护虽然可以应用于训练1层图神经网络,但无法提供对推理隐私的有效保护。且其局限于1层网络,无法利用高阶聚合,限制了对更复杂图结构的建模能力。
技术实现思路
1、本发明的目的在于公开一种基于图自编码器的图神经网络隐私保护方法,解决背景技术中提出的技术问题。
2、为了达到上述目的,本发明提供如下技术方案:
3、本发明提供了一种基于图自编码器的图神经网络隐私保护方法,包括:
4、第一步,独立预训练编码器模型,将线性softmax层附加到多层感知机上进行标签预测,然后使用节点特征和标签预训练该模型;
5、第二步,使用预训练好的编码器模型提取节点的低维特征;
6、第三步,对预训练好的编码器模提取的低维特征进行归一化;
7、第四步,使用聚合模块基于编码器模型提取的低维特征递归计算扰动后的隐私多跳聚合;
8、第五步,使用归一化之后的低维特征和第四步得到的聚合特征训练基础多层感知机;
9、第六步,结合隐藏表示得到集成的节点嵌入;
10、第七步,使用集成的节点嵌入训练头多层感知机;
11、第八步,利用集成的节点嵌入训练图自编码器,并将高斯噪声注入到训练梯度中,通过最小化图的无监督交叉熵损失进行训练;
12、第九步,通过图卷积神经网络作为图自编码器的编码器部分,获得图节点的低维嵌入;
13、第十步,计算低维嵌入的内积作为解码器以重建边;
14、第十一步,通过扰动链接预测任务的梯度来保存图的拓扑结构信息,在梯度裁剪之后和梯度更新之前向梯度注入噪声;
15、第十二步,对图数据使用预训练的编码器模型提取节点特征;
16、第十三步,使用聚合模块计算图上的聚合扰动;
17、第十四步,使用另一个多层感知机,基于聚合后的隐私节点特征表示对图中的节点进行节点分类;
18、第十五步,使用训练好的图自编码器进行链接预测;
19、第十六步,使用训练好的图自编码器,将节点嵌入h'输入到图自编码器的解码器中获得预测图。
20、可选的,第一步包括:
21、获取社交网络图数据的邻接矩阵a、节点特征x、节点标签y、最大跳数k、噪声方差σ2;利用差分隐私机制训练编码器模型,将线性层softmax附加到多层感知机上进行标签预测,然后使用节点特征x和节点标签y分别预训练该模型,得到参数集θe。
22、可选的,第二步包括:
23、使用得到的编码器模型和参数θe,提取节点的低维特征x(0):
24、使用第一步预训练好的编码器模型提取节点低维特征表示第一步得到的训练好的模型的参数。
25、可选的,第三步包括:
26、对提取的低维特征进行l2归一化,得到归一化特征
27、通过聚合模块,对编码器提取的低维特征x(0)进行归一化:表示归一化后的节点特征,表示0跳邻居的聚合节点特征。
28、可选的,第四步包括:
29、使用私有多跳聚合算法进行私有多跳聚合扰动,得到私有聚合后的特征矩阵
30、聚合模块基于编码器模型的输出归一化后低维特征递归计算扰动后的隐私多跳聚合。
31、可选的,第五步包括:
32、使用归一化之后的低维特征和隐私聚合特征列表训练分类模块,分类模块的目标是在不进一步依赖图边的情况下预测节点标签,对于每个k∈{0,1,...,k},首先使用相应的基础mlp获得k跳表示h(k):
33、
34、是模型的参数;
35、使用节点特征x和私有聚合后的特征矩阵以及标签信息,训练分类模块中的基础多层感知机,返回训练得到的模型参数
36、可选的,第六步包括:
37、结合隐藏表示得到集成的节点嵌入h=combine({h(0),h(1),…,h(k)};θc),其中combine是可微分的组合策略。
38、可选的,第七步包括:
39、将集成表示输入到头mlp(表示为mlpend)中,以获得节点的后验类别概率:通过最小化交叉熵损失函数训练模型,得到参数
40、可选的,第八步包括:
41、使用结合的隐藏表示训练图自编码器,这里使用图卷积神经网络作为编码器,通过迭代t次训练,最小化最图的无监督交叉熵损失函数。
42、可选的,第九步包括:
43、通过图卷积网络获得低维嵌入z=gcn(x,a),gcn表示图卷积神经网络。
44、有益效果:
45、良好的隐私保护效果:本发明设计了基于图自编码器的图神经网络隐私保护建模方案,有效地防止了边级数据的隐私泄露。该框架不仅能有效地防止边级数据的隐私泄露,可以根据需求灵活扩展至图的拓扑结构隐私。这确保了对图数据的全面隐私保护,防范了敏感信息的泄露。
46、较好的聚合效用:本发明设计的针对图的邻居节点多跳聚合的差分隐私保护方案中每个聚合步骤都充当去噪机制,平均掉上一步中添加的噪声,部分注入的噪声被隐私多跳机制本身抑制,从而获得更好的聚合效用。其预训练编码器策略使得聚合模块与模型训练无关,这显着降低了总隐私成本,因为隐私多跳机制仅被调用一次,并且其输出被缓存以供整个训练和推理重用。方案通过递归多跳聚合的方式,充分地利用了高阶、多跳的信息。这有助于提高模型对图数据的学习能力,增强了模型在推理和分类任务中的表现。
47、较低的隐私成本:本发明设计的方法在实现隐私保护的同时,通过隐私多跳机制的优势和噪声抑制效应,实现了较低的隐私预算。预训练编码器的策略使得聚合模块与模型训练无关,这显着降低了总隐私成本。
1.一种基于图自编码器的图神经网络隐私保护方法,其特征在于,包括:
2.根据权利要求1所述的一种基于图自编码器的图神经网络隐私保护方法,其特征在于,第一步包括:
3.根据权利要求1所述的一种基于图自编码器的图神经网络隐私保护方法,其特征在于,第二步包括:
4.根据权利要求1所述的一种基于图自编码器的图神经网络隐私保护方法,其特征在于,第三步包括:
5.根据权利要求1所述的一种基于图自编码器的图神经网络隐私保护方法,其特征在于,第四步包括:
6.根据权利要求1所述的一种基于图自编码器的图神经网络隐私保护方法,其特征在于,第五步包括:
7.根据权利要求1所述的一种基于图自编码器的图神经网络隐私保护方法,其特征在于,第六步包括:
8.根据权利要求1所述的一种基于图自编码器的图神经网络隐私保护方法,其特征在于,第七步包括:
9.根据权利要求1所述的一种基于图自编码器的图神经网络隐私保护方法,其特征在于,第八步包括:
10.根据权利要求1所述的一种基于图自编码器的图神经网络隐私保护方法,其特征在于,第九步包括:
