本发明涉及人工智能，特别涉及一种基于vit模型的对抗样本检测方法及系统。
背景技术：
1、随着技术的蓬勃发展，深度学习在我们的日常生活中扮演着越来越重要的角色。目前，深度学习模型已成功应用于自然语言处理、图像分类、语音识别等。特别是transformer模型的出现，通过其独特的自注意力机制（自注意力机制是一种能够捕捉序列内部元素之间关系的技术。不同于传统的注意力机制，它计算序列中每个元素与其他元素的相似度，从而实现全局依赖关系的捕捉），突破了早期的序列处理模型如rnn、lstm以及cnn等的局限，推动了自然语言处理领域的快速发展，使得以transformer为基础的先进序列处理模型如bert、chatgpt等不断涌现。除了自然语言处理，transformer及其衍生模型还在更广泛的领域中扮演重要的角色，如生物信息学、图像分类等，其中vit模型（visiontransformer，vit）是一种将序列处理模型transformer应用于图像分类的开创性方法。而用于训练vit模型的dino算法是一个自监督学习的框架，可以生成可视化的高质量的注意力图。
2、联邦学习本质上是一种分布式机器学习框架，其做到了在保障数据隐私安全及合法合规的基础上，实现数据共享，共同建模。它的核心思想是在多个数据源共同参与模型训练时，不需要进行原始数据流转的前提下，仅通过交互模型中间参数进行模型联合训练，原始数据可以不出本地。这种方式实现了数据隐私保护和数据共享分析的平衡，即“数据可用不可见”的数据应用模式。
3、由于在设计时并未考虑攻击者的存在，机器学习包括联邦学习的安全问题渐渐显现出来，面临来自多个方面的威胁：包括学习框架中的软件实现漏洞、对抗样本攻击、训练数据的污染（数据投毒）、模型窃取等。其中对抗样本攻击指在不改变目标学习系统的情况下，通过向干净样本中添加精心设计的、人类无法感知的噪音来构造对抗性样本，从而达到不干扰人类认知而促使机器学习模型对精心构造的对抗性样本做出错误判断的目的。由于这种细微的扰动通常是人眼难以分辨的，因而使得攻击隐蔽性极强，但其足以改变模型的预测结果，危害性极大，从而给现实场景中，尤其是风险敏感场景中（如工业互联网）实际部署应用的联邦学习模型带来了巨大的安全威胁。因此，设计更强大的、有效的对抗样本检测方法是当前深度学习模型安全保护研究的重点之一。
4、本发明研究发现，在一个多层transformer编码器的vit模型中，干净样本的注意力图在前几层就已经趋于稳定了，然而，对抗样本的注意力图直到后几层仍然会发生显著变化。这种现象直观显化为干净样本和对抗样本在各层transformer编码器中生成的注意力图的稳定性呈现出明显差异。基于上述原理，本发明提出一种基于vit模型的对抗样本检测方法及系统。
技术实现思路
1、本发明的目的在于提供基于vit模型的对抗样本检测方法及系统，在面对图像对抗样本攻击时，能够有效提升检测对抗样本的能力。
2、为了实现上述发明目的，本发明实施例提供了以下技术方案：
3、一种基于vit模型的对抗样本检测方法，包括以下步骤：
4、步骤s1，获取干净样本，所述干净样本为无类别标签的图像样本；
5、步骤s2，构建检测模型，所述检测模型采用vit模型（vision transformer，vit），其主要结构包括嵌入层、transformer编码器层等；
6、步骤s3，将所获取的干净样本输入检测模型，以交叉熵损失作为损失函数，采用dino算法对检测模型进行自监督训练；
7、步骤s4，将待检测样本输入到训练好的检测模型中，所述待检测样本为无类别标签的图像样本，包括干净样本和对抗样本；计算检测模型中每层transformer编码器的注意力矩阵，选取其中的第m层和第n层，生成对应的注意力图im和in；
8、步骤s5，计算im和in的结构相似性指数ssim值，如果大于设定的阈值p，则将其判定为对抗样本，否则为干净样本。
9、所述的基于vit模型的对抗样本检测方法，所述步骤s2还包括：
10、所述transformer编码器层，由多层transformer编码器堆叠而成，每层transformer编码器的主要结构包括多头自注意力层、前馈层和规范化层等。
11、所述的基于vit模型的对抗样本检测方法，所述步骤s5还包括：
12、步骤s51，所述结构相似性指数ssim是一种测量两幅图像相似性的方法，设有图像x、y，两幅图像的结构相似性指数定义为，其中是图像的平均强度，和是图像的方差，是图像x和y的协方差，和是常数；
13、步骤s52，所述阈值p是指将干净样本输入到训练好的检测模型中，通过计算检测模型中每层transformer编码器的注意力矩阵，选取其中的第m层和第n层，生成对应的注意力图，通过计算其结构相似性指数ssim所得到的值。
14、另一方面，本发明实施例还提供了一种基于vit模型的对抗样本检测系统,包括：
15、检测模型构建模块，所述检测模型采用vit模型（vision transformer，vit），其主要结构包括嵌入层、transformer编码器层；
16、模型训练模块，获取干净样本，所述干净样本为无类别标签的图像样本；将所获取的干净样本输入检测模型，以交叉熵损失作为损失函数，采用dino算法对检测模型进行自监督训练；
17、注意力图生成模块，将待检测样本输入到训练好的检测模型中，所述待检测样本为无类别标签的图像样本，包括干净样本和对抗样本；计算检测模型中每层transformer编码器的注意力矩阵，选取其中的第m层和第n层，生成对应的注意力图im和in；
18、对抗样本检测模块，计算im和in的结构相似性指数ssim值，如果大于设定的阈值p，则将其判定为对抗样本，否则为干净样本。
19、所述的基于vit模型的对抗样本检测系统，所述检测模型构建模块还包括：
20、所述transformer编码器层，由多层transformer编码器堆叠而成，每层transformer编码器的主要结构包括多头自注意力层、前馈层和规范化层。
21、所述的基于vit模型的对抗样本检测系统，所述对抗样本检测模块还包括：
22、所述结构相似性指数ssim是一种测量两幅图像相似性的方法，设有图像x、y，两幅图像的结构相似性指数定义为，其中是图像的平均强度，和是图像的方差，是图像x和y的协方差，和是常数；
23、所述阈值p是指将干净样本输入到训练好的检测模型中，通过计算检测模型中每层transformer编码器的注意力矩阵，选取其中的第m层和第n层，生成对应的注意力图，通过计算其结构相似性指数ssim所得到的值。
24、再一方面，本发明实施例同时提供了一种包括计算机可读指令的计算机可读存储介质，所述计算机可读指令在被执行时，使处理器执行本发明任一实施例中所述方法中的步骤。
25、再一方面，本发明实施例同时提供了一种电子设备，包括：存储器，存储程序指令；处理器，与所述存储器相连接，执行存储器中的程序指令，实现本发明任一实施例中所述方法。
26、与现有技术相比，本发明具有以下优点：
27、（1）本发明用于训练检测模型的dino算法是一个自监督学习的框架，在对检测模型进行训练时只需要使用未标注的干净样本，大大降低了训练检测模型的成本和代价。同时，采用的transformer自注意力机制能够并行处理整个序列，不受序列长度的限制，提高了检测模型训练和推理的速度，从而显著提升了计算效率；
28、（2）本发明采用的transformer自注意力机制是一种能够捕捉序列内部元素之间关系的技术。不同于传统的注意力机制，它计算序列中每个元素与其他元素的相似度，从而实现全局依赖关系的捕捉，突破了早期的序列处理模型如rnn、lstm以及cnn等的局限。同时， 用于训练检测模型的dino算法是一个自监督学习的框架，通过学习预测输入数据中的未知部分，自监督模型可以学习到更丰富的数据表示，这有助于检测模型泛化到未见过的对抗攻击上；
29、（3）本发明采用的dino算法可以生成可视化的高质量的注意力图，能够可视化检测模型在观察图像时所关注的对分类决策至关重要的区域，使得干净样本和对抗样本注意力图之间的差异更加明显，有效提高了检测模型的性能；
30、（4）本发明采用的transformer中的自注意力权重可被用来解释检测模型的工作方式，增加了可解释性。同时，dino训练算法会使检测模型学习到更深层次的、语义更丰富的特征，这些特征可以更有效地揭示对抗性扰动，生成的注意力图为检测模型的解释性提供了更丰富的视觉依据，通过研究这些注意力图，能在一定程度上增强对抗扰动的解释性，有效解决了当前对抗样本攻击检测所面临的挑战，对于以后进行对抗扰动的作用机理的研究具有非常重要的意义。
1.一种基于vit模型的对抗样本检测方法，其特征在于，包括：
2.根据权利要求1所述的一种基于vit模型的对抗样本检测方法，其特征在于，所述步骤s2，包括：
3.根据权利要求1所述的一种基于vit模型的对抗样本检测方法，其特征在于，所述步骤s5，包括：
4.一种基于vit模型的对抗样本检测系统，其特征在于，包括：
5.根据权利要求4所述的一种基于vit模型的对抗样本检测系统，其特征在于，所述检测模型构建模块，包括：所述transformer编码器层，由多层transformer编码器堆叠而成，每层transformer编码器的主要结构包括多头自注意力层、前馈层和规范化层。
6.根据权利要求4所述的一种基于vit模型的对抗样本检测系统，其特征在于，所述对抗样本检测模块，包括：所述结构相似性指数ssim是一种测量两幅图像相似性的方法，设有图像x、y，两幅图像的结构相似性指数定义为，其中是图像的平均强度，和是图像的方差，是图像x和y的协方差，和是常数；所述阈值p是指将干净样本输入到训练好的检测模型中，通过计算检测模型中每层transformer编码器的注意力矩阵，选取其中的第m层和第n层，生成对应的注意力图，通过计算其结构相似性指数ssim所得到的值。
7.一种包括计算机可读指令的计算机可读存储介质，其特征在于，所述计算机可读指令在被执行时，使处理器执行权利要求1-3任一所述方法中的步骤。
8.一种电子设备，其特征在于，包括：
