基于特征图去噪以及图像增强的敌对样本防护方法与流程

专利2022-06-29  87


本发明涉及人工智能安全和信息安全技术领域,尤其涉及一种基于特征图去噪以及图像增强的敌对样本防护方法。



背景技术:

自从2012年深度学习迎来爆发式发展,神经网络包括cnn(convolutionalneuralnetworks)、dn(deconvolutionalnetworks)、gan(generativeadversarialnetworks)等在图像检测和识别领域逐渐取得了明显优于传统目标检测方法的成绩,并在计算机视觉领域占据了重要的地位。但神经网络的线性特性致使其易被攻击者恶意构造的对抗样本愚弄,致使深度学习模型的安全收到威胁。

在对抗样本攻击中,攻击者通过在输入中加入线性扰动致使深度学习模型识别错误。对抗样本的攻击原理为:对抗样本中的微小扰动随迭代次数增加而逐层增大最终致使模型的分类器输出错误。攻击方式分为两类,即黑盒攻击(black-boxattacks)与白盒攻击(white-boxattacks)。在黑盒场景下,攻击者无法获取模型的参数等详细信息,而在白盒场景下,攻击者可以在已知模型信息的条件下构造敌对样本。

对抗样本生成算法包括:1)fgsm攻击算法(fastgradientsignmethod)。其训练目标是通过在梯度方向增加微小偏移增大损失函数来获取对抗样本。2)i-fgsm攻击算法(iterativefgsm)。其目标是通过多次迭代fgsm算法,在输入中多次增加微小偏移来构造更精准的对抗样本。攻击算法造成的主要危害包括:

图像检测与模式识别领域的错误分类;

自动驾驶领域的异常识别,加州大学downsong教授的团队通过在“stop”交通标识牌上贴胶带来欺骗自动驾驶的人工智能;

人脸识别领域的错误认证,卡内基梅隆大学研究人员发现,通过佩戴特殊设计的眼镜框架,即可愚弄先进的人工智能识别系统。

考虑到对抗样本攻击的危害性,提供可靠、稳定并且效用良好的防护方法十分必要。

已有的敌对样本防护方法有以下三种。

(1)对抗性训练:通过在训练集中加入对抗样本,使模型习得相应数据,即进行一定正则化。

(2)蒸馏:通过用软标签(softtarget)对模型进行训练,来让模型的梯度更加平滑,使攻击者更难获得梯度信息。

(3)去噪:对输入进行去噪操作,减弱和消除攻击者施加的噪声信息。

已有的对抗样本防护算法在防御对抗样本任务中取得了良好的成绩,但在运用过程中存在缺陷。蒸馏方法在任务规模较大,模型较为复杂时应用困难,而去噪方法则会使图片丢失部分信息。另一方面考虑到模型结构的复杂性,已有的防护方法难以在模型之间迁移,无疑给防护任务带来困难。除此之外,部分已有的防护方法增加了模型的复杂度,导致计算量大幅增加。



技术实现要素:

为了提高深度学习模型对抗敌对样本时的鲁棒性,本发明提出一种基于特征图去噪以及图像增强的敌对样本防护方法。在不改动模型结构的基础上,在特征图空间进行修改,达到去噪的目的。

为了达到之一目的,本发明采用的技术方案如下:

构建图像的神经网络模型,包括三层卷积层,对第一层卷积层进行如下操作:

s1、对目标特征通道进行切片和特征图提取;

s2、移动定位点坐标到特征图的最亮点,以所述最亮点为中心对特征图进行切片;

s3、判断所述切片属于亮区、暗区还是鲁棒区,如果属于亮区,则将所述定位点坐标移动到所述特征图第二亮的点,如果属于暗区或鲁棒区,则重新搜索寻找所述特征图中的第二亮的点,将定位点坐标定位到该点;

s4、重复执行s3,直到搜索次数达到预定次数,将所述特征图切片中所有点的像素值更改为最亮点像素值;

s5、将暗区和鲁棒区所有点的像素值归0,去除噪声;

s6、将经过以上处理的特征图进行合并叠加,合并后的特征图与原始特征通道大小相等。

作为优选,s3中采用深度优先搜索算法搜索寻找所述特征图中的第二亮的点。

进一步,所述深度优先搜素算法具体是,通过递归更新当前坐标,以第二亮点坐标为下一次递归采用的定位坐标参数。

作为优选,所述判断所述切片属于亮区、暗区还是鲁棒区具体为:判断定位点是否位于有效连通特征边界,如果是则沿边界双向处理所述连通特征,如果不是则寻找该切片内第二亮点;判断为亮区后,定位切片以当前定位坐标为十字中心区域的第二亮点坐标值,即第二亮点定位坐标值需与当前定位坐标直接相邻;对重新定位坐标进行审查,若不符合条件,则结束本次递归调用;所述条件为:全特征图经处理的像素点数目不得超过全图像素点总数额的三分之一。

进一步的,采用中轴线边界判定算法判断定位点是否位于有效连通特征边界。

更进一步的,所述中轴线边界判定算法通过比较中轴线两边对称点像素值与亮区判定值和暗区判定值大小,来判定该轴线是否为边界;所述暗区判定值设置为全图像素点值中位数与平均值的最大值,所述亮区判定值为暗区判定值加相应参数0.05。

作为优选,设置所述亮区的识别值为全图像素值按正序排序时,位于总像素点数三分之一位置处的像素值。

作为优选,设置所述暗区的识别值为全图像素值按倒序排序时,位于总像素点数三分之一位置处的像素值。

本发明在提升神经网络识别样本的鲁棒性的同时,能够有效缓解去噪过程对神经网络的影响,使其在识别干净样本时,能保持较高的正确率;本发明在特征图维度进行处理,具有较好的普适性,因其不改变模型结构的特点,有效规避了可能出现的模型复杂度增加问题。经过在测试集上进行测试,验证本发明能有效防御fgsm等多个攻击算法。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例基于特征图去噪以及图像增强的敌对样本防护方法的流程图;

图2为图1实施例的方法与现有技术在fgsm算法生成敌对样本测试集上的准确率对比图;

图3为图1实施例的方法与现有技术在i-fgsm算法生成敌对样本测试集上的准确率对比图;图4为应用图1实施例的方法前后对比效果图,(a)为应用本实施例的方法之前,(b)为应用本实施例方法之后。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

如图1所示,本实施例是基于特征图去噪以及图像增强的敌对样本防护方法,包括以下步骤,

步骤1、对目标特征通道进行切片和特征图提取;

步骤2、移动定位点坐标到特征图的最亮点,以所述最亮点为中心对特征图进行切片;

步骤3、判断所述切片属于亮区、暗区还是鲁棒区,如果属于亮区,则将所述定位点坐标移动到所述特征图第二亮的点,如果属于暗区或鲁棒区,则重新搜索寻找所述特征图中的第二亮的点,将定位点坐标定位到该点;

步骤4、重复执行步骤3,直到搜索次数达到预定次数,将所述特征图切片中所有点的像素值更改为最亮点像素值;

步骤5、将暗区和鲁棒区所有点的像素值归0,去除噪声;

步骤6、将经过以上处理的特征图进行合并叠加,合并后的特征图与原始特征通道大小相等。

在本实施例中,选取第一层卷积层所提取的特征通道,其特征图尺寸为28*28mm,切片数为32。在本实施例中,实验对象为在图像尺寸为28*28mm的mnist数据集上通过fgsm算法和i-fgsm算法生成的对抗样本数据集。

在一较佳实施例中,步骤2以所述最亮点为中心对特征图进行切片具体是,以最亮点为中心、以3mm为半径切片。

在一较佳实施例中,搜索寻找所述特征图中的第二亮的点采用的是深度优先搜素算法,具体是通过递归更新当前坐标,以第二亮点坐标为下一次递归采用的定位坐标参数,实现持续搜索判断。

在本实施例中,设置所述亮区的识别值为全图像素值按正序排序时,位于总像素点数三分之一位置处的像素值。

在本实施例中,设置所述暗区的识别值为全图像素值按倒序排序时,位于总像素点数三分之一位置处的像素值。

在判别有效连通特征时,即判断该区为亮区而非鲁棒区或暗区的操作中,采用的标准如下:

1、判断定位点是否位于有效连通特征边界。如果是,则沿边界双向处理特征。在本实施例中,采用中轴线边界判定算法。暗区判定值设置为全图像素点值中位数与平均值的最大值。亮区判定值为暗区判定值加相应参数,例如0.05。中轴线边界判定算法通过比较中轴线两边对称点像素值与亮区判定值,暗区判定值大小,来判定该轴线是否为边界。

2、判断为亮区后,定位切片以当前定位坐标为十字中心区域的第二亮坐标值,即坐标值需与当前定位坐标直接相邻,以保证有效特征的连通性。

3、对重新定位坐标进行审查。若不符合条件,则结束本次递归调用。新定位坐标值需满足以下条件:全特征图经处理的像素点数目不得超过全图像素点总数额的三分之一。

在一种具体实施方式中,计算以该定位点为中心,2为半径8个方位像素值中已被判定修改为最亮值的像素点个数,其个数不得超过5。此限制有助于限制因扰动施加面积过大以及扰动与有效特征边界接壤造成的错误重新定位,防止亮区判别定位点泛滥,造成特征图损坏。

在本实施例中,采用重定位限制、区域重定位限制、方向定位限制三种方法加强对样本的处理效果,有效防止特征图过度处理以致损坏,增加其鲁棒性。

1、重定位限制:定位坐标重新定位到全图最亮点的次数。

2、区域重定位限制:定位坐标重新在同一区域内定位的次数。

3、方向定位限制:对于每次定位,若其上下左右等8个方向方格已被定位的个数大于限制参数则放弃本次定位操作。方向定位限制假设设定参数为5。限制范围为方向方格垂直距离定位点的距离。限制范围设定值为2。

以上所列举的数值仅为了说明一个较佳实施例中的一种情况,用于举例而不是限定为该数值,还可能是其他情况,无法一一列举。凡属于本发明的发明思想,由本发明技术方案所体现的实施方式,均在本发明的保护范围之内。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段,还包括由以上技术特征任意组合所组成的技术方案。


技术特征:

1.一种基于特征图去噪以及图像增强的敌对样本防护方法,其特征在于,包括以下步骤,

构建图像的神经网络模型,包括三层卷积层,对第一层卷积层进行如下操作:

s1、对目标特征通道进行切片和特征图提取;

s2、移动定位点坐标到特征图的最亮点,以所述最亮点为中心对特征图进行切片;

s3、判断所述切片属于亮区、暗区还是鲁棒区,如果属于亮区,则将所述定位点坐标移动到所述特征图第二亮的点,如果属于暗区或鲁棒区,则重新搜索寻找所述特征图中的第二亮的点,将定位点坐标定位到该点;

s4、重复执行s3,直到搜索次数达到预定次数,将所述特征图切片中所有点的像素值更改为最亮点像素值;

s5、将暗区和鲁棒区所有点的像素值归0,去除噪声;

s6、将经过以上处理的特征图进行合并叠加,合并后的特征图与原始特征通道大小相等。

2.根据权利要求1所述的基于特征图去噪以及图像增强的敌对样本防护方法,其特征在于,s3中采用深度优先搜索算法搜索寻找所述特征图中的第二亮的点。

3.根据权利要求2所述的基于特征图去噪以及图像增强的敌对样本防护方法,其特征在于,所述深度优先搜素算法具体是,通过递归更新当前坐标,以第二亮点坐标为下一次递归采用的定位坐标参数。

4.根据权利要求1所述的基于特征图去噪以及图像增强的敌对样本防护方法,其特征在于,所述判断所述切片属于亮区、暗区还是鲁棒区具体为:

判断定位点是否位于有效连通特征边界,如果是则沿边界双向处理所述连通特征,如果不是则寻找该切片内第二亮点;

判断为亮区后,定位切片以当前定位坐标为十字中心区域的第二亮点坐标值,即第二亮点定位坐标值需与当前定位坐标直接相邻;

对重新定位坐标进行审查,若不符合条件,则结束本次递归调用;所述条件为:全特征图经处理的像素点数目不得超过全图像素点总数额的三分之一。

5.根据权利要求4所述的基于特征图去噪以及图像增强的敌对样本防护方法,其特征在于,采用中轴线边界判定算法判断定位点是否位于有效连通特征边界。

6.根据权利要求5所述的基于特征图去噪以及图像增强的敌对样本防护方法,其特征在于,所述中轴线边界判定算法通过比较中轴线两边对称点像素值与亮区判定值和暗区判定值大小,来判定该轴线是否为边界;所述暗区判定值设置为全图像素点值中位数与平均值的最大值。

7.根据权利要求4所述的基于特征图去噪以及图像增强的敌对样本防护方法,其特征在于,设置所述亮区的识别值为全图像素值按正序排序时,位于总像素点数三分之一位置处的像素值。

8.根据权利要求4所述的基于特征图去噪以及图像增强的敌对样本防护方法,其特征在于,设置所述暗区的识别值为全图像素值按倒序排序时,位于总像素点数三分之一位置处的像素值。

技术总结
本发明公开一种基于特征图去噪以及图像增强的敌对样本防护方法,包括步骤:在神经网络模型的第一层卷积层,对目标特征通道进行切片和特征图提取;定位坐标到特征图的最亮点,对特征图进行切片;判断切片属于亮区、暗区还是鲁棒区,如果属于亮区,则将定位点坐标移动到特征图第二亮的点,如果属于暗区或鲁棒区,则搜索寻找所述特征图中的第二亮的点,将特征图切片中所有点的像素值更改为最亮点像素值;将暗区和鲁棒区所有点的像素值归0;将经过以上处理的特征图进行合并叠加。本发明能有效缓解去噪过程对神经网络的影响,使其在识别干净样本时,保持较高的正确率,并具有较好的普适性。

技术研发人员:王咏珊;刘嘉木
受保护的技术使用者:南京航空航天大学
技术研发日:2020.01.13
技术公布日:2020.06.09

转载请注明原文地址: https://bbs.8miu.com/read-17309.html

最新回复(0)