本发明属于人工智能技术领域，涉及一种联合深度注意力特征和条件对抗的无监督域自适应方法。
背景技术：
尽管深度网络以其丰富的特征表示能力大大提高了各种机器学习问题和应用的性能，但其训练过程严重依赖于大量基于监督学习的标记训练样本。在现实世界中，看到大量这样的数据用于各种应用程序场景的手动注释通常是非常昂贵的。域自适应是一种研究得很好的策略，它通过转移使用标记源数据集的知识来改进目标数据集，而不使用目标标签。然而，这种良好的学习范式面临着域偏移的问题，这使得在源域上学习到模型直接应用于目标域带来了极大的障碍。
域自适应的目的是学习一个训练模型，能够减少源域和目标域分布之间域偏移问题，使训练好的模型在目标域上具有较小的风险。这激发了许多域自适应方法。在众多域自适应方法中，域对抗自适应近年来受到了广泛的关注。域对抗自适应将对抗学习引入到深层网络中，其核心思想来源于生成性对抗网络。具体地说，域对抗适应通常采用mini-max博弈策略来优化一个域判别器旨在区分源域图像和目标域图像特征和一个特征提取器生成域可迁移特征以欺骗域判别器。一旦mini-max优化达到平衡，则表示学习到的特征已充分对齐。
尽管域对抗自适应方法已经取得了显著的成果，但它们仍然面临着一个主要的瓶颈：尽管特征抽取器经过良好的训练，能够生成两个领域的域可迁移特征，但并不是所有的特征都可迁移用于域自适应。如果我们强制匹配不可迁移的特征，可能会导致负迁移。一些现有的域适应方法已经注意到了这个问题。例如，在ducda方法中，注意图的语义上下文可以通过相关性有效地建模，这明显提高了ducda模型的泛化能力。sagan方法将注意力驱动到生成性对抗网络框架中，有助于建立跨图像区域的长距离多层次依赖关系模型。在tada模型中，多个区域级的域判别器被用来产生可迁移的局部注意，而单个图像级的区域判别器被用来产生可迁移的全局注意来强调可迁移的图像。
技术实现要素：
本发明的目的是针对上述已有技术存在的不足和缺陷，提供一种联合深度注意力特征和条件对抗的无监督域自适应方法，增强特征的可迁移性以提高模型在无监督图像分类任务中的泛化能力和准确的，避免出现负迁移。
本发明的目的是通过下述技术方案实现的。
一种联合深度注意力特征和条件对抗的无监督域自适应方法，包括以下
步骤s1:将待处理的图像数据集划分为源域和目标域；
步骤s2:设计用于待处理图像数据集的可迁移注意力和条件对抗的网络；
步骤s3:对源域和目标域在输入可迁移注意力和条件对抗的网络前进行预处理；
步骤s4:将预处理的源域和目标域依次分批量导入所设计的网络，经过可迁移注意力网络得到加权的特征图，然后将这些加权的特征图输入到条件对抗网络中训练，最后经全连接层进行概率运算；
步骤s5:分别计算出源域和目标域的图像平均分类准确率；
步骤s6:经过迭代及反向传播训练，最后，利用在源域上训练好的可迁移注意力和条件对抗的网络，可以直接应用在目标域上进行图像分类。
其中，在所述步骤s2中，设计用于待处理图像数据集的可迁移注意力和条件对抗的网络，利用resnet-50基本网络提取图像的特征，然后把把这些特征传输到可迁移注意力网络，得到加权的特征图；最后把这些加权的特征图送给条件对抗网络进行训练，通过不断的迭代训练，得到能够直接应用在目标域上进行图像分类模型。
其中，可迁移注意力网络的详细训练步骤如下：给定一个通过resnet-50提取的x∈rc×h×w，首先将其输入卷积层，然后分别提取两个抽象的特征映射x1和x2，这里，{x1,x2}∈rc×h×w然后对它们进行矩阵变维到rc×n，这里n＝c×h,并在它们的转置后的x1和x2执行矩阵乘法运算。最后，使用softmax操作，计算出自注意力特征图matt∈rn×n：
其中，mji测量的是第i个位置对第j个位置的影响,两个位置的特征越相似，它们之间的相关性就越大。同时将x输入一个卷积层，提取另一个抽象的特征图并对其进行矩阵变维到rc×n，对其乘以一个尺度参数μ并对特征图x执行逐元素求和操作，生成加权的特征图：
其中，μ≥0。为了进一步提升注意力特征的可迁移性和可判别性，引入批光谱惩罚，因此可迁移注意力损失函数通过如下公式计算：
其中，ρs,i和ρt,i分别表示在矩阵∑s和∑t中第i个最大奇异值。
其中，在步骤s2中，利用学习到的加权的特图图和分类器预测作为条件训练域判别器，这里采用min-max策略计算条件对抗损失通过如下计算公式：
其中，lc表示交叉熵损失函数，ns和nt分别表示源域和目标域图像的个数，f表示特征提取器，d表示域判别器，λ表示平衡参数，h＝(f,c)表示把学习到的加权的特征和对应的分类器c预测的连接向量，这里，f＝f(x)表示数据x的特征，c＝c(f)表示特征f的可能的类别。将条件策略ω定义为：
其中，
其中，在步骤s3中，所述对源域和目标域图像在输入训练可迁移注意力和条件对抗的网络前进行预处理方法如下：首先对每张图像缩放到固定的尺寸大小，然后对于源域和目标域图像，每张图像进行归一化处理，最后，对图像的每个通道的像素值缩放到[0,1]区间。
其中，在步骤s4中，设置源域和目标域批(batch)大小均是36，而测试时，目标域批大小是4。
其中，步骤s2所述的联合深度注意力特征和条件对抗的无监督域自适应方法其总的损失函数采用如下公式计算：
ltan＝lcon αlbsp
其中，ltan表示本方法总的函数，α表示平衡参数。基于总的损失函数，可以得到本方法整体的目标函数如下：
其中，在步骤s6中，按照基于mini-batch的随机梯度下降法，利用源域和目标域的图像训练可迁移注意力和条件对抗网络，最后利用训练好的网络模型完成对目标域图像的分类。
有益效果
与现有技术相比，本发明具有以下优点：
本发明在无监督域自适应图像分类过程中，有效的提高了特征的可迁移性，同时极大的提高了模型的泛化能力和分类准确度，避免了负迁移。
附图说明
图1是本发明的一种联合深度注意力特征和条件对抗的无监督域自适应方法流程图；
图2是本发明和其他对比方法在迁移任务a→w上的测试误差曲线；
图3是本发明在数据集office-31上的分类准确率和其他方法的分类准确率的比较。
具体实施方式
下面结合附图和在数据集office-31上的无监督域自适应对发明内容做进一步说明。
图1是本发明一个实施例的联合深度注意力特征和条件对抗的无监督域域自适应方法的流程图，包括以下步骤：
1、将待处理的图像数据集划分为源域和目标域。
2、设计用于待处理图像数据集的可迁移注意力和条件对抗的网络，我们利用resnet-50基本网络提取图像的特征，然后把把这些特征传输到可迁移注意力网络，得到加权的特征图；最后把这些加权的特征图送给条件对抗网络进行训练，通过不断的迭代训练，得到能够直接应用在目标域上进行图像分类模型。其详细训练步骤如下：给定一个通过resnet-50提取的特征图x∈rc×h×w，这里c,h,w仅分别表示x的通道数，高度和宽度，首先将其输入卷积层，然后分别提取两个抽象的特征图x1和x2，这里，{x1,x2}∈rc×h×w然后对它们进行矩阵变维到rc×n，这里n＝c×h,并在它们的转置后的x1和x2执行矩阵乘法运算。最后，使用softmax操作，计算出自注意力特征图matt∈rn×n：
其中，mji测量的是第i个位置对第j个位置的影响,两个位置的特征越相似，它们之间的相关性就越大。同时，将x输入一个卷积层，提取另一个抽象的特征图并对其进行矩阵变维到rc×n，最后对其乘以一个尺度参数μ并对特征图x执行逐元素求和操作，生成加权的特征图：
其中，μ≥0，设置μ的初始值为0，然后随着训练过程μ着逐渐地被分配更大的权重。为了进一步提升注意力特征的可迁移性和可判别性，引入批光谱惩罚，因此可迁移注意力损失函数通过如下公式计算：
其中，ρs,i和ρt,i分别表示在矩阵∑s和∑t中第i个最大奇异值。
然后，利用学习到的加权的特图图和分类器预测作为条件训练域判别器，这里采用min-max策略计算条件对抗损失通过如下计算公式：
其中，lc表示交叉熵损失函数，ns和nt分别表示源域和目标域图像的个数，f表示特征提取器，d表示域判别器，λ表示平衡参数，设置λ＝1.0，h＝(f,c)表示把学习到的加权的特征和对应的分类器c预测的连接向量，这里，f＝f(x)表示数据x的特征，c＝c(f)表示特征f的可能的类别。我们将条件策略ω定义为：
其中，
最后，联合深度注意力特征和条件对抗的无监督域自适应方法其总的损失函数采用如下公式计算：
ltan＝lcon αlbsp
其中，ltan表示本方法总的函数，α表示平衡参数，设置α＝0.0008。基于总的损失函数公式，可以得到本方法整体的目标函数如下：
3、对源域和目标域图像在输入训练可迁移注意力和条件对抗的网络前进行预处理方法如下：首先对每张图像缩放到固定的尺寸大小，然后对于源域和目标域图像，每张图像进行归一化处理，最后，对图像的每个通道的像素值缩放到[0,1]区间，以此提高网络训练时的准确率。
4、我们设置源域和目标域批(batch)大小均是36，而测试时，目标域批大小是4。
5、将经过加权和对抗训练的特征图导入网络的全连接层，进行概率运算，分别输出源域和目标域的图像分类准确率。
6、按照基于mini-batch的随机梯度下降法，利用源域和目标域图像训练可迁移注意力和条件对抗网络，最后利用训练好的网络模型完成对目标域图像的分类。
将上述整个过程在pytorch框架下实现，该实施所述模型在数据集office-31上验证本发明的有效性，office-31数据集是一个用于对象识别域自适应的标准数据集，它由4652张图像组成31个类别，这些图像由三个视觉上不同的域(a、w和d)组成。对于每个域，分别从amazon.com、web相机和数码单反相机收集图像。遵循通用评估协议评估6个迁移任务。
表1为本发明和其他比较方法在office-31数据集上的实验结果。本发明在大多数域自适应任务上取得了最好的准确率，清楚地观察到a→w和w→a上的分类精度显著提高，并且在简单域自适应任务(a→d和d→w)上取得了可比的分类结果。然而，本发明在d→a的分类精度远低于基线方法。据文献所知，这两个领域大约有2808和498图像分别为31类。这些数据不足以提取可迁移的注意力特征。此外，还注意到，在平均精度方面，本发明优于所有其他方法，这进一步证明了本发明在迁移任务过程中学习更多可迁移特征的有效性。
图2是本发明和其他对比方法在迁移任务a→w上的测试误差曲线。观察到本发明(tan)比dan方法具有更快的收敛速度，而tan-a(去掉注意力机制)的性能优于tan-b(去掉批光谱惩罚)。还注意到tan-a在对抗性训练开始时具有与本发明相似的稳定收敛性能，但在整个收敛过程中明显优于tan-a。因此，随着训练的进行，在源域和域目标之间逐渐学习到更多的细粒度特征，本发明的性能优于其他方法。
综上，根据本发明实施例的联合深度注意力特征和条件对抗的无监督域自适应方法，采用可迁移注意力网络对特征进行加权，同时采用批光谱惩罚以提高特征的可迁移性，然后采用条件对抗对这些特征进行训练，不仅提高了模型的泛化能力和分类准确率，而且避免了负迁移。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
1.一种联合深度注意力特征和条件对抗的无监督域自适应方法，其特征在于，包括以下步骤，
步骤s1:将待处理的图像数据集划分为源域和目标域；
步骤s2:设计用于待处理图像数据集的可迁移注意力和条件对抗的网络；
步骤s3:对源域和目标域在输入可迁移注意力和条件对抗的网络前进行预处理；
步骤s4:将预处理的源域和目标域依次分批量导入所设计的网络，经过可迁移注意力网络得到加权的特征图，然后将这些加权的特征图输入到条件对抗网络中训练，最后经全连接层进行概率运算；
步骤s5:分别计算出源域和目标域的图像平均分类准确率；
步骤s6:经过迭代及反向传播训练，最后，利用在源域上训练好的可迁移注意力和条件对抗的网络，可以直接应用在目标域上进行图像分类。
2.根据权利要求1所述的一种联合深度注意力特征和条件对抗的无监督域自适应方法，其特征在于：所述步骤s2中，设计用于待处理图像数据集的可迁移注意力和条件对抗的网络，利用resnet-50基本网络提取图像的特征，然后把把这些特征传输到可迁移注意力网络，得到加权的特征图；最后把这些加权的特征图送给条件对抗网络进行训练，通过不断的迭代训练，得到能够直接应用在目标域上进行图像分类模型。
3.根据权利要求1或2中所述的一种联合深度注意力特征和条件对抗的无监督域自适应方法，其特征在于，可迁移注意力网络的详细训练步骤如下：给定一个通过resnet-50提取的特征图x∈rc×h×w，这里c,h,w仅分别表示x的通道数，高度和宽度，首先将其输入卷积层，然后分别提取两个抽象的特征映射x1和x2，这里，{x1,x2}∈rc×h×w然后对它们进行矩阵变维到rc×n，这里n＝c×h,并在它们的转置后的x1和x2执行矩阵乘法运算；最后，使用softmax操作，计算出自注意力特征图matt∈rn×n：
其中，mji测量的是第i个位置对第j个位置的影响,两个位置的特征越相似，它们之间的相关性就越大；同时，将x输入一个卷积层，提取另一个抽象的特征图并对其进行矩阵变维到rc×n，最后对其乘以一个尺度参数μ并对特征图x执行逐元素求和操作，生成加权的特征图：
其中，尺度参数μ≥0；为了进一步提升注意力特征的可迁移性和可判别性，引入批光谱惩罚，因此可迁移注意力损失函数通过如下公式计算：
其中，ρs,i和ρt,i分别表示在矩阵∑s和∑t中第i个最大奇异值。
4.根据权利要求1或2中所述的一种联合深度注意力特征和条件对抗的无监督域自适应方法，其特征在于，在步骤s2中，利用学习到的加权的特图图和分类器预测作为条件训练域判别器，这里采用min-max策略计算条件对抗损失通过如下计算公式：
其中，lc表示交叉熵损失函数，ns和nt分别表示源域和目标域图像的个数，f表示特征提取器，d表示域判别器，λ表示平衡参数，h＝(f,c)表示把学习到的加权的特征和对应的分类器c预测的连接向量，这里，f＝f(x)表示数据x的特征，c＝c(f)表示特征f的可能的类别；我们将条件策略ω定义为：
其中，
5.根据权利要求1中所述的一种联合深度注意力特征和条件对抗的无监督域自适应方法，其特征在于，在步骤s3中，所述对源域和目标域图像在输入训练可迁移注意力和条件对抗的网络前进行预处理方法如下：首先对每张图像缩放到固定的尺寸大小，然后对于源域和目标域图像，每张图像进行归一化处理，最后，对图像的每个通道的像素值缩放到[0,1]区间。
6.根据权利要求1中所述的一种联合深度注意力特征和条件对抗的无监督域自适应方法，其特征在于，在步骤s4中，设置的源域和目标域批大小均为36，而测试时，目标域批大小为4。
7.根据权利要求3和4中所述的一种联合深度注意力特征和条件对抗的无监督域自适应方法，其特征在于，所述的合深度注意力特征和条件对抗的无监督域自适应方法其总的损失函数采用如下公式计算：
ltan＝lcon αlbsp
其中，ltan表示本方法总的函数，α表示平衡参数；基于总的损失函数，可以得到本方法整体的目标函数如下：
8.根据权利要求1中所述的一种联合深度注意力特征和条件对抗的无监督域自适应方法，其特征在于，在步骤s6中，按照基于mini-batch的随机梯度下降法，利用源域和目标域图像训练可迁移注意力和条件对抗网络，最后利用训练好的网络模型完成对目标域图像的分类。
技术总结