本发明涉及遥感图像处理，特别是涉及一种基于自监督的多尺度transformer的遥感图像缺失信息重建方法及模型。
背景技术：
1、遥感图像在许多地球科学的研究中应用广泛，应用与土地覆盖分类、遥感图像语义分割、地表变化检测等任务。在遥感图像采集过程中，卫星传感器所获取的图像不可避免地会受到厚云层及其阴影遮挡的影响，导致无法直接观测到地球表面的信息。除了恶劣的气候条件原因，卫星自身的问题也会导致图像中的信息不完整，例如landsat etm扫描仪故障，导致遥感图像中出现条带状的信息缺失。这些缺失的遥感图像无法应用于地球科学的研究中。除此之外，遥感卫星的造价也十分昂贵，遥感卫星需要在空中长期服役，维修困难，这些遥感图像的信息缺失造成了大量的遥感图像数据资源浪费。因此，对信息不完整的遥感图像中的缺失信息进行重建是一项十分有意义的工作。
2、遥感图像应用于地球科学的研究中，因此遥感图像缺失区域的重建结果应尽可能地接近真实情况。以目前的图像修复技术，仅根据单张图像中的已知内容去推测未知内容是十分困难的，这种方法虽然可以重建出看上去合理且完整的遥感图像，但是不能保证重建结果的真实性。因此，研究人员会使用参考图像来辅助重建工作，以保证重建的结果尽可能接近真实情况。参考图像总体上分为同源和异源两类。基于同源参考图像的方法使用与缺失遥感图像相同类型的光学图像来重建缺失信息。目前常见的算法是一种基于多时图像的方法，该方法利用从邻近周期同一位置获得完整的光学图像，辅助重建遥感图像的缺失部分。近年来也有一些研究人员利用异源图像重建缺失信息，其中最常见的是使用和缺失遥感图像在相同位置采集的sar图像作为参考图像的方法。
3、目前卷积网络模型被广泛应用于遥感缺失信息的重建工作中。在训练集上训练的一些生成模型、风格迁移模型和预测模型，在对应的测试集上有不错的重建结果。虽然这些有监督方法在一些数据集上取得了很好的效果，但在实际任务中，当训练数据不足时，这些方法的重建结果往往不能达到预期。
4、此外，对上下文信息建模在重建工作中至关重要，特别是处理大面积缺失的情况时。为缺失区域重建出合理的信息需要模型对图像上下文内容的充分理解，根据非局部潜在特征的关联性，对长距离的关系进行建模。由于卷积网络固有的特性，其感受野的范围有限且固定，在重建过程中，缺失区域附近的像素不可避免地会占据主导地位。这样，卷积网络不能灵活地感知图像中各个部分之间的相关性，难以获得令人满意的局部重建结果，特别是在缺失区域较大、相关区域之间距离较远的情况下。
技术实现思路
1、本发明的目的是针对现有技术中遥感图像局部重建效果不好的技术缺陷，而提供一种基于自监督的多尺度transformer的遥感图像缺失信息重建方法。
2、本发明的另一方面，是提供一种基于etd(encoder-transformer-decoder的简称)模块的多尺度重建模型。
3、为实现本发明的目的所采用的技术方案是：
4、一种基于自监督的多尺度transformer的遥感图像缺失信息重建方法，包括以下步骤：
5、步骤1：将参考图像r输入到encoder编码器中，进行特征提取并压缩为潜在空间表征，获得参考图像r的编码特征图；
6、步骤2：将步骤1所得的参考图像r的编码特征图裁剪后输入至多尺度transformer模型中进行注意力计算，得到参考图像r的特征图向量；所得参考图像r的特征图向量输入至decoder解码器得到转化图像c；
7、步骤3：通过损失函数valid loss，将步骤2重建的转化图像c进行风格一致性约束，使其与缺失图像i的已知区域的图像域风格保持一致；
8、步骤4：将步骤3风格一致性约束后的转化图像c输入到encoder编码器中进行特征提取并压缩为潜在空间表征，获得转化图像c的编码特征图；所得转化图像c的编码特征图裁剪后再次输入至多尺度transformer模型和decoder解码器，得到重构图像r′；通过循环一致性损失函数cycleloss的约束，进一步减少可能的映射函数的空间，保证重构图像r′和参考图像r的空间特征内容保持一致，从而对转换图像c进行空间约束；
9、步骤5：将缺失区域的mask掩码与步骤4约束后的转化图像c进行叠加，提取重建区域；并将所得重建区域与缺失图像i结合得到重建图像。
10、在上述技术方案中，步骤1中，所述参考图像r为待重建的缺失图像i的同源或异源数据。在上述技术方案中，步骤2包括以下步骤：
11、步骤a：将参考图像r的编码特征图裁剪排列，得到4种不同尺度的特征patch序列；所述特征patch序列大小为，其中m＝1，2，3，4；w为特征patch序列的宽，h为特征patch序列的高；
12、步骤b：将每一特征patch序列分别输入到多尺度transformer模型的不同尺度的注意力头中，分别得到特征图；
13、步骤c：将多个注意力头输出的特征图进行concat叠加，得到参考图像r的特征图向量；
14、步骤d：将所得参考图像r的特征图向量输入至decoder解码器进行解码，得到完整的转换图像c。
15、在上述技术方案中，步骤b中，
16、首先，输入注意力头的特征patch序列，经过三个不同的1×1卷积块得到三个序列q，k，v；
17、然后，将q序列和k序列中的每个patch拉伸成一维向量，根据公式(1)将q序列向量和k序列向量的转置逐一做矩阵乘法计算相似度，获得相似度矩阵s；-
18、
19、其中，和分别表示q序列的第i个向量和k序列的第j个向量，其中是当m＝1时，第一个特征patch序列的大小，即一维向量的长度，c是通道数，si，j即表示这两个向量的相似度；通过计算每两个向量的相似度可以得到n×n的相似度矩阵s；
20、然后，根据公式(2)计算经过softmax后的注意力权重值αi，j；
21、
22、其中，n表示k序列向量的总数，n表示在归一化过程中用于求和的索引；si，n表示对于特定的第i个q序列向量与任意一个k序列向量的相似度计算；
23、最后，利用v序列的向量和对应的注意力值按照公式(3)计算获得输出向量oi；将所有的输出向量oi进行重新拼接操作，得到该注意力头对应的特征图；
24、
25、本发明的另一方面，一种基于自监督的多尺度transformer的遥感图像缺失信息重建模型，包括两个etd模块和一个重建模块；
26、其中，
27、第一个etd模块，用于将参考图像r转换为转换图像c；并通过损失函数valid loss将转换图像c进行风格一致性约束；
28、第二个etd模块，用于将转换图像c转换为重构图像r′；并通过损失函数cycleloss进一步减少可能的映射函数的空间，保证重构图像r′和参考图像r的空间特征内容保持一致，从而实现对转换图像c的空间特征约束；
29、重建模块，用于将缺失区域的mask掩码与约束后转换图像c进行叠加，提取重建区域；并将所得重建区域与缺失图像i结合得到重建图像。
30、在上述技术方案中，所述etd模块包括encoder编码器、多尺度transformer模型和decoder解码器；
31、其中，
32、第一个所述etd模块中：
33、encoder编码器，用于对参考图像r进行特征提取并压缩为潜在空间表征，获得参考图像r的编码特征图；
34、多尺度transformer模型，用于对参考图像r的编码特征图进行多尺度特征信息的提取和长距离像素信息的建模，得到参考图像r的特征图向量；
35、decoder解码器，用于将所得参考图像r的特征图向量进行解码，得到转化图像c；
36、第二个所述etd模块中：
37、encoder编码器，用于对转化图像c进行特征提取并压缩为潜在空间表征，获得转化图像c的编码特征图；
38、多尺度transformer模型，用于对转化图像c的编码特征图进行多尺度特征信息的提取和长距离像素信息的建模，得到转化图像c的特征图向量；
39、decoder解码器，用于将所得转化图像c的特征图向量进行解码，得到重构图像r′。
40、在上述技术方案中，所述encoder编码器和decoder解码器都是由三个不同的卷积模块组成，每个卷积模块由卷积层、批归一化层和激活层组成。
41、在上述技术方案中，卷积模块中的每个3×3卷积块的步长和填充值均为1，1×1卷积块的步长和填充值分别为1和0。
42、在上述技术方案中，所述多尺度transformer模型为多头注意力模型，其中四个不同的“头”对应4种尺度的输入和输出。
43、本发明的另一方面，上述遥感图像缺失信息重建方法或者遥感图像缺失信息重建模型在遥感图像局部重建中的应用。
44、与现有技术相比，本发明的有益效果是：
45、1.本发明提供的遥感图像缺失信息重建方法，仅使用一张同源或者异源的参考图像，通过自监督的迭代训练的方式就可以重建出缺失区域的信息，方法简单，且具有较好的实际应用价值。
46、2.本发明提供的遥感图像缺失信息重建方法，使用多尺度重建模型为图像中不同尺度的patch分配动态权重，能够对长距离的依赖关系进行建模，并自适应地感知所有区域的相关性，该方法能重建出更接近真实的细节。通过多次对比实验，在多种形状和大小的缺失区域重建实验中，该方法的重建效果更好。
1.一种基于自监督的多尺度transformer的遥感图像缺失信息重建方法，其特征在于：包括以下步骤：
2.如权利要求1所述的遥感图像缺失信息重建方法，其特征在于：步骤1中，所述参考图像r为待重建的缺失图像i的同源或异源数据。
3.如权利要求1所述的遥感图像缺失信息重建方法，其特征在于：步骤2包括以下步骤：
4.如权利要求3所述的遥感图像缺失信息重建方法，其特征在于：步骤b中，
5.一种基于自监督的多尺度transformer的遥感图像缺失信息重建模型，其特征在于：包括两个etd模块和一个重建模块；
6.如权利要求5所述的遥感图像缺失信息重建模型，其特征在于：所述etd模块包括encoder编码器、多尺度transformer模型和decoder解码器；
7.如权利要求6所述的遥感图像缺失信息重建模型，其特征在于：所述encoder编码器和decoder解码器都是由三个不同的卷积模块组成，每个卷积模块由卷积层、批归一化层和激活层组成。
8.如权利要求7所述的遥感图像缺失信息重建模型，其特征在于：卷积模块中的每个3×3卷积块的步长和填充值均为1，1×1卷积块的步长和填充值分别为1和0。
9.如权利要求5所述的遥感图像缺失信息重建模型，其特征在于：所述多尺度transformer模型为多头注意力模型，其中四个不同的“头”对应4种尺度的输入和输出。
10.如权利要求1中的遥感图像缺失信息重建方法或者权利要求5所述的遥感图像缺失信息重建模型在遥感图像局部重建中的应用。
