本发明适用于遥感图像领域，尤其是一种多时相高分辨率遥感图像变化检测的方法和系统。
背景技术：
变化检测技术利用遥感影像进行地球表面特征的分析与处理，能够直观、快速、真实地获取地球表面特征的变化。变化检测在大量的应用中有着至关重要的作用，包括土地覆盖变化检测、建筑物变化检测、植被变化检测、湿地监测等。
现有的变化检测技术通常分为两类：基于传统方法的变化检测方法和基于深度学习的变化检测方法。根据研究对象的粒度不同，基于传统方法的变化检测方法可以分为两类：基于像素的变化检测方法和基于对象的变化检测方法。基于像素的变化检测方法通常孤立了进行单个像素点的分类，没有考虑到上下文信息，并且计算量较大不适用于高分图像。而基于对象的变化检测方法，通常需要对图像中的对象进行分割，然后进行前后图像对象的比较，这种方法依赖于对象的分割效果。基于传统方法的变化检测效果鲁棒性较差，对特定的遥感数据类型就需要特征的检测方法，并且检测精度相对较差。
近几年，基于深度学习的变化检测方法开始得到发展。目前有基于分割网络的变化检测模型，但是这些算法模型都不能很好地处理小目标的变化区域，通常也忽略了遥感图像中变化区域与未变化区域的不平衡问题。
技术实现要素：
本发明针对现有技术的不足，提出一种高分辨率遥感图像变化检测方法，利用孪生神经网络对高分辨率遥感图像中的小目标进行变化检测，从而提高检测精度。
具体来说，本发明的高分辨率遥感图像变化检测方法，包括：构建孪生神经网络模型，以dice损失函数和交叉熵损失函数构成的联合损失函数作为该孪生神经网络模型的损失函数；选取已知高分辨率遥感图像构建数据集，通过该数据集对该孪生神经网络模型进行训练及评估，得到图像变化检测模型；以该图像变化检测模型对目标高分辨率遥感图像进行变化检测，得到该目标高分辨率遥感图像的变化区域的分割结果。
本发明所述的高分辨率遥感图像变化检测方法，该联合损失函数
本发明所述的高分辨率遥感图像变化检测方法，其中该孪生神经网络模型包括编码器、解码器和分类器；该编码器包括第一编码子网络和第二编码子网络，该第一编码子网络具有n个分支，并根据相邻分支的特征图传递划分为n个阶段，其中，第n分支在第n阶段将特征图分别传递给第n 1阶段所有的n 1个分支；该第二编码子网络与该第一编码子网络具有相同结构且共享权重；该第一编码子网络以第一时间图像作为初始特征图输入，并输出n个对应分支的第一输出特征图，该第二编码子网络以第二时间图像作为初始特征图输入，并输出n个对应分支的第二输出特征图；其中n、n为正整数，n≥1，n∈[1,n]；该解码器包括第一采样子网络、第二采样子网络和整合子网络，该第一采样子网络包括第一整合单元和第一采样单元，该第一整合单元用于对所有该第一输出特征图进行整合，该第一采样单元用于对该第一整合单元的整合结果进行上采样；该第二采样子网络与该第一采样子网络具有相同结构且共享权重，包括第二整合单元和第二采样单元，该第二整合单元用于对所有该第二输出特征图进行整合，该第二采样单元用于对该第二整合单元的整合结果进行上采样；该整合子网络用于对该第一采样单元的采样结果和该第二采样单元的采样结果进行整合得到该解码器的输出；该分类器通过sigmoid激活函数对该解码器的输出进行激活，并通过与分类阈值比较以获得该分割结果。
本发明所述的高分辨率遥感图像变化检测方法，其中第n分支内传递的特征图分辨率保持不变，第n分支向第n 1,n 2,…,n分支传递的特征图分辨率则依次递减。
本发明还提出一种高分辨率遥感图像变化检测系统，包括：模型构建模块，用于构建孪生神经网络模型，以dice损失函数和交叉熵损失函数构成的联合损失函数作为该孪生神经网络模型的损失函数；模型训练模块，用于选取已知高分辨率遥感图像构建数据集，通过该数据集对该孪生神经网络模型进行训练及评估，得到图像变化检测模型；图像检测模块，用于以该图像变化检测模型对目标高分辨率遥感图像进行变化检测，得到该目标高分辨率遥感图像的变化区域的分割结果。
本发明所述的高分辨率遥感图像变化检测系统，该联合损失函数
本发明所述的高分辨率遥感图像变化检测系统，其中该孪生神经网络模型包括编码器、解码器和分类器；该编码器包括第一编码子网络和第二编码子网络，该第一编码子网络具有n个分支，并根据相邻分支的特征图传递划分为n个阶段，其中，第n分支在第n阶段将特征图分别传递给第n 1阶段所有的n 1个分支；该第二编码子网络与该第一编码子网络具有相同结构且共享权重；该第一编码子网络以第一时间图像作为初始特征图输入，并输出n个对应分支的第一输出特征图，该第二编码子网络以第二时间图像作为初始特征图输入，并输出n个对应分支的第二输出特征图；其中n、n为正整数，n≥1，n∈[1,n]；该解码器包括第一采样子网络、第二采样子网络和整合子网络，该第一采样子网络包括第一整合单元和第一采样单元，该第一整合单元用于对所有该第一输出特征图进行整合，该第一采样单元用于对该第一整合单元的整合结果进行上采样；该第二采样子网络与该第一采样子网络具有相同结构且共享权重，包括第二整合单元和第二采样单元，该第二整合单元用于对所有该第二输出特征图进行整合，该第二采样单元用于对该第二整合单元的整合结果进行上采样；该整合子网络用于对该第一采样单元的采样结果和该第二采样单元的采样结果进行整合得到该解码器的输出；该分类器通过sigmoid激活函数对该解码器的输出进行激活，并通过与分类阈值比较以获得该分割结果。
本发明所述的高分辨率遥感图像变化检测系统，其中第n分支内传递的特征图分辨率保持不变，第n分支向第n 1,n 2,…,n分支传递的特征图分辨率则依次递减。
本发明还提出一种计算机可读存储介质，存储有可执行指令，该可执行指令用于执行如前所述的高分辨率遥感图像变化检测方法。
本发明还提出一种数据处理装置，包括处理器和计算机可读存储介质，该处理器调取并执行该计算机可读存储介质中的可执行指令，以进行高分辨率遥感图像变化检测。
附图说明
图1是本发明的高分辨率遥感图像变化检测方法流程图。
图2是本发明的高分辨率遥感图像变化检测方法框图。
图3是本发明的孪生神经网络模型结构示意图。
图4是本发明的第一类卷积单元结构示意图。
图5是本发明的第二类卷积单元结构示意图。
图6是本发明的多尺度融合单元结构示意图。
图7是本发明的数据处理装置示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明提出的基于卷积神经网络的高分辨率遥感图像变化检测方法与系统进一步详细说明。应当理解，此处所描述的具体实施方法仅仅用以解释本发明，并不用于限定本发明。
发明人在对多时相遥感图像变化检测方法研究时，发现现有方法对于遥感图像中小物体的检测效果很差，并且通常没有考虑到变化检测中类别不平衡等问题，这些问题对变化检测的效果产生了很大的影响。统计分析发现，在常用的变化检测数据集中，超过60％的变化区域面积小于50个像素点，并且变化区域与未变化区域之间的面积差距悬殊。现有的方法通常对小目标的变化检测效果很差，因此影响了总体的变化检测效果。对于小目标的检测效果通常与分辨率和上下文信息密切相关，本发明尝试在保持高分辨率的同时，能够扩大感受野，获取更多的上下文信息，同时反复地进行不同分支间的特征融合，以使高分辨率特征图获取更多的上下文信息，低分辨率特征图获取更多空间细节信息，得到可靠的高分辨率特征图。另一方面，小目标在损失函数中贡献较小，因此本发明尝试提高小目标在损失函数中的占比。最终，本发明提出了一个混合损失函数，来提高小目标变化区域在损失函数中的占比，来解决遥感图像变化检测中变化区域较小，类别不平衡等问题，从而提高总体的变化检测精度。
为了解决变化检测任务中小目标区域多，类别严重不均衡导致的变化检测精度难以提升等问题，本发明提供了一种基于卷积神经网络的高分辨率遥感图像变化检测方法，利用孪生网络模型和联合损失函数实现遥感图像的高精度变化检测。孪生神经网络模型的编码器在全程保持高分辨率的特征表示，同时多个分支学习不同分辨率的特征表示，并增大卷积核的感受野，获取更多的上下文信息，从而改善小目标的变化检测效果。联合损失函数提高了小目标变化区域的权重并通过重要性抽样的方法处理类别不平衡等问题，从而提高总体的变化检测精度。
本发明包括基于卷积神经网络的孪生神经网络模型的编码器。编码器包含两个子网，这两个子网结构相同，并且权重共享。两个不同时期的遥感图像分别作为两个子网的输入。每个子网分别由四个阶段和四个分支组成，即第一分支，第二分支，第三分支和第四分支。其中，每个分支的特征图的分辨率保持不变，但是，第一分支到第四分支特征图的分辨率依次减半。第一个阶段时只有第一个分支；第二分支，第三分支和第四分支分别在第二阶段，第三阶段和第四阶段加入网络模型中。为了充分融合不同分支的特征图，在相邻阶段之间，不同分支之间存在一个多尺度融合单元。该单元使得每个分支都有一个到其他所有分支的一条信息传递通路，反复地进行多尺度特征的融合，从而得到可信赖的高分辨率的特征表示。上下文信息和分辨率往往决定了小目标的检测效果。然而为了增加上下文信息则必须减小分辨率，分辨率减小则会导致空间细节信息的丢失。本发明通过其中一个分支全程保持高分辨率的特征图，同时其他分支依次减小特征图的分辨率，从而增大卷积核的感受野，以获取更多的上下文信息。为了能够使得不同分支的的特征图进行充分的融合，本发明提出了多尺度融合单元，能够反复地对不同分支的特征图进行融合，从而得到可信赖的高分辨率特征表示。
本发明还包括基于卷积神经网络的孪生神经网络模型的解码器。在解码阶段，本发明对每个分支输出的特征图分别上采样，然后进行整合的策略。这策略能够融合解码过程中不同尺度的特征，减少插值过程造成的空间精度损失。这样能够更有效地增加小目标的检测效果
本发明的孪生神经网络模型采用混合损失函数。变化检测任务需要逐像素点的分类，这就导致了小目标对于损失函数的贡献较小。同时变化检测任务中，通常存在严重类别不均衡的现象。这些因素都导致了变化检测效果的进一步提升。针对该问题，本发明提出了一个联合损失函数训练本发明的卷积神经网络模型。联合损失函数可以表示为：
下面结合具体的实施例来进行详细说明，图1是本发明的高分辨率遥感图像变化检测方法流程图，图2是本发明的高分辨率遥感图像变化检测方法框图。如图1、图2所示，基于卷积神经网络的遥感图像变化检测方法主要包括以下几个步骤：构建孪生神经网络模型、构建损失函数、构建数据集、模型训练和评估、模型推理。
步骤s1：构建孪生神经网络模型，本发明中孪生神经网络模型主要包括三部分：编码器、解码器和分类器。图3是本发明的孪生神经网络模型结构示意图。如图3所示，具体搭建步骤如下：
步骤101：搭建第一种卷积单元；图4是本发明的第一类卷积单元结构示意图。如图4所示：依次由一个大小为3×3，步长为1，填充为1的卷积、批归一化、线性整流单元、大小为3×3，步长为1，填充为1的卷积、批归一化和残差连接构成。
步骤102：搭建第二种卷积单元；图5是本发明的第二类卷积单元结构示意图。如图5所示：依次由大小为1×1，步长为1的卷积、批归一化、大小为3×3，步长为1，填充为1的卷积、批归一化、大小为1×1，步长为1的卷积、批归一化、线性整流单元和残差连接构成。
步骤103：首先搭建编码器，编码器由四个阶段和四个分支构成。首先搭建第一阶段19，第一阶段19只包含第一分支6。第一个分支6的第一阶段部分由两个第二种卷积单元(图3)构成。
搭建第一阶段19和第二阶段20之间的第一多尺度融合单元24。该单元由一个常规卷积单元23(位于第一分支6的第一阶段19与第二阶段20之间的连接)和一个下采样单元4(位于第一阶段19和第二阶段20之间的第一分支6到第二分支7的连接上)，以及逐元素相加的融合方法构成。
搭建第二阶段20，第二阶段20包含第一分支6和第二分支7。第一分支6和第二分支7的第二阶段20部分分别由两个第一种卷积单元构成。
搭建第二阶段20和第三阶段21之间的第二多尺度融合单元25。该单元包含4个下采样单元4(其中1个位于第二阶段20与第三阶段21之间的第二分支7到第三分支8的连接上，1个位于第二阶段20与第三阶段21之间的第一分支6到第二分支7的连接上，2个位于第二阶段20与第三阶段21之间的第一分支6到第三分支8的连接上)、一个上采样单元5(位于第二阶段20和第三阶段21之间的第二分支7到第一分支6的连接上)、两个常规卷积单元23(分别位于第一分支6的第二阶段20与第三阶段21之间的连接上和第二分支7的第二阶段20与第三阶段21之间的连接上)和逐元素相加的融合方法。
搭建第三阶段21，第三阶段21包含第一分支6、第二分支7和第三分支8。第一分支6、第二分支7和第三分支8的第三阶段21部分分别由两个第一种卷积单元构成。
搭建第三阶段21和第四阶段22之间的第三多尺度融合单元26。该单元包含
6个下采样单元4(其中1个位于第三阶段21与第四阶段22之间的第三分支8到第四分支9的连接上，1个位于第三阶段21与第四阶段22之间的第二分支7到第三分支8的连接上，其中1个位于第三阶段21与第四阶段22之间的第一分支6到第二分支7的连接上，2个位于第三阶段21与第四阶段22之间的第二分支7到第四分支9的连接上，2个位于第三阶段21与第四阶段22之间的第一分支6到第三分支8的连接上，3个位于第三阶段21与第四阶段22之间的第一分支6到第四分支9的连接上)、3个常规卷积单元(分别位于第一分支7、第二分支7和第三分支8的第三阶段21与第四阶段22之间的连接)、3个上采样单元(其中1个位于第三阶段21与第四阶段22之间的第二分支7到第一分支6的连接上，1个位于第三阶段21与第四阶段22之间的第三分支8到第二分支7的连接上，1个位于第三阶段21与第四阶段22之间的第三分支8到第一分支6的连接上).
搭建第四阶段22，第四阶段22包含第一分支6、第二分支7、第三分支8和第四分支9。第一分支6、第二分支7、第三分支8和第四分支9的第四阶段22部分分别由两个第一种卷积单元构成。
步骤104：搭建解码器12，图6是本发明的多尺度融合单元结构示意图。如图6所示，解码器12包含4个双线性插值操作(分别将编码器的4个分支输出的特征图直接上采样到原图大小)、整合操作(将两子网的各四个分支的输出在通道维度进行整合)和1个第一种卷积单元。
步骤105：搭建分类器11，分类器11包含一个sigmoid激活函数操作和一个阈值。通过sigmoid函数对解码器的输出进行激活。在推理阶段根据阈值将输出二值化得到变化区域分割结果。在训练阶段将输出输入损失函数，计算损失，计算梯度并反向传播。
步骤s2：构建联合损失函数，联合损失函数
其中，gci表示像素点属于类别的标签，1表示属于该类别，0表示不属于该类别。pci表示模型预测的像素点属于类别的概率，大于等于0，小于等于1。∈表示平滑项，防止分母等于0。wc表示dice损失函数中的类别权重项，本发明令该项等于该类别的面积平方的倒数，这样小目标可以获得更大的权重，从而来改善小目标的变化检测效果。w′c表示交叉熵损失函数的类别权重项，本发明令该项等于该类别频率的倒数，这样能够使得类别较小的类获得更大的权重，从而来解决类别不平衡带来的问题。λ表示dice损失函数
步骤s3：构建数据集，本发明使用了一套公开数据集(whubuildingchangedetectiondataset)该数据集包含一张分辨率大小为3250715354，rgb波段的遥感图像。为方便训练我将图片以步长为512×512，大小为512×512进行裁剪。然后将得到的图像块按6:2:2的比例进行划分，得到训练集，验证集和测试集。
步骤s4：模型训练和评估，本发明利用上述构建的数据集进行模型的训练和评估。优化器使用带有nesterov动量的随机梯度下降法，其中动量为0.9，权重衰减为0.0001。使用0.02的基础学习率以0.0001的权值衰减训练500轮。训练的停止采用早停法，即选取在验证集表现最好的那轮迭代的模型作为最终结果。
通过模型在验证集上的表现进行模型的评估。模型评价采用f1score来衡量模型性能的指标。f1score的计算公式如下
其中tp、fp和fn分别表示真阳性、假阳性和假阴性的个数。p表示精确率，r表示召回率。
步骤s5：模型推理，本发明利用上述步骤训练好的模型对测试集的数据进行推理，得到每个图片的变化区域的分割结果。
步骤s6：图像变化检测，通过步骤s5获得的模型，对不同时间的高分辨率遥感图像进行变化检测。
图7是本发明的数据处理装置示意图。如图7所示，本发明实施例还提供一种计算机可读存储介质，以及一种数据处理装置。本发明的计算机可读存储介质存储有计算机可执行指令，计算机可执行指令被数据处理装置的处理器执行时，实现上述基于卷积神经网络的高分辨率遥感图像变化检测方法。本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件(例如处理器)完成，所述程序可以存储于可读存储介质中，如只读存储器、磁盘或光盘等。上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块可以采用硬件的形式实现，例如通过集成电路来实现其相应功能，也可以采用软件功能模块的形式实现，例如通过处理器执行存储于存储器中的程序/指令来实现其相应功能。本发明实施例不限制于任何特定形式的硬件和软件的结合。
根据表1可知，本发明提出的方法相比现有的方法有较大的提升。
表1：方法性能对比表
与现有的基于深度学习的遥感图像变化检测方法相比，本发明具有以下有益效果：
1)通常小目标的检测效果与上下文信息与特征图的分辨率密切相关。本发明通过孪生神经网络分别处理两个时相的遥感图像从而得到各自的特征表示。每个子网中的多分辨率分支使得在保持高分辨率特征图的同时，也可以获得更多的上下文信息。同时相邻阶段间的多尺度融合单元反复对不同尺度的特征进行融合，使得低分辨率的特征图可以获取更多的空间细节信息，而高分辨率特征图可以获得更多的上下文信息。因此本发明能够在上下文信息和分辨率之间做一个很好的权衡，从而改善小目标的变化检测效果。
2)在解码阶段，本发明对每个分支输出的特征图分别上采样，然后进行整合的策略。这策略能够融合解码过程中不同尺度的特征，减少插值过程造成的空间精度损失。这样能够更有效地增加小目标的检测效果。
3)通过联合损失函数中的dice损失函数项能够在训练过程中增加小目标的权重，从而改善小目标的检测效果。同时通过加权交叉熵损失函数，解决变化检测中类别不平衡的问题，提高总体的变化检测精度。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变形，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
1.一种高分辨率遥感图像变化检测方法，其特征在于，包括：
构建孪生神经网络模型，以dice损失函数和交叉熵损失函数构成的联合损失函数作为该孪生神经网络模型的损失函数；
选取已知高分辨率遥感图像构建数据集，通过该数据集对该孪生神经网络模型进行训练及评估，得到图像变化检测模型；
以该图像变化检测模型对目标高分辨率遥感图像进行变化检测，得到该目标高分辨率遥感图像的变化区域的分割结果。
2.如权利要求1所述的高分辨率遥感图像变化检测方法，其特征在于，该联合损失函数
3.如权利要求1所述的高分辨率遥感图像变化检测方法，其特征在于，该孪生神经网络模型包括编码器、解码器和分类器；
该编码器包括第一编码子网络和第二编码子网络，该第一编码子网络具有n个分支，并根据相邻分支的特征图传递划分为n个阶段，其中，第n分支在第n阶段将特征图分别传递给第n 1阶段所有的n 1个分支；该第二编码子网络与该第一编码子网络具有相同结构且共享权重；该第一编码子网络以第一时间图像作为初始特征图输入，并输出n个对应分支的第一输出特征图，该第二编码子网络以第二时间图像作为初始特征图输入，并输出n个对应分支的第二输出特征图；其中n、n为正整数，n≥1，n∈[1,n]；
该解码器包括第一采样子网络、第二采样子网络和整合子网络，该第一采样子网络包括第一整合单元和第一采样单元，该第一整合单元用于对所有该第一输出特征图进行整合，该第一采样单元用于对该第一整合单元的整合结果进行上采样；该第二采样子网络与该第一采样子网络具有相同结构且共享权重，包括第二整合单元和第二采样单元，该第二整合单元用于对所有该第二输出特征图进行整合，该第二采样单元用于对该第二整合单元的整合结果进行上采样；该整合子网络用于对该第一采样单元的采样结果和该第二采样单元的采样结果进行整合得到该解码器的输出；
该分类器通过sigmoid激活函数对该解码器的输出进行激活，并通过与分类阈值比较以获得该分割结果。
4.如权利要求3所述的高分辨率遥感图像变化检测方法，其特征在于，第n分支内传递的特征图分辨率保持不变，第n分支向第n 1,n 2,…,n分支传递的特征图分辨率则依次递减。
5.一种高分辨率遥感图像变化检测系统，其特征在于，包括：
模型构建模块，用于构建孪生神经网络模型，以dice损失函数和交叉熵损失函数构成的联合损失函数作为该孪生神经网络模型的损失函数；
模型训练模块，用于选取已知高分辨率遥感图像构建数据集，通过该数据集对该孪生神经网络模型进行训练及评估，得到图像变化检测模型；
图像检测模块，用于以该图像变化检测模型对目标高分辨率遥感图像进行变化检测，得到该目标高分辨率遥感图像的变化区域的分割结果。
6.如权利要求5所述的高分辨率遥感图像变化检测系统，其特征在于，该联合损失函数
7.如权利要求5所述的高分辨率遥感图像变化检测系统，其特征在于，该孪生神经网络模型包括编码器、解码器和分类器；
该编码器包括第一编码子网络和第二编码子网络，该第一编码子网络具有n个分支，并根据相邻分支的特征图传递划分为n个阶段，其中，第n分支在第n阶段将特征图分别传递给第n 1阶段所有的n 1个分支；该第二编码子网络与该第一编码子网络具有相同结构且共享权重；该第一编码子网络以第一时间图像作为初始特征图输入，并输出n个对应分支的第一输出特征图，该第二编码子网络以第二时间图像作为初始特征图输入，并输出n个对应分支的第二输出特征图；其中n、n为正整数，n≥1，n∈[1,n]；
该解码器包括第一采样子网络、第二采样子网络和整合子网络，该第一采样子网络包括第一整合单元和第一采样单元，该第一整合单元用于对所有该第一输出特征图进行整合，该第一采样单元用于对该第一整合单元的整合结果进行上采样；该第二采样子网络与该第一采样子网络具有相同结构且共享权重，包括第二整合单元和第二采样单元，该第二整合单元用于对所有该第二输出特征图进行整合，该第二采样单元用于对该第二整合单元的整合结果进行上采样；该整合子网络用于对该第一采样单元的采样结果和该第二采样单元的采样结果进行整合得到该解码器的输出；
该分类器通过sigmoid激活函数对该解码器的输出进行激活，并通过与分类阈值比较以获得该分割结果。
8.如权利要求7所述的高分辨率遥感图像变化检测系统，其特征在于，第n分支内传递的特征图分辨率保持不变，第n分支向第n 1,n 2,…,n分支传递的特征图分辨率则依次递减。
9.一种计算机可读存储介质，存储有可执行指令，该可执行指令用于执行如权利要求1～4任一项所述的高分辨率遥感图像变化检测方法。
10.一种数据处理装置，包括处理器和如权利要求9所述的计算机可读存储介质，该处理器调取并执行该计算机可读存储介质中的可执行指令，以进行高分辨率遥感图像变化检测。
技术总结