一种融合加权Unet网络和IR-MAD的建筑物变化检测方法与流程

专利2022-06-29  60


本发明属于遥感影像变化检测领域,涉及一种融合加权unet网络和ir-mad的建筑物变化检测方法。



背景技术:

遥感影像变化检测即利用多时相的遥感数据分析并确定地表覆盖变化的特征与过程,将多时相影像中随时间变化的像元赋予变化语义类别标签。变化检测在农业、国土资源监测、灾情评估等众多领域具有重要的应用需求,对遥感影像变化检测方法进行研究具有重要的意义。

遥感影像的变化检测一直是学术界的研究热点,许多学者对其进行了研究。目前变化检测方法可分为两类:非深度学习变化检测和深度学习变化检测。非深度学习变化检测方法主要包含影像代数法、影像变换法和分类检测法三类,非深度学习变化检测方法的检测结果与阈值密切相关,对于实际问题很难找到合适的阈值使结果同时满足高准确率、低误检率和低漏检率的要求。基于深度学习的遥感影像变化检测可以直接、快速地从多时相遥感影像中得到变化检测结果,对噪声等干扰具有较强的鲁棒性,但深度学习变化检测方法需要大量的训练数据,模型的效果与数据量相关,数据量较小会限制模型的效果。



技术实现要素:

本发明的目的在于针对现有技术的缺点和不足,提供一种融合加权unet网络和ir-mad的建筑物变化检测方法。该方法将深度学习和非深度学习变化检测方法相结合,在样本量较小的情况下能够对遥感影像建筑物变化信息进行精准、快速的提取。

本发明采用如下技术方案:

一种融合加权unet网络和ir-mad的建筑物变化检测方法,包括以下步骤:

步骤1,将已配准的两时相遥感影像在通道方向进行连接,得到连接后的多通道遥感影像,并以多个连接后的多通道遥感影像作为输入和对应的真实地表变化影像作为标签,训练加权unet网络;

将待检测的已配准的两时相遥感影像在通道方向上进行连接得到连接后的待检测多通道遥感影像,使用训练好的加权unet网络对连接后的待检测多通道遥感影像进行预测,得到二值化的加权unet疑似变化像素检测结果图像,图像上的像素被划分为疑似变化像素和非变化像素两类。

步骤2,对于待检测的已配准的两时相遥感影像,使用ir-mad算法进行疑似变化像素的检测,得到二值化的ir-mad疑似变化像素检测结果图像,图像上的像素被划分为疑似变化像素和非变化像素两类。

步骤3,将加权unet疑似变化像素检测结果图像和ir-mad疑似变化像素检测结果图像进行基于投票的方式的融合,依次遍历图像上的像素,确定像素变化类型为变化或非变化,图像上所有像素的变化类型确定后得到变化像素检测结果。

步骤4,使用形态学操作对变化像素检测结果进行优化,然后将相邻的变化像素聚类为变化区域,得到包含多个变化区域的变化检测结果。

步骤5,基于建筑物阴影特性去除变化检测结果中非建筑物的变化区域,得到最终的建筑物变化检测结果。

作为优选,步骤1中所述训练加权unet网络,具体为:

将多组已配准的大小为w*h*c的两时相遥感影像在通道方向上进行连接,得到多个连接后的大小为w*h*2c的多通道遥感影像,其中,w为单幅影像的宽度,h为单幅影像的高度,w和h的单位为像素,c为影像的通道数;

使用多组连接后的多通道遥感影像作为输入,使用与输入对应的真实地表变化影像作为标签,训练加权unet网络。加权unet网络在unet网络的基础上使用带权的交叉熵作为损失函数:

其中,n表示训练数据所包含的类别数量,遥感影像建筑物变化检测问题中n=2,包含变化和非变化两个类别;(i,j)表示像素在影像上的位置,i的取值范围为0到w-1,j的取值范围为0到h-1;y表示输入影像对应的真实地表变化结果,y(i,j)表示(i,j)位置像素的真实类别,y(i,j)的取值范围0到n-1;x表示加权unet网络对输入影像的预测分数,x(i,j)[k]表示加权unet网络预测(i,j)位置像素类别为k的分数,k的取值范围0到n-1;weights为权重矩阵,weights[k]表示类别k的权重,weights满足以下约束:

其中,weights[1]代表变化类别的权重值,weights[0]代表非变化类别的权重值。

作为优选,步骤3中所述将加权unet疑似变化像素检测结果图像和ir-mad疑似变化像素检测结果图像进行基于投票的方式的融合,具体如下:

依次遍历图像上的像素,若加权unet疑似变化像素检测结果图像和ir-mad疑似变化像素检测结果图像中(i,j)位置的像素的类别均为疑似变化,则将该像素标记为变化类别,否则将该像素标记为非变化类别,遍历完成后得到变化像素检测结果。

作为优选,步骤4中所述使用形态学操作对变化像素检测结果进行优化,然后将相邻变化像素聚类为变化区域得到变化检测结果,具体如下:

对步骤3得到的变化像素检测结果进行形态学闭运算,填充相邻块之间的间隙以及块内部的孔洞;

进一步进行形态学开运算,去除斑点噪声得到形态学操作优化后的变化像素检测结果;

将形态学优化后的变化像素检测结果中相邻的变化像素聚类为变化区域,得到包含多个变化区域的变化检测结果。

作为优选,所述步骤5基于建筑物阴影特性去除非建筑物的变化区域实现方式如下:

使用阴影检测算法分别检测步骤1中待检测的已配准的两时相遥感影像的阴影,若步骤4中所述的变化检测结果中的变化区域在两幅影像中对应位置都不包含阴影,则认为该区域是非建筑物的变化区域,将其从变化区域中去除,最终仅保留变化检测结果中建筑物的变化区域,得到建筑物变化检测结果。

与现有技术相比,本发明具有如下特点:

本发明适用于遥感影像建筑物的变化检测。与已有方法相比,本发明将深度学习和非深度学习变化检测方法相结合,能够在少量标注样本的条件下得到准确的变化检测结果,同时克服非建筑物变化区域对建筑物变化检测结果的影响。

附图说明

图1:为本发明方法流程图;

图2:为本发明实施例的加权unet网络结构图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

图1表示的是融合加权unet网络和ir-mad的建筑物变化检测方法流程图,以下针对实施例流程中的各步骤,对本发明方法做进一步详细描述。

本发明使用python语言编程实现,本发明具体已配准的两时相遥感影像选取的是具有近红外、红、绿、蓝四个波段的高分辨率光学卫星遥感影像。

下面结合图1以及图2介绍本发明的具体实施方式如下:

步骤1,将已配准的两时相遥感影像在通道方向进行连接,得到连接后的多通道遥感影像,并以多个连接后的多通道遥感影像作为输入和对应的真实地表变化影像作为标签,训练加权unet网络;将待检测的已配准的两时相遥感影像在通道方向上进行连接得到连接后的待检测多通道遥感影像,使用训练好的加权unet网络对连接后的待检测多通道遥感影像进行预测,得到二值化的加权unet疑似变化像素检测结果图像,图像上的像素被划分为疑似变化像素和非变化像素两类。

步骤1中所述训练加权unet网络,具体为:

将多组已配准的大小为w*h*c的两时相遥感影像在通道方向上进行连接,得到多个连接后的大小为w*h*2c的多通道遥感影像,其中,w为单幅影像的宽度,h为单幅影像的高度,w和h的单位为像素,c为影像的通道数。

构建一个加权unet网络,如图2所示,该网络输入数据的大小为w*h*2c,输出为w*h大小的二值化图像,网络由一个压缩路径和一个扩张路径组成,压缩路径使用卷积神经网络进行特征提取,每层卷积后接一个整流线性单元relu或一个最大池化操作,扩张路径通过一系列上卷积和级联操作将特征和空间信息结合。根据训练数据量调整unet网络参数的数量,具体方式为调整网络每一层的通道数来控制参数数量,当训练数据量较大时,增加通道数量,当训练数据量较小时,减小通道数量。本实施例的训练数据量不大,压缩路径中的网络通道数设置为2c->32->64->256->512,扩张路径的中的网络通道数与压缩路径的网络通道数相对应。使用带权的交叉熵作为网络的损失函数,

其中,n表示训练数据所包含的类别数量,遥感影像建筑物变化检测问题中n=2,包含变化和非变化两个类别;(i,j)表示像素在影像上的位置,i的取值范围为0到w-1,j的取值范围为0到h-1;y表示输入影像的真实地表变化结果,y(i,j)表示(i,j)位置像素的真实类别,y(i,j)的取值范围0到n-1;x表示加权unet网络对输入影像的预测结果,x(i,j)[k]表示加权unet网络预测(i,j)位置像素类别为k的分数,k的取值范围0到n-1;weights[k]表示k类别的权重,weights满足以下约束:

其中,weights[1]代表变化类别的权重值,weights[0]代表非变化类别的权重值。本实施例中变化类别的权重设为0.8,非变化类别的权重设为0.2。

使用多组连接后的多通道遥感影像作为输入,并使用与输入对应的真实地表变化影像作为标签,训练加权unet网络,当网络达到最大迭代次数时停止训练,得到训练好的加权unet网络。

使用训练好的加权unet网络对连接后的待检测多通道遥感影像进行预测,得到二值化的加权unet疑似变化像素检测结果图像f1,图像上的像素被划分为疑似变化像素和非变化像素两类,对于(i,j)位置的像素,f1(i,j)=1表示该像素为疑似变化像素,f1(i,j)=0表示该像素为非变化像素。

步骤2,对于待检测的已配准的两时相遥感影像,使用ir-mad算法进行疑似变化像素的检测,得到二值化的ir-mad疑似变化像素检测结果图像,图像上的像素被划分为疑似变化像素和非变化像素两类。

步骤2中所述使用ir-mad算法进行疑似变化像素的检测具体为:

首先初始化一个与待检测的遥感影像大小相同的权重图像,权重图像上每个像素的初始值为1,通过ir-mad方法对待检测的已配准的两时相遥感影像进行迭代给权重图像上的每个像素赋予新的权重值,权重值的范围为[0,1],未变化的像素具有较大的权重,最终得到的权重是各个像素是否变化的唯一依据。然后选取合适的阈值,依次遍历权重图像上的每个像素,若像素权重值大于阈值,将该像素分类为疑似变化像素,否则将该像素分类为未变化像素。所有像素分类完成后得到二值化的ir-mad疑似变化像素检测结果图像f2,对于(i,j)位置的像素,f2(i,j)=1表示该像素为疑似变化像素,f2(i,j)=0表示该像素为非变化像素。

步骤3,将加权unet疑似变化像素检测结果图像和ir-mad疑似变化像素检测结果图像进行基于投票的方式的融合,依次遍历图像上的像素,确定像素变化类型为变化或非变化,图像上所有像素的变化类型确定后得到变化像素检测结果。

步骤3中所述将加权unet疑似变化像素检测结果图像和ir-mad疑似变化像素检测结果图像进行基于投票的方式的融合,具体为:

对于图像上某一像素(i,j),若f1(i,j)和f2(i,j)的值均为1,即该像素在加权unet疑似变化像素检测结果和ir-mad疑似变化像素检测结果中均为疑似变化像素,则投票后该像素为变化像素,其他情况该像素为非变化像素,即:

其中,f(i,j)为像素(i,j)基于投票融合的结果,f(i,j)=1代表像素(i,j)为变化像素,f(i,j)=0代表像素(i,j)为非变化像素。

遍历图像上的像素确定每个像素的类别,所有像素的类别确定后得到变化像素检测结果。步骤4,使用形态学操作对变化像素检测结果进行优化,然后将相邻的变化像素聚类为变化区域,得到包含多个变化区域的变化检测结果。

在形态学中,膨胀是求局部最大值的操作,腐蚀是求局部最小值的操作。形态学闭运算是对图像先进行膨胀后进行腐蚀,可以有效填充二值影像区域内部的孔洞、连接相近的两个区域;形态学开运算是对图像先腐蚀后膨胀,可以去除二值影像中的小斑点。

步骤4中所述使用形态学操作对变化像素检测结果进行优化,具体为:

对变化像素检测结果进行形态学闭运算,填充相邻块之间的间隙以及块内部的孔洞,该步骤中膨胀和腐蚀操作的核均为:

对进行形态学闭运算处理后的结果进行形态学开运算,去除斑点噪声,该步骤中膨胀核与腐蚀核的核均为:

将形态学优化后的变化像素检测结果中相邻的变化像素聚类为变化区域,得到包含多个变化区域的变化检测结果。步骤5:基于建筑物阴影特性去除变化检测结果中非建筑物的变化区域,得到最终的建筑物变化检测结果,本发明具体实施方式将变化检测结果中一些反射率较高的平面物体作为变化检测结果中非建筑物的变化区域;

使用阴影检测算法分别检测步骤1中待检测的已配准的两时相遥感影像的阴影,例如使用基于pca和his模型的阴影检测算法来检测影像中的阴影:

将遥感影像经过主成分变换后,阴影区域总是处于第一主成分的两端,正大值端或者负小值端。若阴影区域处于正大值区域,则把第一主成分小于0的值赋值为0,大于0的值不变,即“正大值取正”:

pca1=(b1lt0)*0 (b1gt0)*b1

其中,lt代表小于,gt代表大于;

若阴影区域处于负小值区域,则把第一主成分大于0的值赋值为0,小于0的值不变,即“负小值取负”:

pca1=(b1lt0)*b1 (b1gt0)*0

然后对“正大值取正或负小值取负”的结果进行归一化:

pca1nor=pca1/max(pca1)

经过归一化处理后,第一主成分的值范围为[0,1],阴影区域信息得到增强,且值接近于1。

将遥感影像转换到his色彩空间,然后利用pca1nor与his色彩空间的i和s分量计算阴影指数:

得到图像阴影指数的范围为[-1,1],然后选取合适的阈值,得到影像上的阴影区域。

若步骤4形态学操作优化后的变化检测结果中的变化区域在两幅影像中对应位置都不包含阴影,则认为该区域是非建筑物的变化区域,将其从变化区域中去除。最终仅保留变化检测结果中建筑物的变化区域,得到遥感影像建筑物变化检测结果。

应当理解的是,本说明书未详细阐述的部分均属于现有技术。

应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。


技术特征:

1.一种融合加权unet网络和ir-mad的建筑物变化检测方法,其特征在于,包括以下步骤:

步骤1,将已配准的两时相遥感影像在通道方向进行连接,得到连接后的多通道遥感影像,并以多个连接后的多通道遥感影像作为输入和对应的真实地表变化影像作为标签,训练加权unet网络;

将待检测的已配准的两时相遥感影像在通道方向上进行连接得到连接后的待检测多通道遥感影像,使用训练好的加权unet网络对连接后的待检测多通道遥感影像进行预测,得到二值化的加权unet疑似变化像素检测结果图像,图像上的像素被划分为疑似变化像素和非变化像素两类;

步骤2,对于待检测的已配准的两时相遥感影像,使用ir-mad算法进行疑似变化像素的检测,得到二值化的ir-mad疑似变化像素检测结果图像,图像上的像素被划分为疑似变化像素和非变化像素两类;

步骤3,将加权unet疑似变化像素检测结果图像和ir-mad疑似变化像素检测结果图像进行基于投票的方式的融合,依次遍历图像上的像素,确定像素变化类型为变化或非变化,图像上所有像素的变化类型确定后得到变化像素检测结果;

步骤4,使用形态学操作对变化像素检测结果进行优化,然后将相邻的变化像素聚类为变化区域,得到包含多个变化区域的变化检测结果;

步骤5,基于建筑物阴影特性去除变化检测结果中非建筑物的变化区域,得到最终的建筑物变化检测结果。

2.根据权利要求1所述的融合加权unet网络和ir-mad的建筑物变化检测方法,其特征在于:步骤1中所述训练加权unet网络,具体为:

将多组已配准的大小为w*h*c的两时相遥感影像在通道方向上进行连接,得到多个连接后的大小为w*h*2c的多通道遥感影像,其中,w为单幅影像的宽度,h为单幅影像的高度,w和h的单位为像素,c为影像的通道数;

使用多组连接后的多通道遥感影像作为输入,使用与输入对应的真实地表变化影像作为标签,训练加权unet网络;加权unet网络在unet网络的基础上使用带权的交叉熵作为损失函数:

其中,n表示训练数据所包含的类别数量,遥感影像建筑物变化检测问题中n=2,包含变化和非变化两个类别;(i,j)表示像素在影像上的位置,i的取值范围为0到w-1,j的取值范围为0到h-1;y表示输入影像对应的真实地表变化结果,y(i,j)表示(i,j)位置像素的真实类别,y(i,j)的取值范围0到n-1;x表示加权unet网络对输入影像的预测分数,x(i,j)[k]表示加权unet网络预测(i,j)位置像素类别为k的分数,k的取值范围0到n-1;weights为权重矩阵,weights[k]表示类别k的权重,weights满足以下约束:

其中,weights[1]代表变化类别的权重值,weights[0]代表非变化类别的权重值。

3.根据权利要求1所述的融合加权unet网络和ir-mad的建筑物变化检测方法,其特征在于:步骤3中所述将加权unet疑似变化像素检测结果图像和ir-mad疑似变化像素检测结果图像进行基于投票的方式的融合,具体如下:

依次遍历图像上的像素,若加权unet疑似变化像素检测结果图像和ir-mad疑似变化像素检测结果图像中(i,j)位置的像素的类别均为疑似变化,则将该像素标记为变化类别,否则将该像素标记为非变化类别,遍历完成后得到变化像素检测结果。

4.根据权利要求1所述的融合加权unet网络和ir-mad的建筑物变化检测方法,其特征在于:步骤4中所述使用形态学操作对变化像素检测结果进行优化,然后将相邻变化像素聚类为变化区域得到变化检测结果,具体如下:

对步骤3得到的变化像素检测结果进行形态学闭运算,填充相邻块之间的间隙以及块内部的孔洞;

进一步进行形态学开运算,去除斑点噪声得到形态学操作优化后的变化像素检测结果;

将形态学优化后的变化像素检测结果中相邻的变化像素聚类为变化区域,得到包含多个变化区域的变化检测结果。

5.根据权利要求1所述的融合加权unet网络和ir-mad的建筑物变化检测方法,其特征在于:所述步骤5基于建筑物阴影特性去除非建筑物的变化区域实现方式如下:

使用阴影检测算法分别检测步骤1中待检测的已配准的两时相遥感影像的阴影,若步骤4中所述的变化检测结果中的变化区域在两幅影像中对应位置都不包含阴影,则认为该区域是非建筑物的变化区域,将其从变化区域中去除,最终仅保留变化检测结果中建筑物的变化区域,得到建筑物变化检测结果。

技术总结
本发明提出了一种融合加权Unet网络和IR‑MAD的建筑物变化检测方法。本发明使用多组已配准的两时相遥感影像及其标记结果训练加权Unet网络,并使用该网络对待检测遥感影像进行疑似变化像素的检测;使用IR‑MAD算法对待检测遥感影像进行疑似变化像素的检测;将两种方法的疑似变化像素检测结果进行基于投票的方式的融合得到变化像素检测结果;使用形态学操作对变化像素检测结果进行优化并将相邻变化像素聚类为变化区域,然后基于建筑物阴影特性去除非建筑物的变化区域,得到最终的建筑物变化检测结果。本发明适用于遥感影像建筑物的变化检测。本发明将深度学习和非深度学习变化检测方法相结合,能够在少量标注样本的条件下得到准确的建筑物变化检测结果。

技术研发人员:潘俊;徐锐;余小于;张驰;杨瑨
受保护的技术使用者:武汉大学
技术研发日:2020.01.19
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-53651.html

最新回复(0)