本申请涉及图像处理技术领域，尤其涉及图像处理方法和装置及计算机存储介质。
背景技术：
随着越来越多的高空间、时间、光谱分辨率的卫星发射升空，基于卫星的遥感数据开始被广泛应用到各个领域，极大提升了信息获取效率，促进行业发展。从遥感数据上对指定物体进行检测一直是各领域应用热点。
遥感图像中的建筑物提取是遥感图像处理中的重要问题。遥感图像中的建筑物提取具有非常广泛的应用，如建筑物的变化检测预测城市发展，检测违章建筑，建筑物分析等。
然而由于遥感数据通常像素较大，受分辨率制约物体在影像上的成像尺寸较小，有时甚至只有几个像素大小，即使是进行目视解译也需要综合多种信息进行较长时间的考量。而且在现实环境中，同一类物体形态各异，这就为传统基于先验特征的自动检测技术造成了困难，难以应用到实际场景中。
技术实现要素：
本申请提供了一种图像处理技术。
第一方面，提供了一种图像处理方法，包括：获取待处理图像的建筑物概率图，其中，所述建筑物概率图包括所述待处理图像中多个像素点属于建筑物区域的概率信息；对所述建筑物概率图进行锐化处理，得到锐化处理后的建筑物概率图；基于所述锐化处理后的建筑物概率图，得到所述待处理图像的建筑物边界信息。
在一种可能实现的方式中，所述获取待处理图像的建筑物概率图，包括：通过多个下采样模块对所述待处理图像进行逐级下采样处理，得到第一特征数据；对所述第一特征数据进行卷积处理，得到第二特征数据；通过多个上采样模块对所述第二特征数据进行逐级上采样处理，得到第三特征数据；基于所述第三特征数据，得到所述建筑物概率图。
在另一种可能实现的方式中，所述通过多个下采样模块对所述待处理图像进行逐级下采样处理，得到第一特征数据，包括：对所述多个下采样模块中的第一下采样模块的输入信息进行池化处理，得到第一下采样特征数据，其中，所述第一下采样模块的输入信息为所述待处理图像或所述第一下采样模块的上一下采样模块输出的特征数据；对所述第一下采样特征数据进行特征提取处理，得到第二下采样特征数据；将所述第一下采样特征数据和所述第二下采样特征数据进行融合处理，得到所述第一下采样模块输出的特征数据。
在又一种可能实现的方式中，所述对所述第一下采样特征数据进行特征提取处理，得到第二下采样特征数据，包括：对所述第一下采样特征数据进行特征提取处理，得到第一中间特征数据；将所述第一下采样特征数据和所述第一中间特征数据进行融合处理，得到第二中间特征数据；对所述第二中间特征数据进行特征提取处理，得到所述第二下采样特征数据。
在又一种可能实现的方式中，所述对所述第一特征数据进行卷积处理，得到第二特征数据，包括：将所述第一特征数据进行缩小处理，得到第四特征数据；对所述第四特征数据进行特征提取处理，得到第五特征数据；将所述第五特征数据进行放大处理，得到所述第二特征数据。
在又一种可能实现的方式中，所述通过多个上采样模块对所述第二特征数据进行逐级上采样处理，得到第三特征数据，包括：将第一上采样模块输入的特征数据和所述第一上采样模块对应的下采样模块输出的特征数据进行融合处理，得到第一上采样特征数据，其中，所述多个上采样模块包括所述第一上采样模块，且所述第一上采样模块对应的下采样模块输出的特征数据与所述第一上采样模块输出的特征数据具有相同的维度；对所述第一上采样特征数据进行特征提取处理，得到第二上采样特征数据；将所述第二上采样特征数据进行放大处理，得到所述第一上采样模块输出的特征数据。
在又一种可能实现的方式中，所述对所述建筑物概率图进行锐化处理，得到锐化处理后的建筑物概率图，包括：对所述建筑物概率图进行滤波处理，得到过滤概率图；将所述过滤概率图与所述建筑物概率图进行叠加处理，得到叠加概率图；对所述叠加概率图进行二值化处理，得到所述锐化处理后的建筑物概率图。
在又一种可能实现的方式中，所述基于所述锐化处理后的建筑物概率图，得到所述待处理图像的建筑物边界信息，包括：基于所述锐化处理后的建筑物概率图中包括的多个像素点的概率值，确定连通区域；对所述连通区域的原始边界进行边修正处理，得到所述连通区域的修正边界；对所述连通区域的修正边界进行锐角修正处理，得到所述建筑物边界信息。
在又一种可能实现的方式中，所述方法还包括：存储所述建筑物边界的信息。
第二方面，提供了一种图像处理装置，包括：获取模块，用于获取待处理图像的建筑物概率图，其中，所述建筑物概率图包括所述待处理图像中多个像素点属于建筑物区域的概率信息；锐化模块，用于对所述建筑物概率图进行锐化处理，得到锐化处理后的建筑物概率图；处理模块，用于基于所述锐化处理后的建筑物概率图，得到所述待处理图像的建筑物边界信息。
在一种可能实现的方式中，所述获取模块包括：下采样子模块，用于对所述待处理图像进行逐级下采样处理，得到第一特征数据；卷积子模块，用于对所述第一特征数据进行卷积处理，得到第二特征数据；上采样子模块，用于所述第二特征数据进行逐级上采样处理，得到第三特征数据；处理子模块，用于基于所述第三特征数据，得到所述建筑物概率图。
在另一种可能实现的方式中，所述下采样子模块用于：对所述多个下采样子模块中的第一下采样子模块的输入信息进行池化处理，得到第一下采样特征数据，其中，所述第一下采样子模块的输入信息为所述待处理图像或所述第一下采样子模块的上一下采样子模块输出的特征数据；以及对所述第一下采样特征数据进行特征提取处理，得到第二下采样特征数据；以及将所述第一下采样特征数据和所述第二下采样特征数据进行融合处理，得到所述第一下采样子模块输出的特征数据。
在又一种可能实现的方式中，所述上采样子模块用于：对所述第一下采样特征数据进行特征提取处理，得到第一中间特征数据；以及将所述第一下采样特征数据和所述第一中间特征数据进行融合处理，得到第二中间特征数据；以及对所述第二中间特征数据进行特征提取处理，得到所述第二下采样特征数据。
在又一种可能实现的方式中，所述卷积子模块用于：将所述第一特征数据进行缩小处理，得到第四特征数据；以及对所述第四特征数据进行特征提取处理，得到第五特征数据；以及将所述第五特征数据进行放大处理，得到所述第二特征数据。
在又一种可能实现的方式中，所述上采样子模块用于：将第一上采样子模块输入的特征数据和所述第一上采样子模块对应的下采样子模块输出的特征数据进行融合处理，得到第一上采样特征数据，其中，所述多个上采样子模块包括所述第一上采样子模块，且所述第一上采样子模块对应的下采样子模块输出的特征数据与所述第一上采样子模块输出的特征数据具有相同的维度；以及对所述第一上采样特征数据进行特征提取处理，得到第二上采样特征数据；以及将所述第二上采样特征数据进行放大处理，得到所述第一上采样子模块输出的特征数据。
在又一种可能实现的方式中，所述锐化模块包括：滤波子模块，用于对所述建筑物概率图进行滤波处理，得到过滤概率图；叠加子模块，用于将所述过滤概率图与所述建筑物概率图进行叠加处理，得到叠加概率图；二值化子模块，用于对所述叠加概率图进行二值化处理，得到所述锐化处理后的建筑物概率图。
在又一种可能实现的方式中，所述处理模块包括：确定子模块，用于基于所述锐化处理后的建筑物概率图中包括的多个像素点的概率值，确定连通区域；边界修正子模块，用于对所述连通区域的原始边界进行边修正处理，得到所述连通区域的修正边界；角度修正子模块，用于对所述连通区域的修正边界进行锐角修正处理，得到所述建筑物边界信息。
在又一种可能实现的方式中，所述装置还包括：存储模块，用于存储所述建筑物边界的信息。
第三方面，提供了一种图像处理装置，包括：包括处理器、存储器；所述存储器被配置为存储计算机指令，所述处理器被配置为调用所述存储器中存储的计算机指令，以执行上述第一方面或其任一种可能的实现方式的方法。
可选的，所述装置还可以包括输入/输出接口，用于支持所述装置与其他装置之间的通信。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面或其任一种可能的实现方式的方法。
第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面或其任一种可能的实现方式的方法。
本申请实施例通过对建筑物概率图进行锐化处理可更好的区分建筑物区域与非建筑物区域，从而提高提取到的建筑物精度。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1为本申请实施例提供的图像处理方法的流程示意图；
图2为本申请实施例提供的图像处理方法的另一流程示意图；
图3为本申请实施例提供的建筑物提取网络的结构示意图；
图4为本申请实施例提供的特征融合层的结构示意图；
图5为本申请实施例提供的图像处理方法的另一流程示意图；
图6为本申请实施例提供的图像处理方法的另一流程示意图；
图7为本申请实施例提供的角度修正算法的示意图；
图8为本申请实施例提供的待处理图像与建筑物矢量图的对比图；
图9为本申请实施例提供的图像处理装置的结构示意图；
图10为本申请实施例提供的图像处理装置的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
下面结合本申请实施例中的附图对本申请实施例进行描述，应理解，本申请实施例主要应用于遥感图像的处理，但也可以应用于包含建筑物的其他类型的图像的处理，本申请实施例对此不做限定。
请参阅图1，图1是本申请实施例提供的一种图像处理方法的流程示意图。
101、获取待处理图像的建筑物概率图。
在本申请实施例中，可以通过多种方式获取待处理图像的建筑物概率图。在一些可能的实现方式中，从其他设备处获取待处理图像的建筑物概率图，例如接收终端设备发送的建筑物概率图。在另一些可能的实现方式中，通过对待处理图像进行处理，得到建筑物概率图。例如，对待处理图像进行特征提取和预测，得到待处理图像的建筑物概率图。在一个可选例子中，对待处理图像进行下采样处理，得到下采样特征数据；然后，对下采样特征数据进行上采样处理，以进一步丰富特征数据中的语义信息，并将处理得到的特征数据的尺寸放大到目标大小，得到上采样特征数据；最后，依据上采样特征数据，对待处理图像中的像素点进行预测，得到像素点属于建筑物区域的概率，即建筑物概率图。
102、对上述建筑物概率图进行锐化处理，得到锐化处理后的建筑物概率图。
在一些可能的实现方式中，建筑物概率图中的概率值的取值范围为0至1之间的任意数值，且概率值越接近于1代表像素点属于建筑物区域的概率越大，概率值越接近于0代表像素点属于非建筑物区域的概率越大。由于图像中像素点的概率值是连续变化的，概率值处于中间区域的像素点可能属于建筑物区域，也可能属于非建筑物区域，因而存在模糊地带，模糊地带对从待处理图像中提取建筑物区域的精确度会带来影响，因此，本申请实施例通过对建筑物概率图进行锐化处理，以使得建筑物区域与非建筑物区域的边界更清晰，从而提高建筑物提取的精度。
在102中，可以通过多种方式对建筑物概率图进行锐化处理。在一些可能的实现方式中，对建筑物概率图中的概率值进行二值化处理，得到锐化处理后的建筑物概率图，例如，以特定数值为界对建筑物概率图进行二值化处理。在一个例子中，以0.5为界，将大于或等于0.5的概率值调整为1，而将小于0.5的概率值调整为0，但本申请实施例不限于此。
103、基于上述锐化处理后的建筑物概率图，得到上述待处理图像的建筑物边界信息。
具体地，可以基于锐化处理后的建筑物概率图，得到待处理图像中对应于建筑物区域的连通区域，并基于该连通区域，得到建筑物边界。在一些可能的实现方式中，在得到连通区域之后，还可以对该连通区域的边界进行修正，并基于修正后的边界，得到建筑物边界。例如，通过道格拉斯-普克(douglas-peucker)算法对连通区域的顶点进行修正处理，和/或对边界进行锐角修正处理，得到包含建筑物边界的坐标信息的待处理图像的建筑物边界信息。
在本申请实施例中，可选地，通过神经网络从待处理图像中提取出建筑物区域，并构建出目标规则的几何外形，以实现地图上的建筑物的自动标注。
请参阅图2，图2是本申请实施例提供的图像处理方法中步骤101的一种可能的实现方式的流程示意图。其中，在图2所示的例子中，通过神经网络对待处理图像进行处理，得到待处理图像的建筑物概率图。为了便于描述，下文将该神经网络称为稠密建筑物网络(densebuildingnet，dsn))，通过dsn对待处理图像进行处理，可得到待处理图像的建筑物概率图。图3示出了本申请实施例中的dsn结构示例，具体包括：多个下采样模块、下采样(transitiondown，td)层、稠密块(denseblock，db)层、上采样(transitionup，tu)层和多个上采样模块，其中，多个下采样模块包含第一下采样模块、第二下采样模块和第三下采样模块，多个上采样模块包含第一上采样模块、第二上采样模块和第三上采样模块。应理解，图3所示的dsn结构仅用于举例说明，可选地，dsn也可以不包括图3中的部分模块，例如td层或db层等，也可以进一步包括其他模块或者具有其他结构，本公开实施例对此不做限定。
201、通过多个下采样模块对所述待处理图像进行逐级下采样处理，得到第一特征数据。
可选地，在将待处理图像输入到神经网络之前，可以对待处理图像进行预处理，并将预处理后的待处理图像输入到神经网络进行预测，得到建筑物概率图。在一些可能的实现方式中，预处理包括缩放处理，例如，神经网络的输入图像大小固定为513*513，此时，对于尺寸大于513*513的待处理图像，可以将待处理图像的尺寸缩小至513*513，而对于尺寸小于513*513的待处理图像，可以将待处理图像的尺寸放大至513*513。在另一些可能的实现方式中，预处理包括亮度调整、色彩抖动、旋转、裁剪等一种或多种处理，本申请实施例对此不做限定。
在201中，通过dsn中的下采样模块对待处理图像进行逐级下采样处理，提取出待处理图像中的特征信息，得到第一特征数据。
如图3所示，在下采样模块的一种可能的实现方式中，下采样模块包括：td层、db层和特征融合层。
下采样层可以通过多种方式实现，例如卷积、池化等，本申请实施例对此不做限定。在一些可能的实现方式中，下采样层包括用于池化处理的池化层，将待处理图像的分辨率缩小到特定大小，并减少采样点，后续从待处理图像中提取出的特征的维度能更小，同时能大大减小后续处理的计算量。池化处理可以为平均池化或者最大池化，在一个具体实现例子中，假设待处理图像的大小为h*w，当我们想要得到图像的目标大小为h*w时，可将该待处理图像划分成h*w个格子，这样，每一个格子的大小为(h/h)*(w/w)，然后计算每一个格子中像素的平均值或最大值，即可得到获得目标大小的图像。这样，通过下采样层对下采样模块的输入信息进行缩小处理，得到第一下采样特征数据，例如第一下采样特征图。
下采样层的输出端与db层的输入端连接，db层用于对下采样层输出的特征图进行特征提取处理。在图4所示的例子中，db层包括2个卷积层和2个连接层，通过卷积层对第一下采样特征数据进行卷积操作，以进一步提取其中的语义信息。在一些可能的实现方式中，在对第一下采样特征图做卷积操作的过程中，利用卷积核在图像上滑动，将第一下采样特征图的数值与对应的卷积核上的数值相乘，然后将所有相乘后的值相加替换第一下采样特征图中的原始数值，最终从第一下采样特征图中提取出特征。在图4所示的例子中，每一层卷积层提取出的特征都会和该卷积层的输入特征做连接操作，得到连接特征，作为下一层卷积层的输入。通过这样迭代地进行特征提取和连接，最大化了浅层和深层特征的融合，能够最大程度上兼顾浅层细节和高层抽象的特征，有利于提高预测精度。
可选地，两个卷积层之间可以进一步连接批归一化处理(batchnorm，bn)层和激活层(未在图中示出)，例如修正线性激活函数(relu)层。具体地，在提取特征时，数据经过每一层网络的处理后，其数据分布都会发生变化，这样会给下一层网络的提取带来困难。因此，对卷积层输出的特征数据进行归一化处理。而如果将每一层输出后的数据都归一化到均值为0且方差为1的正态分布，会导致学习到的特征分布被归一化。bn层通过加入可训练的参数对数据进行归一化处理，能加快训练速度，并去除数据的相关性，突出特征数据之间的分布差异。在一个例子中，bn层的操作参见下文：
假设输入数据是β＝x1→m，共m个数据，输出是yi＝bn(x)，bn层将对数据进行如下操作：
首先，求出上述批量数据β＝x1→m的平均值，即
根据上述平均值μβ，确定上述批量数据的方差，即
根据上述平均值μβ和方差
最后，基于缩放变量γ和平移变量β，得到批归一化的结果，即
经过bn层和relu激活层的处理，能够把当前特征空间通过映射转换到另一个空间，并增加特征数据的非线性，让特征数据能够更好的被分类。
通过db层对第一下采样特征数据进行特征提取处理，得到第二下采样特征数据。最后，将第二下采样特征数据与第一下采样特征数据进行特征融合处理，从而进一步丰富特征数据中的语义信息。
应理解，在图3所示的例子中，三个下采样模块具有完全相同的结构，在实际应用中，下采样模块的数量以及下采样模块的具体实现可以根据需求调整，多个下采样模块中的部分或所有下采样模块可以具有不同的结构，本公开实施例对此不做限定。
第一下采样模块接收输入的待处理图像或者预处理后的待处理图像或者待处理图像中的部分图像块，并对输入信息进行第一级下采样处理，得到特征数据，并输出得到的特征数据。第一下采样模块输出的特征数据作为第二下采样模块的输入，第二下采样模块接收第一下采样模块输出的特征数据，并对输入的特征数据进行第二级下采样处理，得到特征数据，并输出得到的特征数据。第二下采样模块输出的特征数据作为第三下采样模块的输入，第三下采样模块接收第二下采样模块输出的特征数据，并对输入的特征数据进行第三级下采样处理，得到第一特征数据，并输出第一特征数据。多个下采样模块一步步将待处理图像中的特征抽象出来，最终得到第一特征数据。
202、对上述第一特征数据进行卷积处理，得到第二特征数据。
如图3所示，第三下采样模块后连接td层，td层对第一特征数据进行缩小处理，得到第四特征数据，db层对第四特征数据进行特征提取处理，得到第五特征数据，tu层对第五特征数据进行放大处理，得到所述第二特征数据。td层和db层的具体组成及对特征数据的处理过程详见201，tu层对第五特征数据的具体处理过程详见203。
203、通过多个上采样模块对所述第二特征数据进行逐级上采样处理，得到第三特征数据。
在图3所示的例子中，多个上采样模块包括：第一上采样模块、第二上采样模块、第三上采样模块。在上采样模块的一种可能实现方式中，包括特征融合处理、db层和tu层。
上采样是下采样的逆过程，通过上采样层对特征进行逐步放大，最终得到目标特征数据。
下采样模块在提取特征时，会丢弃掉一些相对次要的特征数据，但图像浅层特征还保留有图像的这些次要数据，所以在进行上采样处理时会将下采样模块得到的下采样特征数据与相同大小的上采样特征数据进行融合，这样可得到更加丰富的特征数据的信息，最后得到的建筑物区域的概率值也就更准确。首先，将第一上采样模块输入的特征数据和第一上采样模块对应的下采样模块输出的特征数据(即第三下采样模块输出的特征数据)进行融合处理，得到第一上采样特征数据。需要指出的是，在逐级上采样处理的过程中，第二下采样模块输出的下采样特征数据将与第一上采样模块输出的上采样进行特征融合处理，第一下采样模块输出的下采样特征数据将与第二上采样模块输出的上采样进行特征融合处理。
db层对第一上采样特征数据进行特征提取处理，得到第二上采样特征数据。
db层后连接的tu层对特征数据进行放大处理(例如双线性插值)，使特征数据逐级放大。这样，通过tu层对第二上采样特征数据进行放大处理，得到上采样模块输出的特征数据。可选地，tu层也可以通过其他方式实现，本公开实施例对此不做限定。
通过多个上采样模块对第二特征数据进行逐级上采样处理，最终输出第三特征数据。
204、基于上述第三特征数据，得到建筑物概率图。
多个上采样模块的输出端连接分类层(例如softmax层)，通过内置的softmax函数将输入的不同特征映射成0至1之间的值，映射后的值与输入的特征一一对应，这样，就相当于对每个输入特征完成了预测，并以数值的形式给出相应的概率。
可选地，在对dsn进行训练时，可通过softmax层对第三上采样模块输出的上采样特征数据进行预测。具体地，softmax层会根据上采样特征数据中不同区域的特征，对该区域归属为建筑物区域的概率进行预测，最终每个区域都将得到一个概率值。通过调整softmax函数的参数使softmax层输出的概率图中的概率值与实际情况相符，即对于建筑物区域，概率图中对应的概率值接近于1，对于非建筑物区域，概率图中对应的概率值接近于0。
在实际应用中，第三上采样模块将第三特征数据输入至softmax层后，softmax层基于第三特征数据，得到待处理图像中的像素点属于建筑物区域的概率，并输出建筑物概率图。
本实施例通过对待处理图像进行下采样处理提取特征数据，再进行上采样处理对特征数据进行放大，可在减小整个过程的计算量的同时，完整的提取出待处理图像的特征信息；分类层根据解码后得到的特征图像中的特征对待处理图像的内容进行预测，自主、快速地得到概率图。
请参阅图5，图5是本申请实施例提供的图像处理方法中步骤102的一种可能的实现方式的流程示意图。其中，图5所示的例子中，通过对建筑物概率图进行处理，得到锐化处理后的建筑物概率图。
501、对上述建筑物概率图进行滤波处理，得到过滤概率图。
由于在建筑物概率图中的从建筑物区域到非建筑物区域的概率值往往是个从1到0的渐变过程，在建筑物区域和非建筑物区域的交界处往往存在模糊地带，即很难区分模糊地带是属于建筑物区域还是非建筑物区域。显然，模糊地带对从待处理图像中提取建筑物区域的精确度会带来影响，本公开实施例通过对建筑物概率图进行锐化处理，使建筑物区域与非建筑物区域的边界更清晰。
在一些可能的实现方式中，通过拉普拉斯算子对建筑物概率图进行滤波处理，以增强图像的细节，找到图像的边缘。在一个具体实现的例子中，当模糊地带中某邻域中心的概率值小于它所在的领域内其它像素的平均概率值时，此中心像素的概率值应被进一步降低，当邻域中心像素概率值大于它所在的邻域内其它像素的平均概率值时，此中心像素的概率值应被进一步提高，以此实现图像的锐化处理。
假设建筑物概率图为f(x，y)，其拉普拉斯算子如下：
基于上式利用傅里叶变换的微分性质，可以推导出对应的频域拉普拉斯(laplacian)滤波器，滤波器的表达式如下：
h(u,v)＝-4π2(u2 v2)公式.....(2)
其中，u＝0,1,2,...,m-1，v＝0,1,2,...,n-1，u，v均为频率变量，m，n为输入图像f的尺寸。对应的中心化滤波器如下：
h(u,v)＝-4π2[(u-p/2)2 (v-q/2)2]＝-4π2d(u,v)公式.....(3)
其中，p，q为滤波器h的尺寸，一般取p＝2m，q＝2n。利用公式(3)对建筑物概率图f进行滤波，并对滤波后的结果进行反变换处理，即可求得其过滤概率图，具体公式如下：
其中，f(u,v)为建筑物概率图像f(x,y)的傅里叶变换，符号
可选地，在对建筑物概率图进行锐化处理之前，可以对建筑物概率图进行平滑处理，相应地，对平滑处理后的建筑物概率图进行锐化处理，以避免对噪声的锐化处理导致建筑物提取精度的降低。
502、将上述过滤概率图与上述建筑物概率图进行叠加处理，得到叠加概率图。
将滤波处理得到的过滤概率图与建筑物概率图叠加，可在将建筑物区域与非建筑物区域的边界分明化的同时，保留建筑物区域与非建筑物区域的概率值，过滤概率图与建筑物概率图叠加公式如下：
其中，g为叠加后得到的概率图，f为建筑物概率图，c为非0整数。501中的滤波处理使得建筑概率图的边缘轮廓更加清晰，这样既可以锐化建筑物区域与非建筑物区域的边界，又能保留建筑物区域的信息，而叠加处理则强化建筑物概率图中的弱边缘，并弱化建筑物概率图中的强边缘，将过滤概率图与建筑物概率图叠加可在保留建筑物区域和非建筑物区域的概率值的同时，使概率值渐变处的对比度得到增强，使得处理后得到的叠加概率图看起来比较自然，更适合于人眼观察。
503、对上述叠加概率图进行二值化处理，得到锐化处理后的建筑物概率图。
经过501和502的处理，已将建筑物区域与非建筑物区域的边界确定，即将建筑物区域与非建筑物区域区分开，但由于建筑物区域和非建筑物区域内的概率值并不一样，而不同的概率值对应的视觉明亮程度不一样，概率值越接近与1的区域就越亮，概率值越接近与0的区域就越暗。显然，最终得到的建筑物标注图只需正确的将待处理图像中的建筑物区域标注出，并与非建筑物区域明显区分开即可，因此，以0.5为界限，对叠加概率图中的概率值进行二值化处理，将所有大于或等于0.5的概率值调整为1，并将所有小于0.5的概率值调整为0，调整后得到锐化处理后的建筑物概率图。
本实施例通过对建筑物概率图中建筑物区域和非建筑物区域的边界进行锐化，使建筑物区域和非建筑物区域之间的区分更加清晰，并能提高从待处理图像中提取建筑物区域的精确度。
请参阅图6，图6是本申请实施例提供的图像处理方法中步骤103的一种可能的实现方式的流程示意图。
601、基于上述锐化处理后的建筑物概率图中包括的多个像素点的概率值，确定连通区域。
503得到的锐化处理后的建筑物概率图中的像素值只有0和1，因此，可以基于锐化处理后的建筑物概率图中包括的多个像素点的概率值，确定建筑物区域对应的连通区域，即概率值为1的多个相邻像素点构成的区域，并确定连通区域的边界，其中，该边界可以是包围连通区域的多边形，其中，该连通区域的边界也可以称为建筑物的矢量图层，矢量图层包括建筑物对应的连通区域的边界信息，例如边界顶点坐标等。
602、对上述连通区域的原始边界进行顶点修正或边修正处理，得到连通区域的修正边界。
连通区域的原始边界为多边形，为使得提取出的建筑物的边界较为平直规则，更接近人工标绘的效果，可以将原始边界中的冗余顶点删除。
在一种可能的实现方式中，通过道格拉斯-普克(douglas-peucker)算法进行边修正或顶点修正处理。具体地，将原始边界中的冗余顶点删除，以实现对建筑物区域的原始边界的边修正。在一个具体实现的例子中，对原始边界执行以下步骤：
(1)在多边形的首尾两点a，b之间连接一条直线ab；
(2)确定原始边界上位于a和b之间的多个点到直线ab之间的距离，并基于该多个点到直线ab之间的距离，得到多个点中离直线ab段距离最大的点c及其与直线ab之间的距离d；
(3)如果距离d大于预设阈值，则用点c将直线ab分为两段ac和cb，并分别对两段直线进行上述(1)～(3)的处理，以此迭代循环，直到得到的多个直线段中每个直线段顶点之间的多个点到直线段之间的最大距离小于预设阈值。
对建筑矢量图层进行边修正处理可以将连通区域的原始边界中的冗余顶点去除，同时保持建筑的拓扑关系不变，使得提取出的建筑物的边界更为平直规则，从而接近人工标绘的效果。
603、对上述连通区域的修正边界进行锐角修正处理，得到建筑物边界信息。
连通区域的修正边界中存在许多非常接近直角的锐角(一般指大于或等于70度且小于或等于110度的边角)，而现实生活中绝大部分的建筑物的边角均为直角，为使得提取出的建筑物区域更符合实际的建筑形状特征，本申请实施例提供了一种角度修正算法。该算法在不改变建筑物拓扑形状的前提下，将连通区域的修正边界中接近直角的边角全部转换为直角。从而使得生成的建筑物区域更加符合实际的建筑形状。
如图7所示的例子中，该角度修正算法遍历连通区域的修正边界的所有顶点，并判断当前顶点与之后两个顶点之间的夹角的大小。在一个具体实现的方式中，假如算法遍历的当前顶点为顶点p0，计算p0和之后两个顶点p1，p2组成的夹角a的大小，如果a大于或等于70度且小于或等于110度，那么就从p2做一条垂线到p1p2，计算d(p1'，p1)/d(p1，p0)的值，其中，d(p1'，p1)和d(p1，p0)分别为p1'与p1之间的距离和p1和p0之间的距离。若d(p1'，p1)/d(p1，p0)的值小于0.3，就用垂足p1'替换p1，这样可使替换后的点离原始点不太远，保证了建筑的拓扑关系，经过多次这样的迭代之后，接近直角的边角就会更加规则。
当完成对建筑物区域所有内角的修正后，即可得到建筑物矢量图。建筑物矢量图中包含连通区域边界(即建筑物区域边界)的坐标信息。
604、存储上述建筑物边界的信息。
从图8中的建筑物矢量图与待处理图像的对比图中可以看出，建筑物矢量图(图8中的第二行图)中的建筑物区域的边界较为平直规则，能够接近人工标绘的效果，且与待处理图像中的实际建筑物的坐标和大小均一致，同时，由于建筑物矢量图中并没有背景内容，这将极大的减小建筑物提取结果占用的存储空间，从而降低了对硬件配置的要求。
众所周知，城市规划行业需要知道最近十几年的城市地图分析城市发展，其中，建筑物的扩张趋势就是一个重要的指标。本申请的建筑物提取方法可以有效的检测遥感图像中城市的建筑物的变化趋势。另外，也可以使用本申请提供的dsn进行检测城市中的违章建筑，以节约人力成本。此外，还可利用本申请提供的方案定期或不定期的对监控区域进行建筑物提取。通过比对前后两次的提取结果，找出将新增的建筑物，并将所有新增的建筑物视为潜在的违章建筑。相关工作人员可根据本申请方案给出的潜在的违章建筑结果，进行实地核实，以确保准确的找出违章建筑。通过本申请实现对城市违章建筑的建筑，相关工作人员可大大减小工作人员的工作量，同时也能大大缩小人力成本及时间成本。
由于国家高速发展，各地的建筑物也日益增多，这样也就给电子地图的更新带来了很大的难度。电子地图每隔一段时间都需要更新地图上的建筑数据，使用人工检测的方式费时费力，而使用本申请的方案从遥感图像中自动检测生成建筑物矢量数据，在保证检测的准确率的同时，可减少标注员的工作量及存储建筑物提取结果所需的存储空间，同时也能节约人力成本和时间成本。
本实施例通过建筑物区域的边界进行修正，使建筑物区域更符合实际的建筑物形状，而基于修正边界后的建筑物区域得到的建筑物矢量图则大大减小了图像的容量，为用户存储建筑物矢量图及基于建筑物矢量图进行后续处理带来了极大的便利。
请参阅图9，图9为本申请实施例提供的一种图像处理装置的结构示意图，该装置1包括：获取模块11、锐化模块12、处理模块13即存储模块14。其中：
获取模块11，用于获取待处理图像的建筑物概率图，其中，所述建筑物概率图包括所述待处理图像中多个像素点属于建筑物区域的概率信息；
锐化模块12，用于对所述建筑物概率图进行锐化处理，得到锐化处理后的建筑物概率图；
处理模块13，用于基于所述锐化处理后的建筑物概率图，得到所述待处理图像的建筑物边界信息。
进一步地，所述获取模块11包括：下采样子模块111，用于对所述待处理图像进行逐级下采样处理，得到第一特征数据；卷积子模块112，用于对所述第一特征数据进行卷积处理，得到第二特征数据；上采样子模块113，用于所述第二特征数据进行逐级上采样处理，得到第三特征数据；处理子模块114，用于基于所述第三特征数据，得到所述建筑物概率图。
进一步地，所述下采样子模块111用于：对所述多个下采样子模块中的第一下采样子模块的输入信息进行池化处理，得到第一下采样特征数据，其中，所述第一下采样子模块的输入信息为所述待处理图像或所述第一下采样子模块的上一下采样子模块输出的特征数据；以及对所述第一下采样特征数据进行特征提取处理，得到第二下采样特征数据；以及将所述第一下采样特征数据和所述第二下采样特征数据进行融合处理，得到所述第一下采样子模块输出的特征数据。
进一步地，所述卷积子模块112用于：将所述第一特征数据进行缩小处理，得到第四特征数据；以及对所述第四特征数据进行特征提取处理，得到第五特征数据；以及将所述第五特征数据进行放大处理，得到所述第二特征数据。
进一步地，所述上采样子模块113用于：将第一上采样子模块输入的特征数据和所述第一上采样子模块对应的下采样子模块输出的特征数据进行融合处理，得到第一上采样特征数据，其中，所述多个上采样子模块包括所述第一上采样子模块，且所述第一上采样子模块对应的下采样子模块输出的特征数据与所述第一上采样子模块输出的特征数据具有相同的维度；以及对所述第一上采样特征数据进行特征提取处理，得到第二上采样特征数据；以及将所述第二上采样特征数据进行放大处理，得到所述第一上采样子模块输出的特征数据。
进一步地，所述上采样子模块113用于：对所述第一下采样特征数据进行特征提取处理，得到第一中间特征数据；以及将所述第一下采样特征数据和所述第一中间特征数据进行融合处理，得到第二中间特征数据；以及对所述第二中间特征数据进行特征提取处理，得到所述第二下采样特征数据。
进一步地，所述锐化模块12包括：滤波子模块121，用于对所述建筑物概率图进行滤波处理，得到过滤概率图；叠加子模块122，用于将所述过滤概率图与所述建筑物概率图进行叠加处理，得到叠加概率图；二值化子模块123，用于对所述叠加概率图进行二值化处理，得到所述锐化处理后的建筑物概率图。
进一步地，所述处理模块13包括：确定子模块131，用于基于所述锐化处理后的建筑物概率图中包括的多个像素点的概率值，确定连通区域；边界修正子模块132，用于对所述连通区域的原始边界进行边修正处理，得到所述连通区域的修正边界；角度修正子模块133，用于对所述连通区域的修正边界进行锐角修正处理，得到所述建筑物边界信息。
进一步地，所述装置1还包括：存储模块14，用于存储所述建筑物边界的信息。
本申请实施例通过对待处理图像进行下采样处理、上采样处理及特征融合处理提取出待处理图像中的建筑物特征数据，并根据建筑物特征数据对待处理图像的内容进行预测，得到建筑物概率图。通过对建筑物概率图进行锐化处理可更好的区分建筑物区域与非建筑物区域，而通过对建筑物区域的边界及边角进行修正，可使建筑物区域更符合实际的建筑物形状，最后根据建筑物区域得到的建筑物矢量图则大大减小了图像的容量，为用户存储建筑物矢量图及基于建筑物矢量图进行后续处理带来了极大的便利。
图10为本申请实施例提供的一种图像处理硬件结构示意图。该处理装置2包括处理器21，还可以包括输入装置22、输出装置23和存储器24。该输入装置22、输出装置23、存储器24和处理器21之间通过总线相互连接。
存储器包括但不限于是随机存储记忆体(randomaccessmemory，ram)、只读存储器(read-onlymemory，rom)、可擦除可编程只读存储器(erasableprogrammablereadonlymemory，eprom)、或便携式只读存储器(compactdiscread-onlymemory，cd-rom)，该存储器用于相关指令及数据。
输入装置用于输入数据和/或信号，以及输出装置用于输出数据和/或信号。输出装置和输入装置可以是独立的器件，也可以是一个整体的器件。
处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessingunit，cpu)，在处理器是一个cpu的情况下，该cpu可以是单核cpu，也可以是多核cpu。
存储器用于存储网络设备的程序代码和数据。
处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。
可以理解的是，图10仅仅示出了一种图像处理装置的简化设计。在实际应用中，图像处理装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等，而所有可以实现本申请实施例的图像处理装置都在本申请的保护范围之内。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriberline，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read-onlymemory，rom)，或随机存储存储器(randomaccessmemory，ram)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digitalversatiledisc，dvd)、或者半导体介质，例如，固态硬盘(solidstatedisk，ssd)等。
1.一种图像处理方法，其特征在于，包括：
获取待处理图像的建筑物概率图，其中，所述建筑物概率图包括所述待处理图像中多个像素点属于建筑物区域的概率信息；
对所述建筑物概率图进行锐化处理，得到锐化处理后的建筑物概率图；
基于所述锐化处理后的建筑物概率图，得到所述待处理图像的建筑物边界信息。
2.根据权利要求1所述的方法，其特征在于，所述获取待处理图像的建筑物概率图，包括：
通过多个下采样模块对所述待处理图像进行逐级下采样处理，得到第一特征数据；
对所述第一特征数据进行卷积处理，得到第二特征数据；
通过多个上采样模块对所述第二特征数据进行逐级上采样处理，得到第三特征数据；
基于所述第三特征数据，得到所述建筑物概率图。
3.根据权利要求2所述的方法，其特征在于，所述通过多个下采样模块对所述待处理图像进行逐级下采样处理，得到第一特征数据，包括：
对所述多个下采样模块中的第一下采样模块的输入信息进行池化处理，得到第一下采样特征数据，其中，所述第一下采样模块的输入信息为所述待处理图像或所述第一下采样模块的上一下采样模块输出的特征数据；
对所述第一下采样特征数据进行特征提取处理，得到第二下采样特征数据；
将所述第一下采样特征数据和所述第二下采样特征数据进行融合处理，得到所述第一下采样模块输出的特征数据。
4.根据权利要求3所述的方法，其特征在于，所述对所述第一下采样特征数据进行特征提取处理，得到第二下采样特征数据，包括：
对所述第一下采样特征数据进行特征提取处理，得到第一中间特征数据；
将所述第一下采样特征数据和所述第一中间特征数据进行融合处理，得到第二中间特征数据；
对所述第二中间特征数据进行特征提取处理，得到所述第二下采样特征数据。
5.根据权利要求2至4中任一项所述的方法，其特征在于，所述对所述第一特征数据进行卷积处理，得到第二特征数据，包括：
将所述第一特征数据进行缩小处理，得到第四特征数据；
对所述第四特征数据进行特征提取处理，得到第五特征数据；
将所述第五特征数据进行放大处理，得到所述第二特征数据。
6.根据权利要求2至5中任一项所述的方法，其特征在于，所述通过多个上采样模块对所述第二特征数据进行逐级上采样处理，得到第三特征数据，包括：
将第一上采样模块输入的特征数据和所述第一上采样模块对应的下采样模块输出的特征数据进行融合处理，得到第一上采样特征数据，其中，所述多个上采样模块包括所述第一上采样模块，且所述第一上采样模块对应的下采样模块输出的特征数据与所述第一上采样模块输出的特征数据具有相同的维度；
对所述第一上采样特征数据进行特征提取处理，得到第二上采样特征数据；
将所述第二上采样特征数据进行放大处理，得到所述第一上采样模块输出的特征数据。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述对所述建筑物概率图进行锐化处理，得到锐化处理后的建筑物概率图，包括：
对所述建筑物概率图进行滤波处理，得到过滤概率图；
将所述过滤概率图与所述建筑物概率图进行叠加处理，得到叠加概率图；
对所述叠加概率图进行二值化处理，得到所述锐化处理后的建筑物概率图。
8.一种图像处理装置，其特征在于，包括：
获取模块，用于获取待处理图像的建筑物概率图，其中，所述建筑物概率图包括所述待处理图像中多个像素点属于建筑物区域的概率信息；
锐化模块，用于对所述建筑物概率图进行锐化处理，得到锐化处理后的建筑物概率图；
处理模块，用于基于所述锐化处理后的建筑物概率图，得到所述待处理图像的建筑物边界信息。
9.一种图像处理装置，其特征在于，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现权利要求1至7中任一项所述的方法。
技术总结