本发明涉及图像处理技术领域，尤其涉及一种数字地表模型的构建方法及处理设备、系统。
背景技术：
真正射影像(trueorthophoto)具有信息量大、形象直观、易于判读等诸多优点，因而常被应用到地理信息系统(gis)中，应用于城市规划、环境监测、应急响应等方面。真正射影像制作中，涉及的关键技术有(1)数字地表模型(digitalsurfacemodel，dsm)的生成；(2)数字纠正；(3)正射影像的镶嵌融合等。其中，dsm是指包含了地表建筑物、桥梁和树木等高度的地面高程模型，dsm对制作真正射影像至关重要。
目前，生成dsm的方式包括：基于多视影像密集匹配的方式生成稠密点云，然后直接构建规则格网或不规则三角格网(triangulatedirregularnetwork，tin)，进而得到dsm。当然，还存在一些其他技术，例如直接利用雷达扫描获取稠密点云，然后构建规则格网或tin模型以得到dsm等。
在多影像中匹配确定稠密点云的过程中，匹配精度取决于像素所在位置的纹理丰富性、可区分性，因此，在纹理稀少或者说没有纹理、区分性差、存在镜面反射、且有一定的流动性等特征的区域中，例如大面积的水面区域，会导致基于多视影像生成的dsm出现空洞，从而影响后续的真正射影像的生成。
技术实现要素：
本发明实施例提供了一种数字地表模型的构建方法及处理设备、系统，可处理得到较为完整的数字地表模型。
一方面，本发明实施例提供了一种数字地表模型的构建方法，包括：
根据采集到的图像集合生成初始数字地表模型；
确定所述初始数字地表模型中的空洞区域，其中，在所述空洞区域内包括高程值异常的格网单元；
若所述空洞区域所对应的环境区域的类型为预设类型，则确定所述初始数字地表模型上所述空洞区域的邻接区域中各格网单元的高程值；
根据邻接区域中各格网单元的高程值，更新所述空洞区域中的格网单元的高程值，得到数字地表模型。
另一方面，本发明实施例还提供了一种图像处理设备，所述图像处理设备包括：通信接口单元和处理单元，其中：
所述通信接口单元，用于接收环境图像；
所述处理单元，用于根据采集到的图像集合生成初始数字地表模型；确定所述初始数字地表模型中的空洞区域，其中，在所述空洞区域内包括高程值异常的格网单元；若所述空洞区域所对应的环境区域的类型为预设类型，则确定所述初始数字地表模型上所述空洞区域的邻接区域中各格网单元的高程值；根据邻接区域中各格网单元的高程值，更新所述空洞区域中的格网单元的高程值，得到数字地表模型。
再一方面，本发明实施例还提供了一种图像处理系统，所述图像处理系统包括：移动平台和图像处理设备，所述移动平台上设置有图像采集设备；
所述移动平台，用于通过所述图像采集设备在所述移动平台移动的过程中采集多个环境图像，并将采集到的所述多个环境图像发送给所述图像处理设备；
所述图像处理设备，用于根据采集到的图像集合生成初始数字地表模型；确定所述初始数字地表模型中的空洞区域，其中，在所述空洞区域内包括高程值异常的格网单元；若所述空洞区域所对应的环境区域的类型为预设类型，则确定所述初始数字地表模型上所述空洞区域的邻接区域中各格网单元的高程值；根据邻接区域中各格网单元的高程值，更新所述空洞区域中的格网单元的高程值，得到数字地表模型。
本发明实施例中，在根据环境图像生成初始的数字地表模型后，如果初始的数字地表模型存在空洞区域，且所述空洞区域所对应的环境区域的类型为预设类型，则采用相邻的邻接区域来对空洞区域的高程值进行更新得到最终的dsm。一方面，可以得到较为完整的dsm，另一方面，水面区域等相对地势较平的区域基于邻接区域的高程值作为参考进行更新，也使得最终得到的dsm更准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例的一种应用场景示意图；
图1b是本发明实施例的一种数字地表模型的构建方法的流程示意图；
图2是本发明实施例的确定空洞区域所对应的环境区域的类型的流程示意图；
图3是本发明实施例的数字地表模型构建的其中一种具体实施方式的示意图；
图4是本发明实施例的一种数字地表模型的示例性说明示意图；
图5是本发明实施例的一种图像处理设备的结构示意图。
具体实施方式
在本发明实施例中，为了得到相对完整的数字地表模型，需要对生成的初始数字地表模型中空洞区域进行填充，即将空洞区域内的高程值异常的格网单元的高程值进行更新。在对空洞区域进行填充的过程中，通过参考初始数字地表模型中的空洞区域所处环境区域的类型，来为空洞区域选择不同的填充方式。在本发明实施例中，会预先设定一些环境类型，例如水面区域类型或者其他一些镜面环境区域的类型，如果判断出空洞区域对应的环境区域为这些预设的类型，则可以基于初始数字地表模型上所述空洞区域的邻接区域中各格网单元的高程值，来更新空洞区域中的格网单元的高程值。如图1a所示，搭载摄像设备的无人机在飞行过程中，基于拍摄得到的环境图像，可以生成包括图示环境的关于高山和湖泊的初始dsm，此时，初始dsm上与湖泊处对应的区域容易产生空洞区域，经过本发明实施例相关步骤的处理后，可以基于湖泊边沿区域在初始dsm中的高程值来更新湖泊在初始dsm中的高程值，能够构建得到该场景下相对完整的dsm。
空洞区域内的高程值异常的格网单元主要是指不具有高程值的格网单元，由于在初始dsm计算的过程中，存在从对应的图像中并未计算得到高程值的情况，因此，在计算并构建初始dsm后，大量的不存在高程值的格网单元构成了初始dsm中的空洞区域。例如，如图1a的场景下，在对高山湖泊进行监测构建这一区域的dsm时，湖泊所在的区域由于纹理等特征不够，就会形成初始dsm上的空洞区域。
空洞区域的邻接区域主要是指与空洞区域相邻的区域，空洞区域存在边界格网单元，每一个边界格网单元都存在一个或者多个距离该边界格网最近的正常格网单元，该正常格网单元中记录有对应的高程值。在本发明实施例中，这些正常格网单元被称之为邻接格网单元，所有的这些邻接格网单元构成了空洞区域的邻接区域。在对空洞区域的格网单元的高程值进行更新时，可以基于邻接区域中，所有邻接格网单元的高程值的最小值，或者从所有邻接格网单元的高程值中确定的中间值集合中的任意一个值，或者根据所有邻接格网单元的高程值的平均值，来作为空洞区域的格网单元的高程更新值，再基于高程更新值来更新空洞区域中的格网单元的高程值以完成对空洞区域的高程值填充，例如，直接将高程更新值作为空洞区域中格网单元的高程值。
请参见图1b，是本发明实施例的一种数字地表模型的构建方法的流程示意图，本发明实施例的所述方法可以由一个图像处理设备来实现，该图像处理设备以图像采集设备拍摄的环境图像为基础，进行后续的数字地表模型的相关处理，甚至于还可以进一步地基于数字地表模型构建真正射影像。
在本发明实施例中，图像处理设备可与移动平台分离设置，或者图像处理设备可设置在移动平台中作为移动平台的一部分，或者图像采集设备作为一个外设搭载在移动平台上，在一种实施方式中，如图1a所示，可移动平台为无人机，例如旋翼无人机或是固定翼无人机，图像处理设备为与无人机或无人机上搭载的图像采集设备进行通信的地面图像处理设备。无人机可通过无线传输的方式将图像采集设备采集到的环境图像发送给图像处理设备。由此，图像处理设备可基于接收到的环境图像进行处理，先生成初始dsm，并进一步基于初始dsm上的空洞区域对环境图像进行分析，实现对初始dsm中部分或者全部的空洞区域进行高程值更新，得到较为准确完整的dsm，以供后续完成制作真正射影像等处理。
图像采集设备能够在移动过程中，拍摄得到一定环境区域(本发明实施例称之为目标环境区域)的环境图像，构成目标环境区域的图像集合，图像处理设备在s101中会根据采集到的图像集合生成初始数字地表模型。在一个实施例中，可以基于通过运动恢复结构(structurefrommotion，sfm)技术来估计图像对应的相机内外参数，根据估计的相机内参和相机外参，对图像集合进行多视影像密集匹配得到目标环境区域的稠密点云，然后划分格网单元得到该目标环境区域的初始dsm。可选的，对于得到的初始dsm后，还可进行噪声过滤以对初始dsm进行初步的优化处理。
在基于图像集合计算目标环境区域的稠密点云的过程中，多视影像密集匹配依赖于拍摄对应的环境图像时的相机内参和相机外参，相机内参和相机外参可通过sfm来估计得到。sfm基本流程为：首先利用特征提取算法提取图像特征；然后根据两两图像特征点之间的欧式距离进行特征点匹配；对于每一个图像匹配对，根据匹配的特征点计算对极几何，估计f矩阵(相当于图像之间的相对姿态)，同时匹配的特征点构成同名点(对应同一个三维点)；那么，所有的图像根据两两之间的相对姿态构成一个全局的图，他们之间通过同名点连接在一起，构成了一个全局的能量函数，该能量函数通过光束法平差(bundleadjustment，ba)来优化，使得所有同名点投影到对应图像上的重投影误差之和最小，最终优化得到所有图像的相机内参和相机外参。
在得到相应环境图像的相机内参和相机外参后，多视影像密集匹配的经典方法可以分为深度图提取和深度图融合步骤，其中深度图提取流程包括：对每张影像独立进行以下处理：将当前影像作为参考影像，根据sfm中稀疏特征点匹配数量等作为相似性度量来选取若干幅邻居影像；然后在邻居影像中为参考影像的每个像素找匹配像素，而匹配精度取决于像素所在位置的纹理丰富性、可区分性；找到匹配像素之后就可以交汇得到对应的三维点，也就得到了每个像素对应的深度信息。深度图融合就是将所有图像的深度图投影到三维空间中，并将相邻图像重叠区域对应的三维点进行融合，最终得到目标环境区域整体的稠密点云。
得到场景的稠密点云之后，根据地面采样距离(groundsampledistance，gsd)将目标环境区域所在场景划分为规则格网单元，根据格网单元包含的稠密三维点内插得到初始的dsm。其中，上述涉及的sfm算法的关键在于特征点的提取和匹配精度，要想保证这两点需要拍摄的目标环境有较为丰富的纹理，且在拍摄期间是刚性静止的。而水面区域等目标环境区域的环境图像中没有纹理(或者纹理过少)、存在镜面反射、且有一定的流动性，基本违反了上述要求，因此如果图像大部分区域都被水域或者类似区域覆盖，那么该图像很可能提取不到特征点或者特征点匹配失败，也就无法恢复出来相应的相机参数，进而无法得到相关位置处的三维点及其高程值，因此，在构建初始dsm时存在所述空洞区域。
在构建得到初始dsm后，可以在s102中确定所述初始数字地表模型中的空洞区域，其中，在所述空洞区域内包括高程值异常的格网单元；在异常格网单元内没有记录高程值。在一个实施例中，可以通过连通区域搜索检测规则从所述初始dsm中确定出空洞区域，在通过连通区域检测确定了一个或者多个空洞区域后，可以将其中的面积较大的区域作为需要进行处理的空洞区域，也就是说，确定的空洞区域在初始数字地表模型上的空洞面积大于预设的空洞面积阈值，在确定出一个或者多个空洞区域后，可以标记空洞边界，以便于后续可以基于该空洞边界来确定该空洞区域是否为预设类型。
在确定出空洞区域后，所述图像处理设备在s103中在确定所述空洞区域所对应的环境区域的类型为预设类型时，确定所述初始数字地表模型上所述空洞区域的邻接区域中各格网单元的高程值。并且在s104中根据邻接区域中各格网单元的高程值，更新所述空洞区域中的格网单元的高程值，得到数字地表模型。
在一个实施例中，所述s104具体可以包括：根据邻接区域中各格网单元的高程值按照第一确认规则，确定得到的高程更新值；将所述高程更新值作为所述空洞区域中的格网单元的高程值。在一个实施例中，所述的第一确认规则可以是指上述提及的：将所有邻接格网单元的高程值的最小值，或者将从所有邻接格网单元的高程值中确定的中间值集合中的任意一个值，或者将根据所有邻接格网单元的高程值的平均值，来作为所述空洞区域中的格网单元的高程更新值。
在一个实施例中，在得到一个或者多个空洞区域后，针对每一个空洞区域，图像处理设备可以检测各个确定出的空洞区域所对应的环境区域是否为预设类型。预设类型主要是指上述提及的没有纹理(或者纹理过少)、存在镜面反射、且有一定的流动性等特征的区域类型，预设类型主要包括水面区域的类型。也就是说，在一个实施例中，若分析得到空洞区域所对应环境区域为水面区域，则可以认为所述空洞区域所对应的环境区域的类型为预设类型。
检测空洞区域所对应的环境区域是否为预设类型的方式有多种，在一个简单的实施例中，可以基于飞行器等移动平台在拍摄得到图像集合时的gps位置坐标，结合区域地图来判断飞行器的下方是否存在较大面积的水域，若是，则认为所述空洞区域所对应的环境区域的类型为预设类型。
在一个实施例中，为了保证检测的准确性，可以通过图像分析识别来确定空洞区域所对应的环境区域是否为预设类型。在一个实施例中，确定所述初始数字地表模型中的空洞区域之后，如图2所示，图像处理设备分别检测各个确定出的空洞区域所对应的环境区域是否为预设类型时可以包括：s201在所述图像集合的目标环境图像中确定映射区域，所述映射区域是所述空洞区域在所述目标环境图像上的投影；s202对所述目标环境图像中的映射区域进行图像分析，并根据分析结果确定所述空洞区域所对应的环境区域的类型是否为预设类型。也就是说，将空洞区域投影到图像集合中的某一个或者多个环境图像上，进而基于成熟的图像分析技术来确定空洞区域所对应的环境区域是否为预设区域，提高是否为预设类型的检测准确性，并提高了效率。而如果预设类型包括水面区域的类型，则在所述图像分析的分析结果为所述映射区域为水面区域时，所述空洞区域所对应的环境区域的类型为预设类型。
在检测空洞区域在目标环境区域中对应的环境区域是否为预设区域时，在本发明实施例中对目标环境区域的图像集合中的环境图像进行了分类，不同类别的环境图像，作为目标环境图像进行图像分析时，采用不同的分析逻辑来确认空洞区域对应的环境区域是否为预设区域。在进行空洞区域到目标环境图像的投影时，也根据不同类型的环境图像进行不同的投影处理。
在一个实施例中，所述s202包括：确定所述目标环境图像的图像类型；若所述目标环境图像的图像类型为第一类型，则分析所述目标环境图像中的映射区域的面积；当分析结果为所述映射区域的面积大于预设的面积阈值时，确定所述空洞区域所对应的环境区域的类型为预设类型。
在一个实施例中，所述确定所述目标环境图像的图像类型主要可以基于是否能够计算得到相机内参和相机外参作为依据，当在根据采集到的图像集合生成初始数字地表模型的过程中，不能够确定所述图像集合中的所述目标环境图像的相机内参和相机外参时，则所述目标环境图像的图像类型为第一类型。而当在根据采集到的图像集合生成初始数字地表模型的过程中，能够确定所述图像集合中的所述目标环境图像的相机内参和相机外参时，则所述目标环境图像的图像类型为第二类型。在一个实施例中，基于上述的sfm无法得到图像集合中某一个环境图像即目标环境图像的相机内参和相机外参，则该目标环境图像为第一类型，若能够得到该目标环境图像的相机内参和相机外参，则该目标环境图像为第二类型。
进一步地，若所述目标环境图像的图像类型为第一类型，则所述在所述图像集合的目标环境图像中确定映射区域，包括：根据拍摄所述目标环境图像时的拍摄参数，设置所述目标环境图像的相机内参和相机外参；根据为所述目标环境图像设置的相机内参和相机外参，确定所述空洞区域在所述目标环境图像上的映射区域。
也就是说，对sfm中没有恢复出来相机内外参的图像直接用图像自带的参数信息来设置相机内外参数，然后基于相应的相机内参和相机外外将空洞边界投影到这些目标环境图像上，根据空洞边界投影到目标环境图像后，在这些目标环境图像上圈出的一个映射区域的面积来判别该映射区域是否属于水面区域等预设类型。
在一个实施例中，所述根据拍摄所述目标环境图像时的拍摄参数，设置所述目标环境图像的相机内参和相机外参，包括：根据拍摄所述目标环境图像时的相机焦距信息和像主点信息设置所述目标环境图像的相机内参；根据拍摄所述目标环境图像时的相机定位信息来设置相机的平移向量，并根据拍摄所述目标环境图像时的云台角信息来设置相机的旋转矩阵；根据所述平移向量和所述旋转矩阵设置所述目标环境图像的相机外参。
对于上述提及的将空洞区域投影到目标环境图像上，确定目标环境图像上的映射区域，实际是基于图像采集设备的相机内参和相机外参，对空洞区域的空洞边界上的点在坐标系之间进行转换来确定的。初始dsm上的点可以是大地坐标系下的点，根据大地坐标系和世界坐标系的对应关系，可将大地坐标系下的点投影到世界坐标系，确定空洞区域的映射区域主要是将世界坐标系下的三维点，经过坐标系转换，映射到图像坐标系下。在某些场景下，也可以不需要将初始dsm上的点转换到世界坐标系下，在确定空洞区域的映射区域时，直接将大地坐标系下dsm的空洞区域上的点，从大地坐标系转换到图像坐标系下，即可在相应的目标环境图像上确定出映射区域。
图像坐标系上的任意像点(u，v)(也就是目标环境图像上的某个像素点)在像空间坐标系下的坐标为(u，v，f)。世界坐标系以北方向为x轴，东方向y轴，重力反方向为z轴，利用rtk(经度、纬度、海拔高程)定位信息可获得直角坐标系下的坐标(x，y，z)和云台角(俯仰α、横滚β、平移γ)，通过以下公式可以转换为从世界坐标系到像空间坐标系的旋转矩阵r和平移变换矩阵t，而从像空间坐标系到世界坐标系的旋转矩阵为r＝r-1，平移矩阵t＝(x,y,z)t。旋转矩阵和平移矩阵即为相机外参。像空间坐标系下的点转换到世界坐标系x＝r.(u,v,f) t。反之，世界坐标系中的三维点转换到相机所在的像空间坐标系中的转换公式即为：(u,v,f)＝r.x t，进而可以转换投影得到图像坐标系上的点(u，v)，确定空洞边界的格网单元在目标环境图像上的像素位置。
t＝-r(α，β，γ)*(x，y，z)t
在一个实施例中，所述s202还可以包括：确定所述目标环境图像的图像类型；若所述图像类型为第二类型，则调用预设的类型识别模型对所述目标环境图像进行分析识别；根据所述类型识别模型输出的分析结果确定所述空洞区域所对应的环境区域的类型是否为预设类型。
进一步地，在一个实施例中，若所述目标环境图像的图像类型为第二类型，则所述在所述图像集合的目标环境图像中确定映射区域，包括：将在根据采集到的图像集合生成初始数字地表模型的过程中所确定的所述目标环境图像的相机内参和相机外参，设置为所述目标环境图像的相机内参和相机外参；根据为所述目标环境图像设置的相机内参和相机外参，确定所述空洞区域在所述目标环境图像上的映射区域。在此情况下，相机内参和相机外参例如可以是基于上述提及的sfm算法计算得到的。针对第二类型的目标环境图像，图像处理设备是将空洞边界投影到这些能够基于sfm算法等正常恢复相机内参和相机外参的目标环境图像上，结合第二类型的目标环境图像的纹理信息和空洞区域的结构信息，通过由机器学习方法生成的类型识别模型来判别空洞边界在图像上圈出的区域是否属于水域。
在一个实施例中，所述类型识别模型是根据所述目标环境图像的纹理特征信息和所述空洞区域的结构信息，分析得到所述空洞区域所对应的环境区域的类型。其中，在一个实施例中，所述目标环境图像的纹理特征信息包括：所述目标环境图像中映射区域的像素颜色特征；所述空洞区域的结构信息包括：所述空洞区域的邻接区域的高程值特征、和/或所述空洞区域的面积特征。所述类型识别模型可以是一个二分类模型，基于存在水面区域等预设类型的环境图像及其dsm的空洞区域的结构信息的正样本训练数据库、和不存在水面区域等预设类型的环境图像及其dsm的空洞区域的结构信息的负样本训练数据库来对一个初始类型识别模型进行优化训练，得到最终的类型识别模型。
在其他实施例中，初始dsm中还可能存在其他的不属于预设类型的空洞区域，在此情况下，按照第二确认规则对邻接区域中各格网单元的高程值进行计算，得到多个高程更新值；将得到的多个高程更新值作为所述其他的不属于预设类型的空洞区域中的格网单元的高程值。所述的第二确认规则可以是指现有的一些填补dsm中空洞区域的规则，或者是默认填充的规则，所述第二确认规则还可以是不对这些其他的空洞区域进行高程值更新，这些空洞区域内的高程值仍然异常。
本发明实施例中，在根据环境图像生成初始的数字地表模型后，如果初始的数字地表模型存在面积较大的空洞区域，可以基于这些空洞区域反过来在环境图像上进行投影，基于环境图像上空洞区域的投影区域来确定这些空洞区域是否是由水面等环境区域造成的，如果是，则采用相邻的邻接区域来对空洞区域的高程值进行更新得到最终的dsm。一方面，可以得到较为完整的dsm，另一方面，水面区域等相对地势较平的区域基于邻接区域的高程值作为参考进行更新也使得最终得到的dsm更准确。
再请参见图3，是本发明实施例的数字地表模型构建的其中一种具体实施方式的示意图，同时结合图4对本发明实施例的初始dsm进行说明，并且可以理解的是，图4所示的初始dsm仅仅是一个用于对本发明实施例的初始dsm上各个特殊区域、格网单元的简要的示意性说明，并不代表实际的dsm。本发明实施例中，构建数字地表模型同样可以由上述提及的图像处理设备来实现。在本发明实施例中，构建过程包括以下步骤。
s301：通过无人机采集一组图像，得到目标环境区域的图像集合。
可选的，图像集合中的环境图像包含拍摄该环境图像时的rtk(经度、纬度、海拔高程)和云台角(旋转角、俯仰角、偏航角)信息，以及拍摄装置出厂前标定的相机内参信息，这些信息可以记录在对应环境图像的预设字段，示例的，可以是一个扩展的xmp字段。
s302：通过sfm来估计图像集合中各个环境图像对应的相机内外参数，即上述提及的相机内参和相机外参。
s303：根据估计的相机内参和相机外参，进行多影像密集匹配得到场景的稠密点云，并划分格网单元得到目标环境区域的初始dsm。步骤s301到s303对应于上述实施例中提及的根据采集到的图像集合生成初始数字地表模型的步骤。基于相机内参和相机外参得到稠密点云并得到初始dsm可以采用一些现有的实施方式，或者说，构建dsm可以采用现有方式实现。
s304：将初始dsm中不包含稠密点的格网单元标记为空洞区域。
s305：对初始dsm进行去噪处理。针对初始dsm中的空洞区域包含的一些孤立噪声点，用一个中值滤波器过滤初始dsm中的噪声。上述的步骤s304和s305与上一实施例中的确定所述初始数字地表模型中的空洞区域的步骤相对应。
s306：确定初始dsm中的空洞区域。以空洞区域中的某个格网点出发，进行连通区域搜索来检测dsm中所有的空洞区域，并记录每个空洞区域的面积，将其中面积大于一定阈值t的空洞区域挑选出来，记为hbig，并标记空洞的边界格网单元medge。如图4所示，每一个格子代表初始dsm的一个格网单元，其中，填充为白色的部分为记录有高程值的格网单元构成的正常区域401，填充为灰色的格子为没有记录高程值格网单元，即空洞区域对应的格网单元。这些格网单元构成了空洞区域402和空洞区域403、404等。其中，空洞区域402的面积大于一定的阈值t，因此，空洞区域402为上述所说的hbig。而空洞区域403、404可以不作处理或者按照现有的一些方式进行高程值填充处理。而在空洞区域402中，被以“十”字填充的部格网单元为边界格网单元4021，即medge。
s307：确定sfm中没有恢复得到相机内参和相机外参的图像(记为ilose)，即：第一类型的目标环境图像，并对其进行空洞区域的投影处理，以确定空洞区域对应的环境区域是否为预设类型。
其中，直接用图像自带的焦距f和像主点坐标来设置相机内参矩阵。可选的，图像自带的焦距和像主点坐标可以在图像被拍摄时自动存储在该被拍摄图像的xmp字段，在使用时可直接提取获得。相机内参即：
用rtk信息来设置相机的平移向量t、用云台角来设置相机的旋转矩阵r，然后根据相机内外参数得到投影矩阵p＝[r∣t]。根据投影矩阵可以确定相机的外参。根据相机内参和相机外参可将空洞区域的边界格网单元medge投影到图像ilose上得到图像二维点：medge＝p.medge，计算medge圈出的区域的像素数，如果占图像总像素数(该总像素数可以认为是映射区域的面积)的比例大于某一阈值，则判定为水面区域，确定空洞区域的类型为预设类型。
s308：确定sfm中恢复得到相机内参和相机外参的目标环境图像，也即第二类型的目标环境图像，基于分类器对能够恢复出相机内参和相机外参的图像进行分类，确定空洞区域对应的环境区域是否属于预设类型。
预设类型包括水面区域的类型，在一个实施例中，可以预训练一个用于判别空洞区域是否属于水面区域的支持向量机(supportvectormachines，svm)分类器，方法如下：首先收集正样本的dsm，在正样本的dsm上的空洞区域对应的环境区域为水面区域；并收集负样本的dsm，在负样本的dsm上的空洞区域对应的环境区域不为水面区域。根据正样本和负样本对应的dsm分别统计正样本和负样本的空洞区域的边界格网单元me的高程值，计算得到边界高程方差，记为evariance，另外分别统计正样本和负样本的空洞区域的面积，记为shole。将me投影到sfm中成功恢复相机内参和相机外参的目标环境图像(记为isuccess)上，统计投影在目标环境图像上的二维点圈出的图像区域(即空洞区域的映射区域)的像素颜色，计算颜色中值(rmedian，gmedian，bmedian)和方差(rvariance，gvariance，bvariance)；将得到的所述边界高程方差evariance、所述空洞区域的面积shole、所述颜色中值及方差组合成一个8维特征向量，即：
vhole＝(evariance，shole，rmedian，gmedian，bmedian，rvariance，gvariance，bvariance)。
再根据vhole训练svm分类器，在通过大量的正样本和负样本后可以优化训练得到类型识别模型。
在训练得到类型识别模型中，根据能够恢复得到相机内参和相机外参的目标环境图像、对应的dsm中空洞区域，计算得到特征向量vhole，输入到上述提及的svm分类器即类型识别模型中判别空洞区域是否属于水面区域，若是，即确定空洞区域对应的环境区域为预设类型。
s309：在确定了所述空洞区域所对应的环境区域的类型为预设类型，则确定所述初始数字地表模型上所述空洞区域的邻接区域中各格网单元的高程值。如图4所示，填充为白色且被多个斜线标记的格网单元构成了邻接区域405。邻接区域405中的各个格网单元存在高程值，可以以这些格网单元的高程值为参考更新空洞区域402中各个格网单元的高程值。仍然需要说明的是，图4仅为举例，邻接区域405的区域面积可以更大，覆盖的格网单元可以更多。
上述的s306至s309与上一实施例中提及的检测空洞区域所对应的环境区域的类型是否为预设类型、以及若所述空洞区域所对应的环境区域的类型为预设类型，则确定所述初始数字地表模型上所述空洞区域的邻接区域中各格网单元的高程值的步骤对应。
s310：对初始dsm的空洞区域中medge的邻接区域中各格网单元的高程值进行排序，取其中较小的一个作为水域整体的高程值来填补空洞区域的高程值。例如，在100个高程值中，按从小到大排序后，取第10小的高程值用来填补空洞区域的高程值。又或是将邻接区域中个格网单元的高程值中出现的次数最多的高程值用来填补空洞区域的高程值。在步骤s310中主要是针对空洞区域402中的格网单元的更新填补。
s311：以其他空洞区域的空洞边界作为种子点通过区域增长的方法来填补dsm中剩余的小空洞。所述s310和s311对应于上一实施例中的根据邻接区域中各格网单元的高程值，更新所述空洞区域中的格网单元的高程值，得到数字地表模型的步骤。在s311中主要是针对空洞区域403、404等小面积的空洞区域的填补方式，所述空洞区域的空洞边界例如可以是指空洞区域403左边的存在高程值的格网单元，而区域增长的方法例如可以是：空洞区域403中左边开始第一个格网单元的高程值被更新为空洞边界的高程值，第二个格网单元的高程值为在第一个格网单元的更新高程值上加上一个阈值后得到的值。
s312：根据dsm对每张图像进行正射影像纠正，再将纠正的正射影像进行镶嵌融合得到整体的真正射影像。基于较为完整的dsm生成真正射影像的方式在此不赘述。
本发明实施例中，在根据环境图像生成初始的数字地表模型后，如果初始的数字地表模型存在面积较大的空洞区域，可以基于这些空洞区域反过来在环境图像上进行投影，基于环境图像上空洞区域的投影区域来确定这些空洞区域是否是由水面等环境区域造成的，如果是，则采用相邻的邻接区域来对空洞区域的高程值进行更新得到最终的dsm。一方面，可以得到较为完整的dsm，另一方面，水面区域等相对地势较平的区域基于邻接区域的高程值作为参考进行更新也使得最终得到的dsm更准确。
再请参见图5，是本发明实施例的一种图像处理设备的结构示意图，本发明实施例的所述图像处理设备主要包括：通信接口单元501、处理单元502。在一些实施例中，所述图像处理设备在硬件上可以根据需要包括多个功能单元，例如可以包括用户接口单元503、电池供电单元、充电单元、存储单元504等等。
其中，所述用户接口单元503可以用于接收用户输入并显示相应的数据、图像等内容的触摸显示屏，还可以包括一个物理按键、甚至鼠标输入等单元。所述通信接口单元501可以包括无线通信接口、有线通信接口。无线通信接口可以是wifi接口、射频通信接口甚至移动通信接口(例如4g通信接口、5g通信接口等等)，所述通信接口单元501用于接收环境图像等数据。
所述存储单元504可以包括易失性存储器(volatilememory)，例如随机存取存储器(random-accessmemory，ram)；存储单元504也可以包括非易失性存储器(non-volatilememory)，例如快闪存储器(flashmemory)，固态硬盘(solid-statedrive，ssd)等；存储单元504还可以包括上述种类的存储器的组合。
所述处理单元502可以是中央处理器(centralprocessingunit，cpu)。所述处理单元502还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specificintegratedcircuit，asic)，可编程逻辑器件(programmablelogicdevice，pld)等。上述pld可以是现场可编程逻辑门阵列(field-programmablegatearray，fpga)，通用阵列逻辑(genericarraylogic，gal)等。
可选地，所述存储单元504还用于存储程序指令。所述处理单元502可以根据需要调用所述程序指令，分别实现如图1b、图2以及图3所对应实施例中的相关方法。具体的，所述处理单元502，用于根据采集到的图像集合生成初始数字地表模型；确定所述初始数字地表模型中的空洞区域，其中，在所述空洞区域内包括高程值异常的格网单元；若所述空洞区域所对应的环境区域的类型为预设类型，则确定所述初始数字地表模型上所述空洞区域的邻接区域中各格网单元的高程值；根据邻接区域中各格网单元的高程值，更新所述空洞区域中的格网单元的高程值，得到数字地表模型。
在一个实施例中，所述处理单元502，还用于在所述图像集合的目标环境图像中确定映射区域，所述映射区域是所述空洞区域在所述目标环境图像上的投影；对所述目标环境图像中的映射区域进行图像分析，并根据分析结果确定所述空洞区域所对应的环境区域的类型是否为预设类型。
在一个实施例中，所述处理单元502，用于若所述图像分析的分析结果为所述映射区域为水面区域，则所述空洞区域所对应的环境区域的类型为预设类型。
在一个实施例中，所述处理单元502，用于：确定所述目标环境图像的图像类型；若所述目标环境图像的图像类型为第一类型，则分析所述目标环境图像中的映射区域的面积；当分析结果为所述映射区域的面积大于预设的面积阈值时，确定所述空洞区域所对应的环境区域的类型为预设类型。
在一个实施例中，当在根据采集到的图像集合生成初始数字地表模型的过程中，不能够确定所述图像集合中的所述目标环境图像的相机内参和相机外参时，则所述目标环境图像的图像类型为第一类型。
在一个实施例中，若所述目标环境图像的图像类型为第一类型，则所述处理单元502，用于根据拍摄所述目标环境图像时的拍摄参数，设置所述目标环境图像的相机内参和相机外参；根据为所述目标环境图像设置的相机内参和相机外参，确定所述空洞区域在所述目标环境图像上的映射区域。
在一个实施例中，所述处理单元502，用于根据拍摄所述目标环境图像时的相机焦距信息和像主点信息设置所述目标环境图像的相机内参；根据拍摄所述目标环境图像时的相机定位信息来设置相机的平移向量，并根据拍摄所述目标环境图像时的云台角信息来设置相机的旋转矩阵；根据所述平移向量和所述旋转矩阵设置所述目标环境图像的相机外参。
在一个实施例中，所述处理单元502，用于确定所述目标环境图像的图像类型；若所述图像类型为第二类型，则调用预设的类型识别模型对所述目标环境图像进行分析识别；根据所述类型识别模型输出的分析结果确定所述空洞区域所对应的环境区域的类型是否为预设类型。
在一个实施例中，当在根据采集到的图像集合生成初始数字地表模型的过程中，能够确定所述图像集合中的所述目标环境图像的相机内参和相机外参时，则所述目标环境图像的图像类型为第二类型。
在一个实施例中，若所述目标环境图像的图像类型为第二类型，则所述处理单元502，用于将在根据采集到的图像集合生成初始数字地表模型的过程中所确定的所述目标环境图像的相机内参和相机外参，设置为所述目标环境图像的相机内参和相机外参；根据为所述目标环境图像设置的相机内参和相机外参，确定所述空洞区域在所述目标环境图像上的映射区域。
在一个实施例中，所述类型识别模型是根据所述目标环境图像的纹理特征信息和所述空洞区域的结构信息，分析得到所述空洞区域所对应的环境区域的类型。
在一个实施例中，所述目标环境图像的纹理特征信息包括：所述目标环境图像中映射区域的像素颜色特征；所述空洞区域的结构信息包括：所述空洞区域的邻接区域的高程值特征、和/或所述空洞区域的面积特征。
在一个实施例中，确定的空洞区域在初始数字地表模型上的空洞面积大于预设的空洞面积阈值。
在一个实施例中，所述空洞区域是根据连通区域搜索检测规则从所述初始数字地表模型中确定的。
在一个实施例中，所述处理单元502，用于根据邻接区域中各格网单元的高程值按照第一确认规则，确定得到的高程更新值；将所述高程更新值作为所述空洞区域中的格网单元的高程值。
在一个实施例中，所述处理单元502，还用于若所述空洞区域所对应的环境区域的类型不为预设类型，则按照第二确认规则对邻接区域中各格网单元的高程值进行计算，得到多个高程更新值；将得到的多个高程更新值作为所述空洞区域中的格网单元的高程值。
本发明实施例中，所述处理单元的具体实现方式可参考前述实施例中相关内容的描述，在此不赘述。并且，所述处理单元在根据环境图像生成初始的数字地表模型后，如果初始的数字地表模型存在面积较大的空洞区域，可以基于这些空洞区域反过来在环境图像上进行投影，基于环境图像上空洞区域的投影区域来确定这些空洞区域是否是由水面等环境区域造成的，如果是，则采用相邻的邻接区域来对空洞区域的高程值进行更新得到最终的dsm。一方面，可以得到较为完整的dsm，另一方面，水面区域等相对地势较平的区域基于邻接区域的高程值作为参考进行更新也使得最终得到的dsm更准确。
另外，本发明实施例还提供了一种图像处理系统，所述图像处理系统包括：移动平台和图像处理设备，所述移动平台上设置有图像采集设备；所述移动平台，用于通过所述图像采集设备在所述移动平台移动的过程中采集多个环境图像，并将采集到的所述多个环境图像发送给所述图像处理设备；所述图像处理设备，用于根据采集到的图像集合生成初始数字地表模型；确定所述初始数字地表模型中的空洞区域，其中，在所述空洞区域内包括高程值异常的格网单元；若所述空洞区域所对应的环境区域的类型为预设类型，则确定所述初始数字地表模型上所述空洞区域的邻接区域中各格网单元的高程值；根据邻接区域中各格网单元的高程值，更新所述空洞区域中的格网单元的高程值，得到数字地表模型。所述移动平台的示意图请参考图1所示，而所述图像处理设备是指图5所对应实施例中所示的图像处理设备。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
1.一种数字地表模型的构建方法，其特征在于，包括：
根据采集到的图像集合生成初始数字地表模型；
确定所述初始数字地表模型中的空洞区域，其中，在所述空洞区域内包括高程值异常的格网单元；
若所述空洞区域所对应的环境区域的类型为预设类型，则确定所述初始数字地表模型上所述空洞区域的邻接区域中各格网单元的高程值；
根据邻接区域中各格网单元的高程值，更新所述空洞区域中的格网单元的高程值，得到数字地表模型。
2.如权利要求1所述的方法，其特征在于，所述确定所述初始数字地表模型中的空洞区域之后，还包括：
在所述图像集合的目标环境图像中确定映射区域，所述映射区域是所述空洞区域在所述目标环境图像上的投影；
对所述目标环境图像中的映射区域进行图像分析，并根据分析结果确定所述空洞区域所对应的环境区域的类型是否为预设类型。
3.如权利要求2所述的方法，其特征在于，还包括：
若所述图像分析的分析结果为所述映射区域为水面区域，则所述空洞区域所对应的环境区域的类型为预设类型。
4.如权利要求2或3所述的方法，其特征在于，所述对所述目标环境图像中的映射区域进行图像分析，并根据分析结果确定所述空洞区域所对应的环境区域的类型是否为预设类型，包括：
确定所述目标环境图像的图像类型；
若所述目标环境图像的图像类型为第一类型，则分析所述目标环境图像中的映射区域的面积；
当分析结果为所述映射区域的面积大于预设的面积阈值时，确定所述空洞区域所对应的环境区域的类型为预设类型。
5.如权利要求4所述的方法，其特征在于，当在根据采集到的图像集合生成初始数字地表模型的过程中，不能够确定所述图像集合中的所述目标环境图像的相机内参和相机外参时，则所述目标环境图像的图像类型为第一类型。
6.如权利要求5所述的方法，其特征在于，若所述目标环境图像的图像类型为第一类型，则所述在所述图像集合的目标环境图像中确定映射区域，包括：
根据拍摄所述目标环境图像时的拍摄参数，设置所述目标环境图像的相机内参和相机外参；
根据为所述目标环境图像设置的相机内参和相机外参，确定所述空洞区域在所述目标环境图像上的映射区域。
7.如权利要求6所述的方法，其特征在于，所述根据拍摄所述目标环境图像时的拍摄参数，设置所述目标环境图像的相机内参和相机外参，包括：
根据拍摄所述目标环境图像时的相机焦距信息和像主点信息设置所述目标环境图像的相机内参；
根据拍摄所述目标环境图像时的相机定位信息来设置相机的平移向量，并根据拍摄所述目标环境图像时的云台角信息来设置相机的旋转矩阵；
根据所述平移向量和所述旋转矩阵设置所述目标环境图像的相机外参。
8.如权利要求2或3所述的方法，其特征在于，所述对所述目标环境图像中的映射区域进行图像分析，并根据分析结果确定所述空洞区域所对应的环境区域的类型是否为预设类型，包括：
确定所述目标环境图像的图像类型；
若所述图像类型为第二类型，则调用预设的类型识别模型对所述目标环境图像进行分析识别；
根据所述类型识别模型输出的分析结果确定所述空洞区域所对应的环境区域的类型是否为预设类型。
9.如权利要求8所述的方法，其特征在于，当在根据采集到的图像集合生成初始数字地表模型的过程中，能够确定所述图像集合中的所述目标环境图像的相机内参和相机外参时，则所述目标环境图像的图像类型为第二类型。
10.权利要求9所述的方法，其特征在于，若所述目标环境图像的图像类型为第二类型，则所述在所述图像集合的目标环境图像中确定映射区域，包括：
将在根据采集到的图像集合生成初始数字地表模型的过程中所确定的所述目标环境图像的相机内参和相机外参，设置为所述目标环境图像的相机内参和相机外参；
根据为所述目标环境图像设置的相机内参和相机外参，确定所述空洞区域在所述目标环境图像上的映射区域。
11.如权利要求8所述的方法，其特征在于，所述类型识别模型是根据所述目标环境图像的纹理特征信息和所述空洞区域的结构信息，分析得到所述空洞区域所对应的环境区域的类型。
12.如权利要求11所述的方法，其特征在于，
所述目标环境图像的纹理特征信息包括：所述目标环境图像中映射区域的像素颜色特征；
所述空洞区域的结构信息包括：所述空洞区域的邻接区域的高程值特征、和/或所述空洞区域的面积特征。
13.如权利要求1所述的方法，其特征在于，确定的空洞区域在初始数字地表模型上的空洞面积大于预设的空洞面积阈值。
14.如权利要求1所述的方法，其特征在于，所述空洞区域是根据连通区域搜索检测规则从所述初始数字地表模型中确定的。
15.如权利要求1所述的方法，其特征在于，所述根据邻接区域中各格网单元的高程值，更新所述空洞区域中的格网单元的高程值，包括：
根据邻接区域中各格网单元的高程值按照第一确认规则，确定得到的高程更新值；
将所述高程更新值作为所述空洞区域中的格网单元的高程值。
16.如权利要求1所述的方法，其特征在于，
若所述空洞区域所对应的环境区域的类型不为预设类型，则按照第二确认规则对邻接区域中各格网单元的高程值进行计算，得到多个高程更新值；
将得到的多个高程更新值作为所述空洞区域中的格网单元的高程值。
17.一种图像处理设备，其特征在于，所述图像处理设备包括：通信接口单元和处理单元，其中：
所述通信接口单元，用于接收环境图像；
所述处理单元，用于根据采集到的图像集合生成初始数字地表模型；确定所述初始数字地表模型中的空洞区域，其中，在所述空洞区域内包括高程值异常的格网单元；若所述空洞区域所对应的环境区域的类型为预设类型，则确定所述初始数字地表模型上所述空洞区域的邻接区域中各格网单元的高程值；根据邻接区域中各格网单元的高程值，更新所述空洞区域中的格网单元的高程值，得到数字地表模型。
18.如权利要求17所述的图像处理设备，其特征在于，所述处理单元，还用于
在所述图像集合的目标环境图像中确定映射区域，所述映射区域是所述空洞区域在所述目标环境图像上的投影；
对所述目标环境图像中的映射区域进行图像分析，并根据分析结果确定所述空洞区域所对应的环境区域的类型是否为预设类型。
19.如权利要求18所述的图像处理设备，其特征在于，所述处理单元，用于
若所述图像分析的分析结果为所述映射区域为水面区域，则所述空洞区域所对应的环境区域的类型为预设类型。
20.如权利要求18或19所述的图像处理设备，其特征在于，所述处理单元，用于：
确定所述目标环境图像的图像类型；
若所述目标环境图像的图像类型为第一类型，则分析所述目标环境图像中的映射区域的面积；
当分析结果为所述映射区域的面积大于预设的面积阈值时，确定所述空洞区域所对应的环境区域的类型为预设类型。
21.如权利要求20所述的图像处理设备，其特征在于，当在根据采集到的图像集合生成初始数字地表模型的过程中，不能够确定所述图像集合中的所述目标环境图像的相机内参和相机外参时，则所述目标环境图像的图像类型为第一类型。
22.如权利要求21所述的图像处理设备，其特征在于，若所述目标环境图像的图像类型为第一类型，则所述处理单元，用于
根据拍摄所述目标环境图像时的拍摄参数，设置所述目标环境图像的相机内参和相机外参；
根据为所述目标环境图像设置的相机内参和相机外参，确定所述空洞区域在所述目标环境图像上的映射区域。
23.如权利要求22所述的图像处理设备，其特征在于，所述处理单元，用于
根据拍摄所述目标环境图像时的相机焦距信息和像主点信息设置所述目标环境图像的相机内参；
根据拍摄所述目标环境图像时的相机定位信息来设置相机的平移向量，并根据拍摄所述目标环境图像时的云台角信息来设置相机的旋转矩阵；
根据所述平移向量和所述旋转矩阵设置所述目标环境图像的相机外参。
24.如权利要求18或19所述的图像处理设备，其特征在于，所述处理单元，用于
确定所述目标环境图像的图像类型；
若所述图像类型为第二类型，则调用预设的类型识别模型对所述目标环境图像进行分析识别；
根据所述类型识别模型输出的分析结果确定所述空洞区域所对应的环境区域的类型是否为预设类型。
25.如权利要求24所述的图像处理设备，其特征在于，当在根据采集到的图像集合生成初始数字地表模型的过程中，能够确定所述图像集合中的所述目标环境图像的相机内参和相机外参时，则所述目标环境图像的图像类型为第二类型。
26.权利要求25所述的图像处理设备，其特征在于，若所述目标环境图像的图像类型为第二类型，则所述处理单元，用于
将在根据采集到的图像集合生成初始数字地表模型的过程中所确定的所述目标环境图像的相机内参和相机外参，设置为所述目标环境图像的相机内参和相机外参；
根据为所述目标环境图像设置的相机内参和相机外参，确定所述空洞区域在所述目标环境图像上的映射区域。
27.如权利要求24所述的图像处理设备，其特征在于，所述类型识别模型是根据所述目标环境图像的纹理特征信息和所述空洞区域的结构信息，分析得到所述空洞区域所对应的环境区域的类型。
28.如权利要求27所述的图像处理设备，其特征在于，
所述目标环境图像的纹理特征信息包括：所述目标环境图像中映射区域的像素颜色特征；
所述空洞区域的结构信息包括：所述空洞区域的邻接区域的高程值特征、和/或所述空洞区域的面积特征。
29.如权利要求17所述的图像处理设备，其特征在于，确定的空洞区域在初始数字地表模型上的空洞面积大于预设的空洞面积阈值。
30.如权利要求17或29所述的图像处理设备，其特征在于，所述空洞区域是根据连通区域搜索检测规则从所述初始数字地表模型中确定的。
31.如权利要求17所述的图像处理设备，其特征在于，所述处理单元，用于
根据邻接区域中各格网单元的高程值按照第一确认规则，确定得到的高程更新值；
将所述高程更新值作为所述空洞区域中的格网单元的高程值。
32.如权利要求17所述的图像处理设备，其特征在于，所述处理单元，还用于
若所述空洞区域所对应的环境区域的类型不为预设类型，则按照第二确认规则对邻接区域中各格网单元的高程值进行计算，得到多个高程更新值；
将得到的多个高程更新值作为所述空洞区域中的格网单元的高程值。
33.一种图像处理系统，其特征在于，所述图像处理系统包括：移动平台和图像处理设备，所述移动平台上设置有图像采集设备；
所述移动平台，用于通过所述图像采集设备在所述移动平台移动的过程中采集多个环境图像，并将采集到的所述多个环境图像发送给所述图像处理设备；
所述图像处理设备，用于根据采集到的图像集合生成初始数字地表模型；确定所述初始数字地表模型中的空洞区域，其中，在所述空洞区域内包括高程值异常的格网单元；若所述空洞区域所对应的环境区域的类型为预设类型，则确定所述初始数字地表模型上所述空洞区域的邻接区域中各格网单元的高程值；根据邻接区域中各格网单元的高程值，更新所述空洞区域中的格网单元的高程值，得到数字地表模型。
技术总结