本发明涉及可同时运用于密集与稀疏视点下的多视角三维重建技术领域，特别涉及一种基于遮挡信息多尺度感知的三维重建方法及装置。
背景技术：
mvs(multipleviewstereo，多视图立体视觉)旨在从具有已知相机参数的2d图像集中恢复密集的3d模型。随着观测变得稀疏，成像场景的更多3d信息会在记录过程中丢失，从而使之后的算法处理(例如mvs任务)更具挑战性。实际上，稀疏采样对实用性和工业化更为有利，然而目前更多的算法集中在处理在密集采样下的任务，即来自相邻视图的投影射线之间的角度相对较小(大约10度)。尽管目前已经有各种各样的方法来处理稀疏视图情况，但是它们倾向于恢复具有较差泛化能力的特定类型的对象或场景。例如，一些算法通过语义表征或物体形状先验来改善深度图生成。另一类被称为深度图融合的算法，尝试估计每个摄像机视图的深度图并将其融合为3d模型。然而对于稀疏的mvs问题，由于较大的视角角度使这类匹配算法的模型不完整。这是因为较大的视角差显着歪曲了匹配的色块信息并且使光一致性检查变差。此外，随着观察结果变得稀疏，深度图上的2d正则化对于完整的3d模型的帮助较小。这是因为该算法中每个2d视图都是由3d表面上的不均匀采样形成的，并且很难使得多个视角3d表面预测得到统一的图像一致性检测。
为了代替将多个2d信息融合到3d中，surfacenet通过直接从3d非投影色体积中学习按体积方向的几何上下文，从而以端对端的方式优化3d几何形状。首先，通过将跟踪的像素射线上的体素着色为相同的像素颜色，将两个视图
尽管利用了三维正则化可以避免深度图融合方法中缺点，它仍然具有明显的劣势。由于不了解全局三维结构，单个体素的预测是相互独立的，因此在具有在重复且图案复的几何形状表面会出现大面积噪点和空洞。
技术实现要素：
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于遮挡信息多尺度感知的三维重建方法，该方法仅需很少的视图对即可对待重建区域进行表面预测，大大降低了计算复杂度，并受益于从粗到精的方式，使按体素块进行的遮挡检测更加可行，大大提升重建得到的三维模型的完整度，简单易实现。
本发明的另一个目的在于提出一种基于遮挡信息多尺度感知的三维重建装置。
为达到上述目的，本发明一方面实施例提出了一种基于遮挡信息多尺度感知的三维重建方法，包括以下步骤：通过对待重建场景的多尺度推理逐渐精细化重建模型；参考低分辨率重建模型逐渐完善视角遮挡信息；根据每个三维子体素群的视图对对所述待重建场景进行表面预测，以得到该三维子体素群的多视角表面预测，并融合所述多视角表面预测得到该三维子体素群的点云预测，直到所有体素群分辨率中最低体素群分辨率小于等于预设分辨率时完成所述待重建场景的三维重建。
本发明实施例的基于遮挡信息多尺度感知的三维重建方法，从较为粗糙的三维表面预测开始，并基于较粗糙点云预测逐渐舍弃不良的视图不断完善恢复的几何形状，提出的具有遮挡感知的视图选择可以为每个三维子体素群筛选出最有价值的视图对，并且整个过程是端到端可训练的，从而仅需很少的视图对即可对待重建区域进行表面预测，大大降低了计算复杂度，并受益于从粗到精的方式，使按体素块进行的遮挡检测更加可行，大大提升重建得到的三维模型的完整度，简单易实现。
另外，根据本发明上述实施例的基于遮挡信息多尺度感知的三维重建方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述通过对待重建场景的多尺度推理逐渐精细化重建模型，包括：第一阶段，将整个待重建场景划分为一组最粗级的三维子体素群c(1)，其边长为l(1)＝s*r(1)，其中r(1)是将整个待重建场景体素化形成大小为s*s*s的张量时，最粗糙级别的体素分辨率；迭代阶段，通过多尺度推理的公式生成体素群分辨率依次降低的三维体素群{c(2),...,c(k),...,c(k)}，其分辨率是具有共同比率δ的几何序列，r(k)＝δ*r(k 1)，直到r(k)≤r时停止迭代，其中，r是所述预设分辨率，而r(k)是所有体素群分辨率中最低体素群分辨率。
进一步地，在本发明的一个实施例中，所述多尺度推理的公式为：
其中，s(k-1)为三维子体素群c(k)上一级的点云预测，c(k)为三维子体素群，k为正整数，s(1)为所述第一阶段输出的点云预测。
进一步地，在本发明的一个实施例中，所述参考低分辨率重建模型逐渐完善视角遮挡信息，包括：根据三维子体素群c(k)上一级的点云预测s(k-1)去除有遮挡的视图，以构建一个用于在第k个尺度级别上重建三维子体素群c(k)的视图子集
进一步地，在本发明的一个实施例中，所述视图对的相对权值表示为：
其中，e(·)为对于每个图像
为达到上述目的，本发明另一方面实施例提出了一种基于遮挡信息多尺度感知的三维重建装置，包括：推理模块，用于通过对待重建场景的多尺度推理逐渐精细化重建模型；完善模块，用于参考低分辨率重建模型逐渐完善视角遮挡信息；预测模块，用于根据每个三维子体素群的视图对对所述待重建场景进行表面预测，以得到该三维子体素群的多视角表面预测，并融合所述多视角表面预测得到该三维子体素群的点云预测，直到所有体素群分辨率中最低体素群分辨率小于等于预设分辨率时完成所述待重建场景的三维重建。
本发明实施例的基于遮挡信息多尺度感知的三维重建装置，从较为粗糙的三维表面预测开始，并基于较粗糙点云预测逐渐舍弃不良的视图不断完善恢复的几何形状，提出的具有遮挡感知的视图选择可以为每个三维子体素群筛选出最有价值的视图对，并且整个过程是端到端可训练的，从而仅需很少的视图对即可对待重建区域进行表面预测，大大降低了计算复杂度，并受益于从粗到精的方式，使按体素块进行的遮挡检测更加可行，大大提升重建得到的三维模型的完整度，简单易实现。
另外，根据本发明上述实施例的基于遮挡信息多尺度感知的三维重建装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述推理模块包括：第一阶段单元，用于将整个待重建场景划分为一组最粗级的三维子体素群c(1)，其边长为l(1)＝s*r(1)，其中r(1)是将整个待重建场景体素化形成大小为s*s*s的张量时，最粗糙级别的体素分辨率；迭代阶段单元，用于通过多尺度推理的公式生成体素群分辨率依次降低的三维体素群{c(2),...,c(k),...,c(k)}，其分辨率是具有共同比率δ的几何序列，r(k)＝δ*r(k 1)，直到r(k)≤r时停止迭代，其中，r是所述预设分辨率，而r(k)是所有体素群分辨率中最低体素群分辨率。
进一步地，在本发明的一个实施例中，所述多尺度推理的公式为：
其中，s(k-1)为三维子体素群c(k)上一级的点云预测，c(k)为三维子体素群，k为正整数，s(1)为所述第一阶段单元输出的点云预测。
进一步地，在本发明的一个实施例中，所述完善模块进一步用于根据三维子体素群c(k)上一级的点云预测s(k-1)去除有遮挡的视图，以构建一个用于在第k个尺度级别上重建三维子体素群c(k)的视图子集
进一步地，在本发明的一个实施例中，所述视图对的相对权值表示为：
其中，e(·)为对于每个图像
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的基于遮挡信息多尺度感知的三维重建方法的流程图；
图2为根据本发明一个实施例的遮挡识别稀疏光场空间信息隐式编码与重建示意图；
图3为根据本发明一个实施例的基于遮挡信息多尺度感知的三维重建方法的原理示意图；
图4为根据本发明一个实施例的多尺度遮挡视角感知三维重建算法示意图；
图5为根据本发明一个实施例的基于遮挡信息多尺度感知的三维重建方法的流程图；
图6为根据本发明实施例的基于遮挡信息多尺度感知的三维重建装置的结构示意图。
附图标记说明：
26表示带有隐式摄像机参数的三维视图体素表征，47表示多尺度推理操作，56表示该级重建得到的点云，57表示体素群分割操作，61表示神经网络点云预测算法，62表示未遮挡的视图，63表示体素群表面点云预测，64表示带有相机位姿的视图，65代表遮挡检测算法，70表示通过遮挡检测得到的视图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于遮挡信息多尺度感知的三维重建方法及装置，首先将参照附图描述根据本发明实施例提出的基于遮挡信息多尺度感知的三维重建方法。
图1是本发明一个实施例的基于遮挡信息多尺度感知的三维重建方法的流程图。
如图1所示，该基于遮挡信息多尺度感知的三维重建方法包括以下步骤：
在步骤s101中，通过对待重建场景的多尺度推理逐渐精细化重建模型。
其中，在本发明的一个实施例中，通过对待重建场景的多尺度推理逐渐精细化重建模型，包括：第一阶段，将整个待重建场景划分为一组最粗级的三维子体素群c(1)，其边长为l(1)＝s*r(1)，其中r(1)是将整个待重建场景体素化形成大小为s*s*s的张量时，最粗糙级别的体素分辨率；迭代阶段，通过多尺度推理的公式生成体素群分辨率依次降低的三维体素群{c(2),...,c(k),...,c(k)}，其分辨率是具有共同比率δ的几何序列，r(k)＝δ*r(k 1)，直到r(k)≤r时停止迭代，其中，r是预设分辨率，而r(k)是所有体素群分辨率中最低体素群分辨率。
具体而言，如图2所示，本发明实施例采用了以体素群为单位的设计，提出了一种新颖的体素群选择方法，通过粗糙到精细的方案并考虑了三维几何先验，多尺度推理具体如下：
在第一阶段，将整个待重建划分为一组最粗级的子体素群c(1)，其边长为l(1)＝s*r(1)，其中r(1)是将整个待重建场景体素化形成大小为s*s*s的张量时，最粗糙级别的体素分辨率。如图3所示，输入为一对ivi^c和ivj^c，输出为s，作为该阶段的输出，将最粗糙的表面预测记为s(1)，其中x∈s表示表面预测中占据的体素。
下一个迭代阶段将生成不同比例级别的体素群{c(2),...,c(k),...,c(k)}，其分辨率是具有共同比率δ的几何序列，r(k)＝δ*r(k 1)。通常，为了兼顾效率和有效性，本发明实施例将δ设置为4。重复此过程，直到满足条件r(k)≤r，其中r是所需的分辨率，而r(k)是最精细的分辨率。当k＝1,2,...时，子体素群的划分方式高度依赖于上一级的点云预测s(k-1)，其中每个子体素c(k)至少包含一个点云预测中的点：
另外，为了摆脱卷积运算的边界效应，本发明实施例通常会放宽上述限制并允许相邻子体素群之间略有重叠。
在步骤s102中，参考低分辨率重建模型逐渐完善视角遮挡信息。
可以理解的是，本发明实施例提出的具有遮挡感知的视图选择可以为每个三维子体素群筛选出最有价值的视图对，并且整个过程是端到端可训练的，因此，仅需很少的视图对即可对待重建区域进行表面预测，从而大大降低了计算复杂度。
进一步地，在本发明的一个实施例中，参考低分辨率重建模型逐渐完善视角遮挡信息包括：根据三维子体素群c(k)上一级的点云预测s(k-1)去除有遮挡的视图，以构建一个用于在第k个尺度级别上重建三维子体素群c(k)的视图子集
具体而言，如图4所示，可识别遮挡的视图选择具体包括：
利用多尺度方案为本发明实施例提供的关键的几何先验s(k-1)去除有遮挡的视图，从而构建一个用于在第k个尺度级别上重建每个子体积c(k)的视图子集
对于任何关于子体素群c的视图v，凸包h(c,v)∈r3由一组点定义：
h(c,v)＝conv({c1,...,c8}∪{ov})，
其中ov是v的相机中心，集合{c1,...,c8}包含子体素群c的8个角。同时我们定义障碍点集为：
它们是上一级的粗糙点云预测s(k-1)在相机视图v和子体素群c(k)之间区域的点的集合。
该方法的视图子集为：
∧(c(k))＝{v|(v∈∧)∧(|b(c,v)|<τ)}，
其中τ为一个阈值。
在得到视图子集后该方法通过遮挡的概率值来惩罚每个视图对(vi,vj)，
其中α是控制该遮挡概率项的灵敏度的超参数，系数
最终，视图对的相对权值表示为：
对于每个图像
在步骤s103中，根据每个三维子体素群的视图对对待重建场景进行表面预测，以得到该三维子体素群的多视角表面预测，并融合多视角表面预测得到该三维子体素群的点云预测，直到所有体素群分辨率中最低体素群分辨率小于等于预设分辨率时完成待重建场景的三维重建。
可以理解的是，从较为粗糙的三维表面预测开始，并基于较粗糙点云预测逐渐舍弃不良的视图不断完善恢复的几何形状。受益于从粗到精的方式，本发明实施例使按体素块进行的遮挡检测更加可行，并大大提升重建得到的三维模型的完整度。
下面将结合图5对基于遮挡信息多尺度感知的三维重建方法进行进一步阐述，具体如下：
步骤1：选择参数，其中，选择参数包括：该级重建的分辨率和该级选择的多视角视图对数量，在每一级选择不同参数的作用是为了适应在不同分辨率下待重建场景的几何结构和纹理特征变化；
步骤2：选择待重建场景中的某个子体素群；
步骤3：判断是否包好上一级点云，如果否则返回步骤2；如果是，则执行步骤4；
步骤4：构建视图子集；
步骤5：构建无遮挡视图子集；
步骤6：融合多视角表面预测；
步骤7：判断是否遍历所有子体素群，如果否，则返回步骤2；如果是则执行步骤8；
步骤8：获取该级点云；
步骤9：判断是否达到最小分辨率，如果否，则返回步骤1；如果是，则输出点云。
综上，从较为粗糙的三维表面预测开始，并基于较粗糙点云预测逐渐舍弃不良的视图不断完善恢复的几何形状。与传统的逐个图像或逐个像素的视角选择不同，后者无法挑选出最有价值的视图对以融合准确的3d模型并通过滤除不相关的可见视图来加快速度。本发明实施例提出的具有遮挡感知的视图选择可以为每个三维子体素群筛选出最有价值的视图对，并且整个过程是端到端可训练的。因此，仅需很少的视图对即可对待重建区域进行表面预测，从而大大降低了计算复杂度。受益于从粗到精的方式，本发明实施例使按体素块进行的遮挡检测更加可行，并大大提升重建得到的三维模型的完整度。
根据本发明实施例提出的基于遮挡信息多尺度感知的三维重建方法，从较为粗糙的三维表面预测开始，并基于较粗糙点云预测逐渐舍弃不良的视图不断完善恢复的几何形状，提出的具有遮挡感知的视图选择可以为每个三维子体素群筛选出最有价值的视图对，并且整个过程是端到端可训练的，从而仅需很少的视图对即可对待重建区域进行表面预测，大大降低了计算复杂度，并受益于从粗到精的方式，使按体素块进行的遮挡检测更加可行，大大提升重建得到的三维模型的完整度，简单易实现。
其次参照附图描述根据本发明实施例提出的基于遮挡信息多尺度感知的三维重建装置。
图6是本发明一个实施例的基于遮挡信息多尺度感知的三维重建装置的结构示意图。
如图6所示，该基于遮挡信息多尺度感知的三维重建装置10包括：推理模块100、完善模块200和预测模块300。
其中，推理模块100用于通过对待重建场景的多尺度推理逐渐精细化重建模型；完善模块200用于参考低分辨率重建模型逐渐完善视角遮挡信息；预测模块300用于根据每个三维子体素群的视图对对待重建场景进行表面预测，以得到该三维子体素群的多视角表面预测，并融合多视角表面预测得到该三维子体素群的点云预测，直到所有体素群分辨率中最低体素群分辨率小于等于预设分辨率时完成待重建场景的三维重建。本发明实施例的装置10仅需很少的视图对即可对待重建区域进行表面预测，大大降低了计算复杂度，并受益于从粗到精的方式，使按体素块进行的遮挡检测更加可行，大大提升重建得到的三维模型的完整度，简单易实现。
进一步地，在本发明的一个实施例中，推理模块100包括：第一阶段单元和迭代阶段单元。
其中，第一阶段单元，用于将整个待重建场景划分为一组最粗级的三维子体素群c(1)，其边长为l(1)＝s*r(1)，其中r(1)是将整个待重建场景体素化形成大小为s*s*s的张量时，最粗糙级别的体素分辨率；迭代阶段单元，用于通过多尺度推理的公式生成体素群分辨率依次降低的三维体素群{c(2),...,c(k),...,c(k)}，其分辨率是具有共同比率δ的几何序列，r(k)＝δ*r(k 1)，直到r(k)≤r时停止迭代，其中，r是预设分辨率，而r(k)是所有体素群分辨率中最低体素群分辨率。
进一步地，在本发明的一个实施例中，多尺度推理的公式为：
其中，s(k-1)为三维子体素群c(k)上一级的点云预测，c(k)为三维子体素群，k为正整数，s(1)为第一阶段单元输出的点云预测。
进一步地，在本发明的一个实施例中，完善模块200进一步用于根据三维子体素群c(k)上一级的点云预测s(k-1)去除有遮挡的视图，以构建一个用于在第k个尺度级别上重建三维子体素群c(k)的视图子集
进一步地，在本发明的一个实施例中，视图对的相对权值表示为：
其中，e(·)为对于每个图像
需要说明的是，前述对基于遮挡信息多尺度感知的三维重建方法实施例的解释说明也适用于该实施例的基于遮挡信息多尺度感知的三维重建装置，此处不再赘述。
根据本发明实施例提出的基于遮挡信息多尺度感知的三维重建装置，从较为粗糙的三维表面预测开始，并基于较粗糙点云预测逐渐舍弃不良的视图不断完善恢复的几何形状，提出的具有遮挡感知的视图选择可以为每个三维子体素群筛选出最有价值的视图对，并且整个过程是端到端可训练的，从而仅需很少的视图对即可对待重建区域进行表面预测，大大降低了计算复杂度，并受益于从粗到精的方式，使按体素块进行的遮挡检测更加可行，大大提升重建得到的三维模型的完整度，简单易实现。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
1.一种基于遮挡信息多尺度感知的三维重建方法，其特征在于，包括以下步骤：
通过对待重建场景的多尺度推理逐渐精细化重建模型；
参考低分辨率重建模型逐渐完善视角遮挡信息；以及
根据每个三维子体素群的视图对对所述待重建场景进行表面预测，以得到该三维子体素群的多视角表面预测，并融合所述多视角表面预测得到该三维子体素群的点云预测，直到所有体素群分辨率中最低体素群分辨率小于等于预设分辨率时完成所述待重建场景的三维重建。
2.根据权利要求1所述的方法，其特征在于，所述通过对待重建场景的多尺度推理逐渐精细化重建模型，包括：
第一阶段，将整个待重建场景划分为一组最粗级的三维子体素群c(1)，其边长为l(1)＝s*r(1)，其中r(1)是将整个待重建场景体素化形成大小为s*s*s的张量时，最粗糙级别的体素分辨率；
迭代阶段，通过多尺度推理的公式生成体素群分辨率依次降低的三维体素群{c(2)，..，c(k)，...，c(k)}，其分辨率是具有共同比率δ的几何序列，r(k)＝δ*r(k 1)，直到r(k)≤r时停止迭代，其中，r是所述预设分辨率，而r(k)是所有体素群分辨率中最低体素群分辨率。
3.根据权利要求2所述的方法，其特征在于，所述多尺度推理的公式为：
其中，s(k-1)为三维子体素群c(k)上一级的点云预测，c(k)为三维子体素群，k为正整数，s(1)为所述第一阶段输出的点云预测。
4.根据权利要求3所述的方法，其特征在于，所述参考低分辨率重建模型逐渐完善视角遮挡信息，包括：
根据三维子体素群c(k)上一级的点云预测s(k-1)去除有遮挡的视图，以构建一个用于在第k个尺度级别上重建三维子体素群c(k)的视图子集
通过遮挡的概率值来惩罚每个视图对(vi，vj)，其中，
其中，α是控制遮挡的概率值的灵敏度的超参数，系数
5.根据权利要求4所述的方法，其特征在于，所述视图对的相对权值表示为：
其中，e(·)为对于每个图像
6.一种基于遮挡信息多尺度感知的三维重建装置，其特征在于，包括：
推理模块，用于通过对待重建场景的多尺度推理逐渐精细化重建模型；
完善模块，用于参考低分辨率重建模型逐渐完善视角遮挡信息；以及
预测模块，用于根据每个三维子体素群的视图对对所述待重建场景进行表面预测，以得到该三维子体素群的多视角表面预测，并融合所述多视角表面预测得到该三维子体素群的点云预测，直到所有体素群分辨率中最低体素群分辨率小于等于预设分辨率时完成所述待重建场景的三维重建。
7.根据权利要求6所述的装置，其特征在于，所述推理模块包括：
第一阶段单元，用于将整个待重建场景划分为一组最粗级的三维子体素群c(1)，其边长为l(1)＝s*r(1)，其中r(1)是将整个待重建场景体素化形成大小为s*s*s的张量时，最粗糙级别的体素分辨率；
迭代阶段单元，用于通过多尺度推理的公式生成体素群分辨率依次降低的三维体素群{c(2)，...，c(k)，...，c(k)}，其分辨率是具有共同比率δ的几何序列，r(k)＝δ*r(k 1)，直到r(k)≤r时停止迭代，其中，r是所述预设分辨率，而r(k)是所有体素群分辨率中最低体素群分辨率。
8.根据权利要求7所述的装置，其特征在于，所述多尺度推理的公式为：
其中，s(k-1)为三维子体素群c(k)上一级的点云预测，c(k)为三维子体素群，k为正整数，s(1)为所述第一阶段单元输出的点云预测。
9.根据权利要求8所述的装置，其特征在于，所述完善模块进一步用于根据三维子体素群c(k)上一级的点云预测s(k-1)去除有遮挡的视图，以构建一个用于在第k个尺度级别上重建三维子体素群c(k)的视图子集
10.根据权利要求9所述的装置，其特征在于，所述视图对的相对权值表示为：
其中，e(·)为对于每个图像
