自动化的三维建筑物模型估计
1.相关申请的交叉引用
2.本技术要求于2020年2月28日提交的美国申请序列no.62/983,509的优先权。在先申请的公开内容被视为本技术的公开内容的一部分，并且整体并入本技术。
技术领域
3.本公开一般而言涉及估计三维(3d)建筑结构，例如屋顶。
背景技术：4.据国际能源署称，太阳能是世界上增长最快的能源。太阳能的工作原理是捕获太阳能并将其转化为电力，供家庭或企业使用。太阳的能量是使用太阳能电池面板捕获的，太阳能电池面板常常安装在可以最大程度地暴露在阳光下的区域，诸如屋顶。太阳能电池面板由多个由硅制成的太阳能电池组成，这些太阳能电池具有产生电场的正和负层。当来自太阳的光子撞击太阳能电池时，电子从它们的原子中释放出来。通过将导体附接到太阳能电池的正和负侧，形成电路。当电子流过电路时生成直流电流(dc)，通过逆变器将其转换成交流电流(ac)，为家庭或办公室供电。多余的电量存储在电池中。
5.太阳能系统所需的太阳能电池面板的数量取决于建筑物使用多少能源、屋顶的可用表面积、建筑物所在位置的气候和高峰日照以及太阳能电池面板的瓦数和相对效率。多个太阳能电池面板(模块)可以连线在一起形成太阳能电池阵列。建筑物位置的高峰日照时间影响太阳能电池阵列将产生的能量。而且，屋顶的尺寸和形状将影响太阳能电池面板的尺寸和太阳能电池面板中使用的太阳能电池面板的数量。最受欢迎的太阳能电池面板是光伏(pv)太阳能电池面板，其制造的标准尺寸约为65英寸
×
39英寸，制造商之间存在一些变化。屋顶的尺寸和形状将直接影响要安装的太阳能电池面板的尺寸和数量。由于可用屋顶面积大，因此可以以每块面板较低的成本安装更大的面板。但是，如果可用屋顶面积有限，或部分被遮蔽，那么可以安装更少更小的高效面板，但每块面板的成本更高。
6.有许多不同的屋顶类型使太阳能系统设计变得复杂，包括但不限于：gable、hip、masard、gambrel、flat、skillion、jerkinhead、butterfly、bonnet、saltbox、sawtooth、curved、pyramid、dome和前述的任何组合。而且，安装在屋顶上的任何结构(诸如供暖、空调和通风(hvac)装备、烟囱、通风口等)都会减少太阳能电池面板安装的可用表面积。
7.现有的用于优化太阳能电池面板安装的软件解决方案使用航拍图像来估计屋顶的可用表面积。但是，这些技术常常要求需要大量的用户输入，使用户的设计过程变得乏味。所需要的是一种自动化过程，该过程要求最少的用户输入来估计3d建筑结构，并且特别是高准确度地确定3d屋顶模型的可用区域，以便设计和模拟可以输出性能数据的虚拟太阳能系统，其可以被用于设计实现用户的目标节能目标和其它用户目标的实际太阳能系统。
技术实现要素：8.公开了自动化的三维(3d)建筑物模型估计。在实施例中，一种方法包括：使用一个
或多个处理器，基于输入地址获得建筑物的航拍图像；使用一个或多个处理器，基于输入地址获得包含建筑物的三维(3d)数据；对航拍图像和3d数据进行预处理；使用一个或多个处理器，从经预处理的图像和3d数据重构3d建筑物模型，重构包括：使用实例分割来预测用于每个屋顶面的蒙版；将每个屋顶面转换成二维(2d)多边形；以及将每个2d多边形投影到表示3d建筑物模型的3d多边形中。
9.其它实施例包括但不限于系统和计算机可读存储介质。
10.本文公开的特定实施例提供以下优点中的一个或多个。自动化的太阳能系统设计工具使用航空影像、3d点云(例如，雷达点云)、机器学习(例如，神经网络)和遮荫算法来估计建筑物的屋顶的尺寸和形状，并确定太阳能电池面板的最优位置以最大限度地暴露在阳光下。所公开的实施例是完全自动化的并且要求最少的用户输入，诸如用户的家庭地址、公用事业费率和用户的平均每月能源账单。输出是估计的3d建筑物模型，该模型被输入到自动化的设计工具中，该工具基于估计的3d建筑物模型生成虚拟太阳能系统设计。自动模拟虚拟太阳能系统以确定其性能，包括例如计算太阳能生产的财务和估计输出功率。消费者或专业的太阳能电池面板安装人员可以通过例如万维网或通过应用编程接口(api)访问自动化的太阳能系统设计工具。
11.所公开的实施例的细节在附图和以下描述中阐述。其它特征、目的和优点从描述、附图和权利要求中是显而易见的。
附图说明
12.图1图示了根据实施例的自动化的太阳能系统设计工具的图形用户界面(gui)。
13.图2是根据实施例的用于估计3d建筑物模型的自动化的过程的流程图。
14.图3是根据实施例的用于预处理流水线的示例输入图像。
15.图4是根据实施例的用于预处理流水线的示例输入3d数据。
16.图5a和图5b图示了根据实施例的示例预处理输出，其中从3d数据导出的图像和dsm与网格轴对准，在建筑物周围被裁剪并且彼此对准。
17.图6是根据实施例的预处理流水线的流程图。
18.图7图示了根据实施例的应用于3d数据以生成3d网格的“无尖峰”三角测量算法的结果。
19.图8a和图8b图示了根据实施例的配准过程，由此dsm和图像被对准。
20.图9a-图9c图示了根据实施例在图像和dsm上分开使用语义分割技术来预测建筑结构、树木和背景，然后使用互相关来计算图像和dsm对准的位置。
21.图10a和图10b图示了根据实施例的从图像生成建筑蒙版。
22.图11a和图11b图示了根据实施例的使用建筑物蒙版来获得建筑物的范围并裁剪图像使得建筑物在图像中居中并且与网格轴对准。
23.图12是根据实施例的从经预处理的图像和dsm产生3d建筑物模型的重构过程的流程图。
24.图13图示了根据实施例的由神经网络使用实例分割技术为每个屋顶平面生成的输出蒙版。
25.图14图示了根据实施例的使用启发法和多边形拟合将屋顶平面转换成多边形，然
后使用dsm将二维(2d)多边形投影到3d多边形中。
26.图15a和图15b图示了根据实施例的用于在数据库中找到匹配的屋顶类型模板然后将模板覆盖在图像上的非参数检索技术。
27.图16a-图16c图示了根据实施例的使用神经网络来预测屋顶中每个节点的偏移量以调整屋顶模板的内部结构以匹配图像。
28.图17图示了根据实施例的用于预测3d多边形的所有边的边类型的神经网络的输出。
29.图18图示了根据实施例的用于使用神经网络进行墙壁检测的替代技术，该替代技术用在替代多边形拟合算法中。
30.图19图示了根据实施例的替代多边形拟合算法，其中组合检测到的墙壁和屋顶平面并且确定它们之间的所有可能的交叉点。
31.图20图示了根据实施例的合成雷达技术，其中神经网络被用于从2d图像计算高度图，然后使用高度图将2d图像转换成建筑物的粗略3d模型。
32.图21图示了根据实施例的检测屋顶上的障碍物的技术。
33.图22是根据实施例的自动化的3d建筑物估计过程的流程图。
34.图23是根据实施例的用于图22的3d建筑物估计过程的预处理过程的流程图。
35.图24a和图24b是根据实施例的用于图22的3d建筑物估计过程的重构过程的流程图。
36.图25a和图25b是图示根据实施例的用于移除屋顶面之间的间隙的捕捉算法的前后图像。
37.图26是根据实施例的覆盖示出无间隙屋顶面的图像的2d网格的俯视图。
38.图27图示了根据实施例的通过针对3d建筑物模型、障碍物和周围环境的射线追踪的遮荫。
39.图28是根据实施例的使用如参考图1-27所述生成的估计的3d建筑物模型的自动化的太阳能系统设计的过程流。
40.图29是用于实现参考图1-图28描述的特征和过程的计算机体系架构的框图。
41.不同附图中使用的相同附图标记指示相像的元件。
具体实施方式
42.术语/附图的解释
43.在以下详细描述中，出于解释的目的，阐述了许多具体细节以提供对所公开实施例的透彻理解。但是，显然可以在没有这些具体细节的情况下实践所公开的实施例。在其它情况下，众所周知的结构和设备以框图形式示出以避免不必要地混淆本发明。
44.在附图中，为了便于描述，示出了示意性元素的具体布置或排序，诸如表示设备、模块、指令块和数据元素的布置或排序。但是，本领域技术人员应当理解的是，附图中示意性元素的特定排序或布置并不意味着暗示要求特定的处理次序或顺序，或过程的分离。另外，在附图中包括示意性元素并不意味着暗示在所有实施例中都要求这种元素或者由这种元素表示的特征可以不包括在一些实施例中或在一些实施例中与其它元素组合。
45.另外，在连接元素(诸如实线或虚线或箭头)用于图示两个或更多个其它示意性元
素之间的连接、关系或关联的附图中，缺少任何此类连接元素并不意味着暗示可以不存在任何连接、关系或关联。换句话说，元素之间的一些连接、关系或关联未在附图中示出，以免混淆本公开。此外，为了便于说明，使用单个连接元素来表示元素之间的多个连接、关系或关联。例如，在连接元素表示信号、数据或指令的通信的情况下，本领域技术人员应当理解的是，根据需要，这种元素表示一个或多个信号路径(例如，总线)以影响通信。
46.下文中描述了几个特征，这些特征中的每一个都可以彼此独立地使用或与其它特征以任何组合一起使用。但是，任何个体特征可能无法解决以上讨论的任何问题或可能仅解决以上讨论的问题之一。上面讨论的问题中的一些可能无法通过本文描述的任何特征来完全解决。虽然提供了标题，但与特定标题相关但未在具有该标题的部分中找到的信息也可以在本描述的其它地方找到。
47.如本文所使用的，术语“一个或多个”包括由一个元件执行的功能、由多于一个元件执行的功能(例如，以分布式方式)、由一个元件执行的若干功能、由若干元件执行的若干功能，或以上的任何组合。还将理解的是，虽然在一些情况下术语第一、第二等在本文中用于描述各种元素，但这些元素不应受这些术语的限制。这些术语仅用于区分一个元素与另一个元素。例如，可以将第一联系人称为第二联系人，并且类似地，可以将第二联系人称为第一联系人，而不脱离所描述的各种实施例的范围。第一联系人和第二联系人都是联系人，但它们不是同一个联系人。在本文中描述的各种实施例的描述中使用的术语仅用于描述特定实施例的目的并且不旨在进行限制。
48.如在各种公开的实施例和所附权利要求的描述中使用的，单数形式“一个”、“一种”和“该”旨在也包括复数形式，除非上下文另有明确指示。还将理解的是，如本文所使用的，术语“和/或”是指并涵盖相关联列出的项中的一个或多个中的任何和所有可能的组合。将进一步理解的是，当在本说明书中使用时，术语“包括”指定陈述的特征、整数、步骤、操作、元素和/或组件的存在，但不排除一个或多个其它特征、整数、步骤、操作、元素、组件和/或它们的组的存在或添加。
49.如本文所使用的，根据上下文，术语“如果”可选地被解释为表示“当
…
时”或“在
…
时”或“响应于确定
…”
或“响应于检测到
…”
。类似地，短语“如果确定
…”
或“如果检测到[陈述的条件或事件]”可选地被解释为表示“在确定
…
时”或“响应于确定
…”
或“在检测到[陈述的条件或事件时]”或“响应于检测到[陈述的条件或事件]”，具体取决于上下文。
[0050]
现在将详细参考所公开的实施例，其示例在附图中示出。在以下详细描述中，阐述许多具体细节以提供对所描述的各种实施例的透彻理解。但是，对于本领域普通技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践各种公开的实施例。在其它情况下，没有详细描述众所周知的方法、过程、组件、电路和网络，以免不必要地混淆所公开实施例的方面。
[0051]
详细描述
[0052]
图1图示了根据实施例的自动化的太阳能系统设计工具的图形用户界面(gui)100。在所示示例中，gui 100包括建筑物103的3d图像101，其地址由用户在文本框102中输入。导航控件105允许用户操纵3d图像的观看视角(例如，旋转，倾斜)。输出窗格104显示基于估计的3d建筑物模型的太阳能系统设计的性能模拟的结果，如下文更全面地描述的。在这个示例中，结果包括每月节省的美元、每月的百分比补偿和以千瓦(kw)为单位的系统规
point cloud data.proceedings of the 2ndintconf on machine control guidance,bonn.第1卷.2010中所述。在替代实施例中，神经网络被用于从2d多边形预测3d多边形。
[0067]
通过将屋顶面蒙版简单地转换成多边形，可以在屋顶面之间引入间隙，如图25a中所示。通过生成2d网格而不是分离的多边形，可以生成无间隙的2d屋顶面，如图25b中所示。在实施例中，语义分割技术被用于预测图像中每个像素的边和节点概率。然后使用poisson圆盘采样沿着节点、边以及在图像上均匀地选择点，如cook、robert l.的stochastic sampling in computer graphics.acm transactions on graphics,5,1986年1月1日，第51-72页中所述。
[0068]
改变圆盘半径以在节点和边处进行更密集的采样。然后执行delaunay三角测量以生成2d网格。2d网格中的每个三角形都根据其屋顶面进行标注。通过将2d网格中的所有三角形与给定的屋顶面标签组合，为相邻屋顶面之间没有间隙的每个屋顶面2501-2507提取多边形，如图25b中所示。图26是根据实施例的覆盖示出无间隙屋顶面的图像的2d网格的俯视图。
[0069]
图14图示了使用启发法和多边形拟合将屋顶平面转换成多边形，然后使用3d数据将2d多边形投影到3d多边形中。一旦生成了3d多边形，每个多边形的边就被选择为“方位角边”，并被指派高度和节距以定义3d平面。例如，当2d多边形投影到3d多边形中时，平面被迫指向相对于占优势的屋顶朝向(左、右、上、下)的四个基本方向之一。对于每个可能的方向，确定平面的坡度和高度，因为方位角/方向是固定的。然后选择最佳拟合的方向、坡度和高度。对于朝南的屋顶面，将有东西走向的边，该边是平坦的并且其方向垂直于平面的方位角方向。沿着边的任何点都可以被用于绘制具有给定高度和坡度的平面，使得边位于平面上。
[0070]
图12中所示的屋顶面分割流水线的最后一步是将3d多边形输入边类型检测模块1202。边类型检测模块1202使用神经网络和已知的图像语义分割技术来预测3d多边形的所有边的边类型。边类型的示例包括但不限于：屋檐、耙(rake)、脊、谷和屋脊。liang-chieh chen等人的encoder-decoder with atrous separable convolution for semantic image segmentation.(https://arxiv.org/abs/1802.02611v3)描述了一种示例图像语义分割技术。
[0071]
图17图示了根据实施例的用于预测3d多边形的所有边的边类型的神经网络的输出。预测的边类型用于定义壁阶。例如，太阳能电池面板不应当放置在屋顶面的边附近，以允许消防员进入等。
[0072]
在分离的屋顶面过程中，搜索屋顶模板数据库1206以寻找匹配的屋顶模板。在实施例中，该过程包括：1)如前所述对图像进行轴对准；2)计算图像的嵌入；3)在数据库1206中找到与基于嵌入重构的屋顶相似的屋顶模板；4)找到屋顶模板的高度、宽度、长度和位置；5)在屋顶图像上覆盖屋顶模板；6)调整屋顶模板的内部结构以匹配屋顶形象；以及7)检查屋顶模板是否比由屋顶面分割模块1203生成的屋顶面更准确。在检查步骤之后，选择经调整的屋顶模板或由屋顶面分割模块1203生成的屋顶面之一以包括在估计的3d屋顶模型中。在实施例中，上面的步骤2和3使用已知的度量学习技术来检索屋顶模板，诸如在florian schroff等人的facenet:a unified embedding for face recognition and clustering(https://arxiv.org/abs/1503.03832)中描述的。
[0073]
图15a和图15b图示了上述非参数检索技术。在步骤6中，使用神经网络来预测屋顶
中每个节点的偏移量，以调整屋顶模板的内部结构以匹配图像，如图16a-图16c中所示。
[0074]
在上述过程中，嵌入是由神经网络产生的n维向量(例如，n＝64)。神经网络被训练，使得如果两个屋顶相似，那么它们的嵌入在嵌入空间中将变得接近，而如果它们不相似，那么它们的嵌入将相距远。在步骤4中，模板的尺寸是已知的并且目标屋顶的尺寸是使用前面描述的分割/对准流水线估计的。
[0075]
图18和图19图示了根据实施例的用于使用神经网络进行具有多边形拟合算法的墙壁检测的替代技术。神经网络首先被用于预测包含屋顶图像的图像网格的每一行和每一列，无论该行/列是否有墙。然后使用多边形拟合算法通过组合所有墙壁和屋顶平面并找到它们之间所有可能的交叉点来重构屋顶。然后使用优化来选择最准确的屋顶结构。nan、liangliang和peter wonka的polyfit:polygonal surface reconstruction from point clouds.proceedings of the ieee international conference on computer vision.2017中描述了一种示例多边形拟合算法。
[0076]
图20图示了根据实施例的合成雷达技术，其中神经网络被用于从2d图像计算高度图，然后使用高度图将2d图像转换成建筑物的粗略3d模型。如srivastava、shivangi、michele volpi和devis tuia的joint height estimation and semantic labeling of monocular aerial images with cnns.ieee international geoscience and remote sensing symposium(igarss).2017所述，这种技术可以在没有任何3d数据的情况下仅从图像执行重构。
[0077]
图21图示了根据实施例的检测屋顶上的障碍物的技术。参考图12，图像和dsm被输入到障碍物检测模块1204中，该模块输出屋顶障碍物。在实施例中，障碍物检测模块1204包括神经网络，该神经网络被训练以使用实例分割技术来预测屋顶障碍物，诸如在he、kaiming等人的mask r-cnn.proceedings of the ieee international conference on computer vision,2017中所描述的。这些屋顶障碍物示出无法安装太阳能电池面板的位置以及会在太阳能电池面板上投下阴影的物体。
[0078]
返回去参考图2，过程流200通过基于估计的屋顶模型、来自遮荫/辐照度模型的遮荫/辐照度数据(每单位面积的辐射能的通量)、组件数据库和用户偏好自动生成虚拟太阳能系统来继续进行，如参考图28所述。
[0079]
组件数据库包括商用太阳能装备和硬件的数据表和价目表，包括但不限于：太阳能电池面板、逆变器、监视装备、机架和安装硬件(例如，导轨、闪光灯、接线片、安装支架、线夹、接头套件、撑杆、端盖、附件、倾斜腿)、平衡硬件(例如，dc/ac断开器、接线盒、汇流箱、断路器、保险丝、负载中心、快速关闭、浪涌设备)、电线、充电控制器、电池等。
[0080]
然后使用性能模拟206来模拟系统设计以确定系统设计的电气性能。由性能模拟产生的性能数据与公用事业费率数据和用户消费概况一起使用，以确定对消费者或专业太阳能电池面板安装人员有用的每月成本节省、每月补偿和其它财务数据。性能模拟206使用根据参考图27描述的方法计算的辐照度值。给定每个面板上的辐照度的量，估计每个面板产生的电流的量。使用电路建模，系统为所有连接成串的太阳能电池面板生成组合iv曲线。然后通过找到最大功率点并估计转换成ac电力的效率来模拟逆变器，以最终获得每小时的能量输出(以kwh为单位)。例如，对于所模拟年份的每小时或n分钟增量(例如，n＝15)执行这个计算。
[0081]
在实施例中，在消耗步骤中使用的能量消耗剖面和公用事业费率被用于在安装太阳能系统之前计算建筑物的能量成本。从太阳能发电量中减去能源消耗，以得到所模拟年份的每小时的太阳能后能源消耗。然后计算新消耗值的每月账单。通过比较这两个账单，计算安装太阳能系统每月节省的费用。
[0082]
在实施例中，可以运行进一步的模拟来计算不同融资方案(如现金购买、贷款和租赁)下的投资回报率(roi)、净现值(npv)和年度现金流。
[0083]
示例过程
[0084]
图22是根据实施例的自动化的3d建筑物估计过程2200的流程图。可以使用参考图29描述的计算机体系架构2900来实现过程2200。
[0085]
过程2200开始于获得建筑物地址、公用事业费率和计费信息(2201)并获得用于建筑物地址的3d数据和图像数据(2202)。在实施例中，建筑物地址由用户通过在线自动化的3d建筑物设计工具的gui录入。在替代实施例中，例如，通过api以编程方式获得地址。在实施例中，公用事业费率可以从公用事业公司维护的公用事业费率数据库中获得，或者从第三方提供者(诸如美国加利福尼亚州旧金山的genability inc.)获得。在实施例中，图像数据和3d数据是从可以使用建筑物的建筑物地址检索到的图像和3d数据的公共或专有数据库获得的。在实施例中，3d数据是3d雷达数据。
[0086]
过程2200通过使用3d数据和图像执行3d建筑物/屋顶估计(2203)，并基于3d建筑物/屋顶模型和检测到的屋顶障碍物确定可用屋顶面积(2204)来继续进行，如参考图2-图21所述。
[0087]
过程2200通过基于可用屋顶面积和遮荫/辐照度模型确定太阳能电池面板在可用屋顶面积中的安装位置(2205)，并为安装位置自动设计虚拟太阳能系统(2206)来继续进行。
[0088]
过程2200通过在安装位置执行虚拟太阳能系统的模拟以确定性能并生成度量(2207)来继续进行。
[0089]
可以通过自动化的设计工具的gui向用户显示这些度量(诸如每月的成本节省和补偿)，或者在报告中提供给客户或专业的太阳能电池面板安装人员。
[0090]
图23是根据实施例的用于图22的3d建筑物估计过程的预处理过程2300的流程图。可以使用参考图29描述的计算机体系架构2900来实现过程2300。
[0091]
过程2300开始于从3d网格生成dsm(2301)，如参考图5-图7所述。例如，可以使用雷达数据的无尖峰3d网格将dsm光栅化为2d图像。
[0092]
过程2300通过将图像与dsm图像对准以使它们彼此对准(2302)来继续进行，如参考图6-图9所述。
[0093]
过程2300通过从图像生成建筑物蒙版(2303)，并使用建筑蒙版和3d数据定向、裁剪并将图像和dsm与网格轴对准以确定每个屋顶面的朝向(2304)来继续进行，如所述参考图10-图11所述。建筑物蒙版也被用于获取建筑范围。
[0094]
图24a和图24b是根据实施例的用于图22的3d建筑物估计过程的重构过程2400、2500的流程图。过程2400、2500可以使用参考图29描述的计算机体系架构2900来实现。
[0095]
参考图24a，过程2400开始于执行屋顶面分割以获得2d屋顶面(2401)，然后使用图像和3d数据对2d屋顶面进行3d多边形拟合(2402)。例如，屋顶分割生成2d屋顶面，使用启发
法将其拟合到2d多边形以移除不连续性，然后使用3d数据使用ransac拟合将其投影到3d多边形中。过程2400通过使用图像和dsm对3d多边形执行边类型检测(2404)来继续进行。边类型的示例包括但不限于：屋檐、耙、脊、谷和屋脊。边类型检测可以使用语义分割技术来实现。过程2400通过使用图像/dsm执行障碍物检测(2404)来继续进行。
[0096]
参考图24b，过程2405开始于检索与图像/dsm匹配的屋顶模板(2406)，如参考图14所述，然后选择或者由分割产生的3d屋顶面或者作为屋顶的3d表示的屋顶模板(2407)。过程2400和2500可以并行或串行执行。
[0097]
图27图示了根据实施例的通过针对3d建筑物模型、障碍物和周围环境的射线追踪的遮荫。在实施例中，使用针对建筑物2700、屋顶障碍物及其周围环境的3d模型的射线追踪来确定遮荫。雷达网格(从前面的无尖峰三角测量步骤生成)被用于对建筑物的周围环境进行建模，然后可以将阴影投射到建筑物上。对于屋顶上或太阳能电池面板上的给定点，系统会对所模拟年份的每小时计算太阳能电池面板是否处于阴影中。此外，系统通过将天气数据与遮荫信息相结合来计算辐照度。基于太阳能电池面板表面相对于太阳的角度，并且基于太阳能电池面板是否处于阴影中，系统为所模拟年份的每小时计算太阳光撞击到太阳能电池面板表面的量，单位为w/m2。
[0098]
图28是根据实施例的使用如参考图1-图27所述生成的估计的3d建筑物模型的自动化的太阳能系统设计的过程流2800。
[0099]
过程2800开始于基于期望的面板尺寸和间距确定所有可能的面板位置的网格(2801)。过程2800通过基于天气数据和场地(包括建筑物、屋顶障碍物及其周围环境)的3d模型计算每个太阳能电池面板位置在一年中每个小时的辐照度(2802)来继续进行。过程2800通过基于其电气特点和公用事业费率估计每个潜在面板将在一年中的每一小时产生多少节省(2803)来继续进行。过程2800通过计算最佳面板集合以最小化成本和最大化节省(2804)来继续进行。对于逆变器的每个潜在模型，过程2800通过确定逆变器的最佳数量以及太阳能电池面板彼此和逆变器的连接(2805)来继续进行。给定组合面板/逆变器系统，过程2800通过重新评估性能和节省来继续(2806)。重新评估步骤减少了由于简化早期步骤中的假设而引入的错误。重新评估步骤还评估布局的成本和美观性(例如，面板是矩形组还是不规则形状)。
[0100]
过程2800的每个步骤顺序运行以使用整数线性规划生成单个最优设计。然后，使用遗传算法在每个步骤进行许多小修改并确定哪些配整体上为客户产生最佳设计。
[0101]
示例系统体系架构
[0102]
图29是用于实现参考图1-图28描述的特征和过程的计算机体系架构2900的框图。体系架构2900可以在运行从编译的指令得出的软件应用的任何电子设备上实现，电子设备包括但不限于个人计算机、服务器、智能电话、媒体播放器、电子平板电脑、游戏控制台、电子邮件设备等。在一些实施方式中，体系架构2900可以包括一个或多个处理器2902、一个或多个输入设备2904、一个或多个显示设备2906、一个或多个网络接口2908和一个或多个计算机可读介质2910。这些组件中的每一个通过一个或多个总线2912耦合。
[0103]
显示设备2906可以是任何已知的显示技术，包括但不限于使用液晶显示器(lcd)或发光二极管(led)技术的显示设备。处理器2902可以使用任何已知的处理器技术，包括但不限于图形处理器和多核处理器。
[0104]
输入设备2904可以是任何已知的输入设备技术，包括但不限于键盘(包括虚拟键盘)、鼠标、轨迹球和触敏垫或显示器。在一些实施方式中，输入设备2904可以包括促进语音启用的功能(诸如语音到文本、说话者识别、语音复制、数字记录和电话功能)的麦克风。输入设备2904可以被配置为促进处理语音命令、声纹和语音认证。在一些实施方式中，由输入设备2904记录的音频被传输到外部资源以进行处理。例如，由输入设备2904记录的语音命令可以被传输到网络资源，诸如对语音命令执行语音识别的网络服务器。
[0105]
总线2912可以是任何已知的内部或外部总线技术，包括但不限于isa、eisa、pci、pci express、nubus、usb、串行ata或firewire。
[0106]
计算机可读介质2910可以是参与向处理器2902提供指令以供执行的任何介质，包括但不限于非易失性存储介质(例如，光盘、磁盘、闪存驱动器等)或易失性存储介质(例如，sdram、rom等)。计算机可读介质2910可以包括用于实现操作系统2913(例如，maclinux)的各种指令2914。操作系统2913可以是多用户、多处理、多任务、多线程、实时等。操作系统2913执行基本任务，包括但不限于：识别来自输入设备2904的输入；向显示设备2906发送输出；跟踪计算机可读介质2910上的文件和目录；控制可以直接或通过i/o控制器被控制的外围设备(例如，盘驱动器、打印机等)；以及管理总线2912上的业务。网络通信指令2914可以建立和维护网络连接(例如，用于实现通信协议(诸如tcp/ip、http、以太网等)的软件)。
[0107]
图形处理系统2915可以包括提供图形和图像处理能力的指令。例如，图形处理系统2915可以实现参考图1、图21a和图21b描述的gui。
[0108]
应用2916可以是使用或实现参考图1-图28描述的过程的应用。这些过程也可以在操作系统2913中实现。
[0109]
在本公开的上下文中，上述特征和过程可以完全或部分地在包括存储在机器可读介质上的指令和数据的软件程序中实现。机器可读介质可以是可以包含或存储程序或数据以供指令执行系统、装置或设备使用或与其结合使用的任何有形介质。机器可读介质可以是机器可读存储介质。机器可读介质可以包括但不限于电子、磁、光、电磁、红外或半导体系统、装置或设备，或前述的任何合适组合。机器可读存储介质的更具体示例将包括具有一根或多根电线的电连接、便携式计算机软盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦可编程只读存储器(eprom或闪存)、光纤、便携式光盘只读存储器(cd-rom)、光存储设备、磁存储设备或前述的任何合适组合。
[0110]
可以以一种或多种编程语言的任何组合来编写用于执行所公开的实施例的计算机程序代码。这些计算机程序代码可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，使得程序代码在由计算机或其它可编程数据处理装置的处理器执行时，使得实现流程图和/或框图中指定的功能/操作。程序代码可以完全在计算机上、部分在计算机上、作为独立软件包、部分在计算机上和部分在远程计算机上或完全在远程计算机或服务器上执行。
[0111]
另外，虽然以特定次序描述操作，但这不应当被理解为要求以所示特定次序或按顺序次序执行此类操作，或执行所有所示操作以获得期望的结果。在某些情形下，多任务和并行处理可能是有利的。同样，虽然在上述讨论中包含若干具体的实施细节，但这些不应当被解释为对任何发明的范围或可以要求保护的内容的限制，而是对可以特定于特定发明的
特定实施例的特征的描述。在本说明书中在分开的实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独或以任何合适的子组合实现。
[0112]
当结合附图阅读时，鉴于前述描述，对本文所公开的前述示例实施例的各种修改、适应对于相关领域的技术人员而言将变得显而易见。任何和所有修改仍将落入本发明的非限制性和示例性实施例的范围内。此外，本领域技术人员将想到本文未公开的其它实施例，因为它们受益于前述描述和附图中呈现的教导。
[0113]
在前面的描述中，本发明的实施例已经参考许多具体细节进行了描述，这些具体细节可以因实施而异。相应地，描述和附图被认为是说明性而不是限制性的。本本发明的范围的唯一且排他的指标以及申请人预期作为本发明的范围的内容是从本技术中发出的权利要求集合的字面和等同范围，以这种权利要求发出的具体形式，包括任何后续的更正。本文明确阐述的此类权利要求中包含的术语的任何定义均应管辖权利要求中使用的此类术语的含义。此外，当我们在前述描述或以下权利要求中使用术语“还包括”时，该短语之后的内容可以是附加步骤或实体，或先前列举的步骤或实体的子步骤/子实体。
技术特征：1.一种方法，包括：使用一个或多个处理器，基于输入地址获得建筑物的航拍图像；使用所述一个或多个处理器，基于输入地址获得包含建筑物的三维(3d)数据；对航拍图像和3d数据进行预处理；使用所述一个或多个处理器，从经预处理的图像和3d数据重构3d建筑物模型，重构包括：使用实例分割来预测用于每个屋顶面的蒙版；将每个屋顶面转换成二维(2d)多边形；以及将每个2d多边形投影到表示3d建筑物模型的3d多边形中。2.如权利要求1所述的方法，其中重构3d建筑物模型还包括：计算用于图像的嵌入；基于该嵌入找到存储在数据库中与图像匹配的屋顶模型；基于屋顶模型确定屋顶的高度、宽度、长度、朝向和位置；在嵌入的图像上覆盖屋顶模型；调整屋顶模型的内部结构以与嵌入的图像匹配；将经调整的屋顶模型与屋顶面蒙版进行比较；以及选择经调整的屋顶模型或屋顶面蒙版之一以包括在3d建筑物模型中。3.如权利要求1所述的方法，其中对航拍图像和3d数据进行预处理还包括：从3d数据生成3d网格；使用3d网格生成建筑物的数字表面模型(dsm)；将图像与dsm对准；从图像生成建筑蒙版；使用带有建筑物蒙版的3d数据来计算建筑物的每个屋顶面的朝向；将每个屋顶面的朝向捕捉到网格；使用建筑物蒙版获得建筑物的范围；以及裁剪图像使得建筑物在图像中居中并与网格轴对准。4.如权利要求1所述的方法，其中将图像与dsm对准还包括：使用语义分割来预测图像和dsm中的建筑物、树和背景；以及将图像中的建筑物、树和背景的位置与dsm中的建筑物、树和背景的位置互相关，以确定图像中使图像与dsm对准的位置。5.如权利要求4所述的方法，其中语义分割被分别应用于图像和dsm。6.如权利要求1所述的方法，其中将图像与dsm对准还包括：将图像和dsm馈入神经网络，该神经网络被训练以预测两个图像之间的数值偏移量；以及使用预测的数值偏移量将图像与dsm对准。7.如权利要求1所述的方法，还包括：使用图形用户界面(gui)获得输入地址。8.如权利要求1所述的方法，还包括：使用所述一个或多个处理器和实例分割来检测屋顶障碍物；以及
使用3d建筑物模型和检测到的屋顶障碍物来确定建筑物的可用面积。9.如权利要求8所述的方法，还包括：使用所述一个或多个处理器基于遮荫模型的输出确定建筑物的可用面积中安装太阳能电池面板的位置；以及使用所述一个或多个处理器计算覆盖该位置所需的太阳能电池面板的数量和尺寸。10.如权利要求9所述的方法，还包括：使用所述一个或多个处理器估计太阳能电池面板的输出功率；以及使用所述一个或多个处理器基于太阳能电池面板的数量和尺寸、太阳能电池面板的输出功率和建筑物的平均能源成本来估计一个或多个财务或成本节省度量。11.如权利要求10所述的方法，还包括：使用图形用户界面(gui)来显示一个或多个财务或成本节省度量和估计的功率输出。12.一种系统，包括：一个或多个处理器；存储器，耦合到所述一个或多个处理器并存储指令，所述指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行操作，包括：基于输入地址获得包含建筑物的三维(3d)数据；对航拍图像和3d数据进行预处理；从经预处理的图像和3d数据重构3d建筑物模型，重构包括：使用实例分割来预测用于每个屋顶面的蒙版；将每个屋顶面转换成二维(2d)多边形；将每个2d多边形投影到表示3d建筑物模型的3d多边形中。13.如权利要求12所述的系统，其中操作还包括：计算用于图像的嵌入；基于该嵌入找到存储在数据库中与图像匹配的屋顶模型；基于屋顶模型确定屋顶的高度、宽度、长度、朝向和位置；在嵌入的图像上覆盖屋顶模型；调整屋顶模型的内部结构以与嵌入的图像匹配；将经调整的屋顶模型与屋顶面蒙版进行比较；以及选择经调整的屋顶模型或屋顶面蒙版之一以包括在3d建筑物模型中。14.如权利要求12所述的系统，其中对航拍图像和3d数据进行预处理还包括：从3d数据生成无尖峰的3d网格；使用3d网格生成建筑物的数字表面模型(dsm)；将图像与dsm对准；从图像生成建筑蒙版；使用带有建筑物蒙版的3d数据来计算建筑物的每个屋顶面的朝向；将每个屋顶面的朝向捕捉到网格；使用建筑物蒙版获得建筑物的范围；以及裁剪图像使得建筑物在图像中居中并与网格轴对准。15.如权利要求12所述的系统，其中将图像与dsm对准还包括：
使用语义分割来预测图像和dsm中的建筑物、树和背景；以及将图像与dsm互相关，以确定将图像与dsm对准的位置。16.如权利要求15所述的系统，其中语义分割被分别应用于图像和dsm。17.如权利要求12所述的系统，其中将图像与dsm对准还包括：将图像和dsm馈入神经网络，该神经网络被训练以预测两个图像之间的数值偏移量；以及使用预测的数值偏移量将图像与dsm对准。18.如权利要求12所述的系统，操作还包括：使用图形用户界面(gui)获得输入地址。19.如权利要求12所述的系统，操作还包括：使用所述一个或多个处理器和实例分割来检测类似屋顶障碍物；以及使用3d建筑物模型和检测到的屋顶障碍物来确定建筑物的可用面积。20.如权利要求19所述的系统，操作还包括：使用所述一个或多个处理器基于遮荫模型的输出确定建筑物的可用面积中安装太阳能电池面板的位置；以及使用所述一个或多个处理器计算覆盖该位置所需的太阳能电池面板的数量和尺寸。21.如权利要求20所述的系统，操作还包括：使用所述一个或多个处理器估计太阳能电池面板的输出功率；以及使用所述一个或多个处理器基于太阳能电池面板的数量和尺寸、太阳能电池面板的输出功率和建筑物的平均能源成本来估计一个或多个财务或成本节省度量。22.如权利要求21所述的系统，操作还包括：使用图形用户界面(gui)来显示一个或多个财务或成本节省度量和估计的功率输出。
技术总结公开了自动化的三维(3D)建筑物模型估计。在实施例中，一种方法包括：使用一个或多个处理器，基于输入地址获得建筑物的航拍图像；使用所述一个或多个处理器，基于输入地址获得包含建筑物的三维(3D)数据；对航拍图像和3D数据进行预处理；使用所述一个或多个处理器，从经预处理的图像和3D数据重构3D建筑物模型，重构包括：使用实例分割来预测用于每个屋顶面的蒙版；将每个屋顶面转换成二维(2D)多边形；以及将每个2D多边形投影到表示3D建筑物模型的3D多边形中。多边形中。多边形中。
技术研发人员：M
受保护的技术使用者：奥罗拉太阳能股份有限公司
技术研发日：2021.02.26
技术公布日：2022/12/2
