本发明涉及一种更高效地更新用于自主驾驶的三维高清晰度地图的设备和方法。作为参考，本申请要求基于2018年8月21日提交的韩国专利申请(申请号10-2018-0097468)的优先权。该优先权所基于的申请的完整内容通过引用并入本文。
背景技术：
近年来，自主驾驶技术作为最新汽车技术已受到关注。自主驾驶意指车辆自己识别道路状况并自动地行驶而无需驾驶者对制动器、方向盘、油门踏板等的控制。这种自主驾驶技术可以说是实现智能汽车的关键技术。
对于自主驾驶，需要提供称为高清晰度地图(缩写为hd地图)的三维数字地图。高清晰度地图可包括车辆行驶的道路的车道并且另外包括道路周围的地形特征，例如停车线、标志、交通灯和护栏。
图1是示例性地示出高清晰度地图的示图。高清晰度地图1通常可使用在配备有高清晰度传感器(rtkgps、ins、lidar等)的移动测绘系统(mms)车辆在真实道路上行驶的同时获得的三维点云数据来生成。然而，在关于车辆驾驶的重要信息(例如，车道、停车线、标志、里程标等)的情况下，其可按照矢量图像的形式详细表示。参照图1，可识别以矢量图像的形式表示的车道2以及以点云的形式表示的道路的周边3。
应用自主驾驶技术的车辆从高清晰度地图获得关于当前行驶的道路和道路的周边的信息。然而，道路及其周边可能由于建筑或交通政策的改变而不时改变。为了防止由于参考与实际信息不同的信息而导致的自主驾驶车辆的事故，由于信息的这种改变需要被快速地且准确地反映在高清晰度地图中，所以可以说高清晰度地图的高效更新非常重要。
然而，根据生成当前高清晰度地图的方法，不容易知道上述改变发生在高清晰度地图所表示的区域中的何处，并且即使找到了发生改变的位置，配备有高清晰度传感器的mms车辆也必须在该位置周围行驶以再次执行生成该位置周围的高清晰度地图的工作。这种更新方法具有在时间和工作量方面效率低的问题。
技术实现要素：
技术问题
本发明要解决的问题是提供一种设备和方法，其允许以较少的时间和工作量高效更新高清晰度地图而无需使用高性能设备。
然而，本发明要解决的问题不限于上面提及的那些，本发明所属领域的普通技术人员可从以下描述清楚地理解上面未提及的另一问题。
技术方案
根据一个实施方式的更新高清晰度地图的方法包括以下步骤：获得拍摄与由三维高清晰度地图表示的区域的至少一部分对应的目标区域的二维图像；基于已拍摄二维图像的拍摄装置的位置和取向来从二维图像中的地标的位置生成目标区域的三维局部地标地图；以及参考与三维高清晰度地图的目标区域对应的局部地标地图来更新高清晰度地图。
根据一个实施方式的更新高清晰度地图的设备100包括：拍摄装置110，其用于获取拍摄与由三维高清晰度地图表示的区域的至少一部分对应的目标区域的二维图像；局部地标地图生成单元130，其用于基于已拍摄二维图像的拍摄装置的位置和取向来从二维图像中的地标的位置生成目标区域的三维局部地标地图；以及更新单元140，其用于参考与高清晰度地图的目标区域对应的局部地标地图来更新高清晰度地图。
有益效果
根据本发明的实施方式，具有一般图像拍摄装置(例如，相机)的正常车辆可容易地检测改变的发生并使用通过图像拍摄装置获得的二维图像来更新高清晰度地图。因此，不必经历使用昂贵设备来再次生成高清晰度地图的过程以用于更新现有高清晰度地图，以使得高清晰度地图的更新效率可大大增加。
另外，根据本发明的实施方式，由于可通过具有相机的正常车辆来容易地更新高清晰度地图，所以可确保通过在道路上行驶的众多车辆收集的大量数据以不仅在经济方面，而且在更新的可靠性方面实现巨大效果。
附图说明
图1是示例性地示出高清晰度地图的示图。
图2a和图2b是示出根据本发明的各种实施方式的用于更新高清晰度地图的设备的配置的示图。
图3是示出根据本发明的实施方式的构成更新高清晰度地图的方法的各个步骤的示图。
图4至图6是示出根据本发明的实施方式的在更新高清晰度地图的方法中将高清晰度地图与实际图像进行比较的过程的示图。
图7是示出根据本发明的实施方式的在更新高清晰度地图的方法中校正变换矩阵的过程的示图。
图8a是示出使用两个图像来获取地标的三维位置的方法的示图，图8b是示出根据本发明的实施方式的在更新高清晰度地图的方法中估计新地标的位置的过程的示图。
图9是示出根据本发明的实施方式的在更新高清晰度地图的方法中通过与局部地标地图的比较来更新高清晰度地图的过程的示图。
具体实施方式
实施方式的优点和特征以及实现实施方式的方法将从以下结合附图进行的描述清楚地理解。然而，实施方式不限于所描述的那些实施方式，因为实施方式可按照各种形式实现。应该注意的是，提供本发明实施方式以进行完整公开并且还允许本领域技术人员知道实施方式的完整范围。因此，实施方式仅由所附权利要求的范围限定。
在描述本发明的实施方式时，如果确定相关已知组件或功能的详细描述不必要地模糊本发明的主旨，则将省略其详细描述。此外，下面要描述的术语考虑本公开的实施方式的功能来定义，并且可根据用户或操作者的意图或实践而变化。因此，可贯穿说明书基于内容来进行其定义。
图2a和图2b是示出根据本发明的各种实施方式的用于更新高清晰度地图的设备的配置的示图。参照图2a，根据本发明的实施方式的用于更新高清晰度地图的设备100可包括拍摄装置110、坐标系变换单元120、局部地标地图生成单元130和更新单元140。然而，由于图2a的高清晰度地图更新设备100仅是本发明的实施方式，所以本发明的构思不由图2a限制性地解释。
如图2a所示，高清晰度地图更新设备100可被安装在道路10上行驶的车辆20上。在一些情况下，与图2a不同，除了拍摄装置110之外的其它构成元件的全部或部分可安装在与车辆20不同的其它地方。参照图2b，在根据另一实施方式的高清晰度地图更新设备100中，拍摄装置110、坐标系变换单元120和局部地标地图生成单元130一体地形成并分别配备在多个车辆20上，并且实现于远程位置的高清晰度地图更新服务器s中的更新单元140也可使用从各个车辆20的高清晰度地图更新设备100发送的信息来执行高清晰度地图的更新。
在这种情况下，高清晰度地图更新设备100的那些元件当中彼此分开的构成元件可经由无线通信发送和接收数据，并且为此，高清晰度地图更新设备100还可包括用于无线通信的通信硬件。
如上所述，拍摄装置110可以是能够拍摄二维图像的图像拍摄装置(例如，一般相机)，而非用于生成高清晰度地图的高性能设备。另外，车辆20也可以是广泛使用的正常私人车辆或商用车辆，而非为生成高清晰度地图而专门准备的车辆(例如，mms车辆)。
拍摄装置110可拍摄与高清晰度地图所表示的实际区域的至少一部分对应的目标区域。以下，通过拍摄而获得的二维图像将被称为“实际图像”。参照图2a，可看到，可通过利用安装在车辆20上的拍摄装置110拍摄道路10及其周边区域作为目标区域来获得实际图像。因此获得的实际图像可以是三维景观被显示在平面中的二维图像。
道路10的表面可包括停车线、车道等(包括中心线11)，并且在道路10的周边可存在各种类型的信息显示对象(例如，交通灯、里程标、速度标志12等)。驾驶车辆20所需的这些信息可被称为地标，并且地标可如图1所示以矢量图像的形式表示在高清晰度地图上。此外，道路表面上的地标可按照线的形式表示，并且作为信息显示对象的地标可按照点的形式表示在高清晰度地图上。
坐标系变换单元120可基于已经生成的高清晰度地图与实际图像之间的匹配结果来计算在拍摄实际图像的时间点拍摄装置110的位置和取向。即，当拍摄装置110以任意位置和方向拍摄图像时，坐标系变换单元120可推导拍摄装置110是否生成与实际图像相同的图像，其具体原理将稍后描述。坐标系变换单元120可被实现为包括诸如微处理器的计算装置，并且这可应用于局部地标地图生成单元130和更新单元140(将稍后描述)。
局部地标地图生成单元130可基于拍摄装置110的位置和取向从包括在实际图像中的视觉信息来生成目标区域的三维局部地标地图。本文中，包括在实际图像中的视觉信息可包括实际图像中的地标的位置信息。即，局部地标地图生成单元130可针对作为实际图像拍摄的目标区域从二维实际图像生成与高清晰度地图相同形式的三维地图。
更新单元140可通过将局部地标地图与高清晰度地图的目标区域所对应的部分进行比较来更新高清晰度地图。局部地标地图生成单元130和更新单元140的详细操作将稍后描述。
图3是示出根据本发明的实施方式的构成更新高清晰度地图的方法的各个步骤的示图。图3的方法可使用参照图2描述的高清晰度地图更新设备100来执行，并且图2的重复部分的描述可被省略。然而，由于图3的方法仅是本发明的实施方式，所以本发明的精神不应解释为限于图3，图3的方法的各个步骤也可按照不同于图3所示的顺序执行。
首先，拍摄装置110可通过拍摄作为高清晰度地图所表示的区域的至少一部分的目标区域来获取实际图像(s110)。接下来，可通过高清晰度地图与实际图像之间的比较来计算高清晰度地图的坐标系与基于拍摄装置110的坐标系之间的转换关系(s120)。为了设定高清晰度地图中用于与实际图像比较的区域，可使用诸如gps(全球定位系统)的定位手段。
本发明的关键特征之一是通过三维高清晰度地图数据与二维实际图像数据之间的匹配来检测拍摄装置110的位置和取向。此步骤s120与这种关键特征直接相关。以下，将更详细地描述步骤s120的具体过程。
高清晰度地图的坐标系(以下称为“第一坐标系”)和基于拍摄装置110的坐标系(以下称为“第二坐标系”)可均为三维坐标系。这两个坐标系之间的关系可由包括旋转分量和平移分量的变换矩阵定义。用于获得这种变换矩阵的式示出于下式1中，其中，t表示三维变换矩阵，西格玛(σ)符号的右侧定义从实际图像检测的多个地标中的每一个的成本函数。即，式1旨在获得使所有成本函数之和最小的变换矩阵t*。
[式1]
本文中，zk是指从实际图像检测的诸如车道、停车线、标志、里程标、交通灯、道路标记等的地标的坐标值。点形式的地标可具有一个坐标值，但由于线形式的地标可按照多个点的集合的形式表示，所以其可具有与多个点中的每一个对应的多个坐标值。pk表示高清晰度地图上的地标的坐标值并且可对应于zk。即，关于上述坐标值，变量k表示用于区分针对各个地标推导的成本函数的索引。
函数h是指在由第一坐标系描述的pk的值使用变换矩阵t被转换为第二坐标系的值之后，转换的坐标值使用拍摄装置110的内部参数矩阵被转换为通过拍摄装置110的视线投影到二维图像上的坐标值的函数。据此，h(t,pk)意指第一坐标系上的点pk通过变换矩阵t移动到二维实际图像中的点。czk和cpk分别是指指示zk和pk的分布的协方差矩阵，h意指部分函数h的偏微分(jacobian雅可比)。通常，式1中的t*可使用高斯牛顿算法或levenberg-marquardt算法来获得。
根据通常已知的icp(迭代最近点)算法，存在旨在执行相互匹配的两个点云集合。如果一个集合的一个点与另一集合的一个点对应，则具有彼此最接近的欧几里得距离的点彼此对应。
已开发出本发明以使用通过式1描述的变换矩阵将三维高清晰度地图的车道上的点的坐标转换为二维实际图像基准的坐标，然后寻找坐标中转换的点与实际图像中的点之间的对应关系。通过这种方法，可看出，可建立图4中上面的实际图像200的点210和220与下面的高清晰度地图300的点310和320之间的对应关系。
一旦确定对应关系，可使用式1来获得变换矩阵。为了求解式1，首先，通过gps、imu(惯性测量单元)等近似估计的变换矩阵的初始值被输入到式1中，并且重复地求解式1以更新变换矩阵。可重复更新变换矩阵的过程，直至变换矩阵的值的改变小于或等于特定水平。基本上，在多个候选变换矩阵当中，实际图像与通过将对高清晰度地图中的数据应用候选变换矩阵的结果投影在二维平面上而获得的图像之间的最小差可被显著确定为变换矩阵。
图5是更详细地示出根据本发明的两条线410和420(例如，车道)点对点对应的示例的示图。线410上的各个点可与另一线420上的任一点对应。例如，线410上的点411可与线420上的点421对应。
在这种情况下，式1的协方差分量的计算可通过仅利用距线上的一个点特定距离内的周边点的坐标值计算协方差来更合理地执行，而非基于线上的所有点的坐标计算协方差。在这种情况下，如图5所示，各个点处的协方差矩阵的形状412和422将具有长轴的方向与线的方向一致的椭圆形状。该协方差计算方法也可应用于曲线以及直线。
另一方面，由于形状的特性，线形式的地标在垂直于线的方向上误差可能较强，但在平行于线的方向上易受误差影响。这种问题可通过由单个点表示的点形式的地标(例如，里程标或标志)来补充。与大量点可出现在单条线中的线形式的地标不同，点形式的地标的数量较小，从而更容易寻找用于将实际图像中的点地标映射到高清晰度地图中的点地标的对应关系。
因此，根据针对点形式的地标的本发明的实施方式，在实际图像中的地标与高清晰度地图中的地标一对一映射的多种情况当中，可在式1的值变为最小(由于匹配最小化而成为误差)的情况下选择对应关系。
参照图6，可确认使用线形式的地标和点形式的地标二者来执行实际图像500与高清晰度地图600之间的匹配。据此，实际图像500的两条线510和520可分别与高清晰度地图600的两条线610和620对应，并且实际图像500的标志530可与高清晰度地图的标志630对应。
以下，将描述校正变换矩阵的值的方法，以便增加通过上面所示的过程获得的变换矩阵的精度。首先，可使用航位推算(deadreckoning)来校正变换矩阵，并且可使用配备有拍摄装置110的车辆的驾驶信息来设计用于校正变换矩阵的算法。作为驾驶信息，可使用轮速、横摆角速度、转向角、齿轮信号、来自imu传感器的信号等。在上述式1中增加了使用这种航位推算的校正分量的式2如下。
[式2]
类似于式1，式2也在西格玛(σ)符号的右侧定义了各个地标的成本函数，并且旨在寻找使将“(tdr-t)twdr(tdr-t)”成本函数与所有地标的成本函数之和相加的值最小的变换矩阵t*。与式1相比增加的部分，项“(tdr-t)twdr(tdr-t)”与上述校正有关，其中，tdr意指指示通过航位推算估计的拍摄装置110的位置和取向的三维变换矩阵，wdr是指用于加权的矩阵。
接下来，在驾驶车辆时，将在不同的位置计算用于获得拍摄装置110的位置和取向的变换矩阵至少三次的结果的情况下描述作为用于更准确地校正变换矩阵的值的方法的闭环约束条件。在这种情况下，假定在车辆行驶的同时拍摄装置110按时间顺序在不同的位置获得实际图像三次或更多次，并且计算基于各个实际图像的变换矩阵。然后，在三个或更多个变换矩阵当中，可使用时间上最早的变换矩阵和最后的变换矩阵来校正剩余变换矩阵。
上述校正方法将参照图7更详细地描述。在图7的示例中，假设按时间顺序获得总共五个变换矩阵t0、t1、t2、t3和t4，其中，tij意指ti和tj之间的相对变换矩阵。在这种情况下，在第一t0和最后t4的值固定的同时，可调节剩余变换矩阵的值以满足下式3，其中，cij是指示相对于tij的偏差的协方差矩阵，g是通过输入ti和tj来预测tij的函数。
[式3]
再返回图3，如果通过如上所述的过程确定变换矩阵，则坐标系变换单元120可基于变换矩阵的值来确定拍摄装置110的位置和取向(s130)。然后，局部地标地图生成单元130可从包括在实际图像中的信息生成目标区域的三维局部地标地图(s140)，并且更新单元140可通过局部地标地图与高清晰度地图中的目标区域所对应的部分之间的比较来更新高清晰度地图(s150)。
以下，将更详细地描述步骤s140和s150。通常已知的上述icp算法可用于将局部地标地图与高清晰度地图进行比较。基本上，局部地标地图可与高清晰度地图的目标区域所对应的部分基本上相同，但可存在这样的地标，其不存在于高清晰度地图中，而仅存在于局部地标地图中。这种地标可被视为在生成高清晰度地图的时间点与生成局部地标地图的时间点之间新创建的新地标。另一方面，可存在这样的地标，其存在于高清晰度地图中，但不存在于局部地标地图中，其可被视为在生成高清晰度地图的时间点与生成局部地标地图的时间点之间被移除的删除地标。
由于实际图像是二维图像，所以难以仅使用一个实际图像将新地标显示在局部地标地图上的准确位置处。因此，拍摄装置110的位置和取向中的至少一个获取彼此不同的多个实际图像，并且可使用各个实际图像中的新地标的位置来确定局部地标地图上的新地标的位置。这将参照图8a和图8b来描述。
图8a是示出使用两个图像来估计地标的三维位置的方法的示图，图8b是示出根据本发明的实施方式的在更新高清晰度地图的方法中估计地标的位置的过程的示图。
根据本发明的实施方式的局部地标地图生成单元130可使用三角测量方法来估计地标的位置。具体地，局部地标地图生成单元130识别在不同位置拍摄的至少两个图像中的相同地标并对所识别的结果应用三角测量方法以估计局部地标地图上的地标的三维位置。
参照图8a，拍摄装置110可通过在第一位置l1拍摄地标来获取第一图像i1并通过在第二位置l2拍摄地标来获取第二图像i2。在这种情况下，局部地标地图生成单元130可获得从第一位置l1穿过第一图像i1中与地标对应的像素x1的矢量v1，并获得从第二位置l2穿过第二图像i2中与地标对应的像素x2的矢量v2。接下来，局部地标地图生成单元130可将矢量v1和v2相交的点估计为三维空间中的地标位置p。
在通过此方法估计地标的位置时，所确定的地标位置的精度可能受已识别出地标的实际图像的数量影响。如上所述，使用至少两个实际图像来估计三维空间中的地标位置，并且可通过将从多个实际图像确定的多个三维位置的平均值估计为三维空间中的地标位置来减小测量误差。
另外，通过拍摄装置110拍摄多个实际图像的多个位置之间的距离越远，根据上述方法确定的地标的三维位置精度越高。这是因为拍摄位置之间的距离越远，在实际图像中识别的地标的像素误差越小，由此基于上述确定的地标的三维位置误差也减小。例如，在间隔开1m的两个位置拍摄的两个实际图像中的地标的位置误差为1像素并且在间隔开2m的两个位置拍摄的两个实际图像中的地标的位置误差为1像素的情况下，基于以上情况中的每一个确定的地标的三维位置在后一情况下具有更高的精度。
考虑到这一点，局部地标地图生成单元130可增加地标位置的精度并根据该精度来确定要提供给更新单元140的地标位置。基于精度(即，误差范围)将地标位置提供给更新单元140将稍后描述。
参照图8b，可分别在多个位置710、720和730拍摄实际图像。可确认通过在第一位置710拍摄的实际图像估计的地标位置的误差范围711相对大，但考虑第二位置720处的实际图像估计的地标位置的误差范围721较小，并且考虑第三位置730处的实际图像估计的地标位置的误差范围731小很多。
稍后，当更新单元140执行高清晰度地图的更新时，更新单元140可仅使用具有低于预定阈值的误差范围(例如，以随机变量的形式表示的局部地标地图上的地标位置的协方差)的地标作为有效地标来更新高清晰度地图。
另选地，局部地标地图生成单元130可估计地标位置并且仅向更新单元140提供所确定的地标位置的误差范围(即，地标位置的协方差)小于或等于预定阈值。根据图2a的实施方式，局部地标地图生成单元130可仅将具有小于或等于预定阈值的协方差的地标位置提供给高清晰度地图更新设备100内的更新单元140。与此相反，根据图2b的实施方式，局部地标地图生成单元130可通过高清晰度地图更新设备100内的通信手段仅将具有小于或等于预定阈值的协方差的地标位置提供给外部高清晰度地图更新服务器s。
当给定协方差时，可使用卡尔曼滤波器更准确地计算局部地标地图上的地标的位置。在此过程中，可使用下式4。
[式4]
d＝λr-1k-1(u，v，1)t
本文中，d表示从拍摄装置110的镜头指向地标位置的三维方向矢量，λ是用于使d＝(a，b，c)t成为单位矢量的归一化目的的常数，r是指示拍摄装置110的取向的三维旋转矩阵。另外，k表示与假设针孔模型的拍摄装置110的内部参数有关的校准矩阵。此外，可根据下面的式(5)至(7)获得表示为三维坐标的p*。
[式5]
p*＝a-1b
[式6]
[式7]
本文中，(xi，yi，zi)意指拍摄装置110的多个位置当中的第i位置。基于上式估计的地标的三维位置p的协方差为a-1，其指示在第一(i＝1)拍摄位置拍摄的实际图像中的地标的三维位置的误差。
此外，如果对拍摄装置110的坐标系基准地标的三维位置p应用三维变换矩阵t，则可获得高清晰度地图的坐标系基准地标的三维坐标pw。在这种情况下，由于变换矩阵t根据拍摄装置110的位置和取向具有误差，所以局部地标地图生成单元130可获得应用误差传播概念的pw的协方差cpw。可根据下式(8)获得pw的协方差cpw。
[式8]
cpw＝rxa-1xr1 jxctxjt
本文中，r表示指示拍摄装置110的取向的三维旋转矩阵，ct表示变换矩阵t的协方差，j表示函数t×p的偏微分(雅可比)。
另外，局部地标地图生成单元130可识别各个地标的属性。具体地，局部地标地图生成单元130提取拍摄装置110所拍摄的实际图像中的特征点，以识别地标的属性并将该属性与识别出该属性的地标的三维位置匹配。为了识别地标的属性，局部地标地图生成单元130可使用机器学习方法(例如，深度学习)。
局部地标地图生成单元130可识别作为地标存在于驾驶环境中的各种对象的各种属性。例如，在交通灯是地标的情况下，局部地标地图生成单元130可识别交通灯的方向(水平或垂直)和所提供的灯的数量(2、3、4等)作为属性。另选地，在标志的情况下，局部地标地图生成单元130可识别标志的形状、类型、用途等作为属性。
如果根据上述过程识别出地标的三维位置及其协方差和属性，则局部地标地图生成单元130可向更新单元140提供地标的三维位置、协方差及其属性。在这种情况下，如上所述，图2a的局部地标地图生成单元130可将地标位置及其协方差和属性提供给高清晰度地图更新设备100内的更新单元140，并且图2b的局部地标地图生成单元130可通过高清晰度地图更新设备100内的通信手段将地标的三维位置、协方差及其属性提供给外部高清晰度地图更新服务器s的更新单元140。
图9是示出根据本发明的实施方式的在更新高清晰度地图的方法中通过与局部地标地图比较来更新高清晰度地图的过程的示图。更新单元140可从局部地标地图生成单元130接收关于地标位置及其协方差和属性的信息。可利用特定时间间隔(例如，1秒)的采样来执行接收以减少传输数据量。更新单元140可使用所接收的信息来更新高清晰度地图。这种更新可以是将新地标添加到高清晰度地图以及从高清晰度地图移除删除的地标。
为了添加新地标，更新单元140可基于所接收的地标的位置及其协方差和属性来识别高清晰度地图上的对应地标。如果识别出高清晰度地图上的对应地标，则更新单元140可检查相同的地标是否基于所接收的地标的位置以及高清晰度地图上的新地标与对应地标之间的距离。
在这种情况下，根据实施方式的更新单元140可通过在所接收的地标与高清晰度地图上的对应地标之间应用mahalanobis距离理论基于概率获得距离。当两个三维空间上的点p1和p2分别具有协方差c1和c2时，mahalanobis距离dm遵循下式(9)。
[式9]
dm＝[p1-p2]t(c1 c2)-1[p1-p2]
当所计算的mahalanobis距离小于或等于预定阈值时，更新单元140可确定两个地标相同。另一方面，如果在高清晰度地图上未识别出对应地标或者如果mahalanobis距离超过预定阈值，则更新单元140可将所接收的地标确定为新地标。
如果确定了新地标，则更新单元140可通过将新地标反映在高清晰度地图上来更新高清晰度地图。当所确定的新地标位置的协方差小于或等于预定阈值时，根据实施方式的更新单元140可将新地标的权重平均值作为其位置添加到高清晰度地图，由此可增加高清晰度地图的更新的可靠性。
此外，根据图2b的实施方式，设置在高清晰度地图更新服务器s中的更新单元140可从多个不同的高清晰度地图更新设备100多次接收与相同的新地标有关的信息。在这种情况下，更新单元140可通过反映协方差来获得所接收的多个新地标位置的权重平均值。根据实施方式的更新单元140可使用卡尔曼滤波器来获得所接收的新地标位置的权重平均值。通过使用卡尔曼滤波器按接收顺序依次获得新地标位置的权重平均值，计算速度可增加并且可更高效地利用存储空间。
在获得权重平均值之后，更新单元140可使用所获得的权重平均值来确定是否将新地标添加到高清晰度地图。根据实施方式的更新单元140可仅将新地标当中通过具有等于或大于预定阈值的二维图像确定的新地标添加到高清晰度地图。即，当从局部地标地图生成单元130接收并用于计算权重平均值的地标信息的数量大于或等于预定阈值时，更新单元140可将具有权重平均值作为其位置的新地标添加到高清晰度地图。
与此相反，当通过卡尔曼滤波器获得的新地标位置的协方差小于或等于预定阈值时，根据另一实施方式的更新单元140可将具有先前获得的权重平均值作为其位置的新地标添加到高清晰度地图。通过上述实施方式，更新单元140可通过仅将可靠的地标新添加到高清晰度地图来增加高清晰度地图的更新的可靠性。
另外，为了移除删除的地标，更新单元140可从局部地标地图生成单元130接收指示特定地标已被删除的信息。例如，图2a的局部地标地图生成单元130可将拍摄装置110所拍摄的实际图像与高清晰度地图进行比较以确定未被识别为删除地标的地标，并将该信息发送到高清晰度地图更新设备100内的更新单元140。与此不同，图2b的局部地标地图生成单元130可使用高清晰度地图更新设备100内的通信手段来将关于如上确定的删除地标的信息发送到设置在高清晰度地图更新服务器s中的更新单元140。
如果接收到关于删除地标的信息，则更新单元140可基于该信息来更新高清晰度地图。详细地，更新单元140可根据所接收的信息来移除高清晰度地图上的删除地标。
另一方面，根据图2b的实施方式，设置在高清晰度地图更新服务器s中的更新单元140可从多个不同的高清晰度地图更新设备100多次接收关于删除地标的信息。在这种情况下，根据实施方式的更新单元140可仅从高清晰度地图移除删除地标当中通过具有等于或大于预定阈值的二维图像确定的删除地标。即，当与所接收的相同的删除地标信息的数量大于或等于预定阈值时，更新单元140可移除高清晰度地图上的删除地标。
此外，可如上所述由更新单元140自动地执行高清晰度地图的更新。然而，如果更新单元140向管理员提供更新所需的信息(即，关于新地标和删除地标的信息)，则管理员确认该信息并最终同意更新也是可能的。
如果更新完成，则高清晰度地图更新设备可基于更新的高清晰度地图来执行下一更新。为此，根据图2b的实施方式的更新单元140可通过高清晰度地图更新服务器s的通信手段向高清晰度地图更新设备100提供更新的高清晰度地图。
根据到目前为止描述的本发明的实施方式，高清晰度地图的更新效率可大大增加，并且在经济和更新可靠性方面也可实现巨大的效果。
本文所附的流程图的各个序列的组合可通过计算机程序指令来执行。由于计算机程序指令可由通用计算机、专用计算机或其它可编程数据处理设备的处理器执行，所以由计算机或其它可编程数据处理设备的处理器执行的指令创建用于执行流程图的各个序列中描述的功能的手段。为了以特定方式实现功能，计算机程序指令可被存储在计算机可读存储介质或其它可编程数据处理设备的计算机可用存储介质中，并且存储在计算机可读存储介质或计算机可用存储介质中的指令可生成制品，其包括用于执行流程图的各个序列中描述的功能的指令手段。计算机程序指令可被加载在计算机或其它可编程数据处理设备中，因此，作为在计算机或其它可编程数据处理设备中执行以创建由计算机执行以操作计算机或其它可编程数据处理设备的处理的一系列序列，指令可提供用于执行流程图的各个序列中描述的功能的操作。
此外，各个方框或各个序列可指包括用于执行特定逻辑功能的至少一个可执行指令的两个或更多个模块、段或代码。在一些另选实施方式中，要注意的是，序列中描述的功能可不按顺序运行。例如，根据特定功能，两个连续序列可同时执行或以相反顺序执行。
以上描述示出本发明的技术构思，本发明所属领域的技术人员将理解，在不脱离本发明的基本特性的范围的情况下，可进行各种改变和修改。因此，本文所公开的示例性实施方式并非用于限制本发明的技术构思，而是说明本发明，本发明的技术构思的范围不由那些实施方式限制。因此，本发明的保护范围应该被解释为在以下权利要求中限定，落入本发明的技术构思内的所有的技术构思旨在由本发明的权利要求的范围涵盖。
工业实用性
根据本发明的实施方式，用于自主驾驶的高清晰度地图的更新不需要经历使用昂贵设备来再次生成高清晰度地图的现有过程以用于更新高清晰度地图，以使得高清晰度地图的更新效率可大大增加。另外，由于可确保通过在道路上行驶的多个正常车辆收集的大量数据，由此可不仅在经济方面，而且在更新的可靠性方面实现巨大效果。
1.一种更新高清晰度地图的方法，该方法包括以下步骤：
获得拍摄与由三维高清晰度地图表示的区域的至少一部分对应的目标区域的二维图像；
基于已拍摄所述二维图像的拍摄装置的位置和取向来从所述二维图像中的地标的位置生成所述目标区域的三维局部地标地图；以及
参考与所述三维高清晰度地图的所述目标区域对应的所述局部地标地图来更新所述高清晰度地图。
2.根据权利要求1所述的更新高清晰度地图的方法，该方法还包括以下步骤：基于所述三维高清晰度地图与所述二维图像之间的匹配结果来计算所述拍摄装置的位置和取向。
3.根据权利要求2所述的更新高清晰度地图的方法，
其中，所述计算步骤包括以下步骤：计算用于在所述三维高清晰度地图的坐标系与基于所述拍摄装置的坐标系之间转换的变换矩阵并使用所述变换矩阵来计算所述拍摄装置的位置和取向。
4.根据权利要求3所述的更新高清晰度地图的方法，
其中，所述计算步骤包括：确定能够在三维坐标系之间转换的候选变换矩阵当中，所述二维图像与通过将对所述高清晰度地图中的数据应用候选变换矩阵的结果投影到二维平面而获得的图像之间的差异最小的候选变换矩阵，作为所述变换矩阵。
5.根据权利要求3所述的更新高清晰度地图的方法，
其中，在所述二维图像中存在多个所述地标，并且
其中，所述计算步骤包括以下步骤：
推导所述二维图像中的所述多个地标中的每一个与所述三维高清晰度地图中的地标一一对应的多种情况；以及
在所述多种情况中的每一个中，确定根据所述匹配的误差最小的情况的矩阵作为所述变换矩阵。
6.根据权利要求3所述的更新高清晰度地图的方法，
其中，所述计算步骤包括：基于配备有所述拍摄装置的车辆的驾驶信息来校正所述变换矩阵。
7.根据权利要求3所述的更新高清晰度地图的方法，
其中，存在三个或更多个所述二维图像，使得在拍摄时所述拍摄装置的位置彼此不同，并且在安装有所述拍摄装置的车辆行驶的同时按时间顺序依次获得所述三个或更多个二维图像，并且
其中，所述计算步骤包括以下步骤：分别针对所述三个或更多个二维图像中的每一个计算所述变换矩阵；以及使用所述三个或更多个二维图像当中时间上最早的二维图像的变换矩阵和时间上最后的二维图像的变换矩阵来校正剩余二维图像的变换矩阵。
8.根据权利要求1所述的更新高清晰度地图的方法，
其中，在多个二维图像中，存在这样的二维图像，当拍摄该二维图像时所述拍摄装置的位置和取向中的至少一个与拍摄其它二维图像时不同，并且
其中，所述生成步骤包括以下步骤：基于与所述多个二维图像中的每一个对应的所述拍摄装置的位置和取向以及所述多个二维图像中的地标的位置来估计所述高清晰度地图中的地标的位置。
9.根据权利要求8所述的更新高清晰度地图的方法，
其中，所述生成步骤包括以下步骤：识别在不同拍摄位置处拍摄的所述多个二维图像中的每一个中的同一地标；以及估计从不同拍摄位置经过到所述多个二维图像中的每一个中与所识别的同一地标对应的像素的矢量的交点，作为所识别的同一地标在所述高清晰度地图中的位置。
10.根据权利要求8所述的更新高清晰度地图的方法，
其中，所述估计步骤包括以下步骤：以随机变量的形式指示所述地标的位置，并且
其中，所述更新步骤包括以下步骤：基于已估计出位置的地标与所述高清晰度地图上的地标之间根据所述随机变量的距离来确定已估计出位置的地标是不是所述高清晰度地图上不存在的新地标；以及仅使用所确定的新地标当中所述随机变量形式的位置的协方差小于或等于预定阈值的新地标来更新所述高清晰度地图。
11.根据权利要求1所述的更新高清晰度地图的方法，
其中，所述更新步骤包括以下步骤：通过使用新地标和删除地标来更新所述高清晰度地图，所述新地标包括在所述二维图像中但在所述高清晰度地图中的对应位置没有对应地标，所述删除地标存在于所述高清晰度地图的与所述目标区域对应的部分中但在所述二维图像中的对应位置没有对应地标。
12.根据权利要求11所述的更新高清晰度地图的方法，
其中，由彼此不同的多个拍摄装置中的每一个获得多个所述二维图像，并且
其中，所述更新步骤包括以下步骤：仅将所述新地标当中通过具有等于或大于预定第一阈值的所述二维图像确定的新地标添加到所述高清晰度地图，并且仅从所述高清晰度地图移除所述删除地标当中通过具有等于或大于预定第二阈值数量的所述二维图像确定的删除地标。
13.根据权利要求12所述的更新高清晰度地图的方法，
其中，所述更新步骤包括以下步骤：使用针对同一新地标基于不同二维图像确定的位置的权重平均值作为所述新地标的位置来更新所述高清晰度地图。
14.一种用于更新高清晰度地图的设备(100)，该设备包括：
拍摄装置(110)，该拍摄装置用于获取拍摄与由三维高清晰度地图表示的区域的至少一部分对应的目标区域的二维图像；
局部地标地图生成单元(130)，该局部地标地图生成单元用于基于已拍摄所述二维图像的所述拍摄装置的位置和取向来从所述二维图像中的地标的位置生成所述目标区域的三维局部地标地图；以及
更新单元(140)，该更新单元用于参考与所述高清晰度地图的所述目标区域对应的所述局部地标地图来更新所述高清晰度地图。
15.一种存储被编程以执行更新高清晰度地图的方法的计算机程序的计算机可读记录介质，该方法包括以下步骤：
获得拍摄与由三维高清晰度地图表示的区域的至少一部分对应的目标区域的二维图像；
基于已拍摄所述二维图像的拍摄装置的位置和取向来从所述二维图像中的地标的位置生成所述目标区域的三维局部地标地图；以及
参考与所述高清晰度地图的所述目标区域对应的所述局部地标地图来更新所述高清晰度地图。
16.根据权利要求15所述的存储被编程以执行更新高清晰度地图的方法的计算机程序的计算机可读记录介质，
该方法还包括步骤以下步骤：基于所述高清晰度地图与所述二维图像之间的匹配结果来计算所述拍摄装置的位置和取向。
17.根据权利要求16所述的存储被编程以执行更新高清晰度地图的方法的计算机程序的计算机可读记录介质，
其中，所述计算步骤包括以下步骤：计算用于在所述高清晰度地图的坐标系与基于所述拍摄装置的坐标系之间转换的变换矩阵并使用所述变换矩阵来计算所述拍摄装置的位置和取向。
18.根据权利要求15所述的存储被编程以执行更新高清晰度地图的方法的计算机程序的计算机可读记录介质，
其中，在多个二维图像中，存在这样的二维图像，当拍摄该二维图像时所述拍摄装置的位置和取向中的至少一个与拍摄其它二维图像时不同，并且
其中，所述生成步骤包括以下步骤：基于与所述多个二维图像中的每一个对应的所述拍摄装置的位置和取向以及所述多个二维图像中的地标的位置来估计所述高清晰度地图中的地标的位置。
19.根据权利要求15所述的存储被编程以执行更新高清晰度地图的方法的计算机程序的计算机可读记录介质，
其中，所述更新步骤包括以下步骤：通过使用新地标和删除地标来更新所述高清晰度地图，所述新地标包括在所述二维图像中但在所述高清晰度地图中的对应位置没有对应地标，所述删除地标存在于所述高清晰度地图的与所述目标区域对应的部分中但在所述二维图像中的对应位置没有对应地标。
20.根据权利要求19所述的存储被编程以执行更新高清晰度地图的方法的计算机程序的计算机可读记录介质，
其中，由彼此不同的多个拍摄装置中的每一个获得所述二维图像，并且
其中，所述更新步骤包括以下步骤：仅将所述新地标中通过具有等于或大于预定第一阈值的二维图像确定的所述新地标添加到所述高清晰度地图，并且仅从所述高清晰度地图移除所述删除地标中通过具有等于或大于预定第二阈值数量的所述二维图像确定的删除地标。
技术总结