相关申请的交叉引用
本申请要求2017年5月2日提交的美国临时申请no.62/500,071的权益并且是其非临时专利申请，其全部内容通过引用并入于此。
本发明的背景
(1)技术领域
本发明涉及一种物体检测系统，并且更具体地涉及基于根据自运动的感官预测检测移动物体的系统。
(2)相关技术的描述
物体检测和识别是多种应用中的必要特征。在操作期间和动态环境中，由于有噪声输入数据导致可能出现问题。例如，在感官输入被扰动或麻烦事损害的情况下，物体的检测和识别通常是有问题的。
用于物体检测和识别的现有技术一直由从图像提取特征(诸如边缘或梯度)的方法主导，而不考虑如何通过降维投影(例如，从三维(3d)到二维(2d))来生成图像。例如，用于物体检测的许多当前方法基于基于haar特征的级联分类器(参见所并入的参考文献的列表，参考文献no.2和no.3)、定向直方图的直方图(参见参考文献no.4)或者可变形零件模型(参见参考文献no.5)。这些方法对偏离高斯噪声的结构噪声是敏感的。这些方法未明确地使用关于相机的自运动以及周围环境和物体的相对速度的信息来估计相机图像的预期变换。
深度学习特别是卷积神经网络(参见参考文献no.7和no.8)已经显示物体识别的最佳性能。然而，就这些方法自身而言，它们不足以检测场景中的移动障碍物，特别是由于误报率太高而无法在图像中进行详尽搜索。甚至利用卷积神经网络的基于区域的分割r-cnn(参见参考文献no.9)也变为不够的。
因此，一直需要用于在宽范围条件(例如，雨、雪、灰尘等)下检测移动障碍物的可靠系统和方法。
技术实现要素：
描述了一种用于检测移动物体的系统。在一些情况下，该系统包括一个或更多个处理器以及存储器，该存储器是编码有可执行指令的非暂时性计算机可读介质，以使在执行指令时，一个或更多个处理器执行多个操作，诸如：获得移动平台的自运动速度数据；通过将三维(3d)数据投影到基于紧邻移动平台的场景的像素值的图像平面中生成该场景的预测图像；基于预测图像和在下一个时间步长拍摄的实际图像之间的差异来生成对照图像；基于对照图像生成可执行预测图；以及基于可执行预测图检测一个或更多个移动物体。
在另一方面，预测图像是针对多个时间步长生成的，得到向前可执行预测图和向后可执行预测图。
在另一方面，该系统执行以下操作：通过从向前可执行预测图和向后可执行预测图两者中去除重影(ghost)像素来生成最小化可执行预测图。
在又一方面，该系统执行以下操作：将最小化可执行预测图覆盖在场景的实际图像上以生成最终覆盖图(overlay)。
在另一方面，3d数据是从立体相机获得的。
在又一方面，3d数据是从安装在移动平台上的lidar传感器获得的，并且场景的像素值是从安装在移动平台上的相机拍摄的图像获得的。lidar传感器和相机被安装在移动平台上，使得它们被共孔径瞄准(coboresight)以查看移动平台周围的公共视场。
在又一方面，该系统执行以下操作：基于一个或更多个物体的检测控制装置。在一些实施方式中，控制装置包括：使车辆操纵以避免与物体碰撞。
最后，本发明还包括计算机程序产品和计算机实现方法。计算机程序产品包括存储在非暂时性计算机可读介质上的计算机可读指令，该计算机可读指令能够通过具有一个或更多个处理器的计算机执行，以使在执行所述指令时，一个或更多个处理器执行本文列出的操作。另选地，计算机实现方法包括使计算机执行这种指令并且执行所得到的操作的行为。
附图说明
结合附图，本发明的目的、特征以及优点从本发明的多个方面的以下详细描述将是显而易见的，其中：
图1是示出根据本发明的各种实施方式的系统的组件的框图；
图2是具体实施本发明的一方面的计算机程序产品的示图；
图3是利用深度学习分类器的可执行预测图(apm)生成和汽车识别的功能流程图；
图4是示出基于已知自运动和相机矩阵预测和渲染三维(3d)场景点的示图；
图5是示出利用向前和向后运动历史的apm生成的示图；
图6是比较跨不同分类阈值的识别召回率的图表；以及
图7是示出根据各种实施方式的装置的控制的框图。
具体实施方式
本发明涉及一种物体检测系统，并且更具体地涉及基于根据自运动的感官预测检测移动物体的系统。呈现以下描述以使本领域普通技术人员能够作出和使用本发明并将其结合到特定应用背景中。各种变型例以及不同应用中的多种用途对于本领域技术人员来说是显而易见的，并且本文定义的一般原理可以被应用于广泛方面。因此，本发明不旨在限于所呈现的方面，而是符合与本文所公开的原理和新特征一致的最宽范围。
在下面的详细描述中，阐述了许多具体细节，以便提供对本发明的更彻底理解。然而，本领域技术人员应当明白，本发明可以在不必限于这些具体细节的情况下实施。在其它情况下，公知结构和装置以框图形式而不是详细地示出，以便避免模糊本发明。
将读者的注意引导至与本说明书同时提交的所有文件和文档，并且该文件和文档可以利用本说明书开放以供公众查阅，所有这些文件和文档的内容通过引用并入于此。本说明书中公开的所有特征(包括任何所附权利要求、摘要以及附图)可以用服务相同、等同或相似目的的另选特征来代替，除非另有明确说明。因此，除非另有明确说明，所公开的每个特征仅仅是通用系列的等同或相似特征中的一个例子。
而且，权利要求中的未明确陈述“用于执行指定功能的装置”或“用于执行特定功能的步骤”的任何部件不被解释为如在35u.s.c.112节第6款中指定的“装置”或“步骤”条款。特别地，在权利要求中使用“...的步骤”或“......的动作”不旨在援引35u.s.c.112节第6款的规定。
在详细描述本发明之前，首先提供了引用参考文献的列表。接下来，提供了对本发明的各个主要方面的描述。随后，向读者介绍了本发明的总体理解。最后，提供本发明的各个实施方式的具体详情以给出对具体方面的理解。
(1)所并入的参考文献的列表
贯穿本申请引用以下参考文献。为了清楚和方便起见，这些参考文献在此被列为读者的中心资源。下列参考文献通过引用并入于此，就像在此完全陈述一样。这些参考文献通过参照如下对应文献参考号在本申请中加以引用，如下：
1.(kitti)geiger2013ijrr，andreasgeiger，philiplenz，christophstillerandraquelurtasun，visionmeetsrobotics：thekittidataset，internationaljournalofroboticsresearch(ijrr)，2013.
2.paulviolaandmichaelj.jones.rapidobjectdetectionusingaboostedcascadeofsimplefeatures.ieeecvpr，2001
3.rainerlienhartandjochenmaydt.anextendedsetofhaar-likefeaturesforrapidobjectdetection.ieeeicip2002，vol.1，pp.900-903，sep.2002.
4.navneetdalalandbilltriggs.histogramsoforientedgradientsforhumandetection.ieeeconferenceoncomputervisionandpatternrecognition(cvpr)，vol.ii，pages886-893，june2005
5.p.felzenszwalb，r.girshick，d.mcallesterandd.ramanan：objectdetectionwithdiscriminativelytrainedpart-basedmodels.pami2010.
6.j.engel，t.
7.a.angelova，a.krizhevsky，v.vanhoucke.pedestriandetectionwithalarge-field-of-viewdeepnetwork，icra2015.
8.renwu，shengenyan，yishan，qingqingdang，gangsun.deepimage：scalingupimagerecognition，february06，2015.
9.r.girshick，j.donahue，t.darrell，j.malik.region-basedconvolutionalnetworksforaccurateobjectdetectionandsemanticsegmentation.ieeetransactionsonpatternanalysisandmachineintelligence(acceptedmay18，2015).
10.liu，w.，anguelov，d.，erhan，d.，szegedy，c.，reed，s，fu，c.y.andberg，a.c.，ssd：singleshotmultiboxdetector.ineuropeanconferenceoncomputervision(pp.21-37).springer，cham.(october，2016).
11.ren，s.，he，k.，girshick，r.andsun，j.，fasterr-cnn：towardsreal-timeobjectdetectionwithregionproposalnetworks.inadvancesinneuralinformationprocessingsystems(pp.91-99)，(2015).
(2)主要方面
本发明的各种实施方式包括三个“主要”方面。第一方面是用于检测移动物体的系统。该系统通常为计算机系统操作软件的形式或为“硬编码”指令集的形式。该系统可以被结合到提供不同功能的广泛多种装置中。第二主要方面是利用数据处理系统(计算机)操作的通常为软件形式的方法。第三主要方面是计算机程序产品。计算机程序产品通常表示存储在诸如光学存储装置(例如，光盘(cd)或数字通用盘(dvd))或磁存储装置(诸如软盘或磁带)的非暂时性计算机可读介质上的计算机可读指令。计算机可读介质的其它非限制性示例包括硬盘、只读存储器(rom)以及闪存型存储器。这些方面将在下面进行更详细描述。
图1中提供了示出本发明的系统(即，计算机系统100)的示例的框图。计算机系统100被配置成执行与程序或算法相关联的计算、处理、操作和/或功能。在一方面，本文论述的某些处理和步骤被实现为驻留在计算机可读存储器单元内并由计算机系统100的一个或更多个处理器执行的一系列指令(例如，软件程序)。在被执行时，指令使计算机系统100执行特定动作并展现特定行为，如本文所描述的。
计算机系统100可以包括被配置成传输信息的地址/数据总线102。另外，一个或更多个数据处理单元(诸如处理器104(或多个处理器))与地址/数据总线102联接。处理器104被配置成处理信息和指令。在一方面，处理器104是微处理器。另选地，处理器104可以是不同类型的处理器，诸如并行处理器、专用集成电路(asic)、可编程逻辑阵列(pla)、复杂可编程逻辑器件(cpld)或现场可编程门阵列(fpga)。
计算机系统100被配置成利用一个或更多个数据存储单元。计算机系统100可以包括与地址/数据总线102联接的易失性存储器单元106(例如，随机存取存储器(“ram”)、静态ram、动态ram等)，其中，易失性存储器单元106被配置成存储用于处理器104的信息和指令。计算机系统100还可以包括与地址/数据总线102联接的非易失性存储器单元108(例如，只读存储器(“rom”)、可编程rom(“prom”)、可擦除可编程rom(“eprom”)、电可擦除可编程rom(“eeprom”)、闪存等)，其中，非易失性存储器单元108被配置成存储用于处理器104的静态信息和指令。另选地，计算机系统100可以执行从诸如“云”计算中的在线数据存储单元取回的指令。在一方面，计算机系统100还可以包括与地址/数据总线102联接的一个或更多个接口，诸如接口110。一个或更多个接口被配置成使得计算机系统100能够与其它电子装置和计算机系统对接。由一个或更多个接口实现的通信接口可以包括有线(例如，串行电缆、调制解调器、网络适配器等)和/或无线(例如，无线调制解调器、无线网络适配器等)通信技术。
在一方面，计算机系统100可以包括与地址/数据总线102联接的输入装置112，其中，输入装置112被配置成将信息和命令选择传送至处理器100。根据一方面，输入装置112是字母数字输入装置(诸如键盘)，其可以包括字母数字键和/或功能键。另选地，输入装置112可以是除了字母数字输入装置之外的其它输入装置。在一方面，计算机系统100可以包括与地址/数据总线102联接的光标控制装置114，其中，光标控制装置114被配置成将用户输入信息和/或命令选择传送至处理器100。在一方面，光标控制装置114是利用诸如鼠标、轨迹球、轨迹板、光学跟踪装置或触摸屏的装置来实现的。前述尽管如此，但是在一方面，诸如响应于使用与输入装置112相关联的特殊键和键序列命令，光标控制装置114经由来自输入装置112的输入被引导和/或启用。在另选方面，光标控制装置114被配置成通过语音命令指引或引导。
在一方面，计算机系统100还可以包括一个或更多个可选计算机可用数据存储装置，诸如与地址/数据总线102联接的存储装置116。存储装置116被配置成存储信息和/或计算机可执行指令。在一方面，存储装置116是诸如磁或光盘驱动器(例如，硬盘驱动器(“hdd”)、软盘、光盘只读存储器(“cd-rom”)、数字通用盘(“dvd”))的存储装置。根据一方面，显示装置118与地址/数据总线102联接，其中，显示装置118被配置成显示视频和/或图形。在一方面，显示装置118可以包括阴极射线管(“crt”)、液晶显示器(“lcd”)、场发射显示器(“fed”)、等离子体显示器、或适于显示视频和/或图形图像以及用户可识别的字母数字字符的任何其它显示装置。
本文呈现的计算机系统100是根据一方面的示例计算环境。然而，计算机系统100的非限制性示例并不严格限于为计算机系统。例如，一方面规定了计算机系统100表示可以根据本文所述的各个方面使用的一类数据处理分析。此外，还可以实现其它计算系统。实际上，本技术的精神和范围不限于任何单一数据处理环境。因此，在一方面中，使用通过计算机执行的计算机可执行指令(诸如，程序模块)来控制或实现本技术的各个方面的一个或更多个操作。在一实现中，这样的程序模块包括被配置成执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件和/或数据结构。另外，一方面提供了通过利用一个或更多个分布式计算环境来实现本技术的一个或更多个方面，诸如，在该计算环境中，任务由通过通信网络链接的远程处理装置执行，或者诸如在该计算环境中，各种程序模块位于包括存储器-存储装置的本地和远程计算机存储介质中。
图2中示出了具体实施本发明的计算机程序产品(即，存储装置)的示意图。计算机程序产品被描绘为软盘200或诸如cd或dvd的光盘202。然而，如先前提到的，该计算机程序产品通常表示存储在任何兼容的非暂时性计算机可读介质上的计算机可读指令。如关于本发明使用的术语“指令”通常指示要在计算机上执行的一组操作，并且可以表示整个程序的片段或单个可分离的软件模块。“指令”的非限制性示例包括计算机程序代码(源或目标代码)和“硬编码”电子装置(即，编码到计算机芯片中的计算机操作)。“指令”被存储在任何非暂时性计算机可读介质上，诸如存储在计算机的存储器中或软盘、cd-rom以及闪存驱动器上。无论如何，这些指令被编码在非暂时性计算机可读介质上。
(3)介绍
本公开提供了一种利用根据自运动的感官预测来检测移动障碍物及其速度的系统和方法。为了检测移动障碍物，该系统预测由于物体(例如，汽车等)的自运动导致的感官输入(例如，三维(3d)光检测和测距(lidar)或二维(2d)相机)。自运动包括3d速度和3d角速度。将预测的感官输入与在对应时间的实际感官输入进行比较。当预测3dlidar输入时，将该lidar输入投影到图像平面上。由于仅来自静态场景的感官输入如在自运动下预测的那样发生变形，因此预测与实际输入之间的差异提供物体相对于背景移动的图像区域。在所提取的图像区域上，执行物体识别以找到移动障碍物，诸如汽车、行人等。该识别步骤消除了感官预测中的伪像。该系统的独特方面分为两部分：1)使用自运动估计和lidar到相机投影来获得可执行预测图(apm)，并且2)使用多个apm历史图像进行更可靠障碍物检测和识别。lidar到相机投影的使用消除了估计从传感器到物体的深度(或距离)值的不确定性，这对于准确感官预测是必需的，但是很难从单个相机传感器来实现。而且，跨多个帧选择性地组合apm历史图像，并且最终apm包含具有较少噪声和重影像素的移动物体的真实检测。
鉴于所述独特方面，该系统提供了超过现有技术的技术改进，该技术改进显著地提高了移动障碍物检测。在感官输入被例如因大雨、炫目阳光或雪导致的扰动或麻烦事物损害的情形下，本公开的系统显著地改进了对物体的检测和识别。本发明的一个优点是将感官输入的生成考虑在内，以用于揭示隐藏在感官输入中的任务相关信息。将apm用于改进检测并减少误报。如本领域技术人员可以想到的，存在可以实现本公开的系统的多个应用。下面提供关于所述处理和示例应用的进一步详情。
(4)各个实施方式的具体详情
如上所述，本文所述的系统被设计成可靠地检测和识别如从移动平台观察到的独立移动物体。为了确认该系统的功能和优点，执行根据自运动的图像预测，随后基于该自运动预测来测试对移动障碍物的检测。尽管可以使用神经网络预测未来图像，但是与原始图像相比，预测图像往往更加模糊(在与真实图像进行比较时会产生大量伪像)。因此，将lidar用作预测输入以提供3d数据，但是不限于此。作为又一示例输入，可以使用从立体相机提取的3d数据(作为用于商业化的较便宜选择)。
如图3所示，给定移动平台301(例如，汽车、飞机、无人机等)的lidar数据300和自运动速度数据302，该系统能够成功地检测304紧邻移动平台301的图像场景中的移动物体。利用任何合适传感器获得移动平台301的自运动速度数据302，以确定平台301和对应lidar传感器或相机等的自运动信息。作为非限制性示例，可以使用针对速度的传感器(例如，3d加速度计、3d气流速度矢量传感器、gps、3d陀螺仪传感器(针对3d角速度)等)和/或偏航率(围绕高度轴的旋转速度)(例如，倾斜传感器)获得自运动速度数据302。
具体而言，图3提供了该系统的功能流程图，示出了组件如何连接以及在每个组件中执行什么处理。在各种实施方式中，存在查看平台301(例如，汽车)周围的同一视场(即，被共孔径瞄准)的一组lidar306和相机308(一个或更多个)传感器。假设lidar306和相机308(例如，2d相机)传感器被预先校准以生成用于从3dlidar到2d图像的投影的相机矩阵。lidar数据300(在时间t来自lidar的3d场景点)被投影到相机的图像平面中作为相机投影310。该场景点的像素值312将被用于与预测像素进行比较。
基于从时间t到t 1的自运动速度数据302(3d速度和3d角速度)，可以在时间t 1将3d场景点300变换314到预测3d位置。将时间t与t 1之间的3d平移(根据速度)和3d旋转量(根据角速度)添加至当前3d场景点以获得在时间t 1的预测3d位置。
来自lidar306的所有3d场景点300被变换314并且被投影到图像平面中(作为预测图像316)，该图像平面具有在先前步骤中获得的对应像素值312。通过将相机矩阵应用至3d场景点300来进行投影。
将该预测图像316与在时间t 1从相机308拍摄的实际图像318进行比较。虽然所有(静态)背景场景点都遵循由自运动引起的变换，但是独立移动的物体上的场景点被投影到与预测不同的新位置。通过计算在时间t 1预测图像316与实际图像318之间的差异320，获得图像区域(作为对照图像322)，在图像区域中，由于仅来自静态场景的感官输入如在自运动下预测的那样发生变形，因此物体相对于背景移动。换句话说，对照图像322示出检测到的移动区域。
图4例如提供了对照图像322的示例，示出了检测到的移动图像区域。还可以将该差异用于估计检测到的移动物体的速度。可以通过将在t 1处的预测与在对应于lidar数据的3d空间中在t 1处的实际输入进行比较来估计速度(速度＝点云之间的估计距离除以时间间隔的长度)。
给定对照图像322，可以采用多种现有技术的显著性或特征提取处理来生成可执行预测图(apm)324。例如，利用阈值(等于平均对比值)将对照图像322转换成二进制图像，然后可以基于该二进制图像中的各个像素与其邻近像素的连接性，将该像素合并并且群集成斑点。应用形态学图像操作，以通过填充孔并去除噪声来使检测到的斑点变平滑。这些操作之后的输出图像是apm324。
对于检测，如果系统使用仅两个帧之间的差异，那么系统将得到周围物体仅在该时间间隔内移动的图像区域，该图像区域通常不覆盖物体的整个主体(仅部分取决于平台的速度)。因此，根据各种实施方式的系统跨两个以上帧累积差异像素。如从图5看出，通过在时间上向前和向后累积apm图像来获得向前apm500历史图像和向后apm502历史图像。根据这些历史图像500和502，在每个像素位置处选择500中的像素值与502中的像素值之间的最小值，这有效地去除了重影像素(移动物体的头部和尾部)并得到最终组合apm504。然后将最终apm504覆盖在原始图像上(如图3中的要素508所示)以生成最终覆盖图506。
最终覆盖图506示出从向前历史图像500和向后历史图像502中去除了重影像素，并且只剩下实际物体。由于自运动速度的不确定性，还倾向于检测薄而细的物体(例如杆、线或树)。
再次参照图3，最终覆盖图506可以通过任何经训练物体检测器326运行，以提供所得到的物体检测304。作为非限制性示例并且作为在汽车应用场景中实现的示例，可以将深度学习卷积神经网络(cnn)用作物体检测器326以检测最终覆盖图506内的物体。合适物体检测器326的非限制性示例包括参考文献no.10和no.11中描述的那些。
为了验证本公开提供的效率和技术改进，该系统对用于汽车检测的kitti数据集进行了测试(参见参考文献no.1)。选择该数据集是因为它包括自运动数据。将本方法与使用不同搜索方法但使用相同深度学习方法用于识别的r-cnn(具有卷积神经网络特征的区域)(参见参考文献no.9)进行比较。如图6所示，针对相同输入并且使用相同分类器，在相同误报率下，与r-cnn相比，本公开的方法实现了更高正确识别率(77.3％对58.4％)。跨越不同分类阈值，本方法(apm)的表现优于r-cnn。用于汽车识别的kitti数据集具有遮挡率超过50％并且汽车的像素尺寸小于20×20的有挑战性情况。该挑战甚至使得对地面实况边界框的识别都不完全(仅88.53％)。尽管如此，如图所示，本文所述的系统的检测能力也显著优于现有技术系统，因此提供可以在多种应用中实现的显著技术改进。
如图7所示，处理器104可以被用于基于对物体进行检测来控制装置700(例如，移动装置显示器、虚拟现实显示器、增强现实显示器、计算机监视器、电动机、机器、无人机、相机、自主驾驶车辆等)。在各个方面，装置500是显示器，以便可以使用对装置500的控制将对物体的检测变换成表示物体的静止图像或视频。在其它实施方式中，可以通过处理器104控制装置500，以使该装置500基于物体检测来移动或另外发起物理动作(操纵)。
在一些实施方式中，装置500是可以被控制以基于对物体的检测而移动的无人机或其它自主驾驶车辆。例如，可以将该系统实现为针对汽车中的主动安全和自主驾驶功能的关键功能。可以使用该系统扩展超级巡航(supercruise)中的自主驾驶车道跟随的操作范围，并且作为全自主驾驶的关键技术。该系统改进了在不利条件下的感测，因此可以在自主驾驶车辆中有效地实现，诸如通过使自主驾驶车辆基于检测到的物体进行操纵。这种操纵操作的非限制性示例包括使车辆施加制动以减慢或停止来避免碰撞，使车辆转动车轮或其它转向控制装置以便来回移动或以其它方式避免与物体的碰撞等。
在又一些其它实施方式中，可以控制相机朝着检测到的物体取向。换句话说，启动致动器或电动机以使相机(或传感器)在物体所在的位置移动或放大。此外，本发明可以用于改进isr(智能、监视、侦察)应用的感测；例如，可以使用目标物体的位置来修改自主无人驾驶飞行器(uav)的飞行计划以得到关于该目标的更多信息。例如，使uav朝着物体的位置飞行或者保持在检测到的物体上方的位置。或者作为另一示例，可以使uav在检测到的目标上盘旋，并且连续地调整相机以将检测到的物体保持在相机视场内。
最后，虽然已经根据多个实施方式对本发明进行了描述，但本领域普通技术人员应当容易地认识到，本发明在其它环境中可以具有其它应用。应注意到，可以有许多实施方式和实现。而且，所附权利要求绝不旨在将本发明的范围限制到上述具体实施方式。另外，“用于…的装置”的任何陈述都旨在唤起对部件和权利要求的装置加功能的解读，然而即使权利要求以其它方式包括了“装置”，不具体使用陈述“用于…的装置”的任何部件不旨在被解读为装置加功能部件。而且，虽然已经按特定顺序陈述了特定方法步骤，但这些方法步骤可以按任何期望顺序发生并且落入本发明的范围内。
1.一种用于检测移动物体的系统，所述系统包括：
一个或更多个处理器和存储器，所述存储器是编码有可执行指令的非暂时性计算机可读介质，以使在执行所述指令时，所述一个或更多个处理器执行以下操作：
获得移动平台的自运动速度数据；
通过将三维即3d数据投影到基于紧邻所述移动平台的场景的像素值的图像平面中来生成所述场景的预测图像；
基于所述预测图像与在下一个时间步长拍摄的实际图像之间的差异来生成对照图像；
基于所述对照图像生成可执行预测图；以及
基于所述可执行预测图检测一个或更多个移动物体。
2.根据权利要求1所述的系统，其中，针对多个时间步长生成所述预测图像，得到向前可执行预测图和向后可执行预测图两者。
3.根据权利要求2所述的系统，所述系统还包括以下操作：通过从所述向前可执行预测图和所述向后可执行预测图两者中去除重影像素来生成最小化可执行预测图。
4.根据权利要求3所述的系统，所述系统还包括以下操作：将所述最小化可执行预测图覆盖在所述场景的实际图像上以生成最终覆盖图。
5.根据权利要求4所述的系统，其中，所述3d数据是从立体相机获得的。
6.根据权利要求4所述的系统，其中，所述3d数据是从安装在所述移动平台上的lidar传感器获得的，并且所述场景的所述像素值是从安装在所述移动平台上的相机拍摄的图像获得的。
7.根据权利要求6所述的系统，其中，所述lidar传感器和相机被安装在所述移动平台上，使得所述lidar传感器和相机被共孔径瞄准以查看所述移动平台周围的公共视场。
8.根据权利要求1所述的系统，所述系统还包括以下操作：基于所述一个或更多个物体的检测控制装置。
9.根据权利要求8所述的系统，其中，控制所述装置包括：使车辆操纵以避免与所述物体碰撞。
10.根据权利要求1所述的系统，其中，所述3d数据是从立体相机获得的。
11.根据权利要求1所述的系统，其中，所述3d数据是从安装在所述移动平台上的lidar传感器获得的，并且所述场景的所述像素值是从安装在所述移动平台上的相机拍摄的图像获得的，并且其中，所述lidar传感器和相机被安装在所述移动平台上，使得所述lidar传感器和所述相机被共孔径瞄准以查看所述移动平台周围的公共视场。
12.一种用于检测移动物体的计算机程序产品，所述计算机程序产品包括：
编码有可执行指令的非暂时性计算机可读介质，使得当通过一个或更多个处理器执行所述指令时，所述一个或更多个处理器执行以下操作：
获得移动平台的自运动速度数据；
通过将三维即3d数据投影到基于紧邻所述移动平台的场景的像素值的图像平面中来生成所述场景的预测图像；
基于所述预测图像与在下一个时间步长拍摄的实际图像之间的差异来生成对照图像；
基于所述对照图像生成可执行预测图；以及
基于所述可执行预测图检测一个或更多个移动物体。
13.根据权利要求12所述的计算机程序产品，其中，针对多个时间步长生成所述预测图像，得到向前可执行预测图和向后可执行预测图两者。
14.根据权利要求13所述的计算机程序产品，所述计算机程序产品还包括以下操作：通过从所述向前可执行预测图和所述向后可执行预测图两者中去除重影像素来生成最小化可执行预测图。
15.根据权利要求14所述的计算机程序产品，所述计算机程序产品还包括以下操作：将所述最小化可执行预测图覆盖在所述场景的实际图像上以生成最终覆盖图。
16.根据权利要求15所述的计算机程序产品，其中，所述3d数据是从立体相机获得的。
17.根据权利要求15所述的计算机程序产品，其中，所述3d数据是从安装在所述移动平台上的lidar传感器获得的，并且所述场景的所述像素值是从安装在所述移动平台上的相机拍摄的图像获得的。
18.根据权利要求17所述的计算机程序产品，其中，所述lidar传感器和相机被安装在所述移动平台上，使得所述lidar传感器和所述相机被共孔径瞄准以查看所述移动平台周围的公共视场。
19.根据权利要求12所述的计算机程序产品，所述计算机程序产品还包括以下操作：基于所述一个或更多个物体的检测控制装置。
20.根据权利要求19所述的计算机程序产品，其中，控制所述装置包括：使车辆操纵以避免与所述物体碰撞。
21.根据权利要求12所述的计算机程序产品，其中，所述3d数据是从立体相机获得的。
22.根据权利要求12所述的计算机程序产品，其中，所述3d数据是从安装在所述移动平台上的lidar传感器获得的，并且所述场景的所述像素值是从安装在所述移动平台上的相机拍摄的图像获得的，并且其中，所述lidar传感器和相机被安装在所述移动平台上，使得所述lidar传感器和所述相机被共孔径瞄准以查看所述移动平台周围的公共视场。
23.一种用于检测移动物体的方法，所述方法包括以下动作：
使一个或更多个处理器执行编码在非暂时性计算机可读介质上的指令，以使在执行时，所述一个或更多个处理器执行以下操作：
获得移动平台的自运动速度数据；
通过将三维即3d数据投影到基于紧邻所述移动平台的场景的像素值的图像平面中来生成所述场景的预测图像；
基于所述预测图像与在下一个时间步长拍摄的实际图像之间的差异来生成对照图像；
基于所述对照图像生成可执行预测图；以及
基于所述可执行预测图检测一个或更多个移动物体。
24.根据权利要求23所述的方法，其中，针对多个时间步长生成所述预测图像，得到向前可执行预测图和向后可执行预测图两者。
25.根据权利要求24所述的方法，所述方法还包括：通过从所述向前可执行预测图和所述向后可执行预测图两者中去除重影像素来生成最小化可执行预测图。
技术总结