本揭露是有关于一种载具、一种载具定位系统及一种载具定位方法。
背景技术：
自动驾驶技术被期望能够改善驾驶安全与方便，以减轻驾驶负担。在自动驾驶方面，环境感知是一个必要的功能，它能够避免碰撞的发生，而精确的定位也是相当重要的，尤其在城市的环境中，多种复杂物件让车子行驶在城市道路上，容易造成定位误差。基于使用感测器的种类，载具定位的方法一般分为主动式感测与被动式感测。被动式感测器例如是摄影机(camera)或全球定位系统(globalpositioningsystem；gps)等，而主动式感测器例如是光达(lidar)感测器。然而，摄影机通过影像物件侦测模块能够辨别影像画面中的物体，却无法在三维空间中正确定位，因而无法正确定位载具的位置，造成定位误差。在一般的gps定位方法中，若一载具在隧道或是室内停车场等区域，感测器会有因屏蔽问题而接收不到讯号，亦无法精准定位载具的位置等问题。lidar感测器能够侦测物体并且在三维空间中定位，但是无法辨识被侦测到的物体是何种类别。
传统自驾车行驶需使用预先建立的地图资讯，此地图资讯需要包含多样的道路资讯，例如道路边界、红绿灯、限速号志等，如此自驾车演算法才能让自驾车依照指定路线以及交通规则正确行驶。基本建立图资的方法是在载具上装载光达以及gps，在道路上绕行后，离线迭合/整合光达点云(pointclouds)资讯(即，光达点云地图)与gps坐标资讯(即，gps坐标地图)。然而，自驾车的定位精准度需求需在误差10公分以下，当自驾车在行驶时，将lidar感测器得到的即时的大量点云资讯与内建的光达点云地图进行比对，得到定位资讯；然而，大量点云资讯中包含冗余资讯，例如，动态行驶的车辆、行人或是停在路边的车辆等资讯，容易造成比对误差以及增加运算量。
因此，如何在现有的定位技术中，克服摄影机的影像物件侦测的定位误差以及lidar感测器的大量点云资讯的运算量问题，已成为极欲解决的课题。
技术实现要素：
有鉴于此，本揭露提供一种载具、载具定位系统及载具定位方法，其可用于解决上述技术问题。
本揭露提供一种载具定位系统，配置于一载具上。载具定位系统包括二维影像感测器、三维感测器及处理器。二维影像感测器，用于得到一二维影像资料；三维感测器，用于得到一三维点云资料；以及处理器耦合到该二维影像感测器以及该三维感测器，且至少配置成适用于：一对齐模块，用以融合该二维影像资料以及该三维点云资料，以产生一三维影像资料；一静态物件辨识模块从该二维影像资料辨识至少一静态物件，以根据该至少一静态物件的每一静态物件，从该三维影像资料中得到该静态物件的一三维点云资料；以及一定位模块根据该静态物件的该三维点云资料，计算该载具的一载具相对坐标。
本揭露提供一种载具定位方法，适用于配置在一载具的一载具定位系统。所述方法包括：得到一二维影像资料；得到一三维点云资料；融合该二维影像资料以及该三维点云资料，以产生一三维影像资料；从该二维影像资料辨识至少一静态物件；根据该至少一静态物件的每一静态物件，从该三维影像资料中得到该静态物件的一三维点云资料；以及根据该静态物件的该三维点云资料，计算该载具的一载具相对坐标。
本揭露提供一种载具，配置一载具定位系统于该载具。载具包括二维影像感测器、三维感测器及处理器。处理器耦合到该二维影像感测器以及该三维感测器，且至少配置成适用于：一对齐模块，用以融合该二维影像资料以及该三维点云资料，以产生一三维影像资料；一静态物件辨识模块，从该二维影像资料辨识至少一静态物件，以根据该至少一静态物件的每一静态物件，从该三维影像资料中得到该静态物件的一三维点云资料；以及一定位模块，根据该静态物件的该三维点云资料，计算该载具的一载具相对坐标。
基于上述，本揭露提出的载具、载具定位系统及载具定位方法可让载具结合二维影像感测器以及三维感测器两种异质感测器得到三维影像资料，并辨识出二维影像资料静态物件后，从三维影像资料中得到每一静态物件的三维点云资料，并可计算得到载具与静态物件的载具相对坐标，进而达到载具定位。
为让本揭露的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
附图说明
图1是依据本揭露的一实施例绘示的载具定位系统示意图。
图2是依据本揭露的一实施例，说明将二维影像资料与三维点云资料进行对齐处理的示意图。
图3是依据本揭露的一实施例，说明从二维影像资料辨识出静态物件的示意图。
图4是依据图3的实施例，说明辨识每一静态物件后，从三维影像资料中得到每一静态物件的三维点云资料的示意图。
图5是依照本揭露的一实施例，说明载具定位系统的运作的流程示意图。
图6是依照本揭露的一实施例，说明一载具可直接或间接与载具定位系统通讯示意图。
符号说明
100载具定位系统
102二维影像感测器
104三维感测器
106处理器
108储存电路
110对齐模块
112静态物件辨识模块
114定位模块
600载具
602二维影像感测器
604三维感测器
606处理器
608储存器
s501、s503、s505、s507、s509、s511载具定位系统运作的步骤。
具体实施方式
图1是依据本揭露的一实施例绘示的载具定位系统示意图。请参照图1的实施例中，载具定位系统100配置在载具上执行，然而本发明不限于此。本文中所揭示的载具定位系统100、方法等可在替代环境中实施以侦测在车流、视野等等中的物件。举例而言，本文中所描述的一或多个功能可以以下各项实施：电子器件、移动器件、游戏主机、汽车系统控制台(例如，adas)、可穿戴式器件(例如，个人佩戴式摄影机)、头戴式显示器等等。额外实施例包括但不限于机器人或机器人器件、无人航空载具(uav)及遥控飞机。在图1的实施例中，载具定位系统100的载具可以是机动车辆(例如，汽车、卡车、机车、巴士或火车)、船舶(例如，船或艇)、航空器(例如，飞机或直升飞机)、太空船(例如，太空梭)、脚踏车或另一运载工具。作为说明性实施例，载具可以是轮式运载工具、履带式运载工具、轨式运载工具、空中运载工具或滑撬式运载工具。在一些情形中，载具可由一或多个驾驶者操作。举例而言，载具可包括经组态以提供载具的驾驶者作为辅助的进阶驾驶辅助系统(adas)。在其他情形中，载具可以是电脑控制的运载工具。此外，尽管图1的实施例中的载具定位系统100在载具处执行，但在其他实施例中，本文中所揭示的载具定位系统100可在「云端」或在载具的外部执行。举例而言，载具或其他电子器件可将位置资料及/或图像资料提供至另一器件以执行载具定位。
载具定位系统100包含一或多个二维影像感测器102、一或多个三维感测器104、一处理器106以及一储存电路108。在以下的实施例中，图1的载具定位系统100配置于载具上，但本揭露内容不以此为限，储存电路108也可不限于包含在载具定位系统100中。
二维影像感测器102为能够撷取影像的影像撷取装置、摄像装置或摄影机，例如感光耦合元件(chargecoupleddevice；ccd)摄影机及/或互补性氧化金属半导体(complementarymetal-oxidesemiconductor；cmos)摄影机。由于二维影像感测器102可分别设置于载具的不同位置，因此能够撷取到不同角度、不同视野范围的影像，例如可依据需要设置前摄像装置、侧摄像装置及后摄像装置。
二维影像感测器102得到一二维影像资料。二维影像感测器102可将二维影像资料提供至处理器106。二维影像感测器102可持续地、周期性地或偶尔地撷取图像且可将图像(例如，二维影像资料)载入至储存电路108。
三维感测器104为能够侦测载具与外部物体之间的距离的感测器，例如光达感测器(lidar感测器)，三维感测器104可得到扫描范围内有关于反射物体的光讯号以得到三维点云资料。三维感测器104可持续地、周期性地或偶尔地撷取三维点云资料载入至储存电路108。三维感测器104可将三维点云资料提供至处理器106，其中每个三维点云资料可包含有关于载具与反射物体的距离资讯，其中每一三维点云资料资料包含空间的位置(x,y,z)资讯。三维感测器104，如lidar感测器，能在较不受光照的影响的下量测载具与反射物体/物件(object)的距离资讯。
处理器106耦合到二维影像感测器102以及三维感测器104，并接收二维影像资料以及三维点云资料。在一实施例中，处理器106可自储存电路108撷取二维影像资料以及三维点云资料。为了说明，储存电路108或其部分可经组态以储存自二维影像感测器102接收的二维影像资料以及自三维感测器104接收的三维点云资料，充当二维影像感测器102与三维感测器104接收资料的循环式缓冲器。
在一实施例中，处理器106可包括对齐模块110、静态物件辨识模块112以及定位模块114。对齐模块110、静态物件辨识模块112以及定位模块114可以是对应于载具的硬件组件、由处理器106执行的软件(例如，指令)或是前述硬件组件与软件的组合。
载具定位系统100可以预先储存一预设地图资讯于储存电路108中，该预设地图资讯包含路段的起、终点坐标、车道宽、车道数、道路航向角度、道路曲率与路段长等路面资讯，该预设地图资讯包含经由三维感测器104，例如lidar感测器，所取得的三维点云资讯以及经由gps所取得的gps绝对坐标(absolutecoordinate)资讯。预设地图资讯更可以经过国土测绘中心的rtk(real-timekinematic，即时动态定位)修正后，经过坐标转换而投影在一绝对坐标系统上。
储存电路108例如是存储体、硬盘或是其他任何可用于储存资料的元件，而可用来记录或储存多个模块，其中各模块是由一或多个程式码片段所组成。处理器106耦接储存电路108，并可藉由存取储存电路108中的模块来分别执行本揭露所提出的载具定位方法的各个步骤。在不同的实施例中，处理器106可以是一般用途处理器、特殊用途处理器、传统的处理器、数位讯号处理器、多个微处理器(microprocessor)、一个或多个结合数位讯号处理器核心的微处理器、控制器、微控制器、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列电路(fieldprogrammablegatearray，fpga)、任何其他种类的集成电路、状态机、高级精简指令集计算机(advancedriscmachine，arm)的处理器以及类似品。
对齐模块110将二维影像感测器102取得的二维影像资料，以及三维感测器104取得的三维点云资料，藉由一对齐演算法融合二维影像资料与三维点云资料以得出一三维影像资料。三维影像资料包含了每一影像像素的颜色资讯(例如，rgb资料)以及深度资料(例如，位置(x,y,z)资料)，所以此三维影像资料包含了rgbxyz的影像资料。其中，在一实施例中，说明融合二维影像资料与三维点云资料的对齐演算法，假设三维点云资料表示为(x,y,z)，二维影像资料的像素点为(u,v)，根据下列公式将三维点云资料(x,y,z)映射到二维影像资料的像素点为(u,v)，对齐演算法公式如下所示：
其中，fu、fv分别为水平以及垂直方向的焦距；u0、v0为影像平面的中心点；求得转化矩阵m将三维点云资料(x,y,z)映射到二维影像资料的像素点(u,v)；r与t分别为旋转矩阵以及平移向量。
图2是依据本揭露的一实施例，说明将二维影像资料与三维点云资料进行对齐处理的示意图。请同时参照图1与图2，其通过二维影像感测器102取得的二维影像资料影像(图2的背景影像)，以及通过三维感测器104取得的三维点云资料(请参考图2的点状影像)，通过对齐演算法，将二维影像资料与三维点云资料融合的三维影像资料影像，如图2所示。
二维影像感测器102取得的二维影像资料，静态物件辨识模块112可判定与辨识二维影像资料的至少一静态物件。举例来说，静态物件辨识模块112可包含专门侦测静态物件的深度学习模块，辨识静态物件的类别，例如，道路号志、建筑物、变电箱、马路、人行道、桥梁、树木、电线杆、纽泽西护栏等等，而静态物件辨识模块112的深度学习模块或深度神经网路(deepneuralnetwork)通过影像辨识演算法来辨识影像中的静态物件，目前已有习知的物件辨识演算法，例如物件轮廓追踪演算法，在此不赘述。其中，静态物件辨识模块112侦测静态物件的搜寻窗(searchwindow)可对应于物件的模型、边框或定界框(boundingbox；bb)等。图3是依据本揭露的一实施例，说明从二维影像资料辨识出静态物件的示意图。请参照图3，通过静态物件辨识演算法，辨识二维影像资料中的每一静态物件，且由定界框标示二维影像资料中的每一静态物件，如图3的定界框，每一定界框包含每一静态物件的资讯，例如，标示物件类别、物件长度、物件宽度、以及于二维影像资料中的位置等资讯。
当得到二维影像资料中的每一静态物件后，即可根据上述每一静态物件的资讯(例如，类别、长度、宽度以及位置等资讯)，从三维影像资料中得到每一静态物件的三维点云资料(x,y,z资料)，其中，每一静态物件对应于三维影像资料中的是物件的大小，因此，每一静态物件可以包含多个三维点云资料(深度资讯)。图4是依据图3的实施例，说明辨识每一静态物件后，从三维影像资料中得到每一静态物件的三维点云资料的示意图。请参照图3与图4，根据图3定界框标示的每一静态物件(包含交通号志、路灯以及马路)的资讯，对应得到在三维影像资料中每一静态物件的三维点云资料。
接着，当载具上的载具定位系统100得到每一静态物件的三维点云资料，如此，载具定位系统100的定位模块114则可根据静态物件的三维点云资料，通过定位演算法，例如，三点定位演算法或是将目前的三维点云资料与地图点云资料进行迭代比对，通过最佳化计算载具点云资料与至少一静态物件的三维点云资料的最小均方距离(meansquareddistances；msd)，计算得到载具与静态物件的载具相对坐标，进而达到载具定位。在一实施例中，可以将上述的载具相对坐标映(mapping)至于预先储存的预设地图资讯，由于该预设地图资讯包含3d点云资讯以及gps绝对坐标资讯，因此，通过载具相对坐标与预设地图资讯进行坐标定义与转换，如此可得到载具的三维载具绝对坐标。
在另一实施例中，更可以将每一静态物件的三维点云资料对映(mapping)至预先储存预设地图资讯，由于该预设地图资讯包含3d点云资讯以及gps绝对坐标资讯，因此，通过静态物件的三维点云资料与预设地图资讯的静态三维物件做比对，以得到静态物件的一三维物件绝对坐标，如此可推得载具位于预设地图资讯的位置，进而得出载具的三维载具绝对坐标。
在本揭露一实施例中，二维影像感测器102取得的二维影像资料一般只能基于物体表面的反射特性，提供以真实世界投影在影像平面上的资讯，来获得物体的轮廓、边界、纹理等特征，所以以二维资讯为基础的辨识演算法来辨识出实际的三维物体时，无法将物件在三维空间中定位在正确位置上，而存在着无法正确定位载具位置的问题。而三维感测器104能够得到物件的三维点云资料，但是无法辨识物件是属于何种类别，而造成过于庞大的三维点云资料的运算量。因此，结合二维影像感测器102以及三维感测器104此两种异质感测器的特性与优势，并且通过侦测静态物件的三维点云资料能进行载具的即时定位。
本揭露通过静态物件辨识模块112辨识静态物件而非辨识动态物件，是因为相较于动态物件，静态物件能够更容易被侦测与辨识，静态物件的形状与颜色的变化通常也较动态物件少，因此静态物件辨识模块112只需要较少的训练资料与较低的模型复杂度即可达到不错的静态物件辨识率。如此，结合二维影像感测器102的二维影像资料以及三维感测器104的三维点云资料，通过静态物件辨识模块112辨识每一静态物件，并得到每一静态物件的三维点云资料，进而计算得到载具与静态物件的载具相对坐标，达到载具定位。
图5是依照本揭露的一实施例，说明载具定位系统的运作的流程示意图。
请参照图5，在步骤s501，二维影像感测器102得到二维影像资料，其中此二维影像资料包括至少一静态物件的场景。在步骤s503，三维感测器104得到三维点云资料。在步骤s505，对齐模块110藉由对齐演算法融合二维影像资料与三维点云资料以得到一三维影像资料。在步骤s507，静态物件辨识模块112从二维影像资料辨识至少一静态物件。在步骤s509，根据每一静态物件从三维影像资料中得到每一静态物件的三维点云资料。在步骤s511，定位模块114根据静态物件的三维点云资料计算载具的载具相对坐标，其中可通过一定位演算法，根据静态物件的三维点云资料计算载具于三维影像资料的三维载具相对坐标。
图6是依照本揭露的一实施例，说明载具600可直接(direct)或间接(indirect)与载具定位系统通讯示意图。图6的载具定位系统的处理器606与储存器608可设置于载具600上或设置于载具600远端的另一地点/位置。假设载具定位系统的处理器606与储存器608设置于远端，则载具600则具有与远端的处理器606与储存器608通讯的能力。在本实施例中，载具600为一汽车，但本揭露并不以此为限。
一或多个二维影像感测器602以及一或多个三维感测器604设置于载具600。在本实施例中，载具定位系统可执行如上述图1至图4的功能与运算，将载具600的二维影像感测器602得到的二维影像资料对齐于三维感测器604撷取的三维点云资料已得到三维影像资料，并根据二维影像资料的每一静态物件从三维影像资料中得到每一静态物件的三维点云资料，进而通过静态物件的三维点云资料计算载具的载具相对坐标，达到载具定位。
综上所述，本揭露提出的载具、载具定位系统及载具定位方法可使载具结合二维影像感测器以及三维感测器此两种异质感测器得到三维影像资料，并且在辨识出二维影像资料的静态物件后，从三维影像资料中得到每一静态物件的三维点云资料，并且可计算得到载具与静态物件的载具相对坐标，进而对映(mapping)至预设的地图资讯得到载具相对坐标，达到载具定位。藉此，可使载具通过专门侦测静态物件的深度学习模型，缩短静态物件影像辨识时间，且只需要静态物件的三维点云资料，所以进而降低三维点云资料的运算量，而达到载具的精准定位。
虽然本揭露已以实施例揭露如上，然其并非用以限定本揭露，任何所属技术领域中具有通常知识者，在不脱离本揭露的精神和范围内，当可作些许的更动与润饰，故本揭露的保护范围当视权利要求书所界定的为准。
1.一种载具定位系统，配置于一载具上，其特征在于，该载具定位系统包括：
一二维影像感测器，用于得到一二维影像资料；
一三维感测器，用于得到一三维点云资料；以及
一处理器，耦合到该二维影像感测器以及该三维感测器，且至少配置成适用于：
一对齐模块，用以融合该二维影像资料以及该三维点云资料，以产生一三维影像资料；
一静态物件辨识模块，从该二维影像资料辨识至少一静态物件，以根据该至少一静态物件的每一静态物件，从该三维影像资料中得到该静态物件的一三维点云资料；以及
一定位模块，根据该静态物件的该三维点云资料，计算该载具的一载具相对坐标。
2.根据权利要求1所述的载具定位系统，其特征在于，该载具相对坐标对映至预先储存于一储存电路的一预设地图资讯，以得到该载具的一三维载具绝对坐标。
3.根据权利要求1所述的载具定位系统，其特征在于，该静态物件的该三维点云资料对映至预先储存于一储存电路的一预设地图资讯，以得到该静态物件的一三维物件绝对坐标。
4.根据权利要求3所述的载具定位系统，其特征在于，该定位模块根据该静态物件的该三维物件绝对坐标，计算该载具的三维载具绝对坐标。
5.根据权利要求1所述的载具定位系统，其特征在于，该二维影像感测器为一感光耦合元件摄影机或一互补性氧化金属半导体摄影机。
6.根据权利要求1所述的载具定位系统，其特征在于，该三维感测器为一光达感测器。
7.一种载具定位方法，适用于配置在一载具的一载具定位系统，其特征在于，所述方法包括：
得到一二维影像资料；
得到一三维点云资料；
融合该二维影像资料以及该三维点云资料，以产生一三维影像资料；
从该二维影像资料辨识至少一静态物件；
根据该静态物件从该三维影像资料中得到该静态物件的一三维点云资料；以及
根据该静态物件的该三维点云资料，计算该载具的一载具相对坐标。
8.根据权利要求7所述的载具定位方法，其特征在于，该方法更包括将该载具相对坐标对映至预先储存的一预设地图资讯，以得到该载具的一三维载具绝对坐标。
9.根据权利要求7所述的载具定位方法，其特征在于，该方法更包括将该静态物件的该三维点云资料对映至预先储存的一预设地图资讯，以得到该静态物件的一三维物件绝对坐标。
10.根据权利要求9所述的载具定位方法，其特征在于，该方法更包括根据该静态物件的该三维物件绝对坐标，计算该载具的三维载具绝对坐标。
11.一种载具，配置一载具定位系统于该载具，其特征在于，包括：
一二维影像感测器，用于得到一二维影像资料；
一三维感测器，用于得到一三维点云资料；以及
一处理器，耦合到该二维影像感测器以及该三维感测器，且至少配置成适用于：
一对齐模块，用以融合该二维影像资料以及该三维点云资料，以产生一三维影像资料；
一静态物件辨识模块，从该二维影像资料辨识至少一静态物件，以根据该至少一静态物件的每一静态物件，从该三维影像资料中得到该静态物件的一三维点云资料；以及
一定位模块，根据该静态物件的该三维点云资料，计算该载具的一载具相对坐标。
12.根据权利要求11所述的载具，其特征在于，该载具相对坐标对映至预先储存于一储存电路的一预设地图资讯，以得到该载具的一三维载具绝对坐标。
13.根据权利要求11所述的载具，其特征在于，该静态物件的该三维点云资料对映至预先储存于一储存电路的一预设地图资讯，以得到该静态物件的一三维物件绝对坐标。
14.根据权利要求13所述的载具，其特征在于，该定位模块根据该静态物件的该三维物件绝对坐标，计算该载具的一三维载具绝对坐标。
15.根据权利要求11所述的载具，其特征在于，该二维影像感测器为一感光耦合元件摄影机或一互补性氧化金属半导体摄影机。
16.根据权利要求11所述的载具，其特征在于，该三维感测器为一光达感测器。
技术总结