本发明涉及物体识别系统。
背景技术：
作为汽车的传感器，可列举lidar(lightdetectionandranging、laserimagingdetectionandranging)、相机、毫米波雷达、超声波声纳等作为候补。其中，lidar与其他的传感器相比，具有(i)能够根据点云数据进行物体识别，(ii)虽然是有源传感，但即使在过去的恶劣天气时也能够进行高精度的检测，iii)能够进行大范围的测定等优点，今后有望成为汽车的传感系统中的主流。
专利文献1：日本特开2017－56935号公报
专利文献2：日本特开2009－98023号公报
虽然点云数据的分辨率越高，基于lidar所生成的点云数据的物体的识别越准确，但运算处理的成本集聚增加。在考虑到向车辆搭载的情况下，也设想不得不利用低价格的低端的运算处理装置的情况，当然要求减少扫描线的根数。
技术实现要素：
发明将要解决的课题
本发明是在这样的情况下完成的，并且其某一方式的例示性的目的之一是提供一种能够以较少的水平线的根数识别物体的系统、装置、方法。
用于解决课题的手段
本发明的某一方式涉及一种车载用的物体识别系统。物体识别系统具备：测距传感器，其在水平方向上扫描一条光束，测定到物体的表面上的点的距离；以及
运算处理装置，其包含分类器，该分类器能够基于由测距传感器获得的一条扫描线所对应的点云数据来识别物体的种类。分类器基于通过机器学习获得的模型来构建。机器学习是利用多个点云数据而进行的，该多个点云数据通过由在铅垂方向上具有多个扫描线的lidar(lightdetectionandranging)测定规定的物体而获得，且与多个扫描线对应。
发明效果
根据本发明，能够根据与一条扫描线对应的点云数据识别物体，并且能够使机器学习效率化。
附图说明
图1是实施方式的物体识别系统的框图。
图2是表示分类器的构成例的框图。
图3是实施方式的学习系统的框图。
图4(a)～(d)是表示用测距传感器拍摄到行人、自行车、汽车、电线杆时的多个点云数据的图。
图5是学习系统的学习的流程图。
图6是表示一实施例的测距传感器的图。
图7是具备物体识别系统的汽车的框图。
图8是表示具备物体检测系统的车辆用灯具的框图。
附图标记说明
10物体识别系统
20测距传感器
40运算处理装置
42分类器
50输入层
52中间层
54输出层
70学习系统
72lidar
74计算机
100测距传感器
110光源
120扫描设备
122马达
124旋转轴
126镜
130光传感器
140处理器
200辆用灯具
202光源
204点亮电路
206光学系统
300汽车
302前照灯
310灯具系统
304车辆侧ecu
400物体检测系统
410运算处理装置
具体实施方式
(实施方式的概要)
本说明书所公开的一实施方式涉及一种车载用的物体识别系统。物体识别系统具备：
测距传感器，其在水平方向上扫描一条光束，测定到物体的表面上的点的距离；以及
运算处理装置，其包含分类器，该分类器能够基于由测距传感器获得的一条扫描线所对应的点云数据来识别物体的种类。分类器基于通过机器学习获得的模型来构建。机器学习是利用多个点云数据而进行的，该多个点云数据通过由在铅垂方向上具有多个扫描线的lidar(lightdetectionandranging)测定规定的物体而获得，且与多个扫描线对应。
根据该物体识别系统，能够以一条扫描线判定物体的种类。在学习时，在使用物体识别系统中使用的测距传感器的情况下，在学习时的测距传感器的高度和车载时的测距传感器的高度不同的情况下，存在物体的识别率降低的隐患。为了解决该问题，若在变更测距传感器的高度的同时取得训练数据，则数据收集的成本变高。因此，在学习中使用与车载的测距传感器不同的多扫描线的lidar，将多个扫描线分别设为与测距传感器的一条扫描线建立对应的训练数据，能够高效地数据收集。另外，由于将不同高度的扫描线的点云数据用作训练数据，因此能够进行不依赖于测距传感器的出射光束的高度的物体识别。
测距传感器也可以具备：光源；扫描设备，其包含马达以及安装于马达并反射光源的出射光的镜，构成为能够根据马达的旋转扫描作为镜的反射光的探测光；光传感器，其检测探测光在物体上的点反射的返回光；以及处理器，其基于光传感器的输出检测到物体上的点的距离。该测距传感器能够通过极其常见的马达与翼状的镜的组合来构成扫描设备，因此能够降低测距传感器的成本。
(实施方式)
以下，基于优选的实施方式，一边参照附图，一边对本发明进行说明。对各附图所示的相同或者同等构成要素、部件、处理标注相同的附图标记，适当地省略重复的说明。另外，实施方式并不限定发明，而是用来例示，实施方式中记载的所有特征或其组合不一定是发明的本质。
图1是实施方式的物体识别系统10的框图。该物体识别系统10搭载于汽车、摩托车等车辆，判定存在于车辆的周围的物体obj的种类(类别)。
物体识别系统10主要具备测距传感器20以及运算处理装置40。测距传感器20在水平方向上扫描一条光束，测定到物体obj的表面上的点p的距离。测距传感器20生成与一条扫描线sl对应的一个点云数据pcd。
各点云数据pcd包括沿着扫描线sl的到多个采样点p的距离信息。测距传感器20不被特别限定，但在希望准确地识别行人等凹凸较小的物体的情况下，优选的是使用lidar。希望注意的是，一般的lidar在铅垂方向上具有多条扫描线，相对于此，本实施方式的物体识别系统10仅具有一条扫描线。
运算处理装置40包含分类器42，该分类器42能够基于由测距传感器20获得的一条扫描线sl所对应的一个点云数据pcd来识别物体obj的种类。分类器42如后述那样通过机器学习而构成。点云数据pcd的数据形式不被特别限定，可以是正交坐标系，也可以是极坐标系。
运算处理装置40输出表示物体obj的种类的输出数据out。尽管不限于此，但是输出数据out也可以示出点云数据pcd所含的物体obj分别对应于多个类别的概率。例如，物体的种类(类别)例示出行人、自行车、汽车、电线杆等。关于行人，也可以将从前方观察到的行人、从后方观察到的行人、从侧方观察到的行人分类为相同的种类来定义。关于汽车、自行车也相同。在本实施方式中采用该定义。
运算处理装置40能够通过cpu(centralprocessingunit)、gpu(graphicsprocessingunit)、微机等处理器(硬件)、处理器(硬件)所执行的软件程序的组合来构建。运算处理装置40也可以是多个处理器的组合。
图2是表示分类器42的构成例的框图。分类器42能够使用神经网络nn来构成。神经网络nn由输入层50、三层中间层(隐藏层)52、输出层54构成。
输入层50的单元数根据一行的样品点的个数而确定，设为5200。中间层是三层，单元数设为200、100、50。在中间层52中，进行仿射变换和使用了s形函数的变换。在输出层54中，进行仿射变换和使用了归一化指数函数的概率的计算。
在输出层54中，能够设定多个类别(例如行人(human)、汽车(car)、自行车(bicycle)、电线杆(pole)这四个类别)。在该情况下，即输出数据out能够包含表示物体obj对应于各类别的概率的四个数据human、car、bicycle、pole。
作为神经网络nn的前处理，优选的是进行提取、移位、标准化。
提取是去除背景并提取物体obj的处理。移位是进行数据移位以使物体位于中央的处理。标准化是将距离数据除以规定值的处理。例如，规定值也可以是学习时的、测距传感器20与物体obj的规定位置之间的距离(基准距离)。由此，点云数据的值被标准化为1附近的值。
以上是物体识别系统10的基本构成。根据该物体识别系统10，能够以一条扫描线判定物体obj的种类。出于越是增多扫描线的根数、运算处理装置中的运算量越庞大而需要高速的处理器这一点，在本实施方式中，仅处理一条扫描线的点云数据即可，因此能够减少运算量。这意味着能够用廉价微机构成运算处理装置40，因而能够降低物体识别系统10的成本。
(关于学习)
接着，对分类器42的学习进行说明。在分类器42的学习时，在使用与物体识别系统10中使用的测距传感器20相同的传感器的情况下，在学习时的测距传感器的高度和车载时的测距传感器的高度不同的情况下，存在物体的识别率降低的隐患。
为了解决该问题，可以采取在学习时一边使测距传感器的高度(或者仰俯角)变化而改变扫描线的高度、一边取得训练数据(也称作学习数据)这一方法。然而，该方法增加了数据收集的成本。
因此，在本实施方式中，在取得训练数据时，在学习中使用了与车载的测距传感器20不同的多扫描线的lidar。图3是实施方式的学习系统的框图。
学习系统70具备lidar72以及计算机74。在学习中，使用在铅垂方向上具有多个扫描线sl1～sln的lidar(lightdetectionandranging)72。图3中作为物体obj示出行人(人)。lidar72生成与多个扫描线对应的多个点云数据pcd1～pcdn。例如，在学习中，n＝8左右的lidar较合适。
在图3中，行人与lidar72正对，但优选改变行人的朝向而取得从多个不同的方向拍摄行人的点云数据pcd1～pcdn。
将这样得到的多个点云数据pcd1～pcdn输入到计算机74。计算机74将多个点云数据pcd1～pcdn分别作为训练数据，进行机器学习以能够识别规定的物体(在该例中是行人)。由此，图1的物体识别系统10能够基于与一条扫描线对应的点云数据来判定物体的种类。
另外，不一定需要将多个扫描线sl1～sln的所有点云数据pcd1～pcdn用作训练数据，也可以仅将除了两端(或者上端、下端)以外的一部分用作训练数据。
在能够识别多个物体obj的情况下，只要一边改变物体obj的种类一边利用lidar72取得点云数据的组即可。
基于最终通过机器学习获得的预测模型，构建物体识别系统10的分类器42。
图4(a)～(d)是表示用测距传感器20拍摄行人、自行车、汽车、电线杆时的多个点云数据pcd1～pcd8的图。基于通过上述的机器学习获得的预测模型构建的分类器42在被赋予与任意一个扫描线sli(i＝1～8)对应的点云数据pcdi时，能够判定该点云数据pcdi是多个类别的哪一个的概率高。
图5是学习系统70的学习的流程图。利用与测距传感器20不同的、在铅垂方向上具有多个扫描线的lidar72，测定规定的至少一个的物体(s100)。由此，对于每个物体，生成与多个扫描线对应的多个点云数据pcd1～pcdn。
然后，对多个点云数据pcd1～pcdn分别作为训练数据，进行机器学习以能够识别规定的物体(s102)。然后，基于通过机器学习获得的模型，构建分类器42(s104)。
以上是学习系统70以及学习方法的说明。根据该学习系统70或者学习方法，通过将lidar72的多个扫描线sl1～sln分别与测距传感器的一条扫描线建立对应，能够高效地数据收集。
另外，由于使用不同高度的扫描线的点云数据进行学习，因此能够进行不依赖于测距传感器20的出射光束的高度的物体识别。即，这意味着可以缓和车载时的测距传感器20的高度的限制，并且意味着能够提高对行驶时的车辆的俯仰的耐性。
接着，说明测距传感器20的构成例。图6是表示一实施例的测距传感器100的图。测距传感器100具备光源110、扫描设备120、光传感器130、处理器140。光源110例如出射具有红外光谱的光l1。光源110的出射光l1也可以在时间上进行调制。
扫描设备120具备马达122和一个或者多个镜(也称作叶片)126。镜126为翼状，安装于马达122的旋转轴124，反射光源110的出射光l1。作为镜126的反射光的探测光l2的出射角(称作扫描角)θ根据镜126的位置(即马达的旋转角φ)而变化。因而，通过马达122旋转，能够使探测光l2在θ方向上扫描θmin～θmax。另外，在设有镜126的情况下，马达122的1/2旋转(机械角为180度)与一次扫描对应，因而若马达122旋转一周，则探测光l2被扫描两次。另外，镜126的片数不被限定。
马达122的旋转角φ例如能够通过霍尔传感器、光学式的编码器等位置检测机构检测，因而各时刻的扫描角θ能够根据旋转角φ而求出。在使用步进电动机作为马达122的情况下，能够以开环控制旋转角度，因此能够省略位置检测机构。
光传感器130检测探测光l2在物体obj上的点p反射的返回光l3。处理器140基于光传感器130的输出，检测到物体obj上的点p的距离。距离检测的方式、算法不被特别限定，能够使用公知技术。例如也可以出射探测光l2，然后测定光传感器130接收返回光为止的延迟时间、即tof(飞行时间)，并取得距离。
以上是测距传感器100的基本构成。接着说明其动作。使马达122旋转而使探测光l2的扫描角θ变化为θ1、θ2、…，同时在各扫描角θi(i＝1、2、…)中测定到物体obj的表面上的点pi的距离ri。由此，能够获得扫描角θi和与其对应的距离ri的对(点云数据)。
该测距传感器100能够通过极其常见的马达122与翼状的镜126的组合来构成扫描设备120，因此能够降低测距传感器100的成本。
图7是具备物体识别系统10的汽车的框图。汽车300具备前照灯302l、302r。物体识别系统10内置于前照灯302l、302r的至少一方。前照灯302位于车身的最前端，在检测周围的物体的方面，作为测距传感器100的设置位置是最有利的。
图8是表示具备物体检测系统400的车辆用灯具200的框图。车辆用灯具200与车辆侧ecu304一起构成灯具系统310。车辆用灯具200具备光源202、点亮电路204、光学系统206。而且，在车辆用灯具200设置物体检测系统400。物体检测系统400与上述的物体识别系统10对应，包含测距传感器100与运算处理装置410。测距传感器100与图2的测距传感器20对应。运算处理装置410基于由测距传感器100获得的点云数据，判定车辆前方的物体obj的有无以及种类。运算处理装置410能够包含通过机器学习获得的识别器，与图2的运算处理装置40对应。
运算处理装置410检测出的与物体obj相关的信息也可以利用于车辆用灯具200的配光控制。具体而言，灯具侧ecu208基于运算处理装置410生成的与物体obj的种类与其位置相关的信息，生成适当的配光图案。点亮电路204以及光学系统206以获得灯具侧ecu208所生成的配光图案的方式进行动作。
此外，也可以将运算处理装置410检测出的与物体obj相关的信息发送到车辆侧ecu304。车辆侧ecu也可以基于该信息进行自动驾驶。
以上，基于实施方式说明了本发明。本领域技术人员应当理解，该实施方式是例示，能够对这些各构成要素、各处理工序的组合实施多种变形例，并且这种变形例也包含在本发明的范围内。以下，对这种变形例进行说明。
在一实施方式中，也可以将物体定义为按照观察其的每个方向而不同的种类(类别)。即，某一物体在与本车正对时和不正对时被识别为不同的种类。这是因为，这有助于物体obj的移动方向的推断。
运算处理装置40也可以使用fpga等而仅由硬件构成。
虽然基于实施方式，使用具体的语句说明了本发明，但实施方式只不过是表示本发明的原理、应用的一方面，在实施方式中，在不脱离权利要求书所规定的本发明的思想的范围内，认可多种变形例、配置的变更。
1.一种车载用的物体识别系统，其特征在于，具备：
测距传感器，其在水平方向上扫描一条光束，测定到物体的表面上的点的距离；以及
运算处理装置，其包含分类器，该分类器能够基于由所述测距传感器获得的一条扫描线所对应的点云数据来识别所述物体的种类，
所述分类器基于通过机器学习获得的模型来构建，所述机器学习是利用多个点云数据而进行的，该多个点云数据通过由在铅垂方向上具有多个扫描线的激光雷达即lidar测定规定的物体而获得，且与多个扫描线对应。
2.根据权利要求1所述的物体识别系统，其特征在于，
所述测距传感器具备：
光源；
扫描设备，其包含马达以及安装于所述马达并反射所述光源的出射光的镜，构成为能够根据所述马达的旋转扫描作为所述镜的反射光的探测光；
光传感器，其检测所述探测光在物体上的点反射的返回光；以及
处理器，其基于所述光传感器的输出检测到所述物体上的点的距离。
3.根据权利要求1或2所述的物体识别系统，其特征在于，
所述分类器包含神经网络。
4.一种汽车，其特征在于，具备权利要求1至3中任一项所述的物体识别系统。
5.根据权利要求4所述的汽车，其特征在于，
所述测距传感器内置于前照灯。
6.一种车辆用灯具，其特征在于，具备权利要求1至3中任一项所述的物体识别系统。
7.一种分类器的学习方法，能够基于与通过测距传感器获得的一条扫描线对应的点云数据来识别物体的种类，其特征在于，该分类器的学习方法具备如下步骤：
利用与所述测距传感器不同的、在铅垂方向上具有多个扫描线的激光雷达即lidar，测定规定的物体；
对与所述多个扫描线对应的多个点云数据分别作为训练数据，进行机器学习以能够识别所述物体；以及
基于通过所述机器学习获得的模型，构建所述分类器。
8.一种运算处理装置，其特征在于，其具备分类器，该分类器在水平方向上扫描一条光束，接收由测定到物体的表面上的点的距离的测距传感器获得的一条扫描线所对应的点云数据，基于所述点云数据，能够识别所述物体的种类，
所述分类器基于通过机器学习获得的模型而构建，所述机器学习是利用多个点云数据而进行的，该多个点云数据通过由在铅垂方向上具有多个扫描线的激光雷达即lidar测定规定的物体而获得，且与多个扫描线对应。
技术总结