一种结合激光点云转向的道路边沿检测方法与流程

专利2022-06-29  75


一种结合激光点云转向的道路边沿检测方法,用于道路边沿检测,属于辅助驾驶领域。



背景技术:

道路检测是驾驶环境感知中一项基本的研究任务,在保障车辆行驶安全、实现高级别自动驾驶中起到了至关重要的作用。道路边沿是道路最重要的特征之一,道路边沿的提取有助于后续的道路检测任务。然而,在真实户外环境中,道路边沿检测面临着复杂天气、光照变化、阴影遮挡等挑战。此外,对于没有车道标线的非结构化道路仍然要求完整的检测出道路边沿。面对这些问题,要求道路边沿检测算法能够抵抗天气、光照以及阴影的干扰,稳定且鲁棒地检测出道路的边沿,为后续道路检测任务做准备。

视觉图像的路沿检测通常基于边缘检测,对于没有阴影遮挡且具有清晰车道标线的路面,通过结合颜色纹理信息检测道路的边缘,随后基于霍夫变换获取最终的道路边沿。当路面出现大面积阴影遮挡或没有车道标线时,此类方法无法完整地检测出道路的边沿。而基于消失点检测的道路边沿检测方法,能够一定程度上抵抗阴影的干扰,但是基于消失点的道路边沿检测方法,本质上基于gabor滤波器组提取道路的边缘纹理信息,对于复杂的阴影干扰仍然不够稳定。此外,基于消失点的边沿检测通过迭代的方法不断更新消失点以及路面边沿以得到正确的道路边沿,伴随着巨大的计算量且非常耗时。

近年来,随时深度学习的蓬勃发展,基于深度学习的道路边沿检测方法应运而生,基于深度学习的道路边沿检测方法经过海量图像数据的训练之后可以得到较高的准确率。但是,基于深度学习的道路边沿检测方法需要经过大量各类道路数据的训练,且需要不断进行数据更新,然而标定道路边沿数据往往耗时耗力,且无法囊括所有的道路类型,该类方法的泛化性能存在一定程度的限制。此外,深度学习的可解释性仍然是一个尚未解决的问题。

激光点云具有全天时、不受光照变化以及阴影遮挡干扰等的优势。基于激光点云的道路边沿检测不受光照变化以及阴影遮挡的影响。此外,对于没有车道标线的道路边沿检测,激光点云仍能够稳定的检测出道路边沿。wendezhang(2010)将激光点云分解成高程信号以及地平面投影信号,基于局部极值信号检测滤波器确定道路候选区域,以候选道路区域的高程标准差作为特征基于分类的方法并设定最小宽度确定道路区域,最后将道路点投影到图像面并基于霍夫变换获取最终的道路边沿。该方法可以快速且高效的提取道路的边沿,但该方法涉及多个参数的调整,存在参数难调的问题。xiangdongwang等(2015)基于卡尔曼滤波提取道路边沿点,并基于gps与陀螺仪数据,通过坐标的平移与转换将多个连续的道路边缘点关联到同一坐标系下。最后,基于改进的ransac对道路边沿点进行拟合,获取道路边沿。该方法仅需少量迭代就可获取准确的道路边沿检测结果,但需要连续多帧图像对应的激光点云数据以及gps、陀螺仪数据。单帧图像对应的激光雷达点云数据的道路边沿提取效果仍有待提高。rachmadirf等(2017)提出基于编解码网络的3d激光点云道路边沿提取方法,基于3d体素的形式作为网络模型的输入和输出,实现端到端的道路边沿检测,但由于使用的数据集正负样本不均衡使得该方法过拟合。lux等(2019)提出一种基于3d离散激光点进行线分割的方法,检测3d点云的边缘线。作者首先基于离散点云分割平面,随后将每一个3d平面投影在2d图像面上,在图像面上进行轮廓线提取,基于最小二乘法得到线分割结果,再将2d线分割结果投影到3d平面中,得到3d线分割的结果,此方法的本质是提取2d图像面上大量密集点云投影点的轮廓,运用在基于稀疏点云的道路边沿检测上,可能存在道路边沿不完整的问题。基于点云直方图的方法可以快速确定道路边沿激光点,但是由于激光点云的转向问题激光点不再在道路边沿处进行大量累计,此时根据原点左右两侧获取的峰值区间对应的激光点不再是正确的道路边沿激光点,造成误检的发生。

道路边沿是道路最重要的特征之一,简单高效的道路边沿检测可使得后续的道路检测更加稳定。然而基于视觉图像的道路边沿检测存在易受光照变化、阴影遮挡干扰等的问题。而激光点云数据在抵抗光照变化、阴影遮挡方面具有强大的优势,尽管基于点云的道路边沿检测存在参数难调或需要多帧图像数据对应的激光点云数据等问题。但基于激光点云的道路边沿检测在检测鲁棒性上仍具有很大的潜力和优势,基于激光点云的道路边沿检测的性能仍可以继续提高,为道路检测任务提供坚实的基础。



技术实现要素:

针对上述研究的问题,本发明的目的在于提供一种结合激光点云转向的道路边沿检测方法,解决现有技术中激光点云转向造成边沿误检、参数难调以及需要多帧图像数据对应的激光点云以得到稳定道路边沿检测结果的问题,实现一种自适应的道路边沿检测方法。

为了达到上述目的,本发明采用如下技术方案:

一种结合激光点云转向的道路边沿检测方法,包括以下步骤:

步骤1:根据激光点云与图像间的空间位置关系,对激光雷达获取的点云数据与摄像机获取的图像数据进行联合校准,获取已校准激光点云,并剔除超出图像视场面外的无效激光点云,保留有效激光点云;

步骤2:基于信息熵计算点云转向角,逆时针旋转激光点云,最小熵值对应的转向角即是待求点云转向角,使得道路边沿激光点旋转至平行于x轴,便于后续道路边沿激光点的提取;

步骤3:基于道路平面特点以及有效激光点云构建道路面方程,基于m估计样本一致性进行道路平面方程参数估计,提取道路区域点云,在道路平面拟合过程中,通常会存在少量异常点,在激光点云的异常点处理中,采用删除y方向最大最小的5%的激光点云,完成异常点的去除,获取道路激光点云;

步骤4:基于道路激光点云确定道路点云的大致区间,并基于激光雷达的位置先验对点云进行进一步的约束;

根据激光雷达的位置先验和道路激光点云共同约束有效激光点云,削弱非道路点云对后续道路边沿点的干扰,随后将约束后的道路激光点云沿着y方向进行点云的累计,获取沿y方向的点云累计直方图;

步骤5:根据道路左右边沿处于激光雷达左右两侧的特点,在沿y方向的点云累计直方图原点的左右两侧分别寻找三维道路左右边沿激光点云,得到道路边沿激光点后,沿步骤2中计算得到的点云转向角顺时针旋转激光点云,恢复道路激光点云旋转前的空间位置坐标;

步骤6:基于激光点云与图像面的映射关系,将三维道路左右边沿激光点云转换为二维图像平面投影点,并基于带l2正则约束的最小二乘法在10阶以内进行道路边沿拟合,选取代价函数最小值对应的道路边沿拟合结果;

步骤7:将图像面上的道路左右边沿投影到图像面上,完成基于激光点云的道路边沿检测。

进一步,所述步骤1的具体步骤如下:

步骤1.1:根据激光点云和图像间的空间位置关系,获取旋转校准矩阵以及激光点云到图像的转换矩阵,建立激光点云和图像面上的映射关系,三维激光点云在二维图像面上的投影坐标可表示为:

其中,c(x,y,z,u,v)表示建立激光点云与图像的映射关系后的激光点坐标;c(x,y,z)表示激光点的三维空间坐标;c(u,v)表示激光点投影在二维图像面的投影坐标;为旋转校准矩阵;为将三维激光点velo转换到图像坐标cam的转换矩阵;p(x,y,z)为三维激光点坐标。

步骤1.2:根据激光点云二维投影坐标和图像尺寸的关系,剔除超出图像面无效激光点云,保留有效激光点云。

进一步,所述步骤2的具体步骤如下:

步骤2.1:逆时针旋转激光点云,并将激光点云沿着y方向进行直方图累计,计算不同转向角下激光点云累计直方图的信息熵,利用信息熵表示数据混乱程度的特性,当道路边沿激光点平行于x轴时,沿y方向投影直方图的信息熵最小,选取最小熵值对应的转向角,使得道路激光点平行于x轴,便于后续道路边沿激光点的提取,激光点云转向角计算如公式(2)所示:

其中,θsteer表示最小熵值对应的点云转向角;h(θ)表示转向角为θ时激光点云y方向累计直方图的信息熵;pθ(i)表示转向角为θ时,沿y方向计算激光点云累计直方图,假定激光点高度y在区间[1,n]内,高度y为i的激光点出现的概率。

步骤2.1:确定激光点云转向角后,沿转向角逆时针旋转激光点云,使得道路边沿激光点平行于x轴,减少误检的发生。激光点云逆时针旋转计算如公式(3)~(4)所示:

psteer(x,y,z)=p(x,y,z)*manti-clockwise(4)

其中,manti-clockwise(θsteer)表示沿转向角θsteer逆时针旋转的旋转变换矩阵;θsteer表示点云转向角;p(x,y,z)表示原始有效激光点云;psteer(x,y,z)表示转向后有效激光点云。

进一步,所述步骤3的具体步骤如下:

步骤3.1:基于道路平面点通常处于同一平面的特点与有效激光点云共同构建地平面方程:

ax by cz d=0(5)

其中,(a,b,c,d)地平面方程的参数;

步骤3.2:基于msac进行道路平面方程参数估计,msac通过反复选择激光点云数据中一组随机道路激光点云子集来实现道路平面方程参数的估计,被选取的随机子集被假设为数据内点即道路点,用这些数据点估计道路平面方程的参数,得到估计出的道路平面方程;

再用估计出的道路平面方程去测试剩余的数据点,若某点满足这个道路平面方程,那么这个点也被认为是道路点;

如果有足够多的点被归为假设的道路平面点,那么估计出的平面方程就足够合理。,随后用假设的道路点重新估计道路平面方程,用损失函数评估道路平面模型的合理性,msac的损失函数如公式(6)~(7)所示:

其中,c表示损失函数,表示模型拟合内点数据的惩罚;t2表示划分为内点的阈值;e2表示将数据点判断为内点的误差函数,通过数据点到地坪地平面的距离来度量;(x1,y1,z1)表示数据点的三维空间坐标;

步骤3.3:在基于msac进行道路平面拟合的过程中,删除激光点云沿着y轴方向最大最小的5%的激光点完成异常激光点的处理,获取道路激光点云。

进一步,所述步骤3的具体步骤如下:

步骤3.1:根据道路激光点云确定道路区域所在位置的大致区间,剔除非道路激光点云。同时,由于采集到的激光点云以激光雷达所在的位置为原点,那么意味着沿z轴方向,大于原点的激光点必然不是道路区域激光点,根据这一先验知识进一步减少非道路区域点云对后续道路边沿确定的干扰。由此通过道路平面点以及激光雷达位置先验的共同约束,去除非道路点云的干扰。

步骤3.2:将减少非道路区域干扰后的有效激光点沿着y方向进行激光点的累计获取y方向点云累计直方图。

进一步,所述步骤4的具体如下:

步骤4.1:根据道路激光点云y方向坐标区间确定道路区域所在位置,剔除超出此区间一定范围的非道路激光点云,减少非道路激光点云如道路两边树木、建筑物,对提取路沿激光点的干扰,通过激光点云位置先验剔除z方向上必然不属于道路点云的激光点云,如道路面上的车辆激光点云,进一步减少干扰;

由此实现,道路平面激光点以及激光雷达位置先验的共同约束,去除非道路点云的干扰。

步骤4.2:将减少非道路区域干扰后的有效激光点沿着y方向进行激光点的累计获取y方向点云累计直方图。

进一步,所述步骤5的具体步骤为:

步骤5.1:将激光点云沿着y方向进行点云累计后,道路边沿区域会形成大量的点云累计,并且已经去除非道路点云的干扰,由此可以通过y方向点云累计直方图原点左右两侧的峰值区间和路沿宽度信息确定最终的三维道路左右边沿激光点云。

步骤5.2:随后,将三维道路边沿激光点沿转向角顺时针旋转以恢复原始空间下的三维道路边沿激光点。三维道路边沿激光点顺时针旋转计算如公式(8)~(9)所示。

proad(x,y,z)=p(x,y,z)road-steer*mclockwise(θsteer)(9)

其中,mclockwise(θsteer)表示沿转向角θsteer顺时针旋转的旋转变换矩阵;θsteer表示点云转向角;proad(x,y,z)表示原始空间下的道路边沿激光点;p(x,y,z)road-steer表示转向后的道路边沿激光点。

进一步,所述步骤6的具体步骤为:

根据道路激光点云与图像面的映射关系,获取三维道路左右边沿激光点云对应的二维图像平面投影点,在10阶以内依次基于带l2正则约束的最小二乘法对道路左右边沿激光点的二维图像平面投影点进行拟合,选取代价函数最小值对应的阶数以及拟合参数,确定最终的道路左右边沿。带l2正则约束的最小二乘如公式(10)~(11)所示:

其中,(u1,v1)表示二维图像面上道路左边沿投影点;表示第i个左道路边沿点对应的二维像平面投影点;(u2,v2)表示二维道路图像面上道路右边沿投影点;表示第j个右道路边沿点对应的二维像平面投影点;分别表示左右道路边沿带l2正则约束的最小二乘法的代价函数;(m,n)分别表示道路左右边沿激光点的个数;(na,nb)分别表示道路左右边沿的参数个数;ak、bl分别表示道路左边沿第k个参数、道路右边沿第l个参数;μ、λ分别表示l2正则项和l1正则项的惩罚参数

进一步,所述步骤7的具体步骤为:

将图像面上的道路左右边沿投影到图像面上,完成基于激光点云的道路边沿检测。

本发明同现有技术相比,其有益效果表现在:

1、本发明基于激光点云进行道路边沿的提取,相比于基于视觉图像的道路边沿提取,能够实现全天时的道路边沿检测,且不受光照变化以及阴影的干扰;

2、本发明直接基于3d激光点云进行道路边沿检测,在3d空间实现道路边沿点的提取,综合利用数据采集系统以及道路区域的先验知识,实现一种稳定的边沿检测方法。在本发明中,涉及的参数包括道路平面方程的参数以及路沿宽度,道路平面方程的参数基于msac(m估计样本一致性)进行求解,道路边沿宽度的设置基于路沿宽度的先验知识,且对道路边沿提取精度影响较小。因此,本发明无需繁琐的手工参数调节,解决了道路边沿点提取中多参数及参数难调的问题;

3、本发明在进行道路左右边沿激光点提取前,基于信息熵计算点云转向角,对点云进行转向,使得道路激光点云平行与x轴,避免了由于点云转向造成的道路边沿激光点误检问题。

4、本发明在道路边沿函数拟合时,基于带l2正则约束的最小二乘拟合,自适应的选择带l2正则约束最小二乘拟合代价函数最小值对应的阶数以及拟合参数,实现最佳道路边沿拟合函数匹配,完成道路边沿检测。

5、本发明仅基于单帧图像对应的激光点云数据提取道路边沿,以往的道路边沿提取中往往需要密集的激光点云或是连续多帧图像对应的激光点云才能得到鲁棒的边沿提取效果,基于单帧图像数据对应的激光点云由于缺乏帧间时序信息,易受非道路区域激光点云对道路边沿的干扰。而对于将密集点云投影到图像面进行边缘提取的方法,由于点云稀疏性、异常点的存在以及点云近密远疏的特点,使得道路边沿不完整甚至无法检测出道路边沿。本发明综合利用数据采集系统以及道路区域的先验知识,添加点云转向,无需连续图像帧对应的激光点云数据且仅基于稀疏的激光点云,最后基于带正则约束的最小二乘拟合,实现一种简单高效的道路边沿检测方法。

6、点云旋转要考虑的关键问题在于如何确定正确的点云转向角。利用信息熵表示数据混乱程度的特性,道路边沿激光点平行于x轴时,激光点云投影在y轴的混乱程度最小,自适应的提取点云转向角。旋转点云的方式大同小异,关键在于转向角的确定,手动选取转向角的方法,只能分阶段且耗时,即要先手动确定点云转向角,在进行后续的操作。本发明公开的方法,能够自适应选取角度并旋转,同时直接进行后一步的道路边沿提取工作。

附图说明

图1为本发明的流程图;

图2为本发明中的一帧图像;

图3为本发明中图2对应的未校准的激光点云三维示意图;

图4为本发明中图2对应的未校准的激光点云y-x平面二维示意图;

图5为本发明中图2对应的转向后的未校准的激光点云y-x平面二维投影与图2对应的未转向的未校准的激光点云y-x平面二维投影对比示意图,其中红色表示转向后激光点云y-x平面二维投影,蓝色表示未转向激光点云y-x平面二维投影;

图6为本发明中图2对应的转向后未去除异常激光点的道路激光点云y-x平面二维示意图;x表示三维点云空间中的x轴,y即三维点云空间中的y轴,图6表示由m估计样本一致性获取的道路平面激光点云在yx平面的二维投影。

图7为本发明中图2对应的转向后非道路激光点云y-x平面二维示意图;x表示三维点云空间中的x轴,y即三维点云空间中的y轴,图6表示由m估计样本一致性获取的非道路区域激光点云在yx平面上的二维投影。

图8为本发明中图2对应的转向后已去除异常激光点的道路激光点云y-x平面二维示意图;x表示三维点云空间中的x轴,y即三维点云空间中的y轴,去除异常激光点后的道路激光点云yx平面二维投影示意图,与图6中未去除异常激光点的道路激光点云yx平面二维投影示意图进行对比。

图9为本发明中图2对应激光点云最终的沿y方向累计直方图;

图10为本发明中图2对应的激光点云的道路边沿检测结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明,即所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。

需要说明的是,术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以下结合实施例对本发明的特征和性能作进一步的详细描述。

一种结合激光点云数据的道路视觉检测方法,包括以下步骤:

步骤1:根据激光点云与图像间的空间位置关系,对激光雷达获取的点云数据与摄像机获取的图像数据进行联合校准,获取已校准激光点云,并剔除超出图像视场面外的无效激光点云,保留有效激光点云;

进一步,所述步骤1的具体步骤如下:

步骤1.1:根据激光点云和图像间的空间位置关系,获取旋转校准矩阵以及激光点云到图像的转换矩阵,建立激光点云和图像面上的映射关系,三维激光点云在二维图像面上的投影坐标可表示为:

其中,c(x,y,z,u,v)表示建立激光点云与图像的映射关系后的激光点坐标;c(x,y,z)表示激光点的三维空间坐标;c(u,v)表示激光点投影在二维图像面的投影坐标;为旋转校准矩阵;为将三维激光点velo转换到图像坐标cam的转换矩阵;p(x,y,z)为三维激光点坐标。

步骤1.2:根据激光点云二维投影坐标和图像尺寸的关系,剔除超出图像面无效激光点云,保留有效激光点云。

步骤2:基于信息熵计算点云转向角,逆时针旋转激光点云,最小熵值对应的转向角即是待求点云转向角,使得道路边沿激光点旋转至平行于x轴,便于后续道路边沿激光点的提取;

进一步,所述步骤2的具体步骤如下:

步骤2.1:逆时针旋转激光点云,并将激光点云沿着y方向进行直方图累计,计算不同转向角下激光点云累计直方图的信息熵,选取最小熵值对应的转向角,便于后续道路边沿激光点的提取,激光点云转向角计算如公式(2)所示:

其中,θsteer表示最小熵值对应的点云转向角;h(θ)表示转向角为θ时激光点云y方向累计直方图的信息熵;pθ(i)表示转向角为θ时,沿y方向计算激光点云累计直方图,假定激光点高度y在区间[1,n]内,高度y为i的激光点出现的概率。

步骤2.1:确定激光点云转向角后,沿转向角逆时针旋转激光点云,使得道路边沿激光点平行于x轴,减少误检的发生。激光点云逆时针旋转计算如公式(3)~(4)所示:

psteer(x,y,z)=p(x,y,z)*manti-clockwise(4)

其中,manti-clockwise(θsteer)表示沿转向角θsteer逆时针旋转的旋转变换矩阵;θsteer表示点云转向角;p(x,y,z)表示原始有效激光点云;psteer(x,y,z)表示转向后有效激光点云。

步骤3:基于道路平面特点以及有效激光点云构建道路面方程,基于m估计样本一致性进行道路平面方程参数估计,提取道路区域点云,在道路平面拟合过程中,通常会存在少量异常点,在激光点云的异常点处理中,采用删除y方向最大最小的5%的激光点云,完成异常点的去除,获取道路激光点云;

进一步,所述步骤3的具体步骤如下:

步骤3.1:基于道路平面点通常处于同一平面的特点与有效激光点云共同构建地平面方程:

ax by cz d=0(5)

其中,(a,b,c,d)地平面方程的参数;

步骤3.2:基于msac进行道路平面方程参数估计,msac通过反复选择激光点云数据中一组随机道路激光点云子集来实现道路平面方程参数的估计,被选取的随机子集被假设为数据内点即道路点,用这些数据点估计道路平面方程的参数,得到估计出的道路平面方程;

再用估计出的道路平面方程去测试剩余的数据点,若某点满足这个道路平面方程,那么这个点也被认为是道路点;

如果有足够多的点被归为假设的道路平面点,那么估计出的平面方程就足够合理。,随后用假设的道路点重新估计道路平面方程,用损失函数评估道路平面模型的合理性,msac的损失函数如公式(6)~(7)所示:

其中,c表示损失函数,表示模型拟合内点数据的惩罚;t2表示划分为内点的阈值;e2表示将数据点判断为内点的误差函数,通过数据点到地坪地平面的距离来度量;(x1,y1,z1)表示数据点的三维空间坐标;

步骤3.3:在基于msac进行道路平面拟合的过程中,删除激光点云沿着y轴方向最大最小的5%的激光点完成异常激光点的处理,获取道路激光点云。

步骤4:基于道路激光点云确定道路点云的大致区间,并基于激光雷达的位置先验对点云进行进一步的约束;

根据激光雷达的位置先验和道路激光点云共同约束有效激光点云,削弱非道路点云对后续道路边沿点的干扰,随后将约束后的道路激光点云沿着y方向进行点云的累计,获取沿y方向的点云累计直方图;

进一步,所述步骤4的具体步骤如下:

步骤4.1:根据道路激光点云确定道路区域所在位置的大致区间,剔除非道路激光点云。同时,由于采集到的激光点云以激光雷达所在的位置为原点,那么意味着沿z轴方向,大于原点的激光点必然不是道路区域激光点,根据这一先验知识进一步减少非道路区域点云对后续道路边沿确定的干扰。由此通过道路平面点以及激光雷达位置先验的共同约束,去除非道路点云的干扰。

步骤4.2:将减少非道路区域干扰后的有效激光点沿着y方向进行激光点的累计获取y方向点云累计直方图。

步骤5:根据道路左右边沿处于激光雷达左右两侧的特点,在沿y方向的点云累计直方图原点的左右两侧分别寻找三维道路左右边沿激光点云,得到道路边沿激光点后,沿步骤2中计算得到的点云转向角顺时针旋转激光点云,恢复道路激光点云旋转前的空间位置坐标;

进一步,所述步骤5的具体如下:

步骤5.1:将激光点云沿着y方向进行点云累计后,道路边沿区域会形成大量的点云累计,并且已经去除非道路点云的干扰,由此可以通过y方向点云累计直方图原点左右两侧的峰值区间和路沿宽度信息确定最终的三维道路左右边沿激光点云。

步骤5.2:随后,将三维道路边沿激光点沿转向角顺时针旋转以恢复原始空间下的三维道路边沿激光点。三维道路边沿激光点顺时针旋转计算如公式(8)~(9)所示。

proad(x,y,z)=p(x,y,z)road-steer*mclockwise(θsteer)(9)

其中,mclockwise(θsteer)表示沿转向角θsteer顺时针旋转的旋转变换矩阵;θsteer表示点云转向角;proad(x,y,z)表示原始空间下的道路边沿激光点;p(x,y,z)road-steer表示转向后的道路边沿激光点。

步骤6:基于激光点云与图像面的映射关系,将三维道路左右边沿激光点云转换为二维图像平面投影点,并基于带l2正则约束的最小二乘法在10阶以内进行道路边沿拟合,选取代价函数最小值对应的道路边沿拟合结果;

进一步,所述步骤6的具体步骤为:

根据道路激光点云与图像面的映射关系,获取三维道路左右边沿激光点云对应的二维图像平面投影点,在10阶以内依次基于带l2正则约束的最小二乘法对道路左右边沿激光点的二维图像平面投影点进行拟合,选取代价函数最小值对应的阶数以及拟合参数,确定最终的道路左右边沿。带l2正则约束的最小二乘如公式(10)~(11)所示:

其中,函数的输入是激光点二维投影点的x坐标。也就对应了道路左右边激光点投影中u1,u2,x1和x2表示函数的输入,只是一种表示方法,(u1,v1)表示二维图像面上道路左边沿投影点;表示第i个左道路边沿点对应的二维像平面投影点;(u2,v2)表示二维道路图像面上道路右边沿投影点;表示第j个右道路边沿点对应的二维像平面投影点;分别表示左右道路边沿带l2正则约束的最小二乘法的代价函数;(m,n)分别表示道路左右边沿激光点的个数;(na,nb)分别表示道路左右边沿的参数个数;ak、bl分别表示道路左边沿第k个参数、道路右边沿第l个参数;μ、λ分别表示l2正则项和l1正则项的惩罚参数

步骤7:将图像面上的道路左右边沿投影到图像面上,完成基于激光点云的道路边沿检测。

进一步,所述步骤7的具体步骤为:

将图像面上的道路左右边沿投影到图像面上,完成基于激光点云的道路边沿检测。

实施例

步骤1:根据激光点云与图像间的空间位置关系,对激光雷达获取的点云数据与摄像机获取的图像数据进行联合校准,获取已校准激光点云,并剔除超出图像视场面外的无效激光点云,保留有效激光点云。其中,图像数据如图2所示;图2对应的未校准点云的三维示意图如图3所示;图2对应的未校准点云的y-x二维平面示意图如图4所示;

步骤2:基于信息熵计算点云转向角,逆时针旋转激光点云,最小熵值对应的转向角即是待求点云转向角,使得道路边沿激光点旋转至平行于x轴,便于后续道路边沿激光点的提取。其中,图2对应的转向后的未校准的激光点云y-x平面二维投影与图2对应的未转向的未校准的激光点云y-x平面二维投影对比示意图如图5所示,红色表示转向后激光点云y-x平面二维投影,蓝色表示未转向激光点云y-x平面二维投影;

步骤3:基于道路平面特点以及有效激光点云构建道路面方程,基于m估计样本一致性进行道路平面方程参数估计,提取道路区域点云,在道路平面拟合过程中,通常会存在少量异常点,在激光点云的异常点处理中,采用删除y方向最大最小的5%的激光点云,完成异常点的去除,获取道路激光点云。其中,图2对应的转向后未去除异常激光点的道路激光点云y-x平面二维示意图如图6所示;图2对应的转向后非道路激光点云y-x平面二维示意图如图7所示;图2对应的转向后已去除异常激光点的道路激光点云y-x平面二维示意图如图8所示;

步骤4:基于道路激光点云确定道路点云的大致区间,并基于激光雷达的位置先验对点云进行进一步的约束;

根据激光雷达的位置先验和道路激光点云共同约束有效激光点云,削弱非道路点云对后续道路边沿点的干扰,随后将约束后的道路激光点云沿着y方向进行点云的累计,获取沿y方向的点云累计直方图。图2对应激光点云最终的沿y方向累计直方图如图9所示,横轴表示激光点沿y方向距离原点的距离,纵轴表示不同距离下激光点的数量;

步骤5:根据道路左右边沿处于激光雷达左右两侧的特点,在沿y方向的点云累计直方图原点的左右两侧分别寻找三维道路左右边沿激光点云,得到道路边沿激光点后,沿步骤2中计算得到的点云转向角顺时针旋转激光点云,恢复道路激光点云旋转前的空间位置坐标;

步骤6:基于激光点云与图像面的映射关系,将三维道路左右边沿激光点云转换为二维图像平面投影点,并基于带l2正则约束的最小二乘法在10阶以内进行道路边沿拟合,选取代价函数最小值对应的道路边沿拟合结果;

步骤7:将图像面上的道路左右边沿投影到图像面上,完成基于激光点云的道路边沿检测,道路边沿检测结果如图10所示。

以上仅是本发明众多具体应用范围中的代表性实施例,对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案,均落在本发明权利保护范围之内。


技术特征:

1.一种结合激光点云转向的道路边沿检测方法,其特征在于:包括以下步骤:

步骤1:根据激光点云与图像间的空间位置关系,对激光雷达获取的点云数据与摄像机获取的图像数据进行联合校准,获取已校准激光点云,并剔除超出图像视场面外的无效激光点云,保留有效激光点云;

步骤2:基于信息熵计算激光点云转向角,根据激光点云转向角逆时针旋转激光点云,使得道路边沿激光点旋转至平行于x轴,得到转向后有效激光点云;

步骤3:基于道路平面特点以及有效激光点云构建道路面方程,基于m估计样本一致性进行道路平面方程参数估计,提取道路区域点云,在道路平面拟合过程中,通常会存在少量异常点,在激光点云的异常点处理中,采用删除y方向最大最小的5%的激光点云,完成异常点的去除,获取道路激光点云;

步骤4:基于道路激光点云确定道路点云的大致区间,并基于激光雷达的位置先验对点云进行进一步的约束:

根据激光雷达的位置先验和道路激光点云共同约束有效激光点云,削弱非道路点云对后续道路边沿点的干扰,随后将约束后的道路激光点云沿着y方向进行点云的累计,获取沿y方向的点云累计直方图;

步骤5:根据道路左右边沿处于激光雷达左右两侧的特点,在沿y方向的点云累计直方图原点的左右两侧分别寻找三维道路左右边沿激光点云,得到道路边沿激光点后,沿步骤2中计算得到的点云转向角顺时针旋转激光点云,恢复道路激光点云旋转前的空间位置坐标;

步骤6:基于激光点云与图像面的映射关系,将三维道路左右边沿激光点云转换为二维图像平面投影点,并基于带l2正则约束的最小二乘法在n阶以内进行道路边沿拟合,选取代价函数最小值对应的道路边沿拟合函数参数和阶数,构造道路左右边沿函数,得到道路左右边沿拟合结果;

步骤7:将图像面上的道路左右边沿拟合结果投影到图像面上,完成基于激光点云的道路边沿检测。

2.根据权利要求1所述的一种结合激光点云转向的道路边沿检测方法,其特征在于:所述步骤1的具体步骤如下:

步骤1.1:根据激光点云和图像间的空间位置关系,获取旋转校准矩阵以及激光点云到图像的转换矩阵,建立激光点云和图像面上的映射关系,三维激光点云在二维图像面上的投影坐标可表示为:

其中,c(x,y,z,u,v)表示建立激光点云与图像的映射关系后的激光点坐标;c(x,y,z)表示激光点的三维空间坐标;c(u,v)表示激光点投影在二维图像面的投影坐标;为旋转校准矩阵;为将三维激光点velo转换到图像坐标cam的转换矩阵;p(x,y,z)为三维激光点坐标;

步骤1.2:根据激光点云二维投影坐标和图像尺寸的关系,剔除超出图像面的无效激光点云,保留有效激光点云。

3.根据权利要求2所述的一种结合激光点云转向的道路边沿检测方法,其特征在于:所述步骤2的具体步骤如下:

步骤2.1:逆时针旋转激光点云,并将激光点云沿着y方向进行直方图累计,计算不同转向角下激光点云累计直方图的信息熵,选取最小熵值对应的转向角作为激光点云转向角,便于后续道路边沿激光点的提取,激光点云转向角计算如公式(2)所示:

其中,θsteer表示最小熵值对应的点云转向角;h(θ)表示转向角为θ时激光点云y方向累计直方图的信息熵;pθ(i)表示y方向与原点距离为i的激光点出现的概率;

步骤2.1:确定激光点云转向角后,沿转向角逆时针旋转激光点云,使得道路边沿激光点平行于x轴,减少误检的发生,激光点云逆时针旋转计算如公式(3)~(4)所示:

psteer(x,y,z)=p(x,y,z)*manti-clockwise(4)

其中,manti-clockwise(θsteer)表示沿转向角θsteer逆时针旋转的旋转变换矩阵;θsteer表示点云转向角;p(x,y,z)表示原始有效激光点云;psteer(x,y,z)表示转向后有效激光点云。

4.根据权利要求3所述的一种结合激光点云转向的道路边沿检测方法,其特征在于:所述步骤3的具体步骤如下:

步骤3.1:基于道路平面点通常处于同一平面的特点与有效激光点云共同构建地平面方程:

ax by cz d=0(5)

其中,(a,b,c,d)地平面方程的参数;

步骤3.2:基于msac进行道路平面方程参数估计,msac通过反复选择激光点云数据中一组随机道路激光点云子集来实现道路平面方程参数的估计,被选取的随机子集被假设为数据内点即道路点,用这些数据点估计道路平面方程的参数,得到估计出的道路平面方程;

再用估计出的道路平面方程去测试剩余的数据点,若某点满足这个道路平面方程,那么这个点也被认为是道路点;

如果有足够多的点被归为假设的道路平面点,那么估计出的平面方程就足够合理,随后用假设的道路点重新估计道路平面方程,用损失函数评估道路平面模型的合理性,msac的损失函数如公式(6)~(7)所示:

其中,c表示损失函数,表示模型拟合内点数据的惩罚;t2表示划分为内点的阈值;e2表示将数据点判断为内点的误差函数,通过数据点到地坪地平面的距离来度量;(x1,y1,z1)表示数据点的三维空间坐标;

步骤3.3:在基于msac进行道路平面拟合的过程中,删除激光点云沿着y轴方向最大最小的5%的激光点完成异常激光点的处理,获取道路激光点云。

5.根据权利要求4所述的一种结合激光点云转向的道路边沿检测方法,其特征在于:所述步骤4的具体步骤如下:

步骤4.1:根据道路激光点云y方向坐标区间确定道路区域所在位置,剔除超出此区间一定范围的非道路激光点云,减少非道路激光点云如道路两边树木、建筑物,对提取路沿激光点的干扰,通过激光点云位置先验剔除z方向上必然不属于道路点云的激光点云,如道路面上的车辆激光点云,进一步减少干扰;

由此实现,道路平面激光点以及激光雷达位置先验的共同约束,去除非道路点云的干扰;

步骤4.2:将减少非道路区域干扰后的有效激光点沿着y方向进行激光点的累计获取y方向点云累计直方图。

6.根据权利要求5所述的一种结合激光点云转向的道路边沿检测方法,其特征在于:所述步骤5的具体如下:

步骤5.1:将激光点云沿着y方向进行点云累计后,道路边沿区域会形成大量的点云累计,并且已经去除非道路点云的干扰,由此可以通过y方向点云累计直方图原点左右两侧的峰值区间和路沿宽度信息确定最终的三维道路左右边沿激光点云;

步骤5.2:随后,将三维道路边沿激光点沿转向角顺时针旋转以恢复原始空间下的三维道路边沿激光点,三维道路边沿激光点顺时针旋转计算如公式(8)~(9)所示:

proad(x,y,z)=p(x,y,z)road-steer*mclockwise(θsteer)(9)

其中,mclockwise(θsteer)表示沿转向角θsteer顺时针旋转的旋转变换矩阵;θsteer表示点云转向角;proad(x,y,z)表示原始空间下的道路边沿激光点;p(x,y,z)road-steer表示转向后的道路边沿激光点。

7.根据权利要求6所述的一种结合激光点云转向的道路边沿检测方法,其特征在于:所述步骤6的具体步骤为:

根据道路激光点云与图像面的映射关系,获取三维道路左右边沿激光点云对应的二维图像平面投影点,在n阶以内依次基于带l2正则约束的最小二乘法对道路左右边沿激光点的二维图像平面投影点进行拟合,选取代价函数最小值对应的阶数以及拟合参数,确定最终的道路左右边沿,带l2正则约束的最小二乘计算如公式(10)~(11)所示:

ana,bnb为拟合参数(10)

其中,(u1,v1)表示二维图像面上道路左边沿投影点;表示第i个左道路边沿点对应的二维像平面投影点;(u2,v2)表示二维道路图像面上道路右边沿投影点;表示第j个右道路边沿点对应的二维像平面投影点;分别表示左右道路边沿带l2正则约束的最小二乘法的代价函数;(m,n)分别表示道路左右边沿激光点的个数;(na,nb)分别表示道路左右边沿的参数个数;ak、bl分别表示道路左边沿第k个参数、道路右边沿第l个参数;μ、λ分别表示l2正则项和l1正则项的惩罚参数。

8.根据权利要求7所述的一种结合激光点云转向的道路边沿检测方法,其特征在于:所述步骤7的具体步骤为:

将基于带l2正则约束的最小二乘拟合到的道路左右边沿投影在图像上,完成结合激光点云转向的道路边沿检测。

技术总结
本发明公开了一种结合激光点云转向的道路边沿检测方法,属于辅助驾驶领域,解决视觉道路边沿检测中易受阴影干扰且由于车辆转向造成的道路边沿误检问题。首先,将激光点云与其对应的图像数据进行联合校准,基于信息熵计算点云转向角使得道路边沿激光点平行于X轴,将转向后的点云投影在Y‑X平面。其次,构建道路平面方程,结合M估计样本一致性以及异常点处理,提取道路点云。随后,使用道路激光点与激光雷达位置先验共同约束投影在Y‑X平面上的激光点云,构建约束后点云沿着Y方向的累计直方图;分别在直方图原点的左右两侧确定道路左右边沿激光点;最后基于带L2正则约束的最小二乘拟合道路左右边沿,完成道路边沿检测。本发明用于道路边沿检测。

技术研发人员:马沪敏;陶冰洁;且若辰;彭真明;柳杨;程晓彬;王光慧
受保护的技术使用者:电子科技大学
技术研发日:2020.01.09
技术公布日:2020.06.05

转载请注明原文地址: https://bbs.8miu.com/read-54020.html

最新回复(0)