本发明涉及一种智能驾驶技术领域，具体涉及一种车辆压线判断方法和系统。
背景技术：
随着科学技术的发展，自动驾驶、无人车等新兴概念应运而生。车道线端点检测技术是先进驾驶辅助系统的道路场景分析中的重要元素，是自动驾驶技术中一个不可或缺的部分。正常的车道线通常以多种样式的标记线的形式标记在道路地面上。车辆的摄像头等传感器可以获取车辆当前所处的环境的视觉图像，采用车道线检测技术对传感器获取的车辆前方或后方道路图像信息进行处理，可以得到图像中的车道线的位置，从而指导车辆的驾驶。但是在实际中，车道线会被前车短暂遮挡，无法判断车道线的准确位置，同时在遇到弯道等非直线车道时，车轮相对于车道线的位置也无法判断。这对于车道偏离预警，车道保持等功能会造成影响。
现有的车道线检测方法，一类是基于特征的算法，主要是利用颜色、纹理、形状等信息来提取车道线，但是当路面光照发生变化、标志线磨损或者路面出现水渍、阴影等情况时，都将会影响检测效果。一类是基于模型的算法，这种方法首先估计道路模型，然后利用霍夫变换或者其他图像信息确定模型参数，常用的道路模型有直线模型、抛物线模型、三次样条曲线模型等，这种方法也存在鲁棒性差、计算量大等缺点。对于车辆是否压线，在只依靠前视摄像头的情况下进行车辆压线判断时，现有方法依靠的是当前帧的检测结果，对其进行图像分析判断。这一方面只依赖于图像进行分析，但是车辆压线在很多情况下是一个未定的问题，比如在遇到弯道时车轮所在的点在镜头以外，直接将检测到的车道线进行反向延长得到的是错误的结果。
技术实现要素：
有鉴于此，本申请提出了一种车辆压线判断方法，其特征在于：所述方法包括以下步骤：
步骤s1:获取待检测道路图像；
步骤s2:将待检测道路图像输入到虚线车道线端点检测模型，得到车道线端点信息；所述虚线车道线端点检测模型通过对当前道路图像进行特征提取，并对提取到的特征进行映射，得到表征车道线的向量；
步骤s3:通过对车辆的运动估计,对所述车道线端点进行跟踪；建立局部地图；
步骤s4:判断车辆和车道线的位置关系。
优选地，所述虚线车道线端点检测模型的训练方法包括以下步骤：
步骤101：获取道路样本图像，所述道路样本图像标注有虚线车道线端点的位置信息；
步骤102：将所述道路样本图像输入到预先建立的初始神经网络模型；
步骤103：利用所述道路样本图像训练所述神经网络模型，得到所述虚线车道线端点检测模型。
优选地，在步骤102中，可以采用fasterr-cnn作为初始神经网络模型，修改其部分结构后，对其进行微调，得到虚线车道线端点检测模型。
优选地，所述车辆的运动方程表示为：
其中ui为通过其他方式获取的车辆运动信息如惯性测量单元等，这并不是必须的；wi为噪声，函数f()是确定的几何关系映射。。
优选地，在步骤s3中，特征点的观测方程为：
观测方程表示在i时刻对j特征点的观测数据；以上公式中，zi,j和ui通过传感器获取，υi,j是误差项。函数f()和h()是确定几何关系映射；通过上述方程求解出
本发明还提供了一种车辆压线判断系统，其特征在于：所述系统包括待检测道路图像获取单元、虚线车道线端点检测模型、局部地图建立单元；
所述系统将所述图像获取单元获取的待检测道路图像输入到所述虚线车道线端点检测模型，得到车道线端点信息；所述虚线车道线端点检测模型通过对当前道路图像进行特征提取，并对提取到的特征进行映射，得到表征车道线的向量；
所述局部地图建立单元通过对车辆的运动估计,对所述车道线端点进行跟踪；建立局部地图；
所述系统通过所述车辆在所述局部地图中的位置关系判断所述车辆是否压线。
优选地，所述虚线车道线端点检测模型的训练方法包括以下步骤：
步骤101：获取道路样本图像，所述道路样本图像标注有虚线车道线端点的位置信息；
步骤102：将所述道路样本图像输入到预先建立的初始神经网络模型；
步骤103：利用所述道路样本图像训练所述神经网络模型，得到所述虚线车道线端点检测模型。
优选地，可以采用fasterr-cnn作为初始神经网络模型，修改其部分结构后，对其进行微调，得到虚线车道线端点检测模型。
优选地，局部地图建立单元中，所述车辆的运动方程表示为：
其中ui为通过其他方式获取的车辆运动信息如惯性测量单元等，这并不是必须的；wi为噪声，函数f()是确定的几何关系映射。
优选地，局部地图建立单元中，特征点的观测方程为：
观测方程表示在i时刻对j特征点的观测数据；以上公式中，zi,j和ui可以通过传感器获取，而我们的目标就是通过上述方程求解出
本发明的另一方面，提供一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现上述的方法。
本发明的发明点在于以下几点，但不限于以下几点：
(1)本发明基于深度卷积神经网络，对车道线虚线端点进行识别，同时以虚线端点为关键点，建立局部地图，可以达到弥补被遮挡的车道线以及视野外的车轮附近的车道线的效果，判断车轮位置与车道线关系，从而对车辆压线进行判断。这里与现有技术不同的是没有依赖于图像进行检测，而是采用了建立局部地图的方式，相比而言对车道线的判断更加准确。
(2)本发明通过将在对象检测领域取得非常好的结果的卷积神经网络方法引入车道线端点检测中，可以实现对虚线车道线的高效检测，同时基于检测到的虚线端点建立局部地图，可以在不规则的车道线附近(如s型车道线，弯道等)仅靠前视摄像头采集的信息来判断车辆压线的情况。现有技术中对于不规则的车道线没有很好的识别，本发明与现有技术中的方法因上述技术手段而具有显著优势。
(3)本发明具体采用fasterr-cnn作为初始神经网络模型，修改其部分结构后，对其进行适应于车道线检测的微调，实践验证符合本发明技术方案的需要。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1为本申请实施例中一种虚线车道线端点检测模型的训练方法的流程图；
图2为正常的车道线端点标记示意图；
图3为本申请实施例中一种车道线检测及车辆压线判断方法的流程图；
图4为本申请实施例中一种通过深度学习对车道线端点进行识别的算法框架。
具体实施例
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
本申请实例提供了一种虚线车道线端点检测模型的训练方法和基于该虚线车道线端点检测模型的车道线端检测及车辆压线判断算法。上述虚线车道线端点检测模型以及车道线端点检测及车辆压线判断方法，可以应用于终端、服务器或者二者的结合。其中，终端可以是现有的、正在研发的或将来研发的、能够通过任何形式的有线和/或无线连接(例如，wi-fi、lan、蜂窝、同轴电缆等)实现与服务器交互的任何用户设备，包括但不限于：现有的、正在研发的或将来研发的智能手机、非智能手机、平板电脑、膝上型个人计算机、桌面型个人计算机、小型计算机、中型计算机、大型计算机等。本申请实施例中服务器可以是现有的、正在研发的或将来研发的、能够向用户提供信息推荐的应用服务的设备的一个实例。本申请的实施方式在此方面不受任何限制。
下面结合附图对本申请实施例的具体实现方式进行介绍。
首先，对本申请实施例中提供的一种虚线车道线端点检测模型的训练方法的具体实现方式进行介绍。
图1所示为本申请实例提供的一种虚线车道线端点检测模型的训练方法的流程图，应用于自动驾驶领域，参见图1，该方法包括：
步骤101：获取道路样本图像，所述道路样本图像标注有虚线车道线端点的位置信息。
道路样本图像可以视为用于训练虚线车道线端点检测模型的样本图像。本申请实施例中，训练模型采用了有监督的训练方式，因而，道路样本图像中标注有车道线位置信息。通过标注车道线位置信息，可以加快模型训练的速率，提高模型检测的准确率。
其中，通过对虚线车道线的端点进行标注来表示车道线位置。如图2所示，在一个道路图像中，通常存在多个虚线车道线线段，将其上下两个端点的坐标表示出来，即可对一个车道线的位置进行标识。同时，还要对虚线车道线端点是否为静态的端点进行标识，其中车道遮挡点和图像边缘的点不属于静态端点，只有车道线的上下端点才会被看作为静态端点。对于该车道线的端点进行标注，是实现本发明的重要步骤，是本发明的创新点之一。现有技术中没有对端点进行标注来表示车道线位置，更没有区分出是否为静态的端点。
在本申请实施例的一些可能的实现方式中，我们所处理的图像可以是由位于车身的前部或后部等位置的摄像头所获取到的道路图像。如图2所示，是由车辆的前部摄像头获取到的图像，图像的下部对应的即为当前驾驶的车辆的位置。倒车的时候，要处理的图像则为通过后部的摄像头获取的图像，这种情况下图像的上部为当前驾驶的车辆的位置。
在本申请实施例中，可以预先建立样本库，从样本库中获取样本图像。其中，样本库可以采用公开的数据集中的图像，也可以从车辆的存储设备中获取车辆的摄像头所采集的图像，对图像中的车位区域进行标注，从而建立样本库。在有些情况下，也可以直接获取样本图像，例如，直接获取车辆的摄像头实时采集的图像，对图像的车位区域进行标注，将标注后的图像作为样本图像。
步骤102：将所述道路图像输入到预先建立的初始神经网络模型。
在获取到道路样本图像后，可以将道路样本图像输入到预先建立的初始神经网络模型，以便利用道路样本图像对初始神经网络模型进行训练。
在本申请实施例的一些可能的实现方式中，在将道路样本图像输入预先建立的初始神经网络模型之前，还可以将道路样本图像缩放至预设尺寸。如此，可以使得初始神经网络模型对同一尺寸的道路样本图像进行学习，从而能够更快速、更准确地对道路样本进行处理，提高模型的训练效率。在本申请实施例的另外一些可能的实现方式中，所述预先建立的初始神经网络模型中可能包含空间金字塔池化层，可以适应任意大小的图片，则可以不对道路样本图像进行缩放，以避免图像信息的损失。
步骤103：利用所述样本图像训练所述神经网络模型，得到虚线车道线端点检测模型。
为了便于理解，首先对神经网络模型的概念进行简单介绍。神经网络是由大量的、简单的处理单元广泛地互相连接而形成的网络系统，它是一个高度复杂的非线性动力学习系统，具有大规模并行、分布式存储和处理、自组织、自适应和自学能力。神经网络模型即为基于神经网络建立的一种数学模型，基于神经网络模型的强大的学习能力，神经网络模型在许多领域都得到广泛的应用。
其中，在图像处理和模式识别领域，常常采用卷积神经网络模型进行模式识别。由于卷积神经网络模型中的卷积层局部连接以及权值共享的特性，使得需要训练的参数大大减少，简化了网络模型，提高了训练效率。
具体到本实施例，可以采用深度卷积神经网络作为初始神经网络模型，利用道路样本图像，对神经网络模型进行训练。除了自行设计新的深度卷积神经网络，也可以采用迁移学习的方法，利用已有的在对象检测领域取得较好结果的深度卷积神经网络，如fasterr-cnn等，对其输出类别数量及可能需要修改的其他部位的结构做出相应的修改，并直接采用原有网络模型中已有的已经充分训练的参数，作为初始神经网络模型，采用微调的方法，利用道路样本图像，对神经网络进行训练。具体为初始神经网络模型中的卷积层充分学习道路样本图像中的车道线位置的特征，根据学习到的道路样本图像的相关特征，初始神经网络模型中的全连接层可以对相关特征进行映射，得到车道线位置的识别结果，将车道线位置的识别结果与道路样本图像预先标注的车道线位置进行比较，可以对初始神经网络模型的参数进行优化，当初始神经网络模型经过较多训练样本的迭代训练后，可以获得虚线车道线端点检测模型。使用的fasterr-cnn模型虽然是现有的，但本发明将该神经网络模型用于车道线压线判断检测则是现有技术没有的。另外，该fasterr-cnn模型是初始神经网络，还需要对其进行改进，优化以适应检测的需要，这也是本发明的创新点之一。
由上可知，本申请提供了一种虚线车道线端点检测模型的训练方法。获取道路样本图像，道路样本图像中标注有车道线位置，将道路样本图像输入初始神经网络模型，利用道路样本图像以有监督学习方式对初始神经网络模型进行训练或者微调，得到虚线车道线端点检测模型。采用标注有车道线位置的道路样本图像对初始神经网络模型进行训练，大量的道路样本图像可以使得训练得到的虚线车道线端点检测模型在对车道线位置进行预测时具有较高的准确度和效率。
基于上述实施例中提供的一种虚线车道线端点检测模型的训练方法，本申请实施例中还提供了一种基于所述虚线车道线端点检测模型的车道线端点检测及车辆压线判断方法。
接下来，结合附图对本申请实施例中提供的一种车道线端点检测及车辆压线判断方法进行详细说明。
图3为本申请实施例中提供的一种车道线端点检测及车辆压线判断方法的流程图，该方法应用于自动驾驶领域，参见图3，该方法包括：
步骤301：获取当前道路图像。
当前道路图像指的是车辆当前所处位置前方、后方或其他位置的图像。在本实施例中，当前道路图像为需要检测车道线位置的及车辆压线判断的图像。
可以理解，当前道路图像可以是实时获取的道路图像。在本申请实施例的一些可能的实现方式中，可以对车辆的前视或后视摄像头拍摄到的图像进行一些必要的操作，将得到的道路图像作为当前道路图像。在一些可能的实现方式中，也可能使用其他方式获取车辆所在位置的道路图像。
在一些情况下，当前道路图像也可以是接收到的其他设备所发送的道路图像。例如，当车辆的摄像头出现故障时，车上的乘客可以通过手机等设备拍摄当前所在位置的道路图像，如此，可以从用户的设备上获取当前道路图像，以便通过该图像进行车道线位置检测。
以上仅为获取当前道路图像的一些具体示例，本申请对当前道路图像的获取方式不做限定，可以根据需求采取不同的实现方式。
步骤302：将当前道路图像输入到虚线车道线端点检测模型，得到车道线端点信息。
所述虚线车道线端点检测模型是根据上述实施例中提供的虚线车道线端点检测模型的训练方法生成的虚线车道线端点检测模型。
将当前道路图像输入到虚线车道线端点检测模型后，虚线车道线端点检测模型可以通过对当前道路图像进行特征提取，并对提取到的特征进行映射，得到表征车道线的向量，该向量即为虚线车道线端点检测模型的输出结果。
这里对输出结果的一种可能的形式进行说明。算法的框架如图4所示。神经网络会将整个图像划分为若干个单元，而每个单元会输出三组向量，其中cls对应的是对应单元属于虚线段的概率输出；reg对应的是对应单元所在虚线段的回归结果，维度是4，分别为上下两个端点的像素坐标；cls_type对应的是上下端点的分类概率，分类的目标是对应端点是否为静态的端点，其中，车道遮挡点或者图片边缘的点不属于静态端点，这是本发明的创新之一。
步骤303：通过运动估计,对车道线端点进行跟踪,多次观测，建立局部地图。
因为车道线虚线端点是普遍存在的特征点，可以通过对这一特征点的观测建立局部地图。
我们可以通过数学方式来描述这个过程。首先，我们通过
其中ui为通过其他方式获取的车辆运动信息如惯性测量单元等，这并不是必须的；
观测方程表示在i时刻对j特征点的观测数据；υi,j是误差项。函数f()和h()是确定几何关系映射，例如f()可以表示为
可以将这个问题转化为一个优化问题。把
作为目标函数，则
对这个优化问题的求解可以通过数值方法求梯度和梯度矩阵，然后用梯度下降法求最优值，也可以通过其他优化方法进行求解。
通过上述过程，我们建立了局部地图，同时获取了车辆在局部地图中的实时位置信息。
步骤304：判断车辆和车道线的位置关系。
因为已经建立了局部地图并获取了车辆在其中的位置信息，通过一些简单的判断，就可以对车辆是否压线得出结果。比如，我们可以通过检测车辆所在的区域与车道线所在的区域是否重合来判断车辆是否压线，也可以通过其他的方法。在车辆位置和车道线位置已知的情况下，这种判断是可以作出的。
基于这种方法，我们可以对车道线进行检测并对车辆是否压线进行判断。
一种计算机存储介质，其上存储有计算机可执行的指令，当指令被计算机装置执行时，可执行上述的方法以完成车道线压线判断。
由上可知，本申请实施例中提供了一种车道线端点检测及车辆压线判断算法，通过将当前道路图像输入到预先训练的虚线车道线端点检测模型，基于虚线车道线端点检测模型的输出结果，可以确定当前道路图像中的车道线端点的位置，该模型采用海量样本道路图像结合深度学习的方式训练得到，在对车道线位置进行检测时具有较高的准确度和效率。以车道线端点为特征点，通过解决相应的优化问题，可以建立局部地图并计算出车辆在局部地图中的位置，根据局部地图中的数据信息可以对车辆压线进行判断。
以上实施例，主要是以卷积神经网络模型作为神经网络模型，进行训练得到虚线车道线端点检测模型，并基于该虚线车道线端点检测模型对当前道路图像中的车道线位置进行检测。而随着机器学习的不断发展，卷积神经网络模型也在不断发展。具体的，基于所要训练的模型的功能以及该模型所要处理的数据，可以采用不同类型的卷积神经网络作为初始神经网络。常见的用于对象检测的卷积神经网络包括r-cnn、fastr-cnn、fasterr-cnn、r-fcn、yolo、yolo9000、ssd、nasnet、maskr-cnn等。在一些可能的实现方式中，优选的，可以采用fasterr-cnn作为初始神经网络模型，修改其部分结构后，对其进行微调，得到虚线车道线端点检测模型。在一些可能的实现方式中，可以采用上述提到的其他卷积神经网络，或者采用其他在此领域中取得较好结果的网络。本申请的实施方式在此方面不受任何限制。
由此可见，本申请实施例中提供了一种虚线车道线端点检测模型的训练方法以及车道线端点检测及车辆压线判断方法。获取道路样本图像，道路样本图像中标注有车道线位置，将道路样本图像输入初始神经网络模型，利用道路样本图像以有监督学习方式对初始神经网络模型进行微调，得到虚线车道线端点检测模型。采用标注有车道线位置的道路样本图像对初始神经网络模型进行训练，大量的道路样本图像可以使得训练得到的虚线车道线端点检测模型在对车道线位置进行预测时具有较高的准确度和效率。通过将当前道路图像输入到预先训练的虚线车道线端点检测模型，基于虚线车道线端点检测模型的输出结果，可以确定当前道路图像中的车道线端点的位置，该模型采用海量样本道路图像结合深度学习的方式训练得到，在对车道线位置进行检测时具有较高的准确度和效率。以车道线端点为特征点，通过解决相应的优化问题，可以建立局部地图并计算出车辆在局部地图中的位置，根据局部地图中的数据信息可以对车辆压线进行判断。本申请实施例中提供的车辆压线判断方法可以在不规则的车道线附近(如s型车道线，弯道等)，也能仅靠前视摄像头来判断车辆压线的情况。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例中所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
1.一种车辆压线判断方法，其特征在于：所述方法包括以下步骤：
步骤s1:获取待检测道路图像；
步骤s2:将所述待检测道路图像输入到虚线车道线端点检测模型，得到车道线端点信息；所述虚线车道线端点检测模型通过对当前道路图像进行特征提取，并对提取到的特征进行映射，得到表征车道线的向量；
步骤s3:通过对车辆的运动估计，对所述车道线端点进行跟踪；建立局部地图；
步骤s4:判断车辆和车道线的位置关系。
2.根据权利要求1所述的方法，其特征在于：所述步骤s2中所述虚线车道线端点检测模型的训练方法包括以下步骤：
步骤101：获取道路样本图像，所述道路样本图像标注有虚线车道线端点的位置信息；
步骤102：将所述道路样本图像输入到预先建立的初始神经网络模型；
步骤103：利用所述道路样本图像训练所述初始神经网络模型，得到所述虚线车道线端点检测模型。
3.根据权利要求2所述的方法，其特征在于：在所述步骤102中，以fasterr-cnn作为所述初始神经网络模型，得到虚线车道线端点检测模型。
4.根据权利要求1-3中任一项所述的方法，其特征在于：在步骤s3中，所述对车辆的运动估计包括提供所述车辆的运动方程，所述车辆的运动方程表示为：
特征点的观测方程为：
其中ui为通过其他方式获取的车辆运动信息；wi为噪声；zi,j为在i时刻对j特征点的观测数据：所述zi,j通过传感器获取，υi,j是误差项；函数f()和h()表示确定的几何关系映射；通过所述车辆的运动方程和所述特征点的观测方程求解出
5.一种车辆压线判断系统，其特征在于：所述系统包括待检测道路图像获取单元、虚线车道线端点检测模型、局部地图建立单元；
所述系统将所述图像获取单元获取的待检测道路图像输入到所述虚线车道线端点检测模型，得到车道线端点信息；所述虚线车道线端点检测模型通过对当前道路图像进行特征提取，并对提取到的特征进行映射，得到表征车道线的向量；
所述局部地图建立单元通过对车辆的运动估计,对所述车道线端点进行跟踪；建立局部地图；
所述系统通过所述车辆在所述局部地图中的位置关系判断所述车辆是否压线。
6.根据权利要求5所述的系统，其特征在于：所述虚线车道线端点检测模型的训练方法包括以下步骤：
步骤101：获取道路样本图像，所述道路样本图像标注有虚线车道线端点的位置信息；
步骤102：将所述道路样本图像输入到预先建立的初始神经网络模型；
步骤103：利用所述道路样本图像训练所述神经网络模型，得到所述虚线车道线端点检测模型。
7.根据权利要求6所述的系统，其特征在于：采用fasterr-cnn作为初始神经网络模型，得到虚线车道线端点检测模型。
8.根据权利要求5-7所述的系统，其特征在于：所述局部地图建立单元中，所述对车辆的运动估计包括提供所述车辆的运动方程，所述车辆的运动方程表示为：
特征点的观测方程为：
其中ui为通过其他方式获取的车辆运动信息如惯性测量单元等；wi为噪声；zi,j表示在i时刻对j特征点的观测数据：其通过传感器获取，υi,j是误差项；函数f()和h()表示确定的几何关系映射；通过所述车辆的运动方程和所述特征点的观测方程求解出
9.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-4中任一项所述的方法。
技术总结