本发明涉及一种智能驾驶领域，具体涉及一种停车位结构检测模型训练方法。
背景技术：
随着科学技术的发展，自动驾驶、无人车等新兴概念应运而生。自动泊车系统是自动驾驶技术中一个不可或缺的部分，汽车工业界对发展自动泊车系统的兴趣也在逐渐提升，而停车位检测则是自动泊车问题中的核心感知任务之一。具体的，车辆的摄像头或者超声波等传感器可以感知车辆当前所处的环境，采用停车位检测技术对传感器获取的车辆周围环境信息进行处理，可以得到附近的可停车位，从而指导车辆的停泊。
对这样的系统而言，怎样精准有效地检测、定位由常规线段限定的停车位是一个关键且尚未解决的问题。事实上，地面材料、光照条件的变化、附近物体的阴影等不利因素也增大了基于视觉的停车位检测方法的难度。
现有的停车位检测方法，一类通常利用底层边缘及角特征，基于人工构造规则来提取车位框，其特征表达能力较弱，基于规则的方法很难延伸到多样的停车位形态。另一类方法基于目标检测技术，使用一个方框来检测、提取车位，这类方法很难处理斜向停车位，而且对停车位边界框的定位也很不精确。还有一类方法通过整合停车位分隔点和分隔线的检测信息找到停车位的位置，这类方法不能直接提供一个车位的完整结构信息且较难给出车位是否可停的信息。
技术实现要素：
有鉴于此，本申请提出了停车位结构检测模型的训练方法，用于端到端的停车位结构化检测方法，该停车方法基于深度卷积神经网络，利用预先训练好的停车位结构化检测模型，对车辆拍摄的当前道路图像进行识别，提取完整的停车位结构化信息，包括停车位是否可以停车、停车位所处的位置及其对应的几何信息等。具体来说，本申请将一个独立停车位形式化为弹性多边形区域，并设计提出具体的方法步骤，通过深度神经网络模型分别得到当前道路图像中的可停的独立车位区域及组成该区域的点坐标信息。
具体的，本发明的第一方面，提供一种停车位结构检测模型的训练方法，包括有如下步骤：
步骤101：获取道路样本图像，所述道路样本图像标注有停车位区域信息；
步骤102：将所述道路样本图像输入到预先建立的初始神经网络模型；
步骤103：利用所述样本图像训练所述神经网络模型，得到停车位结构检测模型；其中，所述步骤101中，通过对独立车位区域信息和组成独立车位区域的点的信息进行融合，得到用弹性多边形表示的独立停车位区域；所述步骤103中训练所述初步神经网络模型包括卷积神经网络模型中的卷积层局部连接以及权值共享的特性。
优选的，所述步骤101中采用实例掩码的方式对停车位区域进行标注，在标注中对可停车位和不可停车位进行区分。
优选的，所述步骤102中所述初始神经网络模型是卷积神经网络模型，所述初始神经网络模型中的卷积层学习所述道路样本图像中的停车位区域信息，所述步骤103中所述得到停车位结构检测模型具体包括：根据学习到的所述道路样本图像的相关特征，以及所述初始神经网络模型中的全连接层对相关特征进行映射，得到停车位区域的识别结果，将所述停车位区域的识别结果与所述道路样本图像预先标注的停车位区域进行比较，对所述初始神经网络模型的参数进行优化，当所述初始神经网络模型经过多次训练样本的迭代训练后，获得停车位结构检测模型。
本发明的第二方面，提供一种停车位结构检测方法，包括有如下步骤：
步骤201：获取当前道路图像；
步骤202：将当前道路图像输入到上述训练方法训练的停车位结构检测模型，得到包括用弹性多边形表示的独立停车位区域在内的停车位结构化信息；
步骤203：对模型输出的结构化信息进行后处理，融合信息，确定最终的可停的停车位区域信息。
本发明的第三方面，是提供一种停车位停车方法，包括：
步骤301：检测车辆是否处于待停车位状态；
步骤302：当检测车辆不处于待停车位状态时，返回步骤301，继续所述步骤301的检测；当检测车辆处于待停车位状态时，执行上述的停车位结构检测方法；
步骤303：当完成所述步骤302对所述停车位结构检测，一车辆驱动单元按所计算的所述停车位结构执行停车操作。
本发明的第四方面，是提供一种上述的停车位结构检测模型的训练方法在停车中的应用。
本发明的第五方面，是提供一种停车系统，包括了上述的训练方法训练的停车位结构检测模型。
本发明的第六方面，是提供一种停车系统，以执行上述的停车位停车方法。
与现有技术相比，本发明具有下述的发明点与有益效果，但不局限于下述几点：
(1)通过对独立车位区域信息和组成独立车位区域的点的信息进行融合，得到用弹性多边形表示的独立停车位区域从而可以提取一个独立车位的完整结构信息，包括了车位是否可停及其对应车位的几何信息，在此基础上可以训练得到停车位结构检测模型。现有技术中对于模型的特征表现力弱，无法提供车位完整结构化信息。相比现有技术，本发明提供的车位信息更加细化、精确，得到的停车位结构检测模型更加准确。
(2)采用弹性多边形来表示停车位信息，可以提取任意形态的停车位结构，并且具有旋转一致性，可以提取倾斜的停车位的信息。上述的特性大大拓展了本申请的应用场景。所述的停车位结构化检测模型能够以端到端的方式提取当前道路图像特征并进行学习，可以最大程度上发挥大数据的效用。这是本发明的发明点之一。
(3)现有技术中对于车位的检测不具有通用性，往往只适合于最常见的常规车位，在遇见特殊类型车位时，检测的准确度大打折扣。本发明利用了弹性多边形表示的独立停车位区域，以及在此基础上优化卷积神经网络模型，从实践结果看对停车位结构特别是特殊停车位结构有很好的适配，检测结果满足精度要求。本发明将弹性多边形表征停车位区域和优化卷积神经网络相结合，这是本发明的发明点之一。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1为本申请实施例中一种停车位结构化检测模型的训练方法的流程图；
图2a为弹性多边形示意图；
图2b为对独立停车位区域进行结构化表示的弹性多边形示意图；
图3为道路图像即对其进行标注的示意图；
图4为本申请实施例中一种停车位结构化检测方法的流程图；
图5为对组成车位区域的点进行八个方向点进行回归的示意图。
具体实施例
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
本申请实例提供了一种停车位结构化检测模型的训练方法和基于该停车位结构化检测模型的停车位结构化检测方法。上述停车位结构化检测模型以及停车位结构化检测方法，可以应用于终端、服务器或者二者的结合。其中，终端可以是现有的、正在研发的或将来研发的、能够通过任何形式的有线和/或无线连接(例如，wi-fi、lan、蜂窝、同轴电缆等)实现与服务器交互的任何用户设备，包括但不限于：现有的、正在研发的或将来研发的智能手机、非智能手机、平板电脑、膝上型个人计算机、桌面型个人计算机、小型计算机、中型计算机、大型计算机等。本申请实施例中服务器可以是现有的、正在研发的或将来研发的、能够向用户提供信息推荐的应用服务的设备的一个实例。本申请的实施方式在此方面不受任何限制。
下面结合附图对本申请实施例的具体实现方式进行介绍。
首先，对本申请实施例中提供的一种停车位结构化检测模型的训练方法的具体实现方式进行介绍。
图1所示为本申请实例提供的一种停车位结构化检测模型的训练方法的流程图，应用于自动驾驶领域，参见图1，该方法包括：
步骤101：获取道路样本图像，所述道路样本图像标注有停车位区域信息。
道路样本图像可以视为用于训练停车位结构化检测模型的样本图像。本申请实施例中，训练模型采用有监督的训练方式，因而，道路样本图像中标注有停车位区域信息。
其中，停车位区域是指由车位标识线所划分出的可以停车的区域。停车位区域在数学上，可以理解为一个范围，可以通过多种形式进行表征。对于一个范围，通常可以采用界限、轮廓等进行表示，例如可以采用函数、坐标等方式进行表示。为了灵活地表示图像中多样的车位形态，可以使用弹性多边形表示一个独立停车位区域。一个弹性多边形由n个多边形顶点有序连接组成，如图2所示，这是一种具有旋转一致性的表示方法。通过对独立车位区域信息和组成独立车位区域的点的信息进行融合，可以得到用弹性多边形表示的独立停车位区域，因此在本申请实施例的一些可能的实现方式中，可以通过标注独立车位区域信息和组成独立车位区域的点的信息来对停车位区域进行标注，这是本发明的发明点之一，现有技术中还未发现有利用弹性多边形来表示独立停车位区域的模型。
在本申请实施例的一些可能的实现方式中，我们所处理的图像可以是由位于车身的前部、左侧、后部、右侧等位置的摄像头所获取到的图像进行拼合所得到的环形视图，而图像的中心位置为车辆所在的位置，其余位置为潜在的停车区域，如图3所示。在本申请实例的一些可能的实现方式中，可以采用实例掩码的方式对独立车位区域进行标注，在标注中对可停车位和不可停车位进行区分，即将其作为两种类别。对组成独立车位区域的点，可以直接使用其在图像中的坐标来表示。这里先对车位进行划分出可停车位和不可停车位，虽然这增加了计算步骤，但确有利于后期训练的准确性，综合起来达到了高效和准确的统一。如图3所示即为停车位区域信息标注示意图，其中一部分表示独立车位区域，并将其划分出来。在该区域的四个顶点位置的点组成独立车位区域的点，也就是弹性多边形的顶点。在本申请实施例的一些可能的实现方式也可以采用其他方式进行标注。
在本申请实施例中，可以预先建立样本库，从样本库中获取样本图像。其中，样本库可以采用公开的数据集中的图像，也可以从车辆的存储设备中获取车辆的摄像头所采集的图像，对图像中的车位区域进行标注，从而建立样本库。在有些情况下，也可以直接获取样本图像，例如，直接获取车辆的摄像头实时采集的图像，对图像的车位区域进行标注，将标注后的图像作为样本图像。
步骤102：将所述道路图像输入到预先建立的初始神经网络模型。
在获取到道路样本图像后，可以将道路样本图像输入到预先建立的初始神经网络模型，以便利用道路样本图像对初始神经网络模型进行训练。
在本申请实施例的一些可能的实现方式中，在将道路样本图像输入预先建立的初始神经网络模型之前，还可以将道路样本图像缩放至预设尺寸。如此，可以使得初始神经网络模型对同一尺寸的道路样本图像进行学习，从而能够更快速、更准确地对道路样本进行处理，提高模型的训练效率。
步骤103：利用所述样本图像训练所述神经网络模型，得到停车位结构化检测模型。
为了便于理解，首先对神经网络模型的概念进行简单介绍。神经网络是由大量的、简单的处理单元广泛地互相连接而形成的网络系统，它是一个高度复杂的非线性动力学习系统，具有大规模并行、分布式存储和处理、自组织、自适应和自学能力。神经网络模型即为基于神经网络建立的一种数学模型，基于神经网络模型的强大的学习能力，神经网络模型在许多领域都得到广泛的应用。
其中，在图像处理和模式识别领域，常常采用卷积神经网络模型进行模式识别。由于卷积神经网络模型中的卷积层局部连接以及权值共享的特性，使得需要训练的参数大大减少，简化了网络模型，提高了训练效率。经过近几年的快速发展，目前卷积神经网络在实例分割领域也有了一系列的成果。所谓实例分割，它的基本思路可以看作为目标检测和语义分割的结合。当图像中有多个同类物体时，语义分割会将这多个物体整体的所有像素预测为同一类别，而实例分割则进一步区分出哪些像素属于这一类别下的某个物体实例。
考虑停车位检测的问题，在一个道路图像中，可能存在多个停车位，这些停车位包括可停的与不可停的。我们可以采用实例分割技术，对每一个独立的车位区域进行识别。每一个独立的车位区域表示仅供一辆车停泊的区域，多个停车位会被区分出来。将可停的与不可停的作为不同的类别，那么模型将会给出一个区域是否是可停车位区域的信息。
具体到本实施例，可以采用在实例分割领域内取得较好结果的网络作为初始神经网络模型，对其输出类别数量及可能需要修改的其他部位的结构做出相应的修改，利用道路样本图像，采用微调的方法，对神经网络模型进行训练。具体为初始神经网络模型中的卷积层充分学习道路样本图像中的停车位区域的特征，根据学习到的道路样本图像的相关特征，初始神经网络模型中的全连接层可以对相关特征进行映射，得到停车位区域的识别结果，将停车位区域的识别结果与道路样本图像预先标注的停车位区域进行比较，可以对初始神经网络模型的参数进行优化，当初始神经网络模型经过较多训练样本的迭代训练后，可以获得停车位结构化检测模型。
由上可知，本申请提供了一种停车位结构化检测模型的训练方法。获取道路样本图像，道路样本图像中标注有停车位区域，将道路样本图像输入初始神经网络模型，利用道路样本图像以有监督学习方式对初始神经网络模型进行微调，得到停车位结构化检测模型。采用标注有停车位区域的道路样本图像对初始神经网络模型进行训练，大量的道路样本图像可以使得训练得到的停车位结构化检测模型在对停车位区域进行预测时具有较高的准确度。
基于上述实施例中提供的一种停车位结构化检测模型的训练方法，本申请实施例中还提供了一种基于所述停车位结构化检测模型的停车位结构化检测方法。
接下来，结合附图对本申请实施例中提供的一种停车位结构化检测方法进行详细说明。
图4为本申请实施例中提供的一种停车位结构化检测方法的流程图，该方法应用于自动驾驶领域，参见图4，该方法包括：
步骤401：获取当前道路图像。
当前道路图像指的是车辆当前所处位置周围的图像，因为在实际中，此停车位检测方法总要在车辆准备进行停车的操作时才会被利用到，此时车辆所处位置周围应当存在停车位。在本实施例中，当前道路图像为需要检测停车位区域的图像。
可以理解，当前道路图像可以是实时获取的道路图像。在本申请实施例的一些可能的实现方式中，可以对车辆的前视、左视、后视、右视摄像头拍摄到的图像进行去失真、拼合的操作，将得到的环视图像作为当前道路图像。在一些可能的实现方式中，也可能存在更多或更少的摄像头，或者可以通过车辆的环视摄像头拍摄车辆所在位置附近的道路图像，从而获取当前道路图像。
在一些情况下，当前道路图像也可以是接收到的其他设备所发送的道路图像。例如，当车辆的摄像头出现故障时，车上的乘客可以通过手机等设备拍摄当前所在位置的道路图像，如此，可以从用户的设备上获取当前道路图像，以便通过该图像进行停车位区域检测。
以上仅为获取当前道路图像的一些具体示例，本申请对当前道路图像的获取不做限定，可以根据需求采取不同的实现方式。
步骤402：将当前道路图像输入到停车位结构化检测模型，得到独立车位区域和组成独立车位区域的点。
所述停车位结构化检测模型是根据上述实施例中提供的停车位区域化检测模型的训练方法生成的停车位结构化检测模型。
将当前道路图像输入到停车位结构化检测模型后，停车位结构化检测模型可以通过对当前道路图像进行特征提取，并对提取到的特征进行映射，得到表征独立的车位区域的实例掩码图像，该实例掩码即为停车位结构化检测模型的输出结果，此结果是一个个分离的区域，一个区域表示一个独立的车位区域，停车位结构化检测模型同时还会给出一个区域是否是可停车位区域的信息。
具体地，每一个车位和车位之间相邻的部分不能相连，模型使用这样的设置能学习出能独立区分出来的车位区域。经过腐蚀膨胀，过滤过大或过小区域等操作，过滤噪声区域。通过只分类可停车位区域为前景区域，在得到的实例分割图中，所有被分割出来的实例均为可停车位区域。通过轮廓提取和寻找连通域算法，可以得到一张图片中所有的可停独立车位区域。
其次，组成独立车位区域的点，通过对可停车位区域上的点进行回归，组成完整车位区域的点的位置坐标而得到。具体地，在本发明中，对于每一个可停区域上的点，分为八个方向回归完整区域上的点。如图5中所示，对于要回归的点，计算其相对于回归点的相对方向和对应的偏移距离量。在对应方向上回归点的偏移坐标，同时分类该方向上是否存在点。通过模型得到可停独立车位区域信息和点的回归信息之后，用车位区域信息可以得到对应位置上的点的回归结果，组成车位区域的点的坐标最后通过投票、过滤噪声以及非极大值抑制等步骤得到。
步骤403：对模型输出的结构化信息进行后处理，融合信息，确定最终的可停的停车位区域信息。
在步骤402中我们通过当前道路图像输入到停车位结构化检测模型，得到独立车位区域信息，再对独立车位区域上的点进行回归，得到组成独立车位区域的点。
在这里，所述的组成独立车位区域的点的信息和独立的车位区域是相关联的，即点有自己所属的唯一独立车位区域。融合独立车位区域信息和组成独立车位点的信息，对结果进行后处理，滤除噪声，最后得到用弹性多边形所表示的独立停车位区域。这里用弹性多边形表示的独立停车位区域包含了一个独立车位的完整结构信息，并且能表示任意形态的停车位，此外，它还是一种具有旋转一致性的方案。
由上可知，本申请实施例中提供了一种停车位区域的检测方法，通过将当前道路图像输入到预先训练的停车位结构化检测模型，基于停车位结构化检测模型的输出结果，可以确定当前道路图像中的独立可停停车位区域。本申请实施例中提供的停车位结构化检测方法能够直接端到端学习，并输出结构化的独立可停停车位区域，这是本发明的创新点之一。并且，该模型是采用海量样本道路图像结合深度学习的方式训练得到，在对独立停车位区域进行预测时具有较高的准确度和效率，该模型提供了较高的准确度和效率，是本发明的创新点之一。
以上实施例，主要是以卷积神经网络模型作为神经网络模型，进行训练得到停车位结构化检测模型，并基于该停车位结构化检测模型对当前道路图像中的停车位区域进行检测。而随着机器学习的不断发展，卷积神经网络模型也在不断发展。具体的，基于所要训练的模型的功能以及该模型所要处理的数据，可以采用不同类型的卷积神经网络作为初始神经网络。常见的用于实例分割领域的卷积神经网络包括sds、isfcn、fcis、maskr-cnn等。在一些可能的实现方式中，可以采用maskr-cnn作为初始神经网络模型，修改其部分结构后，对其进行微调，得到停车位结构化检测模型。
由此可见，本申请实施例中提供了一种停车位结构化检测模型的训练方法以及停车位结构化检测方法。获取道路样本图像，道路样本图像中标注有停车位区域，将道路样本图像输入初始神经网络模型，利用道路样本图像以有监督学习方式对初始神经网络模型进行微调，得到停车位结构化检测模型。采用标注有停车位区域的道路样本图像对初始神经网络模型进行训练，大量的道路样本图像可以使得训练得到的停车位结构化检测模型在对停车位区域进行预测时具有较高的准确度。通过将当前道路图像输入到预先训练的停车位结构化检测模型，基于停车位结构化检测模型的输出结果，可以确定当前道路图像中的独立可停停车位区域。本申请实施例中提供的停车位结构化检测方法能够直接端到端学习，并输出结构化的独立可停停车位区域。并且，该模型是采用海量样本道路图像结合深度学习的方式训练得到，在对独立停车位区域进行预测时具有较高的准确度和效率。
在一些实施例中，提供一种停车位的停车方法，以应用上述的停车位结构检测方法，以及应用上述的停车位结构检测模型的训练方法。其中使用了一个检测单元，该检测单元的功能是检测车辆是否处于需要停车的状态。该检测包括检测车辆控制系统，包括对车辆是否处于空档、速度为0等一些参数的检测；此外还包括停车控制单元，对于检测单元的检测结果进行判断，当判断检测车辆不处于待停车位状态时，继续由检测单元进行检测；当判断检测车辆处于待停车位状态时，则执行上述的停车位结构检测。还包括一车辆驱动单元按计算的所述停车位结构执行停车操作。
在一些实施例中，提供一种停车位的停车方法，包括：
步骤301：检测车辆是否处于待停车位状态；
步骤302：当检测车辆不处于待停车位状态时，返回步骤301，继续所述步骤301的检测；当检测车辆处于待停车位状态时，执行上述的停车位结构检测；
步骤303：当完成所述步骤302对所述停车位结构检测，一车辆驱动单元按计算的所述停车位结构执行停车操作。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例中所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
1.一种停车位结构检测模型的训练方法，包括有如下步骤：
步骤101：获取道路样本图像，所述道路样本图像标注有停车位区域信息；
步骤102：将所述道路样本图像输入到预先建立的初始神经网络模型；
步骤103：利用所述样本图像训练所述初始神经网络模型，得到停车位结构检测模型；其中，所述步骤101中，通过对独立车位区域信息和组成独立车位区域的点的信息进行融合，得到用弹性多边形表示的独立停车位区域；所述步骤103中训练所述初步神经网络模型包括卷积神经网络模型中的卷积层局部连接以及权值共享的特性。
2.根据权利要求1所述的训练方法，所述步骤101中采用实例掩码的方式对停车位区域进行标注，在标注中对可停车位和不可停车位进行区分。
3.根据权利要求1-2中任一项所述的训练方法，所述步骤102中所述初始神经网络模型是卷积神经网络模型，所述初始神经网络模型中的卷积层学习所述道路样本图像中的停车位区域信息；所述步骤103中所述得到停车位结构检测模型具体包括：根据学习到的所述道路样本图像的相关特征，以及所述初始神经网络模型中的全连接层对相关特征进行映射，得到停车位区域的识别结果，将所述停车位区域的识别结果与所述道路样本图像预先标注的停车位区域进行比较，对所述初始神经网络模型的参数进行优化，当所述初始神经网络模型经过多次训练样本的迭代训练后，获得停车位结构检测模型。
4.一种停车位结构检测方法，包括有如下步骤：
步骤201：获取当前道路图像；
步骤202：将当前道路图像输入到权利要求1-3中任一项所述训练方法训练的所述停车位结构检测模型，得到包括用所述弹性多边形表示的独立停车位区域在内的停车位结构化信息；
步骤203：对模型输出的结构化信息进行后处理，融合信息，确定最终的可停的停车位区域信息。
5.一种停车位停车方法，包括：
步骤301：检测车辆是否处于待停车位状态；
步骤302：当检测车辆不处于待停车位状态时，返回步骤301，继续所述步骤301的检测；当检测车辆处于待停车位状态时，执行权利要求4所述的停车位结构检测方法；
步骤303：当完成所述步骤302对所述停车位结构检测，一车辆驱动单元按所计算的所述停车位结构执行停车操作。
6.权利要求1-3中任一项所述的训练方法在停车中的应用。
7.一种停车系统，包括权利要求1-3中任一项所述的训练方法训练的停车位结构检测模型。
8.一种停车系统，执行权利要求5所述的停车位停车方法。
技术总结