本说明书一个或多个实施例涉及图像识别领域，尤其涉及一种多标线的路面裂缝识别方法、装置、设备及存储介质。
背景技术：
当前对路面标志标线的识别基本上是基于数字图像处理技术，由于标志标线上的开裂和磨损，易被误识别为裂缝，从而降低了裂缝的识别效果。实际环境下采集的路面图像往往受到光照和噪声的影响，传统图像识别方法通过人工选取算法对裂缝进行识别，但是只能在光照条件好且表现清晰的条件下才能进行有效的识别，在实际操作中，识别正确率低。现有技术中基于灰度图的模式识别方法的识别速度很慢，不能做到实时识别。使用单一裂缝模型进行裂缝识别会受到实际场景中路面背景多样性、裂缝多样性和无需识别的施工处等因素影响，受环境影响大，识别效果差。
技术实现要素：
有鉴于此，本说明书一个或多个实施例的目的在于提出一种多标线的路面裂缝识别方法、装置、设备及存储介质，以解决现有技术中识别效果差、识别正确率低、识别速度慢且受环境影响大的问题。
基于上述目的，本说明书一个或多个实施例提供了一种多标线的路面裂缝识别方法，包括：
获取实际路面图像；
获取标线模型和裂缝模型；其中，所述标线模型基于第一训练路面图像集训练得到，所述第一训练路面图像集关联有表示标线的第一标签；所述裂缝模型基于第二训练路面图像集训练得到，所述第二训练路面图像集集关联有表示裂缝的第二标签；
将所述实际路面图像输入所述标线模型，得到标线识别结果；
将所述实际路面图像输入所述裂缝模型，得到裂缝识别结果；
所述裂缝识别结果减去所述标线识别结果，得到实际路面裂缝最终识别结果。
可选的，还包括：对所述实际路面图像进行预处理操作；
所述预处理操作，包括：对所述实际路面图像进行图像填充和图像调整操作。
可选的，所述标线模型基于第一训练路面图像集训练得到，所述第一训练路面图像集关联有表示标线的第一标签；所述裂缝模型基于第二训练路面图像集训练得到，所述第二训练路面图像集集关联有表示裂缝的第二标签，所述训练进行若干轮，每一轮所述训练包括：
设置网络参数，将所述第一训练路面图像集正向输入所述标线模型，将所述第二训练路面图像集正向输入所述裂缝模型；
所述标线模型对所述第一训练路面图像集进行特征提取，得到标线预测结果，所述裂缝模型对所述第二训练路面图像集进行所述特征提取，得到裂缝预测结果；
利用损失函数计算所述标线预测结果与真实值之间的标线误差，以及所述裂缝预测结果与所述真实值之间的裂缝误差；
结合所述标线误差、裂缝误差、网络参数的梯度和优化方法对所述网络参数进行调整，将调整后的所述网络参数作为下一轮所述训练的所述网络参数。
可选的，所述特征提取，包括：
通过2×2最大池化对所述第一训练路面图像集和第二训练路面图像集进行下采样处理；
利用5×5卷积核和3×3卷积核，以及relu函数和sigmoid函数作为激活函数，对所述第一训练路面图像集和第二训练路面图像集进行所述特征提取。
可选的，所述损失函数的定义式为
其中，dice表示样本相似度，x表示由所述实际路面图像经过网络前馈形成的概率矩阵，y表示由所述第一训练路面图像集或第二训练路面图像集形成的标记矩阵，‖x‖1表示所述概率矩阵x的l1范数，‖y‖1表示所述标记矩阵y的l1范数，x*y表示所述概率矩阵x和标记矩阵y的哈达马积，∈为第一平滑因子。
可选的，所述优化方法的定义式为
mt＝β1·mt-1 (1-β1)·gt
vt＝β2·vt-1 (1-β2)·gt2
其中，l为所述损失函数，gt为所述损失函数l关于参数θ在第t轮的梯度，θt为参数θ在第t轮的取值，mt用于记录一阶矩，vt用于记录二阶矩，
可选的，所述裂缝识别结果减去所述标线识别结果，得到实际路面裂缝最终识别结果，包括：
所述标线模型识别所述实际路面图像，得到标线识别概率矩阵，对所述标线识别概率矩阵进行离散化，得到所述标线识别结果；
所述裂缝模型识别所述实际路面图像，得到裂缝标识概率矩阵，对所述裂缝识别概率矩阵进行所述离散化，得到所述裂缝识别结果；
所述裂缝识别结果减去所述标线识别结果，得到所述实际路面裂缝最终识别结果。
基于上述目的，本说明书一个或多个实施例还提供了一种多标线的路面裂缝识别装置，包括：
第一获取模块，被配置为获取实际路面图像；
第二获取模块，被配置为获取标线模型和裂缝模型；其中，所述标线模型基于第一训练路面图像集训练得到，所述第一训练路面图像集关联有表示标线的第一标签；所述裂缝模型基于第二训练路面图像集训练得到，所述第二训练路面图像集集关联有表示裂缝的第二标签；
第一识别模块，被配置为将所述实际路面图像输入所述标线模型，得到标线识别结果；
第二识别模块，被配置为将所述实际路面图像输入所述裂缝模型，得到裂缝识别结果；
结果输出模块，被配置为所述裂缝识别结果减去所述标线识别结果，得到实际路面裂缝最终识别结果。
基于上述目的，本说明书一个或多个实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述任意一种所述的方法。
基于上述目的，本说明书一个或多个实施例还提供了一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行任一所述方法。
从上面所述可以看出，本说明书一个或多个实施例提供的一种多标线的路面裂缝识别方法、装置、设备及存储介质，由于使用的卷积神经网络中含有大量的参数，使得识别方法具备了强大的抽象拟合能力，能够有效提升识别准确率，数据图像处理技术对路面图像进行的标线识别平均相似度只有60％左右，而本说明书一个或多个实施例提供的方法的平均相似度达到90％以上。本发明适用深度学习的方式进行图像识别实际上将大量计算过程前置，所以处理未知图像时可以减少很多计算量，具体地，未知图像只需要在网络中进行一次前项就可以得到自动标记的标线区域，其计算量相当于训练过程的一半，识别速度极快。相比于现有技术中的单一模型识别裂缝，本发明通过裂缝模型和标线模型的叠加，以及深度学习方法进行有效的标线识别和裂缝识别，从而去除标线的影响，受环境影响小，进而提升裂缝的识别效果。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书一个或多个实施例中路面裂缝识别方法流程图；
图2为本说明书一个或多个实施例中深度学习网络结构图；
图3为本说明书一个或多个实施例中叠加模型识别方案图；
图4为本说明书一个或多个实施例中裂缝识别效果图；
图5为本说明书一个或多个实施例中标线识别效果图；
图6为本说明书一个或多个实施例中路面裂缝识别装置示意图；
图7为本说明书一个或多个实施例中一种电子设备的结构图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
本说明书一个或多个实施例提供了一种多标线的路面裂缝识别方法、装置、设备及存储介质。
参考图1，本发明实施例的方法，包括以下步骤：
s101获取实际路面图像。
本步骤中，需要从实际路面中通过图像采集，获取实际路面图像。在实际应用中，本发明用于实际路面养护工作中对含有多条标线的路面上的裂缝进行检测和识别，作为一个可选的实施例，通过图像采集装置，例如相机或路面探头进行图像的采集，采集实际路面图像，在本地利用本发明提供的方法进行路面裂缝识别，快速处理路面裂缝的识别，或者通过服务器进行远程路面裂缝识别，更精确的处理路面裂缝的识别。
本实施例中，在获取实际路面图像信息后，对实际路面图像进行预处理操作，预处理操作包括：对实际路面图像进行图像填充和图像调整操作，与处理后得到灰度图，使得输入标线模型和裂缝模型的图像具有一致性。
s102获取标线模型和裂缝模型；其中，所述标线模型基于第一训练路面图像集训练得到，所述第一训练路面图像集关联有表示标线的第一标签；所述裂缝模型基于第二训练路面图像集训练得到，所述第二训练实际路面图像集关联有表示裂缝的第二标签。
本步骤中，通过搭建卷积神经网络，搭建卷积层和池化层，从而构建标线模型和裂缝模型。标线模型需要对第一训练路面图像集进行特征提取，第一训练路面图像集关联有表示标线的第一标签，并将输入的第一训练路面图像集转化成对应的训练标线预测概率矩阵，从而输出标线预测结果；裂缝模型需要对第二训练路面图像集进行特征提取，第二训练实际路面图像集关联有表示裂缝的第二标签，并将输入的第二训练路面图像集转化成对应的训练裂缝预测概率矩阵，从而输出裂缝预测结果。本实施例中利用第一训练路面图像集训练标线模型一共进行100轮，利用第二训练路面图像集训练裂缝模型一共进行100轮，每一轮训练的具体步骤包括：
设置网络参数，将所述第一训练路面图像集正向输入所述标线模型，将所述第二训练路面图像集正向输入所述裂缝模型；
所述标线模型对所述第一训练路面图像集进行特征提取，得到标线预测结果，所述裂缝模型对所述第二训练路面图像集进行所述特征提取，得到裂缝预测结果；
利用损失函数计算所述标线预测结果与真实值之间的标线误差，以及所述裂缝预测结果与所述真实值之间的裂缝误差；
结合所述标线误差、裂缝误差、网络参数的梯度和优化方法对所述网络参数进行调整，将调整后的所述网络参数作为下一轮所述训练的所述网络参数。
本实施例中，网络参数为batchsize和学习率等模型参数，batchsize取值为32，学习率取值为0.001，本发明采用的卷积神经网络中包括卷积层和池化层，参考图2，以标线模型对第一训练路面图像集进行特征提取为例，最开始通过5×5的卷积核进行特征的提取，然后采用3×3的卷积核，目的是为了获取更大的感受野，更好的进行特征提取；池化层通过最大池化进行下采样，可以保留主要的特征并且减少参数和计算量；采用relu函数和sigmoid函数作为激活函数，进行特征提取，最终输出识别概率矩阵。relu函数在正向传播时计算速度快，反向传播时不存在梯度消失的问题，使得神经网络模型的收敛维持在一个稳定的状态，sigmoid函数的值域为(0,1)符合实际操作中的需求，而且sigmoid函数具有非常好的对称性，所以本实施例中选用的激活函数为relu函数和sigmoid函数。本实施例中采用relu函数和5×5的卷积核组合，relu函数和3×3的卷积核组合，最大池化采用maxpool2×2，sigmoid函数和1×1的卷积核组合进行特征提取，获取的实际路面图像采用3400×2200，在输入卷积神经网络时采用1088×704的灰度图，最终输出的预测结果为值域(0,1)的34×22的概率矩阵。
本实施例中，选用的损失函数的定义式为
其中，dice表示样本相似度，x表示由所述实际路面图像经过网络前馈形成的概率矩阵，y表示由所述第一训练路面图像集或第二训练路面图像集形成的标记矩阵，‖x‖1表示所述概率矩阵x的l1范数，‖y‖1表示所述标记矩阵y的l1范数，x*y表示所述概率矩阵x和标记矩阵y的哈达马积，∈为第一平滑因子，本实施例中取值为10-3。训练时使用的优化方法为adam优化法，同时记录了损失函数的一阶矩和二阶矩，是一种自适应的网络优化方式，adam优化法定义式为
mt＝β1·mt-1 (1-β1)·gt
vt＝β2·vt-1 (1-β2)·gt2
其中，gt为损失函数l关于参数θ在第t轮的梯度，l为所述损失函数，θt为θ在第t轮的取值，mt用于记录一阶矩，vt用于记录二阶矩，
本实施例中，第一训练路面图像集和第二训练路面图像集都预先标记有真实值，在训练过程中通过使用损失函数计算当前轮次的标线预测结果与当前轮次真实值之间的标线误差，以及当前轮次的裂缝预测结果与当前轮次真实值之间的裂缝误差，观察训练结果的优化。通过反向传播，结合标线误差、裂缝误差、网络各层参数的梯度和adam优化方法，计算得到当前轮次设置的网络参数需要进行的调整的大小，将调整后的网络参数作为一下轮训练中设置的网络参数。
作为一个可选的实施例，在得到标线模型和裂缝模型后，需用利用测试实际路面图像对标线模型和裂缝模型进行测试，测试实际路面图像为不做标线标签和裂缝标签的实际路面图像，对于标线模型的测试和裂缝模型的测试是分开进行的，本实施例中，测试标线模型的步骤具体包括：
将经过预处理的测试实际路面图像的灰度图正向输入标线模型，标线模型对预处理后的测试实际路面图像的灰度图进行特征提取；
标线模型进行前向传播，得到每张测试实际路面图像的测试标线预测结果，即测试标线预测概率矩阵；
通过图像识别的评价方法对当前参数下标线模型的识别效果进行评估，优化参数得到识别效果最好的标线模型。
本实施例中，测试裂缝模型的步骤具体包括：
将经过预处理的测试实际路面图像的灰度图正向输入裂缝模型，裂缝模型对预处理后的测试实际路面图像的灰度图进行特征提取；
裂缝模型进行前向传播，得到每张测试实际路面图像的测试裂缝预测结果，即测试裂缝预测概率矩阵；
通过图像识别的评价方法对当前参数下裂缝模型的识别效果进行评估，优化参数得到识别效果最好的裂缝模型。
本实施例中使用的图像识别的评价方法的指标包括：样本相似度、精确率和召回率，得到样本相似度、精确率和召回率三项最优的标线模型；得到样本相似度、精确率和召回率三项最优的裂缝模型。
s103将所述实际路面图像输入所述标线模型，得到标线识别结果。
本步骤中，标线识别的具体步骤包括：
将经过预处理的实际路面图像的灰度图正向输入标线模型，标线模型对预处理后的实际路面图像的灰度图进行特征提取；
标线模型进行前向传播，得到实际路面图像的标线识别概率矩阵，对标线识别概率矩阵进行离散化，得到标线识别结果。
s104将所述实际路面图像输入所述裂缝模型，得到裂缝识别结果。
本步骤中，裂缝识别的具体步骤包括：
将经过预处理的实际路面图像的灰度图正向输入裂缝模型，裂缝模型对预处理后的实际路面图像的灰度图进行特征提取；
裂缝模型进行前向传播，得到实际路面图像的裂缝识别概率矩阵，对裂缝识别概率矩阵进行离散化，得到裂缝识别结果。
s105所述裂缝识别结果减去所述标线识别结果，得到实际路面裂缝最终识别结果。
本步骤中，在实际工程应用中，只使用标线模型和裂缝模型的前向传播过程，参考图3，设定阈值为0.5，根据上述步骤得到的标线识别结果和裂缝识别结果，用裂缝识别结果减去标线识别结果，得到实际路面裂缝最终识别结果，通过比较最终识别结果与设定阈值的大小关系，判断实际路面图像中是否存在裂缝，如果最终识别结果的值大于设定阈值，则实际路面图像中有裂缝；如果最终识别结果的值小于设定阈值，则实际路面图像中没有裂缝。
参考图4和图5，图中为实际工程应用中的实际识别结果，裂缝模型识别出实际路面图像中的裂缝，标线模型识别出实际路面图像中的标线，由于得到的最终识别结果是经过离散化处理后得到的是值域(0,1)的概率矩阵，所以如果最终识别结果的值大于设定阈值0.5时，则证明实际路面图像对应的路面含有裂缝；如果最终识别结果的值小于设定阈值0.5时，则证明实际路面图像对应的路面没有裂缝。
本实施例中，本发明提供的路面裂缝识别方法在终端间进行迁移学习的过程中，需要再新终端上搭建预处理装置和深度学习装置的环境支持，而在其他数据集中进行迁移学习时，只需要迁移预处理装置和卷积神经网络的模型部分，并自行编写训练和测试环节的原始图像读取部分。
从上面所述可以看出，本说明书一个或多个实施例提供的一种多标线的路面裂缝识别方法、装置、设备及存储介质，由于使用的卷积神经网络中含有大量的参数，使得识别方法具备了强大的抽象拟合能力，能够有效提升识别准确率，数据图像处理技术对路面图像进行的标线识别平均相似度只有60％左右，而本说明书一个或多个实施例提供的方法的平均相似度达到90％以上。本发明适用深度学习的方式进行图像识别实际上将大量计算过程前置，所以处理未知图像时可以减少很多计算量，具体地，未知图像只需要在网络中进行一次前项就可以得到自动标记的标线区域，其计算量相当于训练过程的一半，经过测试验证，使用现有技术中的基于灰度图的模式识别方法对路面原始图像进行标线识别，识别速度仅有1-6张每秒，而本发明提供的方法，识别速度可达到50-200张每秒，识别速度极快。相比于现有技术中的单一模型识别裂缝，本发明通过裂缝模型和标线模型的叠加，以及深度学习方法进行有效的标线识别和裂缝识别，从而去除标线的影响，受环境影响小进而提升裂缝的识别效果。由于现实中的裂缝具有多样性，作为一个可选的实施例，也可以通过训练多个不同的裂缝模型，进行模型的训练叠加，从而整体上提高裂缝的识别效果。
基于同一发明构思，本发明一个或多个实施例还提供了一种多标线的路面裂缝识别装置，包括第一获取模块、第二获取模块、第一识别模块、第二识别模块和结果输出模块。
参考图6，本装置中包括：
第一获取模块，被配置为获取实际路面图像；
第二获取模块，被配置为获取标线模型和裂缝模型；其中，所述标线模型基于第一训练路面图像集训练得到，所述第一训练路面图像集关联有表示标线的第一标签；所述裂缝模型基于第二训练路面图像集训练得到，所述第二训练实际路面图像集关联有表示裂缝的第二标签；
第一识别模块，被配置为将所述实际路面图像输入所述标线模型，得到标线识别结果；
第二识别模块，被配置为将所述实际路面图像输入所述裂缝模型，得到裂缝识别结果；
结果输出模块，被配置为所述裂缝识别结果减去所述标线识别结果，得到实际路面裂缝最终识别结果。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，本发明一个或多个实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
图7示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器701、存储器702、输入/输出接口703、通信接口704和总线705。其中处理器701、存储器702、输入/输出接口703和通信接口704通过总线705实现彼此之间在设备内部的通信连接。
处理器701可以采用通用的cpu(centralprocessingunit，中央处理器)、微处理器、应用专用集成电路(applicationspecificintegratedcircuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器702可以采用rom(readonlymemory，只读存储器)、ram(randomaccessmemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器702可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器702中，并由处理器701来调用执行。
输入/输出接口703用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口704用于连接通信模块，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信。
总线705包括一通路，在设备的各个组件(例如处理器701、存储器702、输入/输出接口703和通信接口704)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器701、存储器702、输入/输出接口703、通信接口704以及总线705，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本说明书一个或多个实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(ic)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本说明书一个或多个实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态ram(dram))可以使用所讨论的实施例。
本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。
1.一种多标线的路面裂缝识别方法，其特征在于，包括：
获取实际路面图像；
获取标线模型和裂缝模型；其中，所述标线模型基于第一训练路面图像集训练得到，所述第一训练路面图像集关联有表示标线的第一标签；所述裂缝模型基于第二训练路面图像集训练得到，所述第二训练路面图像集关联有表示裂缝的第二标签；
将所述实际路面图像输入所述标线模型，得到标线识别结果；
将所述实际路面图像输入所述裂缝模型，得到裂缝识别结果；
所述裂缝识别结果减去所述标线识别结果，得到实际路面裂缝最终识别结果。
2.根据权利要求1所述的方法，其特征在于，还包括：对所述实际路面图像进行预处理操作；
所述预处理操作，包括：对所述实际路面图像进行图像填充和图像调整操作。
3.根据权利要求1所述的方法，其特征在于，所述标线模型基于第一训练路面图像集训练得到，所述第一训练路面图像集关联有表示标线的第一标签；所述裂缝模型基于第二训练路面图像集训练得到，所述第二训练路面图像集关联有表示裂缝的第二标签，所述训练进行若干轮，每一轮所述训练包括：
设置网络参数，将所述第一训练路面图像集正向输入所述标线模型，将所述第二训练路面图像集正向输入所述裂缝模型；
所述标线模型对所述第一训练路面图像集进行特征提取，得到标线预测结果，所述裂缝模型对所述第二训练路面图像集进行所述特征提取，得到裂缝预测结果；
利用损失函数计算所述标线预测结果与真实值之间的标线误差，以及所述裂缝预测结果与所述真实值之间的裂缝误差；
结合所述标线误差、裂缝误差、网络参数的梯度和优化方法对所述网络参数进行调整，将调整后的所述网络参数作为下一轮所述训练的所述网络参数。
4.根据权利要求3所述的方法，其特征在于，所述特征提取，包括：
通过2×2最大池化对所述第一训练路面图像集和第二训练路面图像集进行下采样处理；
利用5×5卷积核和3×3卷积核，以及relu函数和sigmoid函数作为激活函数，对所述第一训练路面图像集和第二训练路面图像集进行所述特征提取。
5.根据权利要求3所述的方法，其特征在于，所述损失函数的定义式为
其中，dice表示样本相似度，x表示由所述实际路面图像经过网络前馈形成的概率矩阵，y表示由所述第一训练路面图像集或第二训练路面图像集形成的标记矩阵，‖x‖1表示所述概率矩阵x的l1范数，‖y‖1表示所述标记矩阵y的l1范数，x*y表示所述概率矩阵x和标记矩阵y的哈达马积，∈为第一平滑因子。
6.根据权利要求3所述的方法，其特征在于，所述优化方法的定义式为
mt＝β1·mt-1 (1-β1)·gt
vt＝β2·vt-1 (1-β2)·gt2
其中，l为所述损失函数，gt为所述损失函数l关于参数θ在第t轮的梯度，θt为参数θ在第t轮的取值，mt用于记录一阶矩，vt用于记录二阶矩，
7.根据权利要求1所述的方法，其特征在于，所述裂缝识别结果减去所述标线识别结果，得到实际路面裂缝最终识别结果，包括：
所述标线模型识别所述实际路面图像，得到标线识别概率矩阵，对所述标线识别概率矩阵进行离散化，得到所述标线识别结果；
所述裂缝模型识别所述实际路面图像，得到裂缝标识概率矩阵，对所述裂缝识别概率矩阵进行所述离散化，得到所述裂缝识别结果；
所述裂缝识别结果减去所述标线识别结果，得到所述实际路面裂缝最终识别结果。
8.一种多标线的路面裂缝识别装置，其特征在于，包括：
第一获取模块，被配置为获取实际路面图像；
第二获取模块，被配置为获取标线模型和裂缝模型；其中，所述标线模型基于第一训练路面图像集训练得到，所述第一训练路面图像集关联有表示标线的第一标签；所述裂缝模型基于第二训练路面图像集训练得到，所述第二训练路面图像集集关联有表示裂缝的第二标签；
第一识别模块，被配置为将所述实际路面图像输入所述标线模型，得到标线识别结果；
第二识别模块，被配置为将所述实际路面图像输入所述裂缝模型，得到裂缝识别结果；
结果输出模块，被配置为所述裂缝识别结果减去所述标线识别结果，得到实际路面裂缝最终识别结果。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1至7任一所述方法。
技术总结