本发明涉及交通驾驶技术领域，具体涉及一种路标识别方法、系统、终端及存储介质。
背景技术：
道路交通标示中具有丰富的道路交通相关的信息，能够时刻为驾驶员提供提醒、指示等辅助驾驶作用，同时在一定程度上减小着驾驶员的驾驶压力和道路的交通疏导压力，一定程度上减少了交通事故的发生几率。然而，单纯依靠驾驶员不停地一边驾驶一边观察各类交通标识并作出正确反映，会很大程度上增加驾驶员的观察判断压力，加速驾驶疲劳。因此更加自动化和智能化地识别道路交通标识图像越来越受到汽车驾驶方面研究的青睐，同时该领域的研究也是自动无人驾驶发展的一个重要技术。
技术实现要素：
针对现有技术的上述不足，本发明提供一种路标识别方法、系统及装置，以解决上述技术问题。
第一方面，本发明提供一种路标识别方法，包括：
采集路标在不同环境下的图片，将图片存储至数据集；
利用所述数据集创建卷积神经网络模型；
利用所述卷积神经网络模型提取数据集内的路标图片的特征向量，将提取的特征向量存储至特征向量集合；
利用特征向量集合训练极速学习机模型；
将所述卷积神经网络模型和所述极速学习机模型作为组合模型对待识别路标图片进行识别。
进一步的，在所述将图片存储至数据集之前，所述方法还包括：
将所述图片的大小设置为64*64；
根据所述图片所述路标类别对所述图片进行标记；
将具有相同标记的图片划分至同一标记组；
将所述图片转化为python中的numpy类型。
进一步的，所述利用数据集创建卷积神经网络模型，包括：
设置所述卷积神经网络模型的卷积和池化层的数量为三个；
设置所述卷积神经网络模型的卷积核大小为5*5；
设置所述卷积神经网络模型的池化方法为最大池化方法，并设置两个全连接层；
设置所述卷积神经网络模型的各层激活函数为relu函数；
设置所述卷积神经网络模型的输出层为softmax函数。
进一步的，所述方法还包括：
获取导航系统的接口调用授权；
调用导航系统的数据接口；
通过所述数据接口将路标识别图片识别结果导入所述导航系统。
进一步的，所述方法还包括：
通过双目立体相机采集的路标图片计算路标距离车辆的距离；
将路标识别结果和所述距离利用语音提示器转化为声音提示信息输出。
第二方面，本发明提供一种路标识别系统，包括：
数据准备单元，配置用于采集路标在不同环境下的图片，将图片存储至数据集；
第一创建单元，配置用于利用所述数据集创建卷积神经网络模型；
特征提取单元，配置用于利用所述卷积神经网络模型提取数据集内的路标图片的特征向量，将提取的特征向量存储至特征向量集合；
第二创建单元，配置用于利用特征向量集合训练极速学习机模型；
识别应用单元，配置用于将所述卷积神经网络模型和所述极速学习机模型作为组合模型对待识别路标图片进行识别。
进一步的，所述系统还包括：
授权获取单元，配置用于获取导航系统的接口调用授权；
接口调用单元，配置用于调用导航系统的数据接口；
结果导入单元，配置用于通过所述数据接口将路标识别图片识别结果导入所述导航系统。
进一步的，所述系统还包括：
距离计算单元，配置用于通过双目立体相机采集的路标图片计算路标距离车辆的距离；
语音播报单元，配置用于将路标识别结果和所述距离利用语音提示器转化为声音提示信息输出。
第三方面，本发明提供一种路标识别装置，包括：
图像采集器、处理器和语音提示器，所述图像采集装置设置在汽车车身上，且所述图像采集装置的视野方向与汽车驾驶视野方向一致；所述语音提升器设置在汽车驾驶表盘基座上；所述图像采集器与所述语音提示器均与所述处理器电连接；所述图像采集器为双目立体相机；所述处理器执行第一方面提供的方法。
进一步的，所述装置还包括导航终端，所述导航终端与所述处理器无线通信连接。
本发明的有益效果在于，
本发明提供的路标识别方法、系统、终端及存储介质，首先搭建卷积神经网络cnn，然后选择较多数量的不同气候条件下、不同光照和角度下拍摄到的各类交通标示图像，经过处理后送入cnn中进行训练，保存训练好的模型，然后把图片再次送入cnn网络中得到特征向量，对于提取出来的特征选择另外一种极限学习机elm的机器学习方法进行分类模型的训练，最终得到一个交通标示识别模型，将待识别路标图片输入该识别模型即可得到路标识别结果。本发明能够对各种视野环境下的路标进行准确识别，并语音播报识别结果，提高了驾驶安全性，同时也为无人驾驶提供了技术支撑。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的方法的示意性流程图。
图2是本发明一个实施例的系统的示意性框图。
图3为本发明实施例提供的一种装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
下面对本发明中出现的关键术语进行解释。
cnn模型，卷积神经网络(convolutionalneuralnetworks，以下简称cnn)是最为成功的dnn特例之一，广泛的应用于图像识别。
elm模型，极限学习机(extremelearningmachine,elm)是一种新型的快速学习算法，对于单隐层神经网络，elm可以随机初始化输入权重和偏置并得到相应的输出权重。
图1是本发明一个实施例的方法的示意性流程图。其中，图1执行主体可以为一种路标识别系统。
如图1所示，该方法100包括：
步骤110，采集路标在不同环境下的图片，将图片存储至数据集；
步骤120，利用所述数据集创建卷积神经网络模型；
步骤130，利用所述卷积神经网络模型提取数据集内的路标图片的特征向量，将提取的特征向量存储至特征向量集合；
步骤140，利用特征向量集合训练极速学习机模型；
步骤150，将所述卷积神经网络模型和所述极速学习机模型作为组合模型对待识别路标图片进行识别。
为了便于对本发明的理解，下面以本发明路标识别方法的原理，结合实施例中对路标进行识别的过程，对本发明提供的路标识别方法做进一步的描述。
具体的，所述路标识别方法包括：
s1、采集路标在不同环境下的图片，将图片存储至数据集。
本发明的数据集主要有6大类的交通标示类型的图像，类型分别是：限速标示、指示标示、警告标示、禁令标示、解除禁令标识、其他标识。为了排除气候、拍摄角度等方面的影响，使得识别模型具有更好的鲁棒性和稳定性，这里共收集到50000张图像数据，数据包含不同气候条件拍摄的、不同角度、不同光照条件下、不同分辨率大小、不同大小的各类交通标示图像。
为了更高效更方便地训练模型和预测，本发明将所有道路交通标示图像全部处理成64*64大小的图像，同时使用1-6分别代表各类交通标示的类型标签，制作对应的标签集和图像放在一块。将处理好的图像数据转化为python中的numpy类型进行保存，供后续的模型训练和测试。
s2、利用所述数据集创建卷积神经网络模型。
cnn(卷积神经网络模型)是一种当前非常流行的神经网络，由多个卷积层和池化层相互交叠组成，每一层包含相互独立的神经元，在图像处理领域的应用非常广泛。在本发明中，使用的就是cnn网络，在输入层输入的就是经过预处理的交通标志图像，大小是64*64。本实施例的网络结构中有三个卷积和池化层，卷积核大小选择5*5大小的，池化方法选择最大池化方法，随后是两个全连接层h_fc1和h_fc2。网络中各层使用的激活函数是relu函数，同时为了防止过拟合，本发明中在cnn网络中加入了dropout技巧，本网络输出层选择使用softmax函数进行处理，同时选择的损失函数是多分类中常用的交叉熵，选择adam优化器进行优化。训练cnn模型时，通过不断将经过预处理的图像送入网络中，使得函数损失值越来越小，精度越来越高，直到精度稳定到一个固定范围不再变化时，停止训练，就得到训练好的cnn模型。cnn模型的具体训练过程为现有技术，并非本发明的保护内容，因此不作详细介绍。
s3、利用所述卷积神经网络模型提取数据集内的路标图片的特征向量，将提取的特征向量存储至特征向量集合。
本实施例将cnn网络模型中第一个全连接层h_fc1输出的256维的特征向量进行保存，这个向量就是cnn模型从图像中提取出来的更加全面深层次的特征向量。然后将使用这些多维特征向量作为后期elm模型的训练数据。本实施例中利用步骤s3训练的cnn网络模型将步骤s1的数据集中的所有数据转化为特征向量，得到一个特征向量集合。
s4、利用特征向量集合训练极速学习机模型。
极速学习机模型可以表示为，假设有n个任意样本(xi,ti)，其中xi＝[xi1,xi2,…,xin]t∈rn，ti＝[ti1,ti2,…,tim]t∈rm：
其中，g(x)为激活函数，wi为输入权重，βi为输出权重，bi是第i个隐层单元的偏置。wi·xj表示wi和xj的内积。
单隐层神经网络学习的目标是使得输出的误差最小，可以表示为
根据(1)和(2)可以得到：
hβ＝t(3)
其中h是隐层节点的输出矩阵，β为输出权重，t为期望输出。利用特征向量集合对(3)进行求解，从而得到需要的极速学习机模型，具体求解过程为现有技术，不再详细介绍。
s5、将所述卷积神经网络模型和所述极速学习机模型作为组合模型对待识别路标图片进行识别。
选取待识别的交通标示图像进行预处理，将图像送入到前期训练好的cnn模型中，由cnn不断进行卷积、池化等操作，最后将网络中第一个全连接输出的多维特征向量作为elm模型的一个输入样本，使用elm模型进行分类识别，最终精确判断交通标示的类型。
s6、与导航终端建立通信连接，获取导航系统的接口调用授权，调用导航系统的数据接口，通过所述数据接口将路标识别图片识别结果导入所述导航系统。导航终端为手机或车载导航，导航系统为导航软件，如高德地图。将路标识别结果导入导航系统后，由导航系统进行信息汇总并语音播报。
在本发明的其他实施方式中，也可以直接通过双目立体相机采集的路标图片计算路标距离车辆的距离，将路标识别结果和所述距离利用语音提示器转化为声音提示信息输出。
如图2示，该系统200包括：
数据准备单元210，配置用于采集路标在不同环境下的图片，将图片存储至数据集；
第一创建单元220，配置用于利用所述数据集创建卷积神经网络模型；
特征提取单元230，配置用于利用所述卷积神经网络模型提取数据集内的路标图片的特征向量，将提取的特征向量存储至特征向量集合；
第二创建单元240，配置用于利用特征向量集合训练极速学习机模型；
识别应用单元250，配置用于将所述卷积神经网络模型和所述极速学习机模型作为组合模型对待识别路标图片进行识别。
可选地，作为本发明一个实施例，所述系统还包括：
授权获取单元，配置用于获取导航系统的接口调用授权；
接口调用单元，配置用于调用导航系统的数据接口；
结果导入单元，配置用于通过所述数据接口将路标识别图片识别结果导入所述导航系统。
可选地，作为本发明一个实施例，所述系统还包括：
距离计算单元，配置用于通过双目立体相机采集的路标图片计算路标距离车辆的距离；
语音播报单元，配置用于将路标识别结果和所述距离利用语音提示器转化为声音提示信息输出。
如图3所示，本实施例提供一种路标识别装置，包括：
图像采集器、处理器和语音提示器，所述图像采集装置设置在汽车车身上，且所述图像采集装置的视野方向与汽车驾驶视野方向一致；所述语音提升器设置在汽车驾驶表盘基座上；所述图像采集器与所述语音提示器均与所述处理器电连接；所述图像采集器为双目立体相机。
可选地，作为本发明一个实施例，所述装置还包括导航终端，所述导航终端与所述处理器无线通信连接。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
1.一种路标识别方法，其特征在于，包括：
采集路标在不同环境下的图片，将图片存储至数据集；
利用所述数据集创建卷积神经网络模型；
利用所述卷积神经网络模型提取数据集内的路标图片的特征向量，将提取的特征向量存储至特征向量集合；
利用特征向量集合训练极速学习机模型；
将所述卷积神经网络模型和所述极速学习机模型作为组合模型对待识别路标图片进行识别。
2.根据权利要求1所述的方法，其特征在于，在所述将图片存储至数据集之前，所述方法还包括：
将所述图片的大小设置为64*64；
根据所述图片所述路标类别对所述图片进行标记；
将具有相同标记的图片划分至同一标记组；
将所述图片转化为python中的numpy类型。
3.根据权利要求1所述的方法，其特征在于，所述利用数据集创建卷积神经网络模型，包括：
设置所述卷积神经网络模型的卷积和池化层的数量为三个；
设置所述卷积神经网络模型的卷积核大小为5*5；
设置所述卷积神经网络模型的池化方法为最大池化方法，并设置两个全连接层；
设置所述卷积神经网络模型的各层激活函数为relu函数；
设置所述卷积神经网络模型的输出层为softmax函数。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取导航系统的接口调用授权；
调用导航系统的数据接口；
通过所述数据接口将路标识别图片识别结果导入所述导航系统。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过双目立体相机采集的路标图片计算路标距离车辆的距离；
将路标识别结果和所述距离利用语音提示器转化为声音提示信息输出。
6.一种路标识别系统，其特征在于，包括：
数据准备单元，配置用于采集路标在不同环境下的图片，将图片存储至数据集；
第一创建单元，配置用于利用所述数据集创建卷积神经网络模型；
特征提取单元，配置用于利用所述卷积神经网络模型提取数据集内的路标图片的特征向量，将提取的特征向量存储至特征向量集合；
第二创建单元，配置用于利用特征向量集合训练极速学习机模型；
识别应用单元，配置用于将所述卷积神经网络模型和所述极速学习机模型作为组合模型对待识别路标图片进行识别。
7.根据权利要求6所述的系统，其特征在于，所述系统还包括：
授权获取单元，配置用于获取导航系统的接口调用授权；
接口调用单元，配置用于调用导航系统的数据接口；
结果导入单元，配置用于通过所述数据接口将路标识别图片识别结果导入所述导航系统。
8.根据权利要求6所述的系统，其特征在于，所述系统还包括：
距离计算单元，配置用于通过双目立体相机采集的路标图片计算路标距离车辆的距离；
语音播报单元，配置用于将路标识别结果和所述距离利用语音提示器转化为声音提示信息输出。
9.一种路标识别装置，其特征在于，包括：
图像采集器、处理器和语音提示器，所述图像采集装置设置在汽车车身上，且所述图像采集装置的视野方向与汽车驾驶视野方向一致；所述语音提升器设置在汽车驾驶表盘基座上；所述图像采集器与所述语音提示器均与所述处理器电连接；所述图像采集器为双目立体相机；所示处理器执行权利要求1-5任一项所述的方法。
10.根据权利要求1所述的装置，其特征在于，所述装置还包括导航终端，所述导航终端与所述处理器无线通信连接。
技术总结