本发明涉及图像处理技术，尤其涉及室外道路场景语义分割方法、装置、电子设备及存储介质。
背景技术：
目前实时语义分割网络，一般采用轻量级的分类骨干网络对rgb提取特征，之后再采用fcn，unet等网络结构进行语义分割。室外主要分割：路面，人，摩托车，自行车，小车，货车，巴士，房子，天空，植被等。实时语义分割网络普遍存在着以下问题：由于不同场景(地面纹理各种各样)，光照差异，天气等因素引起很多误分割、空洞等问题。
技术实现要素：
为了克服现有技术的不足，本发明的目的之一在于提供室外道路场景语义分割方法，其能解决现有技术的语义分割网络存在误分割、空洞等问题。
本发明的目的之二在于提供室外道路场景语义分割装置，其能解决现有技术的语义分割网络存在误分割、空洞等问题。
本发明的目的之三在于提供电子设备，其能解决现有技术的语义分割网络存在误分割、空洞等问题。
本发明的目的之四在于提供存储介质，其能解决现有技术的语义分割网络存在误分割、空洞等问题。
本发明的目的之一采用以下技术方案实现：
室外道路场景语义分割方法，包括如下步骤：
采集rgb图像信息以及深度信息，以获取rgb图像以及深度图像；
创建卷积网络架构以及反卷积网络架构；
将当前的rgb图像以及深度图像输入至卷积网络架构中分别逐层提取特征点，并将每一层的rgb图像的特征点与深度图像的特征点融合后作为融合特征点，输出至反卷积网络架构中；
反卷积网络架构将每一层的融合特征点反向运算，并进行优化处理后输出语义分割图像。
优选的，所述优化处理的具体方式为在反卷积网络架构将每一层的融合特征点反向运算后，输出至crf随机场网络层对图像边缘进行精细分割，之后输出语义分割图像。
优选的，所述卷积网络架构以及反卷积网络架构均为五层。
优选的，将当前的rgb图像以及深度图像输入至卷积网络架构之前将所述rgb图像以及深度图像进行归一化处理。
本发明的目的之二采用以下技术方案实现：
室外道路场景语义分割装置，包括，
采集单元：配置于采集rgb图像信息以及深度信息，以获取rgb图像以及深度图像；
创建单元：配置于创建卷积网络架构以及反卷积网络架构；
运算单元：配置于将当前的rgb图像以及深度图像输入至卷积网络架构中分别逐层提取特征点，并将每一层的rgb图像的特征点与深度图像的特征点融合后作为融合特征点，输出至反卷积网络架构中；
输出单元：配置于反卷积网络架构将每一层的融合特征点反向运算，并进行优化处理后输出语义分割图像。
优选的，所述优化处理的具体方式为在反卷积网络架构将每一层的融合特征点反向运算后，输出至crf随机场网络层对图像边缘进行精细分割，之后输出语义分割图像。
本发明的目的之三采用以下技术方案实现：
一种电子设备，其上设有存储器、处理器以及存储在存储器中并可被处理器执行的计算机可读程序，所述计算机可读程序被处理器执行时，实现如下步骤：
采集rgb图像信息以及深度信息，以获取rgb图像以及深度图像；
创建卷积网络架构以及反卷积网络架构；
将当前的rgb图像以及深度图像输入至卷积网络架构中分别逐层提取特征点，并将每一层的rgb图像的特征点与深度图像的特征点融合后作为融合特征点，输出至反卷积网络架构中；
反卷积网络架构将每一层的融合特征点反向运算，并进行优化处理后输出语义分割图像。
优选的，所述优化处理的具体方式为在反卷积网络架构将每一层的融合特征点反向运算后，输出至crf随机场网络层对图像边缘进行精细分割，之后输出语义分割图像。
本发明的目的之四采用以下技术方案实现：
一种存储介质，其上存储有可被处理器执行的计算机可读程序，所述计算机可读程序被处理器执行时，实现如下步骤：
采集rgb图像信息以及深度信息，以获取rgb图像以及深度图像；
创建卷积网络架构以及反卷积网络架构；
将当前的rgb图像以及深度图像输入至卷积网络架构中分别逐层提取特征点，并将每一层的rgb图像的特征点与深度图像的特征点融合后作为融合特征点，输出至反卷积网络架构中；
反卷积网络架构将每一层的融合特征点反向运算，并进行优化处理后输出语义分割图像。
优选的，所述优化处理的具体方式为在反卷积网络架构将每一层的融合特征点反向运算后，输出至crf随机场网络层对图像边缘进行精细分割，之后输出语义分割图像。
相比现有技术，本发明的有益效果在于：
本发明通过不同层多维度融合特征进行分割，很好地解决道路分割时由于场景，光照，天气等因素引起的误分割、空洞等问题；最后通过对分割图作后端优化，使得边缘分割精确。
附图说明
图1为本发明的室外道路场景语义分割方法的流程图；
图2为本发明的网络整体框架图；
图3为本发明的卷积网络架构和反卷积网络架构图；
图4为本发明的卷积网络结构的层结构图；
图5为本发明的反卷积网络结构的层结构图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述：
如图1所示，本发明提供室外道路场景语义分割方法，包括如下步骤：
s1：采集rgb图像信息以及深度信息，以获取rgb图像以及深度图像。
本步骤中，通过在本地nvidiatx2平台上，通过rgbd摄像头获取场景的rgb图像以及深度图像；算法在本地ai芯片上直接运算，最大化减小系统延时。
对于rgb图像和深度图像分别先进行归一化后，分别输入sxnet骨干网络进行编码。
本发明没采用采用分类/检测模型常用的骨干网络，如vgg16，mobilenet，incpetionnet，resnet58等，而是采用针对语义分割场景定制优化的轻量级sxnet网络，最大特点是先通过一级的inceptionlayer_1层再级联多层轻量化的卷积网络架构；在底层尽量提取各维度的特征，有利于提高边缘分割的精度；多级卷积网络架构增加网络感受，有利于减少物体内部分割的误差，同时对网络进行轻量化，使得网络能在ai芯片上可以实时分割。
s2：创建卷积网络架构以及反卷积网络架构；
s3：将当前的rgb图像以及深度图像输入至卷积网络架构中分别逐层提取特征点，并将每一层的rgb图像的特征点与深度图像的特征点融合后作为融合特征点，输出至反卷积网络架构中；
在本步骤之前，将所述rgb图像以及深度图像进行归一化处理。之后输入值sxnet网络进行编码以提取特征点。编码阶段也就是输出语义分割图像的阶段。
s4：反卷积网络架构将每一层的融合特征点反向运算，并进行优化处理后输出语义分割图像。
在本发明中，所述卷积网络架构以及反卷积网络架构均为五层。反卷积网络架构将每一层的融合特征点反向运算后再进行优化并输出语义分割图像。
具体的，下面结合图2至图5对本发明如何输出语义分割图像的过程进行说明。
将当前的rgb图像以及深度图像输入至5x5卷积网络架构提取第一层低层语义特征，其卷积的步长为2，把输出图像下采样，缩小一倍，通过归一化操作进行归一化处理，通过relu激活函数对特征进行非线性映射，提升模型表达能力。以conv0层输出作为inceptionlayer_1的输入，inceptionlayer_1的特点是：4个分支都通过conv1x1对输入特征分别升维，inceptionlayer_1最左边分支1，通过conv1x1对特征升维直接输出，最大的保存低层语义特征；inceptionlayer_1分支2在conv1x1后接入conv3x3的卷积，但这里为了轻量化网络，把conv3x3改为conv3x1再进行conv1x3,再通过通过batchnormalize归一化，通过relu激活函数对特征进行非线性映射；inceptionlayer_1分支3在conv1x1后接入conv5x5的卷积，把conv5x5改为conv5x1再进行conv1x5,再通过通过batchnormalize归一化，通过relu激活函数对特征进行非线性映射；inceptionlayer_1分支4在conv1x1后接入conv7x7的卷积，把conv7x7改为conv7x1再进行conv1x7,再通过通过batchnormalize归一化，通过relu激活函数对特征进行非线性映射；inceptionlayer_1网络层通过不同尺度卷积提取丰富低层特征；最后inceptionlayer_1输出两个分支，1个分支给下层的convgroup_2继续进行提取特征，另1个分支把rgb图像与depth图像(深度图像)在inceptionlayer_1的输出进行concat运算融合，输出到decoder阶段对应的deconvgroup1。
以inceptionlayer_1层输出作为convgroup_2的输入,其中”x4”表示convgroup_2后面重复4个conv3x1/conv1x3/bn/relu结构，convgroup的网络结构为先使用conv1x1对数据进行升维，通过n次conv3x1/conv1x3/bn/relu串连，后面再接一个conv3x3,stride＝2的卷积进行下采样，通过conv1x1对数据进行降维，提取出有用的特征进行输出。最后convgroup_2输出两个分支，1个分支给到下层的convgroup_3继续进行提取特征，另1个分支把rgb图像与depth图像在convgroup_2的输出进行concat运算融合，输出到decoder阶段对应的deconvgroup2。以convgroup_2层输出作为convgroup_3的输入,其中”x8”表示convgroup_3后面重复8个conv3x1/conv1x3/bn/relu结构。最后convgroup_3输出两个分支，1个分支给到下层的convgroup_4继续进行提取特征，另1个分支把rgb图像与depth图像在convgroup_3的输出进行concat运算融合，输出到decoder阶段对应的deconvgroup3。以convgroup_3层输出作为convgroup_4的输入,其中”x16”表示convgroup_4后面重复16个conv3x1/conv1x3/bn/relu结构。最后convgroup_4输出两个分支，1个分支给到下层的convgroup_5继续进行提取特征，另1个分支把rgb图像与depth图像在convgroup_4的输出进行concat运算融合，输出到decoder阶段对应的deconvgroup4。以convgroup_4层输出作为convgroup_5的输入,其中”x8”表示convgroup_5后面重复8个conv3x1/conv1x3/bn/relu结构。最后convgroup_5输出把rgb图像与depth图像在convgroup_5的输出进行concat运算融合，输出到decoder阶段对应的deconvgroup5。deconvgroup5层以convgroup_5融合特征为输入，通过deconvgroup层输出到deconvgroup4；deconvgroup层结构为：先通过conv1x1进行降维，再通过conv3x3,stride＝1/2进行上采样，重复3个conv3x1/conv1x3/bn/relu结构，通过conv1x1进行升维输出；deconvgroup4层以convgroup_4融合特征和deconvgroup5为输入，通过deconvgroup层输出到deconvgroup3；deconvgroup层结构为：先通过conv1x1进行降维，再通过conv3x3,stride＝1/2进行上采样，重复3个conv3x1/conv1x3/bn/relu结构，通过conv1x1进行升维输出；deconvgroup3层以convgroup_3融合特征和deconvgroup4为输入，通过deconvgroup层输出到deconvgroup2；deconvgroup2层以convgroup_2融合特征和deconvgroup3为输入，通过deconvgroup层输出到deconvgroup1；deconvgroup1层以convgroup_1融合特征和deconvgroup2为输入，通过deconvgroup层输出到分割图像给到localcrf条件随机场网络层；最后以localcrf条件随机场作为分割图像的后端优化处理，输出最终的语义分割图像使得边缘分割更加精细。
本发明提供一种室外道路场景的语义分割装置，包括采集单元：配置于采集rgb图像信息以及深度信息，以获取rgb图像以及深度图像；创建单元：配置于创建卷积网络架构以及反卷积网络架构；运算单元：配置于将当前的rgb图像以及深度图像输入至卷积网络架构中分别逐层提取特征点，并将每一层的rgb图像的特征点与深度图像的特征点融合后作为融合特征点，输出至反卷积网络架构中；输出单元：配置于反卷积网络架构将每一层的融合特征点反向运算，并进行优化处理后输出语义分割图像。
本发明还提供一种电子设备，其上设有存储器、处理器以及存储在存储器中并可被处理器执行的计算机可读程序，所述计算机可读程序被处理器执行时，实现如下步骤：
采集rgb图像信息以及深度信息，以获取rgb图像以及深度图像；创建卷积网络架构以及反卷积网络架构；将当前的rgb图像以及深度图像输入至卷积网络架构中分别逐层提取特征点，并将每一层的rgb图像的特征点与深度图像的特征点融合后作为融合特征点，输出至反卷积网络架构中；反卷积网络架构将每一层的融合特征点反向运算，并进行优化处理后输出语义分割图像。
本发明还提供一种存储介质，其上存储有可被处理器执行的计算机可读程序，所述计算机可读程序被处理器执行时，实现如下步骤：采集rgb图像信息以及深度信息，以获取rgb图像以及深度图像；创建卷积网络架构以及反卷积网络架构；将当前的rgb图像以及深度图像输入至卷积网络架构中分别逐层提取特征点，并将每一层的rgb图像的特征点与深度图像的特征点融合后作为融合特征点，输出至反卷积网络架构中；反卷积网络架构将每一层的融合特征点反向运算，并进行优化处理后输出语义分割图像。
本发明加入了深度图像信息与rgb图像分别采用专为语义分割设计的特有轻量化骨干网络(sxnet)进行特征提取，通过不同层多维度融合特征进行分割，很好地解决道路分割时由于场景，光照，天气等因素引起的误分割、空洞等问题；最后通过localcrf对分割图作后端优化，使得边缘分割精确。
对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。
1.室外道路场景语义分割方法，其特征在于，包括如下步骤：
采集rgb图像信息以及深度信息，以获取rgb图像以及深度图像；
创建卷积网络架构以及反卷积网络架构；
将当前的rgb图像以及深度图像输入至卷积网络架构中分别逐层提取特征点，并将每一层的rgb图像的特征点与深度图像的特征点融合后作为融合特征点，输出至反卷积网络架构中；
反卷积网络架构将每一层的融合特征点反向运算，并进行优化处理后输出语义分割图像。
2.如权利要求1所述的室外道路场景语义分割方法，其特征在于，所述优化处理的具体方式为在反卷积网络架构将每一层的融合特征点反向运算后，输出至crf随机场网络层对图像边缘进行精细分割，之后输出语义分割图像。
3.如权利要求1所述的室外道路场景语义分割方法，其特征在于，所述卷积网络架构以及反卷积网络架构均为五层。
4.如权利要求1所述的室外道路场景语义分割方法，其特征在于，将当前的rgb图像以及深度图像输入至卷积网络架构之前将所述rgb图像以及深度图像进行归一化处理。
5.室外道路场景语义分割装置，其特征在于，包括，
采集单元：配置于采集rgb图像信息以及深度信息，以获取rgb图像以及深度图像；
创建单元：配置于创建卷积网络架构以及反卷积网络架构；
运算单元：配置于将当前的rgb图像以及深度图像输入至卷积网络架构中分别逐层提取特征点，并将每一层的rgb图像的特征点与深度图像的特征点融合后作为融合特征点，输出至反卷积网络架构中；
输出单元：配置于反卷积网络架构将每一层的融合特征点反向运算，并进行优化处理后输出语义分割图像。
6.如权利要求5所述的室外道路场景语义分割装置，其特征在于，所述优化处理的具体方式为在反卷积网络架构将每一层的融合特征点反向运算后，输出至crf随机场网络层对图像边缘进行精细分割，之后输出语义分割图像。
7.一种电子设备，其上设有存储器、处理器以及存储在存储器中并可被处理器执行的计算机可读程序，其特征在于，所述计算机可读程序被处理器执行时，实现如下步骤：
采集rgb图像信息以及深度信息，以获取rgb图像以及深度图像；
创建卷积网络架构以及反卷积网络架构；
将当前的rgb图像以及深度图像输入至卷积网络架构中分别逐层提取特征点，并将每一层的rgb图像的特征点与深度图像的特征点融合后作为融合特征点，输出至反卷积网络架构中；
反卷积网络架构将每一层的融合特征点反向运算，并进行优化处理后输出语义分割图像。
8.如权利要求7所述的电子设备，其特征在于，所述优化处理的具体方式为在反卷积网络架构将每一层的融合特征点反向运算后，输出至crf随机场网络层对图像边缘进行精细分割，之后输出语义分割图像。
9.一种存储介质，其上存储有可被处理器执行的计算机可读程序，其特征在于，所述计算机可读程序被处理器执行时，实现如下步骤：
采集rgb图像信息以及深度信息，以获取rgb图像以及深度图像；
创建卷积网络架构以及反卷积网络架构；
将当前的rgb图像以及深度图像输入至卷积网络架构中分别逐层提取特征点，并将每一层的rgb图像的特征点与深度图像的特征点融合后作为融合特征点，输出至反卷积网络架构中；
反卷积网络架构将每一层的融合特征点反向运算，并进行优化处理后输出语义分割图像。
10.如权利要求9所述的存储介质，其特征在于，所述优化处理的具体方式为在反卷积网络架构将每一层的融合特征点反向运算后，输出至crf随机场网络层对图像边缘进行精细分割，之后输出语义分割图像。
技术总结