本发明属于人工智能技术领域，涉及深度学习中图像分割的道路提取，特别涉及一种基于p-linknet网络的露天矿道路模型构建方法。
背景技术：
近年来智慧矿山的建设正如火如荼的展开，车辆的调度优化在智慧矿山的建设中起着重要的作用，矿山路径提取是只能调度的一个障碍。
现阶段的路径提取技术主要是针对城市道路和乡村道路，这两种道路和矿山道路有很大区别。城市道路大多都是结构化的公路，虽然布局比较复杂，识别起来比较简单；农村的道路一般道路比较少，在识别过程相对而言，也比较容易；矿山道路不仅布局结构复杂，而且大多都是卡车行驶，而且由于道路取材于当地矿石废料，所以矿山路径提取更为复杂。
随着矿山开采的进度变化，矿山的临时道路会有很大程度的变化，不能一劳永逸的建立一个永久的道路模型，所以矿山道路模型需要进行定期的更新。目前主要还是通过谷歌地图和人为测量的手段，对矿山道路模型进行简单的搭建，需要耗费大量人力物力，而且这种方法不能够很好的对矿山道路进行精确化的建模。
如何解决在只能矿山建设背景下，定期对矿山道路模型进行精确化的更新搭建，这在矿山只能调度优化过程中即使热点也是难点。
技术实现要素：
为了克服上述现有技术的缺点，解决对矿山道路模型进行精确化搭建的问题，本发明的目的在于提供一种基于p-linknet网络的露天矿道路模型构建方法，旨在借助露天矿山图像对露天矿山的路径进行提取。
为了实现上述目的，本发明采用的技术方案是：
一种基于p-linknet网络的露天矿道路模型构建方法，包括如下步骤：
步骤1)采集不同种类条件下露天矿山的航拍图像，找出其中矿山道路的特点，根据具体矿山情况更新已有训练集；
步骤2)调整训练集中不同种类图像构成，对p-linknet网络进行反馈训练，采用五折交叉验证验证网络性能，得到训练好的p-linknet网络模型；
步骤3)将选取的最新矿山图像作为测试集，运用步骤2)训练好的p-linknet网络对测试集进行测试，输出提取的路径，根据图像的空间位置信息，搭建整个矿山的模型。
所述步骤1)具体包括：
步骤1.1)利用无人机在相同区域按照不同光照、不同图像拍摄角度和不同矿山条件进行图像采集；
步骤1.2)对拍摄的图像按正光背光分为阴阳两大类，每类分为6大组，即矿石永久道路、矿石临时道路、泥土永久道路、泥土临时道路、非道路岩石区域、非道路泥土区域，每组中按照拍摄角度和矿场条件组合成四种，即每大组中再分为4个小组，共计2*6*4小组；
步骤1.3)由训练完网络后返回的模型识别率和循环次数调整训练集，用以改进模型的识别率。
所述步骤1.3)中，采用控制变量法调整训练集，采用控制变量法，这里已知每一类由4*6共24小组，4小组为一大组，也就是说循环4次可以找出一大组的最优构成。
所述步骤2)具体包括：
步骤2.1)搭建两个模型，为晴天或向阳，以及阴天或背光；(由于在图像的采集过程中，可能只能混合采集，也就是在一次采集过程中，有光线直射的或者背光的，所以这里构建两个模型)
步骤2.2)在linknet网络编码和解码之间加入空洞卷积进行网络搭建；
步骤2.3)通过sigmoid激活函数对图像进行二分类，输出前景色为白，背景色为黑；
步骤2.4)通过调整不同种类图像构成的训练集，找到具体某个矿山模型最佳的训练集构成，迭代一定次数后找出最优的训练集，得到训练好的可进行路径提取的linknet网络模型。24次训练集构成的变化组成的循环，可以通过对比找出矿山图识别效率最好的网络。
本发明中，图像采用标准化的512*512格式，编码结构采用resnet101。
所述图像经过编码后，图像输出为16*16，加入三层空洞卷积以增加图像中心特征的感受野，膨胀率分别为1、2、4。
所述步骤2)中采用五折交叉验证验证网络性能，得到训练好的p-linknet网络模型，基于得到的最佳训练集，找出大量最佳训练集构成的图像，按照要求分成5组，将其中一组作为测试集，其余4组作为训练集，进行五次测试集变换，把5次试验识别率做平均，作为最终的识别率。
所述将选取的最新矿山图像作为测试集，运用步骤2)训练好的p-linknet网络对测试集进行测试，输出提取的路径具体包括：对具体矿山进行实地拍摄，拍摄后的图像输入训练好的p-linknet网络模型，运用迁移学习使用训练好的模型去识别相关类似的矿山图片，把识别到一座矿山中的所有图像进行整合，输出最终路径提取的图像。
所述根据图像的空间位置信息，搭建整个矿山的模型具体包括：将图像原来的空间位置信息与提取后的图像进行匹配，运用地图软件生成整个矿山的图像模型。
与现有技术相比，本发明极大地节省了人力物力，更加高效快速地构建了矿山道路模型。
附图说明
图1是本发明构建p-linknet网络模型的流程图。
图2是训练集的更新流程图。
图3是p-linknet网络的构架框图。
图4是搭建矿山道路模型的流程图。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
如图1和图4所示，本发明一种基于p-linknet网络的露天矿道路模型构建方法，包括如下步骤：
步骤1)采集不同种类条件下露天矿山的航拍图像，找出其中矿山道路的特点，根据具体矿山情况更新已有训练集。具体步骤如下：
步骤1.1)利用无人机在相同区域按照不同光照、不同图像拍摄角度和不同矿山条件进行图像采集，对需要建模的矿山进行具体研究；(例：1正光(阳光照射条件)，90°(无人机或卫星拍摄的角度)，河南钼矿(矿场条件)；2正光，90°，内蒙金矿；3正光，45°(无人机或卫星拍摄的角度)，河南钼矿；4正光，45°，内蒙金矿；5背光(被遮挡或者阴天采集条件)，90°，河南钼矿；6背光，90°，内蒙金矿；7背光，45°，河南钼矿；8背光，45°，内蒙金矿)。
步骤1.2)对拍摄的图像按正光背光分为阴阳两大类，每类分为6大组，即矿石永久道路、矿石临时道路、泥土永久道路、泥土临时道路、非道路岩石区域、非道路泥土区域，每组中按照拍摄角度和矿场条件组合成四种，即每大组中再分为4个小组，共计2*6*4小组，依次是：矿石永久道路(角度1，条件1；角度1，条件2；角度2，条件1；角度2，条件1)、矿石临时道路(角度1，条件1；角度1，条件2；角度2，条件1；角度2，条件1)、泥土永久道路(角度1，条件1；角度1，条件2；角度2，条件1；角度2，条件1)、泥土临时道路(角度1，条件1；角度1，条件2；角度2，条件1；角度2，条件1)、非道路岩石区域(角度1，条件1；角度1，条件2；角度2，条件1；角度2，条件1)、非道路泥土区域(角度1，条件1；角度1，条件2；角度2，条件1；角度2，条件1)。
步骤1.3)由训练完网络后返回的模型识别率和循环次数调整训练集，用以改进模型的识别率。具体地，采用控制变量法调整训练集，这里已知每一类由4*6共24小组，4小组为一大组，也就是说循环4次可以找出一大组的最优构成。具体地，第一次输入的训练集组成为：
(y1,y2,y3,……,y24＝1,0,0,0,1,0,0,0,1,0,0,0,1,0,0,0)
训练集组成中y*＝1代表选择，y*＝0代表不选择。每循环四次，求出max{rec1，rec2，rec3、rec4}(rec为模型的识别率)，即四次模型中识别率最好的模型。保留y1’，y2’，y3’，y4’，四次中识别率最高的为第一次循环，即训练集选择(y1’,y2,y3’,y4’)＝(1,0,0,0)，替换之后的y1,y2,y3,y4。之后的迭代具体可参考表1，第25次循环输入的为最优训练集构成。循环24次后，即可找出y1’,y2’，y3,……y24’；第25次循环时，即可得到最优的训练集。考虑到6大组迭代的先后顺序会对最终的结果产生影响，随机的生成10次6大组输入的顺序，最终选择识别率最高训练集为最优训练集，图2为四次循环的流程图。
表1训练集一次训练集每次调整的例图
步骤2)调整训练集中不同种类图像构成，对p-linknet网络进行反馈训练，具体包括：
步骤2.1)在不同天气情况下拍摄的照片对不同角度和不同条件下的矿山图像有很大影响，在图像上显示的颜色会有很大差异，图像的采集过程中，可能只能混合采集，也就是在一次采集过程中，有光线直射的或者背光的，所以这里构建两个模型因此搭建两个模型，即阴模型和阳模型；
步骤2.2)矿山道路比较复杂，采用优化linknet进行搭建网络，即在linknet网络编码和解码之间加入空洞卷积建，以标准化为512*512的图像为例，编码结构采用resnet101；矿山道路具有窄性、连通性、复杂性和跨度大等自然特性，为了防止在图像池化和反卷积的过程中出现信息的损耗，由于输入的图像为512*512，经过编码后，图像输出为16*16，所以加入了三层空洞卷积以增加图像中心特征的感受野，膨胀率分别为1、2、4。
步骤2.3)通过sigmoid激活函数对图像进行二分类，输出前景色为白，背景色为黑；
步骤2.4)通过调整不同种类图像构成的训练集，找到具体矿山模型最佳的训练集构成，迭代一定次数后找出最优的训练集，进而得到最优的路径提取p-linknet网络模型。
之后采用五折交叉验证验证网络性能，得到训练好的p-linknet网络模型，基于得到的最佳训练集，找出大量最佳训练集构成的图像，按照要求分成5组，将其中一组作为测试集，其余4组作为训练集，进行五次测试集变换，把5次试验识别率做平均，作为最终的识别率。
步骤3)将选取的最新矿山图像作为测试集，运用步骤2)训练好的p-linknet网络对测试集进行测试，输出提取的路径，通过相应软件根据图像的空间位置信息，搭建整个矿山的模型。具体包括：
对具体矿山进行实地拍摄，拍摄后的图像输入训练好的plinknet网络模型，运用迁移学习使用训练好的模型去识别相关类似的矿山图片，把识别到一座矿山中的所有图像进行整合，输出最终路径提取的图像。将图像原来的空间位置信息与提取后的图像进行匹配，运用地图软件生成整个矿山的图像模型。
在本发明的一个实施例中，以河南栾川露天钼矿为例进行了露天矿道路模型构建(为了排除其他条件干扰和增加矿山模型的冗余度添加内蒙古金矿为对比条件进行模型的构建)，具体的步骤如下：
1、运用无人机对相同区域收集不同光照、不同图像拍摄角度和不同矿山条件进行图像采集。对采集的结果用已有p-linknet网络对图像进行初步选择最终输出最优的训练集如表1(展示了阳模型的最优训练集)
2、尽可能创造出第1步中p-linknet网络识别率最优的训练集，并大量地收集需要构建的矿山和类似矿山的图像。
3、分析出向光和背光对矿山道路的区分度的影响很大。把采集到的图像分割为512*512，然后根据不同光照、不同图像拍摄角度和不同矿山条件进行分类。最后分别构建向光和背光备训练集，用以训练阴阳两个网络模型。
4、在数量上永久道路比临时道路多，矿区永久性道路易于区分，而临时道路不易于区分，临时道路也是路径提取的难点，所以在训练集道路整体的构成为：永久道路/临时道路＝1/2。
5、矿山的矿石和泥土的构成，按照具体的矿山真实的近似构成。
6、本发明重点是构建道路，所以设置参数为：道路/非道路＝5/1，按照以上构成构建训练集。
7、在3-6步基础上，按照最终训练集的构成比例采集的矿山图像，按照构成要求随机地组成5组训练集，以备后续5折交叉验证。
8、采用构建p-linknet网络，具体网络框架详见附图3，具体步骤如下：
8.1、解码的模块采用resnet101，设置输入的图像大小为512*512。具体如下表：
8.2、输入的图像通过编码器后输出2048个大小为16*16的特征模块
8.3、考虑到道路具有连通性等自然特性，为了防止道路特征在池化和反卷积过程发生信息的损耗，加入空洞卷积层，可以在保证特征图像大小不变的情况下，增大了特征图像的感受野，更好的保留了道路的特征。
8.4、由于编码器输出的尺寸为16*16，所以加入三层空洞卷积，采用级联和串联的并行的方式。
8.5、采用linknet网络，对特征进行解码，最终输出256*256*64
8.6、通过反卷积将图像变为512*512*32
8.7、最终选取激活函数为sigmoid对图像进行二分类，输出提取后的路径
9、迭代到24次后找出最优的训练集构成，对神经网络进行重新构建，最终选择最优的模型，输出阴阳两个模型。
10、按照训练集最优构成采集的新的矿山图像，分为5组，测试集随机去1组，训练集为4的，输入进p-linknet网络，进行5次测试，完成5折交叉验证，为后续模型模型精度作参考。
11、对于输入不同种类的图像，提取路径后的图像的提取效果无差别，所以把最终两个模型输出的图像合并到一起。
12、将提取路径后的图像和原来的图像空间信息进行组合。
13、基于组合后的图像，运用组合地图软件对图像进行，最终输出矿山模型。
1.一种基于p-linknet网络的露天矿道路模型构建方法，其特征在于，包括如下步骤：
步骤1)采集不同种类条件下露天矿山的航拍图像，找出其中矿山道路的特点，根据具体矿山情况更新已有训练集；
步骤2)调整训练集中不同种类图像构成，对p-linknet网络进行反馈训练，采用五折交叉验证验证网络性能，得到训练好的p-linknet网络模型；
步骤3)将选取的最新矿山图像作为测试集，运用步骤2)训练好的p-linknet网络对测试集进行测试，输出提取的路径，根据图像的空间位置信息，搭建整个矿山的模型。
2.根据权利要求1所述基于p-linknet网络的露天矿道路模型构建方法，其特征在于，所述步骤1)具体包括：
步骤1.1)利用无人机在相同区域按照不同光照、不同图像拍摄角度和不同矿山条件进行图像采集；
步骤1.2)对拍摄的图像按正光背光分为阴阳两大类，每类分为6大组，即矿石永久道路、矿石临时道路、泥土永久道路、泥土临时道路、非道路岩石区域、非道路泥土区域，每组中按照拍摄角度和矿场条件组合成四种，即每大组中再分为4个小组，共计2*6*4小组；
步骤1.3)由训练完网络后返回的模型识别率和循环次数调整训练集，用以改进模型的识别率。
3.根据权利要求2所述基于p-linknet网络的露天矿道路模型构建方法，其特征在于，所述步骤1.3)中，采用控制变量法调整训练集，采用控制变量法，这里已知每一类由4*6共24小组，4小组为一大组，即循环4次能够找出一大组的最优构成。
4.根据权利要求1所述基于p-linknet网络的露天矿道路模型构建方法，其特征在于，所述步骤2)具体包括：
步骤2.1)搭建两个模型，为晴天或向阳，以及阴天或背光；(由于在图像的采集过程中，可能只能混合采集，也就是在一次采集过程中，有光线直射的或者背光的，所以这里构建两个模型)
步骤2.2)在linknet网络编码和解码之间加入空洞卷积进行网络搭建；
步骤2.3)通过sigmoid激活函数对图像进行二分类，输出前景色为白，背景色为黑；
步骤2.4)通过调整不同种类图像构成的训练集，找到具体某个矿山模型最佳的训练集构成，迭代一定次数后找出最优的训练集，得到训练好的可进行路径提取的linknet网络模型。
5.根据权利要求4所述基于p-linknet网络的露天矿道路模型构建方法，其特征在于，图像采用标准化的512*512格式，编码结构采用resnet101。
6.根据权利要求5所述基于p-linknet网络的露天矿道路模型构建方法，其特征在于，所述图像经过编码后，图像输出为16*16，加入三层空洞卷积以增加图像中心特征的感受野，膨胀率分别为1、2、4。
7.根据权利要求5所述基于p-linknet网络的露天矿道路模型构建方法，其特征在于，所述步骤2)中采用五折交叉验证验证网络性能，得到训练好的p-linknet网络模型，基于得到的最佳训练集，找出大量最佳训练集构成的图像，按照要求分成5组，将其中一组作为测试集，其余4组作为训练集，进行五次测试集变换，把5次试验识别率做平均，作为最终的识别率。
8.根据权利要求1所述基于p-linknet网络的露天矿道路模型构建方法，其特征在于，所述将选取的最新矿山图像作为测试集，运用步骤2)训练好的p-linknet网络对测试集进行测试，输出提取的路径具体包括：对具体矿山进行实地拍摄，拍摄后的图像输入训练好的p-linknet网络模型，运用迁移学习使用训练好的模型去识别相关类似的矿山图片，把识别到一座矿山中的所有图像进行整合，输出最终路径提取的图像。
9.根据权利要求1或7所述基于p-linknet网络的露天矿道路模型构建方法，其特征在于，所述根据图像的空间位置信息，搭建整个矿山的模型具体包括：将图像原来的空间位置信息与提取后的图像进行匹配，运用地图软件生成整个矿山的图像模型。
技术总结