本发明属于模式识别、人工智能技术领域，具体涉及一种基于异构深度特征的多模态地基云识别方法。
背景技术：
云的体积、厚度和形状变化对全球范围内的水文循环和能量平衡有着重大的影响。因此许多研究者着力于云观测方面的研究。其中，由于云的形状千变万化并且边界总是模糊不明确，使得云分类富有挑战性。用人力对云分类耗时耗力，并且分类结果含有主观判断误差。因此，需要提出更加准确高效的自动地基云识别方法。
传统的自动地基云识别方法通常提取地基云图的纹理、形状和颜色等信息。isosalo等人提出利用局部二值模式和局部边缘模式提取地基云图的局部纹理信息，利用提取的局部纹理特征来进行云类型的预测。除了提取云图的纹理信息，zhuo等人提出了颜色统计转换和自动分块的方法同时提取云的纹理信息和结构信息。随着卷积神经网络在各个领域的广泛应用与发展，其也被应用到地基云的分类任务中，并且取得了相对传统方法更好的分类结果。shi等人利用浅层的卷积神经网络提取地基云图的局部纹理信息对地基云图进行分类。zhao等人提出3d-cnn模型提取地基云图的纹理信息和时间变化信息对地基云图像进行分类。
以上所提到的自动地基云识别方法主要利用地基云的视觉信息，但是云的形成与多种因素密切相关，这些因素包括温度、湿度、气压和风速等，可以将这些因素定义为多模态信息。liu等人提出分层多模态融合方法，将多模态信息和地基云图同时输入到基于卷积神经网络的模型中分别提取深度视觉特征和深度多模态特征，并将两种深度特征进行不同层次的融合得到多模态地基云的最终表示。通过将多模态信息应用到地基云的自动分类任务中，使得地基云最终的特征表示更加完备。
技术实现要素：
本发明的目的是要解决多模态地基云识别问题，为此，本发明提供一种基于异构深度特征的多模态地基云识别方法。
为了实现所述目的，本发明提出一种基于异构深度特征的多模态地基云识别方法，所述方法包括以下步骤：
步骤s1，对多模态地基云样本进行预处理，得到训练多模态地基云样本其中，所述训练多模态地基云样本包括异构深度特征网络的视觉信息输入和多模态信息输入；
步骤s2，将所述训练多模态地基云样本输入至异构深度特征网络训练模型中，训练得到异构深度特征网络；
步骤s3，基于所述异构深度特征网络提取得到所述训练多模态地基云样本的异构深度特征，并将得到的异构深度特征进行串联得到所述训练多模态地基云样本的最终特征表示；
步骤s4，基于所述训练多模态地基云样本的最终特征表示训练支持向量机分类器，得到多模态地基云分类模型；
步骤s5，获取测试多模态地基云样本的最终特征表示，将其输入至所述多模态地基云分类模型中，得到多模态地基云识别结果。
可选地，所述步骤s1包括以下步骤：
步骤s11，对所述多模态地基云样本中的地基云图进行预处理，得到异构深度特征网络的视觉信息输入；
步骤s12，对所述多模态地基云样本中的多模态信息进行预处理，得到所述异构深度特征网络的多模态信息输入。
可选地，所述步骤s11包括以下步骤：
步骤s111，将所述多模态地基云样本中的地基云图改变为预设大小，得到改变大小的地基云图；
步骤s112，对所述改变大小的地基云图进行归一化处理，得到归一化地基云图；
步骤s113，对所述归一化地基云图分别进行水平翻转、垂直翻转和随机旋转。
可选地，所述步骤s12包括以下步骤：
步骤s121，获取所述多模态地基云样本中的多模态信息；
步骤s122，将所述多模态信息的值进行归一化，得到所述异构深度特征网络的多模态信息输入。
可选地，所述步骤s2包括以下步骤：
步骤s21，构建异构深度特征网络，其中，所述异构深度特征网络包括卷积神经网络提取器、图卷积神经网络提取器、串联器和分类器；
步骤s22，初始化所述异构深度特征网络中的参数，得到异构深度特征网络训练模型；
步骤s23，将所述训练多模态地基云样本输入至所述异构深度特征网络训练模型中，训练得到异构深度特征网络。
可选地，所述步骤s21包括以下步骤：
步骤s211，构建卷积神经网络提取器，以所述地基云图和多模态信息作为输入，得到基于卷积神经网络的深度特征，其中，所述卷积神经网络提取器包括视觉子网络、多模态子网络、融合层和全连接层；
步骤s212，构建图卷积神经网络提取器，其中，所述图卷积神经网络提取器包括以所述基于卷积神经网络的深度特征为基础构建的图和邻接矩阵，以及q层图卷积层，以所述图中节点的集合和邻接矩阵作为输入，得到基于图卷积神经网络的深度特征；
步骤s213，构建串联器，将所述基于卷积神经网络的深度特征和基于图卷积神经网络的深度特征进行串联，得到所述训练多模态地基云样本的最终特征表示。
步骤s214，构建分类器，其中，所述分类器包括全连接层和损失函数。
可选地，所述构建的图由n个节点和连接节点的边组成，所述邻接矩阵用于表示节点间关系的强弱性。
可选地，所述步骤s23中，还采用反向传播和随机梯度下降法优化所述异构深度特征网络训练模型。
可选地，所述步骤s3包括以下步骤：
步骤s31，将所述训练多模态地基云样本输入至所述异构深度特征网络中；
步骤s32，提取所述异构深度特征网络中串联器的输出特征作为所述训练多模态地基云样本的最终特征表示。
可选地，所述步骤s4中，将所述训练多模态地基云样本的最终特征表示以及对应类别标签输入至支持向量机分类器中，得到所述多模态地基云分类模型。
本发明的有益效果为：本发明利用卷积神经网络和图卷积神经网络进行异构深度特征的提取，能够有效挖掘视觉信息、多模态信息以及样本间的相关性信息，提高地基云分类正确率。
需要说明的是，本发明得到了国家自然科学基金项目no.61711530240，天津市自然科学基金重点项目no.19jczdjc31500，模式识别国家重点实验室开放课题基金no.201800002和天津高等学校创新团队基金项目的资助。
附图说明
图1是根据本发明一实施例的一种基于异构深度特征的多模态地基云识别方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
图1是根据本发明一实施例的一种基于异构深度特征的多模态地基云识别方法的流程图，下面以图1为例来说明本发明的一些具体实现流程。如图1所示，所述基于异构深度特征的多模态地基云识别方法包括：
步骤s1，对多模态地基云样本进行预处理，得到训练多模态地基云样本，其中，所述训练多模态地基云样本包括异构深度特征网络的视觉信息输入和多模态信息输入；
进一步地，所述步骤s1包括以下步骤：
步骤s11，对所述多模态地基云样本中的地基云图进行预处理，得到异构深度特征网络的视觉信息输入；
其中，对所述多模态地基云样本中的地基云图进行预处理包括以下步骤：
步骤s111，将所述多模态地基云样本中的地基云图改变为预设大小，得到改变大小的地基云图；
在本发明一实施例中，所述多模态地基云样本中的地基云图原始大小为1024×1024，其中，两个1024分别表示地基云图的高度和宽度；将地基云图的大小改变为预设大小256×256，其中，两个256分别代表改变大小的地基云图的高度和宽度。
步骤s112，对所述改变大小的地基云图进行归一化处理，得到归一化地基云图；
其中，所述的归一化处理指改变大小的地基云图的每个rgb像素值减去相应的预设rgb像素均值，再除以相应的预设rgb像素标准偏差。
在本发明一实施例中，预设rgb像素均值和预设rgb像素标准偏差均以原始地基云图rgb像素为基础计算所得。
步骤s113，对所述归一化地基云图分别进行水平翻转、垂直翻转和随机旋转。
其中，所述水平翻转是指以地基云图的垂直中心线为基准左右翻转；所述垂直翻转则是指以地基云图的水平中心线为基准上下翻转；所述随机旋转是指以地基云图左上角为旋转中心，按预设角度旋转。
在本发明一实施例中，随机旋转角度范围是(-25，25)。
步骤s12，对所述多模态地基云样本中的多模态信息进行预处理，得到所述异构深度特征网络的多模态信息输入。
其中，对所述多模态地基云样本中的多模态信息进行预处理包括以下步骤：
步骤s121，获取所述多模态地基云样本中的多模态信息；
在本发明一实施例中，所述多模态地基云样本中的多模态信息包括：温度、湿度、气压和风速。
步骤s122，将所述多模态信息的值进行归一化，得到所述异构深度特征网络的多模态信息输入。
在本发明一实施例中，多模态信息的值被归一化到[0,255]范围内。
步骤s2，将所述训练多模态地基云样本输入至异构深度特征网络训练模型中，训练得到异构深度特征网络；
进一步地，所述步骤s2包括以下步骤：
步骤s21，构建异构深度特征网络，其中，所述异构深度特征网络包括卷积神经网络提取器、图卷积神经网络提取器、串联器和分类器；
其中，所述构建异构深度特征网络包括以下步骤：
步骤s211，构建卷积神经网络提取器，以所述地基云图和多模态信息作为输入，得到基于卷积神经网络的深度特征，其中，所述卷积神经网络提取器包括视觉子网络、多模态子网络、融合层和全连接层；
具体地，将所述训练多模态地基云样本中的地基云图和多模态信息分别输入至所述视觉子网络和多模态子网络中，提取得到所述训练多模态地基云样本的视觉特征f1和多模态特征f2，这两种特征经过融合层的输出即为基于卷积神经网络的深度特征。
所述视觉子网络以所述训练多模态地基云样本中的地基云图作为输入，其中，所述视觉子网络以预训练的深度卷积神经网络resnet-50为基础，删去其最后一层全连接层，平均池化层的输出即为所述视觉子网络输出的视觉特征f1。
所述多模态子网络以所述训练多模态地基云样本中的多模态信息作为输入，其中，所述多模态子网络由多层感知机构建，由m层包含不同神经元个数的全连接层组成，第m层全连接层的神经元数量为dm，每一个全连接层后面分别设置一个批量归一化层和一个泄露修正线性单元，其中，最后一层全连接层的输出即为所述多模态子网络输出的多模态特征f2。
所述融合层采用串联融合的算法将所述视觉特征f1和多模态特征f2进行融合，得到所述基于卷积神经网络的深度特征。
所述卷积神经网络提取器中的全连接层以获取的基于卷积神经网络的深度特征为输入，其包括i个神经元，i表示地基云类别数。
在本发明一实施例中，所述多模态子网络包含6层全连接层，各层全连接层的神经元数量依次为64，128，256，512，1024，2048。
在本发明一实施例中，所述泄露修正线性单元可表示为：
其中，h(a)为经过所述泄露修正线性单元作用后的输出值，a为所述泄露修正线性单元的输入值，η为泄露系数。
在本发明一实施例中，η设为0.2。
在本发明一实施例中，所述视觉子网络和多模态子网络的输出特征f1和f2均为维度为2048的特征向量。
在本发明一实施例中，i＝7。
在本发明一实施例中，所述融合层融合算法可表示为：
fc＝[f1t,αf2t]t，
其中，
在本发明一实施例中，α＝0.9。
在本发明一实施例中，所述卷积神经网络提取器中的全连接层包含7个神经元；所述全连接层在柔性最大值函数作用下接交叉熵损失函数，其中，柔性最大值函数表达式为：
其中，yj为所述柔性最大值函数输出值，xj表示所述全连接层第j个神经元的输出，xt表示所述全连接层第t个神经元的输出，t为神经元的数量。在此基础上，所述交叉熵损失函数表达式为：
其中，l1为所述交叉熵损失，qj是真实标签的概率，当j是真实标签时，qj＝1，否则qj＝0。
步骤s212，构建图卷积神经网络提取器，其中，所述图卷积神经网络提取器包括以所述基于卷积神经网络的深度特征为基础构建的图和邻接矩阵，以及q层图卷积层，以所述图中节点的集合和邻接矩阵作为输入，得到基于图卷积神经网络的深度特征；
所述构建的图由n个节点和连接节点的边组成；所述邻接矩阵用于表示节点间关系的强弱性。
在本发明一实施例中，所述训练多模态地基云样本的基于卷积神经网络的深度特征被当做所述图中的节点，因此所述图中节点集合可表示为
在本发明一实施例中，邻接矩阵是以所述图中节点间的相似性为基础得到的，其中，所述相似性算法可表示为：
aij＝fci×fcjt，
其中，aij表示两节点间的相似性，fci和fcj分别表示第i个和第j个节点的基于卷积神经网络的深度特征。
在本发明一实施例中，邻接矩阵可表示为：
其中
在本发明一实施例中，所述图卷积层有q层，每层图卷积层以上一层所输出的节点特征和邻接矩阵作为输入，其中，第l层的图卷积层的操作可表示为：
其中
在本发明一实施例中，所述邻接矩阵输入至图卷积层前，需要进行归一化处理，所述归一化操作可表示为：
其中
在本发明一实施例中，所述q层图卷积层的输入特征初始化为多模态地基云样本基于卷积神经网络的深度特征，即fg0＝fc。
在本发明一实施例中，q＝1，第一层图卷积层输出特征通道数为512，即所述图卷积神经网络提取器获得的基于图卷积神经网络的深度特征维度为512。
在本发明一实施例中，n＝16。
步骤s213，构建串联器，将所述基于卷积神经网络的深度特征和基于图卷积神经网络的深度特征进行串联，得到所述训练多模态地基云样本的最终特征表示。
在本发明一实施例中，所述基于卷积神经网络的深度特征和基于图卷积神经网络的深度特征通过所述串联器，输出得到所述训练多模态地基云样本的最终特征表示，其中，所述串联器进行的操作可表示为：
f＝[fct,βfgt]t，
其中
在本发明一实施例中，β＝0.9。
步骤s214，构建分类器，其中，所述分类器包括全连接层和损失函数。
在本发明一实施例中，所述分类器中的全连接层包括7个神经元，所述分类器将所述训练多模态地基云样本的最终特征表示作为输入，所述分类器输出接交叉熵损失函数l2，与交叉熵损失l1相同，也作用在柔性最大值函数上。
在本发明一实施例中，所述异构深度特征网络的总损失函数可表示为：
l＝l1 λl2，
其中，λ是控制训练参数更新尺度的系数。
在本发明一实施例中，λ＝1。
步骤s22，初始化所述异构深度特征网络中的参数，得到异构深度特征网络训练模型；
在本发明一实施例中，所述异构深度特征网络的训练模型中参数包括权重和偏置，其中，权重初始化数值服从标准正态分布，偏置初始化为0。
步骤s23，将所述训练多模态地基云样本输入至所述异构深度特征网络训练模型中，训练得到异构深度特征网络。
在本发明一实施例中，所述异构深度特征网络训练模型还采用反向传播和随机梯度下降法进行优化。
步骤s3，基于所述异构深度特征网络提取得到所述训练多模态地基云样本的异构深度特征，并将得到的异构深度特征进行串联得到所述训练多模态地基云样本的最终特征表示；
进一步地，所述步骤s3包括以下步骤：
步骤s31，将所述训练多模态地基云样本输入至所述异构深度特征网络中；
步骤s32，提取所述异构深度特征网络中串联器的输出特征作为所述训练多模态地基云样本的最终特征表示。
在本发明一实施例中，所述训练多模态地基云样本的最终特征表示维度为4608。
步骤s4，基于所述训练多模态地基云样本的最终特征表示训练支持向量机分类器，得到多模态地基云分类模型；
其中，所述训练多模态地基云分类模型具体实施为：将所获取的训练多模态地基云样本的最终特征表示与相应类别标签输入至支持向量机分类器中进行训练，得到所述多模态地基云分类模型。
在本发明一实施例中，所述支持向量机采用径向基核函数进行分类。
步骤s5，获取测试多模态地基云样本的最终特征表示，将其输入至所述多模态地基云分类模型中，得到多模态地基云识别结果。
其中，所述测试多模态地基云样本的最终特征表示可按照上述步骤得到。
在本发明一应用实例中，所使用的多模态地基云数据库是在不同季节下的不同部分时间采集。其中每个多模态地基云样本中包含一张地基云图和对应时间采集的多模态信息，地基云图有带有拍摄范围广的鱼眼镜头拍摄得到，多模态信息则有小型气象站采集得到，包括温度、湿度、气压和风速等信息。通过对多模态地基云样本提取基于卷积神经网络的深度特征和基于图卷积神经网络的深度特征，再将以上两种异构深度特征进行串联得到多模态地基云的最终特征表示。最终多模态地基云样本识别准确率为89.6％，由此可见本发明方法的有效性。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
1.一种基于异构深度特征的多模态地基云识别方法，其特征在于，该方法包括以下步骤：
步骤s1，对多模态地基云样本进行预处理，得到训练多模态地基云样本，其中，所述训练多模态地基云样本包括异构深度特征网络的视觉信息输入和多模态信息输入；
步骤s2，将所述训练多模态地基云样本输入至异构深度特征网络训练模型中，训练得到异构深度特征网络；
步骤s3，基于所述异构深度特征网络提取得到所述训练多模态地基云样本的异构深度特征，并将得到的异构深度特征进行串联得到所述训练多模态地基云样本的最终特征表示；
步骤s4，基于所述训练多模态地基云样本的最终特征表示训练支持向量机分类器，得到多模态地基云分类模型；
步骤s5，获取测试多模态地基云样本的最终特征表示，将其输入至所述多模态地基云分类模型中，得到多模态地基云识别结果。
2.根据权利要求1所述的方法，其特征在于，所述步骤s1包括以下步骤：
步骤s11，对所述多模态地基云样本中的地基云图进行预处理，得到异构深度特征网络的视觉信息输入；
步骤s12，对所述多模态地基云样本中的多模态信息进行预处理，得到所述异构深度特征网络的多模态信息输入。
3.根据权利要求2所述的方法，其特征在于，所述步骤s11包括以下步骤：
步骤s111，将所述多模态地基云样本中的地基云图改变为预设大小，得到改变大小的地基云图；
步骤s112，对所述改变大小的地基云图进行归一化处理，得到归一化地基云图；
步骤s113，对所述归一化地基云图分别进行水平翻转、垂直翻转和随机旋转。
4.根据权利要求2或3所述的方法，其特征在于，所述步骤s12包括以下步骤：
步骤s121，获取所述多模态地基云样本中的多模态信息；
步骤s122，将所述多模态信息的值进行归一化，得到所述异构深度特征网络的多模态信息输入。
5.根据权利要求1所述的方法，其特征在于，所述步骤s2包括以下步骤：
步骤s21，构建异构深度特征网络，其中，所述异构深度特征网络包括卷积神经网络提取器、图卷积神经网络提取器、串联器和分类器；
步骤s22，初始化所述异构深度特征网络中的参数，得到异构深度特征网络训练模型；
步骤s23，将所述训练多模态地基云样本输入至所述异构深度特征网络训练模型中，训练得到异构深度特征网络。
6.根据权利要求5所述的方法，其特征在于，所述步骤s21包括以下步骤：
步骤s211，构建卷积神经网络提取器，以所述地基云图和多模态信息作为输入，得到基于卷积神经网络的深度特征，其中，所述卷积神经网络提取器包括视觉子网络、多模态子网络、融合层和全连接层；
步骤s212，构建图卷积神经网络提取器，其中，所述图卷积神经网络提取器包括以所述基于卷积神经网络的深度特征为基础构建的图和邻接矩阵，以及q层图卷积层，以所述图中节点的集合和邻接矩阵作为输入，得到基于图卷积神经网络的深度特征；
步骤s213，构建串联器，将所述基于卷积神经网络的深度特征和基于图卷积神经网络的深度特征进行串联，得到所述训练多模态地基云样本的最终特征表示。
步骤s214，构建分类器，其中，所述分类器包括全连接层和损失函数。
7.根据权利要求6所述的方法，其特征在于，所述构建的图由n个节点和连接节点的边组成，所述邻接矩阵用于表示节点间关系的强弱性。
8.根据权利要求5所述的方法，其特征在于，所述步骤s23中，还采用反向传播和随机梯度下降法优化所述异构深度特征网络训练模型。
9.根据权利要求1所述的方法，其特征在于，所述步骤s3包括以下步骤：
步骤s31，将所述训练多模态地基云样本输入至所述异构深度特征网络中；
步骤s32，提取所述异构深度特征网络中串联器的输出特征作为所述训练多模态地基云样本的最终特征表示。
10.根据权利要求1所述的方法，其特征在于，所述步骤s4中，将所述训练多模态地基云样本的最终特征表示以及对应类别标签输入至支持向量机分类器中，得到所述多模态地基云分类模型。
技术总结