本发明涉及飞机发动机剩余寿命预测，具体涉及一种基于多模特征融合的飞机发动机剩余寿命预测方法。
背景技术：
1、航空发动机作为飞机的核心部件，在极端严苛的工况下必须保持高度稳定和可靠的性能，这对飞机的安全性和运营效率至关重要。为了确保航空发动机能够在持续高速运转，承受高温高压以及强烈振动的同时维持良好运行状态，降低因意外故障引发的高昂维修费用，业内广泛引入预测健康管理(prognostics and health management，phm)技术来进行主动的预测性维护。
2、在phm框架中，剩余使用寿命(remaining useful life，rul)预测扮演着不可或缺的角色，这一技术旨在通过科学方法精确估计航空发动机在当前状态下能够维持预期功能直至需进行维护或更换的时间窗口。通过准确的rul预测，可提前指定周密的维修计划与策略，有效抑制发动机性能衰减进程，进而杜绝潜在故障的发生，确保其始终处于良好状态。
3、其中基于数据驱动的航空发动rul预测技术仅需借助安装于发动机上的传感器系统获取实时状态监测数据，并通过先进的信息技术手段将原始数据转化为反映性能衰退的相关参数模型。但现有技术仍存在模型表征能力不足，预测精度低等问题。
技术实现思路
1、本发明克服了现有技术的不足之处，提出了一种基于多模特征融合的飞机发动机剩余寿命预测方法，意在能够充分挖掘航空发动机传感器监测数据中的深度特征，提升剩余寿命预测的准确性。
2、本发明为达到上述发明目的，采用如下技术方案：
3、一种基于多模特征融合的飞机发动机剩余寿命预测方法，包括如下步骤：
4、步骤(1)：获取航空发动机全生命周期的多元传感器监控数据；
5、步骤(2)：对获取的数据进行预处理，将数据集划分为训练集、验证集和测试集；
6、步骤(3)：搭建基于多模特征融合的飞机发动机剩余寿命预测神经网络模型；
7、步骤(4)：使用步骤(2)得到的训练集和验证集训练飞机发动机剩余寿命预测神经网络模型，选取在验证集上验证损失最小的模型参数作为最佳模型参数，并使用测试集对最佳模型进行性能评估；
8、步骤(5)：将待预测飞机发动机系统的历史传感器监测数据输入至完成训练的飞机发动机剩余寿命预测神经网络模型中，输出飞机发动机直至完全故障前的剩余使用寿命值。
9、进一步的，步骤(1)中多元传感器监控数据的数据样本为x＝[x1,x2,...,xs]，其中s是传感器变量的数量，第i个传感器的时间序列为i＝1,2,...,s，其中t＝t1,t2,...tn为时间步长。
10、进一步的，步骤(2)中对获取的数据进行预处理，具体包括以下步骤：
11、步骤(2.1)：去除其中传感器数据为恒定，对剩余寿命预测任务没有贡献的传感器数据；
12、步骤(2.2)：每个传感器变量xi的时间序列进行归一化处理，将每个元素归一化到[-1,1]的范围内；
13、步骤(2.3)：在每个时间步中用滑动时间窗口来提取数据；
14、步骤(2.4)：将时间窗口提取的时间序列转换为极坐标；
15、步骤(2.5)：利用格拉姆矩阵gaf计算格拉姆角和场(gasf)来生成图像；
16、步骤(2.6)：对预处理后的数据与生成的图像以8：2的比例进行训练集与验证集的划分。
17、进一步的，步骤(3)中所述基于多模特征融合的飞机发动机剩余寿命预测神经网络模型由时序特征提取模块、图像特征提取模块、时序-图像特征融合模块和输出层组成；通过时序特征提取模块、图像特征提取模块分别提取到时序与图像数据中的深度特征，经过时序-图像特征融合模块将两个不同模态的特征进行融合再将融合的特征馈送到输出层以精确估计出剩余使用寿命值rul。
18、进一步的，所述的时序特征提取模块包括以如下结构：
19、时间序列嵌入模块：将输入时间序列xin∈rs×m的形状解压缩为rs×1×m，然后进行填充后进一步分割为l个长度为p的片段，分割过程的步长为s；填充操作具体为通过xin重复的最后一个值(p-s)次，然后将它们填充回xin的末尾，以保持l＝m//s；最后使用一维卷积将片段保留原始维度结构的同时引入额外通道维度并嵌入到d维向量中；
20、通道注意力模块：首先对数据执行全局平均池化操作，以获取时间序列在整个生命周期内的平均状态同时采用全局标准差操作以衡量每个变量在不同时间点上的波动程度；两个特征经过两个1×1卷积层以创建通道注意力图，然后进行拼接并使用卷积运算来提取高级特征，以创建变量特征，随后对其进行归一化操作后通过sigmoid层，以产生每个变量的注意力权重；最后，将产生的权重乘以嵌入向量来对每个传感器变量进行重新加权；将变量加权的x'∈rs×d×l合并变量维度和通道维度得到x′t∈r(s×d)×l；
21、多尺度门控卷积：该多尺度门控卷积为三个分支组成的并行结构，每个分支由一个深度卷积与一个卷积门控单元组成，各个深度卷积的卷积核大小不同，该并行结构的输出为各个分支输出的和；其中门控卷积单元由更新门ui和重置门ri构成，以深度卷积的输入x′t与输出hi作为门控卷积单元的输入，具体公式如下：
22、ri＝σ(wrhi+vrx′t+br) (16)
23、ui＝σ(wuhi+vux′t+bu) (17)
24、
25、式中，x′ti为门控卷积单元的输出，wr∈rl×l和br∈rl×l，wu∈rl×l和bu∈rl×l表示可学习的权重矩阵与偏置向量，表示逐元素相乘；
26、多尺度时间依赖模块：由两个多尺度门控卷积分支组成，先将x′t输送到两个分支中然后各自分别经过tanh和sigmoid函数，最后进行相乘得到时间维度上的特征；
27、通道依赖模块：采用两个连续的逐点组卷积来捕获每个变量在通道维度上的隐藏特征表示；
28、跳跃连接层：将嵌入向量xemb与捕获了跨变量、时间、通道依赖关系的最终表示xd相加获得完整的耦合多维度特征表示xo。
29、进一步的，所述图像特征提取模块对输入格拉姆角和场(gasf)图像进行常规卷积、批量归一化、激活函数、池化运算，输出图像特征表示xg。
30、进一步的，所述的时序-图像特征融合模块包括如下结构：
31、构建差异信息注意模块：用于捕捉图像中对于时序的差异信息；首先，对时序特征xo与图像特征xg矩阵划分为k个局部特征段，然后利用线性层将特征段转换为查询q、键k和值v公式如下：
32、q＝linear(partition(xo,xg)) (25)
33、k＝linear(partition(xo,xg)) (26)
34、v＝linear(partition(xo,xg)) (27)
35、其中，时序的查询、键、值用(q时,k时,v时)表示，图像的查询、键、值用(q图,k图,v图)表示，再使用点积和softmax归一化以计算q时和k图之间的相似性矩阵(i和j属于1到k)，然后乘以v图来推断q时和v图间的公共信息，公式如下：
36、
37、式中d是缩放因子，然后通过去除掉公共信息来获得q时和v图之间的差异信息，公式如下：
38、
39、将差异信息注入q1中，公式如下：
40、
41、q图差＝mlp(ln(madd))+madd (31)
42、式中，ln(·)为层归一化，mlp(·)为多层感知器，q图差为差异信息注意模块的输出；
43、构建公共信息注意模块一：首先将q图差作为查询，时序的k时和v时作为键和值，推断出q图差和v时之间的公共信息，公式如下：
44、
45、然后将q图差和v时之间的公共信息与q图差相加，得到公共信息注意模块的输出，公式如下：
46、
47、q时公＝mlp(ln(madd))+madd (34)
48、式中q时公为公共信息注意模块的输出，即时序中的公共信息；
49、构建公共信息注意模块二：将q时公作为查询，图像的k图和v图作为键和值，推断出图像中的公共信息q图公；最后将差异信息q图差与q图公相加得到整个时序-图像特征融合模块的输出，公式如下：
50、q图差＝dmattn(xo,xg) (35)
51、q时公＝cmattn1(xo,q图差) (36)
52、q图公＝cmattn2(xg,q时公) (37)
53、ff(xo,xg)＝q图差+q图公 (38)
54、式中，dmattn(·)为差异信息注意模块，cmattn1(·)为公共信息注意模块一，cmattn2(·)为公共信息注意模块二，ff(·)包含一个差异信息注意模块和一对公共信息注意模块，即时序-图像特征融合模块。
55、进一步的，所述的输出层为堆叠的三层全连接层结构，将融合的时序-图像特征进行解码，获得剩余寿命预测值。
56、进一步的，步骤(4)中使用训练集对搭建好的预测模型进行训练，并用训练好的模型对验证集进行推理，通过均方根误差rmse和评分函数score两个评估指标来验证模型性能，选取在验证集上表现最好的模型作为最佳模型；并使用测试集对最佳模型进行性能评估；其中两个评估指标的公式如下：
57、
58、
59、式中，其中n为测试样本数量，yi和分别为第i个测试样本的真实rul和预测rul。
60、与现有方法相比，本发明加强了模型对飞机发动机失效数据的特征提取能力，具有更加准确的预测精度和更强的泛化性。
1.一种基于多模特征融合的飞机发动机剩余寿命预测方法，包括如下步骤：
2.如权利要求1所述的基于多模特征融合的飞机发动机剩余寿命预测方法，其特征在于：
3.如权利要求2所述的基于多模特征融合的飞机发动机剩余寿命预测方法，其特征在于：
4.如权利要求1所述的基于多模特征融合的飞机发动机剩余寿命预测方法，其特征在于：步骤(3)中所述基于多模特征融合的飞机发动机剩余寿命预测神经网络模型由时序特征提取模块、图像特征提取模块、时序-图像特征融合模块和输出层组成；通过时序特征提取模块、图像特征提取模块分别提取到时序与图像数据中的深度特征，经过时序-图像特征融合模块将两个不同模态的特征进行融合再将融合的特征馈送到输出层以精确估计出剩余使用寿命值rul。
5.如权利要求4所述的基于多模特征融合的飞机发动机剩余寿命预测方法，其特征在于：
6.如权利要求4所述的基于多模特征融合的飞机发动机剩余寿命预测方法，其特征在于：
7.如权利要求4所述的基于多模特征融合的飞机发动机剩余寿命预测方法，其特征在于：
8.如权利要求4所述的基于多模特征融合的飞机发动机剩余寿命预测方法，其特征在于：所述的输出层为堆叠的三层全连接层结构，将融合的时序-图像特征进行解码，获得剩余寿命预测值。
9.如权利要求1所述的基于多模特征融合的飞机发动机剩余寿命预测方法，其特征在于：步骤(4)中使用训练集对搭建好的预测模型进行训练，并用训练好的模型对验证集进行推理，通过均方根误差rmse和评分函数score两个评估指标来验证模型性能，选取在验证集上表现最好的模型作为最佳模型；并使用测试集对最佳模型进行性能评估；其中两个评估指标的公式如下：
