本发明属于气象预报,尤其涉及基于深度学习的云导风误差订正方法。
背景技术:
1、风是描述大气状态的基本参量之一,全球范围内大气风场的探测对于研究中尺度动力学过程、大气输送和交换作用以及极端天气的预报预防等具有重要意义。随着遥感技术的发展,气象卫星在风场的观测方面起到了较大作用,在某些如海上、极地、高原等不便于开展观测或观测点稀少的区域提供了较为完整和精确的数据,丰富了地面及大气中的风场信息,弥补了探空站观测的不足。
2、云导风技术作为卫星测风技术中的一种,通过测算不同时相的云的运动来估计空间大范围风场信息,通过识别追踪气象卫星影像中的云块,来估算特定区域大气的平均运动矢量。云导风的出现,对于完善风场信息有较大作用,在前人的研究中,云导风资料能够弥补海上风场观测资料稀少的缺点,对于台风路径、强度预报以及降水预报有一定改善作用。此外,同化极轨卫星的云导风资料也对预报有着一定正效果。
3、近年来我国风云系列卫星逐步升空,fy-4a所搭载的多通道扫描成像辐射计(advanced geosynchronous radiation imager,agri)相比于fy-2系列卫星,极大提升了云导风资料的时空分辨率与数据量。许多研究者基于此进行了大量的研究与应用,万晓敏等基于grapes_rafs系统,以fnl全球再分析资料作为参考场,研究表明fy-4a云导风资料对模式高度场和风场分析有一定调整作用,在台风为主要影响系统情况下,同化fy-4a卫星云导风资料有利于丰富大气观测信息,特别是同化水汽通道云导风资料对高层环流结构描述更为细致。
4、由于云导风资料是基于图像识别和双通道定高法反演得到的,其原始资料会存在示踪云追踪误差和高度指定不确定性等误差,导致云导风资料中某些云导风风矢的误差较大,若同化不经预处理的云导风资料,则会对数值模式预报起到负的效果,甚至会引起模式不稳定。大量前人的研究结果表明,静止卫星反演的云导风资料有两大误差来源:一是图像识别过程中示踪云追踪误差;二是高度指定不确定性引起的误差,而且高度误差是最主要的误差来源,其对总观测误差的贡献高达70%以上。同时,云导风资料数据量庞大,需要高效的数据处理和分析算法来提取有用的信息。处理大规模的云层和风场数据需要高性能的计算设备和复杂的算法,以便从海量数据中提取出有意义的气象信息。不少学者对于云导风的误差订正进行了深入研究,杨成荫等利用流体运动连续性原理,采用一致性系数对fy-2c卫星云导风进行高度再指定;万晓敏等利用fy-2e卫星云导风资料,将垂直方向分为高中低三层,并采用一致性检验和稀疏化方案等进行质控;陈耀登等利用fy-4a云导风数据与fnl再分析资料进行误差对比,优化wrf模式中云导风数据的观测误差。这类方法均取得了一定的效果,但对气象预报改善作用不大。同时由于云导风不同通道之间的数据特征在不同垂直高度上存在明显的差别,而前人在此问题上的研究还不够深入,所以为更好地使用云导风资料,有必要引入新的方法对云导风进行误差订正以及高度再指定的进一步研究。
5、早在上世纪80年代,就已有学者将人工智能技术应用于大气科学领域,主要包括云、龙卷、大风、冰雹、降水、风暴等的识别、分类和观测质量控制等。近年来,神经网络方法已发展出了一系列各具优势的延伸模型,包括深度信念网络(deep belief network,dbn)、卷积神经网络(convolution neural network,cnn)、递归神经网络(recurrent neuralnetwork,rnn)、长短时记忆模型(long short-term memory,lstm)和生成对抗网络(generative adversarial nets,gan)等。不少学者已开展了较为广泛的研究,例如基于卷积神经网络的u-net模型被用于进行海洋中尺度涡检测,从而提高海洋涡旋检测的效率和准确度。人工智能技术中可以为未来更高精度预报提供一种“轻量级”的方式,即利用更少的计算资源,它可以在初值、物理过程、误差校正等方面解决数值天气预报领域面临的难题。
6、近年来,机器学习(machine learning,ml)在研究和各种应用中变得非常普遍,包括文本挖掘、垃圾邮件检测、视频推荐、图像分类和多媒体概念检索。机器学习算法的有效性高度依赖于输入数据表示的完整性。适当的数据表示已被证明可以提高性能,相比之下,较差的数据表示则效果不佳。因此,特征工程成为机器学习领域多年来的一个重要研究趋势,它旨在从原始数据中构建特征。在众多机器学习算法中,深度学习(deep learning,dl)被广泛应用于这些领域。深度学习,也被称为表示学习,得益于数据获取能力的不断增长和硬件技术(如高性能gpu)的惊人进步,持续引领着深度和分布式学习领域的新研究。深度学习源自传统机器学习,但在性能上大大超越了其前身,其采用转换和图技术,构建多层学习模型,在包括音频和语音处理、视觉数据处理、自然语言处理等多个应用领域取得了卓越的表现。不少学者在深度学习方面已开展大量研究,黄冬梅等分别利用卷积神经网络模型以及深度置信网络模型来评估不同深度学习模型在海冰冰水分类中的性能。brajard等在资料同化中采用结合深度学习的算法,bonavitaandlaloyaux采用人工神经网络(ann)构造模式初值,均取得了很好的预报效果,rasp等利用混合物理-卷积模型可以模拟次网格以下的过程。
7、常规的数值计算方法往往仅考虑数据本身及其周围数据的“契合度”,而忽略了数据本身的特性,包括其物理特性以及类似云导风资料之类的数据间规律特性等,导致云导风资料由于控制处理后的质量没有明显的提升而在业务化数值预报系统中应用效果较差。
技术实现思路
1、有鉴于此,本技术利用深度学习技术克服常规数值方法的缺陷,抓取云导风资料更深层次信息和特征,并利用质量更高的再分析资料作为订正标签。在常规云导风误差订正技术的基础上,有效利用云导风的数据特征,基于卷积神经网络构造深度学习模型,对多通道云导风资料进行误差订正算法探究,优化云导风数据,然后利用再分析数据集对模型进行效果评估、信息反馈和迭代优化,接着将改进后的的云导风资料应用到四维变分资料同化系统中,测试和验证新的云导风资料对于气象的预报性能变化影响。
2、本技术所构造的云导风质控网络模型,使用多层卷积神经网络作为模型的核心,特别是采用unet网络作为骨架,可以有效地处理图像数据,并提取出丰富的特征表示,同时分别在下采样与上采样模块中设计的时空信息提取模块,能够针对云导风的特征信息进行进一步的重构与提取,能够有效增加云导风资料的信息利用度,并提高模型稳定性。
3、通过在下采样过程中设计多尺度时间窗口与注意力机制结合的方法,可以使网络更加聚焦于重要的时间帧,有效捕捉云导风资料不同时间尺度的特征,例如初级层可能关注短期变化,而更深的层则捕捉更加长期的趋势变化。
4、上采样阶段设计一种新的特征融合策略,基于通道注意力机制,让模型对不同层级的特征图采用不同的处理策略,能够有效利用下采样过程中的数据信息,从而提高最终云导风资料误差订正任务的效果。
5、具体地,本技术公开的基于深度学习的云导风误差订正方法,包括以下步骤:
6、s1收集云导风数据和再分析数据作为训练集;
7、s2对训练集中的数据进行预处理;
8、s3基于u-net网络和云导风数据自身特征构建云导风质控网络,并使用云导风质控网络对训练集数据进行训练;所述云导风质控网络包含两个部分:下采样编码模块与上采样解码模块,其中,下采样模块通过多层卷积运算提取出其深层时空信息,然后将提取出的时空信息传递到上采样解码模块,所述上采样解码模块再通过上采样进行数据重构与预测;在下采样过程中,还通过跳跃连接方法,将下采样过程中的中间状态张量与相同级别的上采样过程连接,从而实现信息融合,使上采样重构过程中保持更多的数据特征信息;
9、s4基于质量评价函数,利用再分析数据作为参考数据分析云导风数据质量,并进行迭代训练;
10、s5将实际采集的数据经过训练后的云导风质控网络中,再将云导风质控网络的输出数据经过同化后,输入四维变分同化系统中进行天气预报。
11、更近一步地,预处理包括以下步骤:
12、数据清洗:对原始数据进行质量检查,剔除异常值、缺失值和不一致的数据;针对云导风数据与探空数据,将两组数据之中的缺测值统一转换为numpy库中的nan格式;
13、数据整理:将不同来源的数据整合到统一的空间和时间分辨率,将再分析数据插值到云导风格点上;
14、数据转换:基于python中的pandas库,建立数据结构,该结构基于原始云导风资料时空特征,将其转换为离散站点数据,分别储存经纬度、气压高度、风场信息数据,并判断云导风数据与每层再分析数据之间的一致性,从而将云导风数据与再分析数据进行分层匹配,最终将再分析网格资料转换到该结构上,使得所有数据一一对应。
15、更近一步地,所述下采样编码模块采用一种多尺度时间特征融合的方法,通过在不同处理层级加入针对不同时间跨度的模块,来整合不同时间尺度上的信息,并利用注意力机制灵活调用不同时间窗口的权重属性,从而充分识别并提取云导风资料的时序特征。
16、更近一步地,所述一种多尺度时间特征融合的方法,引入lstm长短期记忆网络,对云导风资料的时序特征进行提取,避免u-net网络丢失数据时序特征的缺点;在lstm长短期记忆网络中加入滑动时间窗口,在不同下采样层级间加入针对不同时间跨度的模块,来整合不同时间尺度上的信息,并利用注意力机制,调用不同时间窗口的权重属性,识别并提取云导风资料的时序特征。
17、更近一步地,上采样解码模块包括:
18、采用最大池化层来增加卷积核对特征图的感知能力;
19、在各层之间选择性采用批归一化层来加快模型的收敛速度以及参数的拟合速度;
20、针对云导风数据特征,采用leakyrelu作为激活函数。
21、更近一步地,在上采样过程中,引入注意力机制进行跳跃连接,使网络能够更有效地学习在合并特征时应关注的区域,为每个低级特征图创建独立的通道注意力模块,让模型能够更加灵活地处理不同层次的特征,从而提高对重要特征的识别和利用效率。
22、更近一步地,在对低级特征图应用注意力机制后,再与上采样的高级特征图进行融合,为每个低级特征图创建独立的注意力模块,来应对不同低级特征图的噪声误差信息,每次训练时调控不同低级特征图的权重,从而抓取每个低级特征图的不同重要信息。
1.基于深度学习的云导风误差订正方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于深度学习的云导风误差订正方法,其特征在于,预处理包括以下步骤:
3.根据权利要求1所述的基于深度学习的云导风误差订正方法,其特征在于,所述下采样编码模块采用一种多尺度时间特征融合的方法,通过在不同处理层级加入针对不同时间跨度的模块,来整合不同时间尺度上的信息,并利用注意力机制灵活调用不同时间窗口的权重属性,从而充分识别并提取云导风资料的时序特征。
4.根据权利要求3所述的基于深度学习的云导风误差订正方法,其特征在于,所述一种多尺度时间特征融合的方法,引入lstm长短期记忆网络,对云导风资料的时序特征进行提取,避免u-net网络丢失数据时序特征的缺点;在lstm长短期记忆网络中加入滑动时间窗口,在不同下采样层级间加入针对不同时间跨度的模块,来整合不同时间尺度上的信息,并利用注意力机制,调用不同时间窗口的权重属性,识别并提取云导风资料的时序特征。
5.根据权利要求1所述的基于深度学习的云导风误差订正方法,其特征在于,上采样解码模块包括:
6.根据权利要求5所述的基于深度学习的云导风误差订正方法,其特征在于,在上采样过程中,引入注意力机制进行跳跃连接,使网络能够更有效地学习在合并特征时应关注的区域,为每个低级特征图创建独立的通道注意力模块,让模型能够更加灵活地处理不同层次的特征,从而提高对重要特征的识别和利用效率。
7.根据权利要求6所述的基于深度学习的云导风误差订正方法,其特征在于,在对低级特征图应用注意力机制后,再与上采样的高级特征图进行融合,为每个低级特征图创建独立的注意力模块,来应对不同低级特征图的噪声误差信息,每次训练时调控不同低级特征图的权重,从而抓取每个低级特征图的不同重要信息。
