本发明涉及一种基于深度卷积神经网络的频谱超分辨率在线重建方法,属于认知无线电通信领域。
背景技术:
卫星频谱感知具有感知范围广、频谱利用率高、设备功耗低等优点,随着接入卫星的地面终端设备数量的增加,卫星频谱传感系统传输的数据量在同一时间内成倍增长,对数据的传输需求越来越大。然而,卫星与地面站之间的传输距离较远,传输能力有限。当前解决星地间海量数据传输受限问题一般有两种方式:一种是通过数据压缩、提高调制解调体制效率等软件方式提高传输链路能力;另一种是通过布局更多地面接收站、使用中继卫星等硬件设备解决传输受限问题,然而高昂的投入成本,换来传输能力有限的提升。因此,在满足感知性能的前提下,我们考虑增大卫星采样数据间隔的方式降低传输量,在地面信关站通过数据恢复方法来重建接收数据的更多信息细节。
近年来,随着计算机运算能力的提升以及海量数据,深度学习技术迅速发展,并在各个研究领域都得到了广泛的应用并取得了显著的成果。深度卷积神经网络是拥有稀疏性、参数共享、非线性、平移不变性等优点,注重学习空间上的相关性,在图像处理和分类方面具有优异性能,将图像恢复方法迁移到频谱重建上,把时频域频谱看作是灰度图,时频域相当于图像的高和宽,功率谱密度值相当于像素值。因此应用深度卷积神经网络来对频谱进行恢复重建是可行的、合理的。
基于以上观点,这里研究的基于深度卷积神经网络(deepconvolutionalneuralnetworks,dcnn)的频谱超分辨率在线重建方法,通过在离线阶段对历史hr频谱的时频域进行自相关分析,学习hr频谱和lr频谱间的特征映射;通离线在线的动态框架,将实时的lr频谱数据输入到训练好的神经网络模型中,实现实时lr频谱的重建,从而缓解星地间传输压力;通过间隔发送的一段hr频谱,在线评估模型性能,保证模型的重建能力。
技术实现要素:
发明目的:为了克服现有技术中存在的不足,本发明提供一种基于深度卷积神经网络的频谱超分辨率在线重建方法,结合离线在线频谱重建的动态框架,通过挖掘历史hr频谱数据与其对应的lr频谱数据的特征映射关系,实现在线重建实时lr频谱数据,并用周期性发送的小段hr频谱数据进行模型的性能监控,既保证了模型重建的性能,也缓解了星地间传输的压力。
技术方案:为实现上述目的,本发明采用的技术方案为:
一种基于深度卷积神经网络的频谱超分辨率在线重建方法,结合离线在线频谱重建的动态框架进行在线重建,包括模型构建、离线训练、在线重建和在线评估四个部分,具体步骤如下:
(1)模型构建:利用多层卷积层搭建深度卷积神经网络,网络模型参数通过自适应矩估计优化算法进行优化;
(2)离线训练:对传输的hr频谱(high-resolution,高分辨率频谱)进行数据预处理得到大尺寸lr频谱(low-resolution,低分辨率频谱),然后将大尺寸lr频谱和对应的hr频谱一同作为训练样本输入到网络模型中进行训练;
对传输的hr频谱进行数据预处理的过程包括:对采集到的真实hr频谱进行归一化,对归一化后的hr频谱进行降质,获得lr频谱;对lr频谱进行零插值操作,将lr频谱扩大至hr频谱的尺寸,得到大尺寸lr频谱;
(3)在线重建:数据重建服务器利用训练确定的网络模型重建传输的lr频谱,得到重建的hr频谱;
过程包括:对卫星传输的lr频谱进行归一化,对归一化后的lr频谱进行零插值操作,将lr频谱扩大至hr频谱的尺寸,得到大尺寸lr频谱;将大尺寸lr频谱输入到训练好的网络模型中;
(4)在线评估:基于周期性传输的少量hr数据,将其降质后使用训练好的网络模型进行hr重建,并分析重建的hr频谱与传输的hr频谱进行对比的误差,确定是否需要重新进行离线训练。
本发明方法通过在离线阶段对历史hr频谱的时频域进行自相关分析,学习hr频谱和lr频谱间的特征映射;通过离线在线动态框架,将实时的lr频谱数据输入到训练好的神经网络模型中,实现实时lr频谱的重建,从而缓解星地间传输压力;通过间隔发送的小段hr频谱,在线评估模型的重建性能。
具体的,所述步骤(1)中,设计深度卷积神经网络构建网络模型,通过网络模型学习lr频谱到hr频谱间端到端的一个特征映射,估计lr频谱中缺失的高频信息从而实现hr频谱的重建,网络模型使用修正线性单元作为卷积层的激活函数,用于隐藏层神经元输出;激活函数的形式为:
y=max(0,x)
其中:x为深度神经网络的输入向量;max(0,x)为取0和x中的最大值,即当x≤0时,输出为0,当x>0时,输出为x;
网络模型由三层卷积层构成,分别为特征提取层、非线性映射层和频谱重建层:
f1(x)=max(0,w1*x b1)
f2(x)=max(0,w2*f1(x) b2)
f(x)=w3*f2(x) b3
其中:x表示大尺寸lr频谱,*表示卷积运算;
f1(x)为特征提取层的输出,权重w1包含n1个尺寸为c×f1×f1的特征提取层卷积核,b1表示特征提取层的偏置,且b1是一个n1维向量,n1为不为零的整数;c为特征提取层卷积核的深度,f1同时用于表示特征提取层卷积核的长和宽;特征提取层使用n1个卷积核做卷积操作,每个卷积核输出一张特征映射图,组成n1维特征映射图;
f2(x)为非线性映射层的输出,权重w2包含n2个尺寸为n1×f2×f2的非线性映射层卷积核,b2表示非线性映射层的偏置,且b2是一个n2维向量,n2为不为零的整数;f2同时用于表示非线性映射层卷积核的长和宽;非线性映射层对特征提取层的输出进行非线性映射,输出n2维特征映射图;
f(x)为频谱重建层的输出,权重w3包含n3个大小为n2×f3×f3的频谱重建层卷积核,b3表示频谱重建层的偏置,且b3是一个n3维向量,n3为不为零的整数;f3为同时用于表示频谱重建层卷积核的长和宽;频谱重建层对非线性映射层输出的特征映射图重叠区域进行平均化操作,获得完整的重建的hr频谱;
网络模型的损失函数l(θ)为均方误差函数:
其中:f(xk;θ)为对大尺寸lr频谱xk进行重建得到的重建hr频谱,即频谱重建层的输出;θ={w1,w2,w3,b1,b2,b3}为网络模型参数,k为训练集或验证集的大小,k为训练集或验证集中元素的序号,{yk}为真实hr频谱集合,{xk}为与{yk}对应的大尺寸lr频谱集合;
网络模型使用自适应矩估计优化算法迭代更新网络模型参数θ,在lr频谱和hr频谱间更好地建立端到端的特征映射,使得重建hr频谱f(xk;θ)与对应的真实hr频谱yk之间的误差达到最小;
网络模型的性能评估准则为平均绝对误差(mae)值,用以评估真实hr频谱与重建hr频谱间的功率谱密度归一化误差值,其公式为:
其中:m为频点总数,n是时间长度,y(i,j)是真实hr频谱中第i个频点j时刻的功率谱密度归一化值,
具体的,所述步骤(2)中,离线训练包括如下步骤:
步骤21:对传输的hr频谱
其中:
步骤22:对归一化后的hr频谱
步骤23:在
其中:n为正整数,s=1,
步骤24:训练网络模型
(241)r为最大训练周期,网络模型参数集为{θ1,θ2,θ,θr},初始化maebest为无穷大的正数,初始化训练周期变量r=0,设置计数器count,并初始化count=0;
(242)训练周期r=r 1;
(243)在训练集
其中:
(244)计算误差mae:若mae>maebest,则count=count 1,进入步骤(245);否则,maebest=mae,count=0,进入步骤(245),maebest为最小重建误差值;
(245)判断count≤patience是否成立:若成立,则进入步骤(246);否则,
其中:
(246)判断r>r是否成立:若成立,则结束;否则,返回步骤(242);
步骤25:选择最佳网络模型参数
具体的,所述步骤(3)中,在线重建包括如下步骤:
步骤31:
步骤32:t=t 1,当
其中:
步骤33:对归一化后的lr频谱
步骤34:将
具体的,所述步骤(4)中,在线评估包括如下步骤:
步骤41:
t=t 1,当
其中:
步骤42:对归一化后的hr频谱
步骤43:将
有益效果:本发明提供的基于深度卷积神经网络的频谱超分辨率在线重建方法,通过使用hr频谱离线训练模型,在线重建lr频谱,在一定程度上提高星地传输效率,缓解了传输的压力;其中,在数据预处理方面使用了零插值法,并使用自适应矩估计优化网络模型,使得模型具有更好的重建效果。
附图说明
图1为本发明的实施流程图;
图2为本发明方法的基于dcnn的频谱超分辨率重建模型;
图3为本发明方法的离线在线频谱重建的动态框架示意图;
图4为本发明方法使用离线在线框架和不使用离线在线框架的结果对比图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
如图1所示为一种基于深度卷积神经网络的频谱超分辨率在线重建方法,结合离线在线频谱重建的动态框架进行在线重建,包括模型构建、离线训练、在线重建和在线评估四个部分,下面就各个部分做出具体说明。
一、模型构建:由三层卷积层构成网络模型,不使用池化层以尽可能地保留数据细节,在第二层卷积层使用1×1的卷积核以增加网络模型的非线性表征力。
如图2所示,设计深度卷积神经网络构建网络模型,通过网络模型学习lr频谱到hr频谱间端到端的一个特征映射,估计lr频谱中缺失的高频信息从而实现hr频谱的重建,网络模型使用修正线性单元作为卷积层的激活函数,用于隐藏层神经元输出;激活函数的形式为:
y=max(0,x)
其中:x为深度神经网络的输入向量;max(0,x)为取0和x中的最大值,即当x≤0时,输出为0,当x>0时,输出为x。
网络模型由三层卷积层构成,分别为特征提取层、非线性映射层和频谱重建层:
f1(x)=max(0,w1*x b1)
f2(x)=max(0,w2*f1(x) b2)
f(x)=w3*f2(x) b3
其中:x表示大尺寸lr频谱,*表示卷积运算。
f1(x)为特征提取层的输出,权重w1包含n1个尺寸为c×f1×f1的特征提取层卷积核,b1表示特征提取层的偏置,且b1是一个n1维向量,n1为不为零的整数;c为特征提取层卷积核的深度,f1同时用于表示特征提取层卷积核的长和宽;特征提取层使用n1个卷积核做卷积操作,每个卷积核输出一张特征映射图,组成n1维特征映射图。
f2(x)为非线性映射层的输出,权重w2包含n2个尺寸为n1×f2×f2的非线性映射层卷积核,b2表示非线性映射层的偏置,且b2是一个n2维向量,n2为不为零的整数;f2同时用于表示非线性映射层卷积核的长和宽;非线性映射层对特征提取层的输出进行非线性映射,输出n2维特征映射图。
f(x)为频谱重建层的输出,权重w3包含n3个大小为n2×f3×f3的频谱重建层卷积核,b3表示频谱重建层的偏置,且b3是一个n3维向量,n3为不为零的整数;f3为同时用于表示频谱重建层卷积核的长和宽;频谱重建层对非线性映射层输出的特征映射图重叠区域进行平均化操作,获得完整的重建的hr频谱。
网络模型的损失函数l(θ)为均方误差函数:
其中:f(xk;θ)为对大尺寸lr频谱xk进行重建得到的重建hr频谱,即频谱重建层的输出;θ={w1,w2,w3,b1,b2,b3}为网络模型参数,k为训练集或验证集的大小,k为训练集或验证集中元素的序号,{yk}为hr频谱集合,{xk}为与{yk}对应的大尺寸lr频谱集合。
网络模型使用自适应矩估计优化算法迭代更新网络模型参数θ,在lr频谱和hr频谱间更好地建立端到端的特征映射,使得重建hr频谱f(xk;θ)与对应的真实hr频谱yk之间的误差达到最小。
网络模型的性能评估准则为平均绝对误差值,用以评估真实hr频谱与重建hr频谱间的功率谱密度归一化误差值,其公式为:
其中:m为频点总数,n是时间长度,y(i,j)是真实hr频谱中第i个频点j时刻的功率谱密度归一化值,
二、离线训练:对采集到的真实hr频谱进行数据预处理得到大尺寸lr频谱,然后将大尺寸lr频谱和对应的真实hr频谱一同作为训练样本输入到网络模型中进行训练。
如图1中所示,对采集到的真实hr频谱进行数据预处理的过程包括:对采集到的真实hr频谱进行归一化,对归一化后的hr频谱进行降质,获得lr频谱;对lr频谱进行零插值操作,将lr频谱扩大至hr频谱的尺寸,得到大尺寸lr频谱;该过程具体包括如下步骤:
步骤21:对传输hr频谱
其中:
步骤22:对归一化后的hr频谱
步骤23:在
其中:n为正整数,s=1,
步骤24:训练网络模型
(241)r为最大训练周期,网络模型参数集为θ1,θ2,…,θr},初始化maebest为无穷大的正数,初始化训练周期变量r=0,设置计数器count,并初始化count=0;
(242)训练周期r=r 1;
(243)在训练集
其中:
(244)计算误差mae:若mae>maebest,则count=count 1,进入步骤(245);否则,maebest=mae,count=0,进入步骤(245),maebest为最小重建误差值;
(245)判断count≤patience是否成立:若成立,则进入步骤(246);否则,
其中:
(246)判断r>r是否成立:若成立,则结束;否则,返回步骤(242);
步骤25:选择最佳网络模型参数
三、在线重建:卫星传输lr频谱,在信关站使用训练好的网络模型重建卫星传输的lr频谱,得到重建的hr频谱。
步骤31:
步骤32:t=t 1,当
其中:
步骤33:对归一化后的lr频谱
步骤34:将
四、在线评估:卫星周期性发送一段真实hr频谱,使用训练好的网络模型重建卫星发送的真实hr频谱,得到重建的hr频谱,评估重建的hr频谱与卫星发送的真实hr频谱的误差,得到网络模型的性能评估。
步骤41:
t=t 1,当
其中:
步骤42:对归一化后的hr频谱
步骤43:将
为了能够检验离线在线频谱重建的动态框架效果,我们将在两倍重建下选取两段具有不同规律的频谱1820~1838mhz和1838~1856mhz首尾相连,模拟感知卫星动态地传输数据,离线阶段的hr频谱数据长度设置为2000个时隙,在线重建阶段的lr频谱数据长度设置为5000个时隙,在线评估阶段的hr频谱数据长度设为200个时隙,根据验证误差,将最大的重建误差值mae设为0.035。如图4所示,我们利用离线在线频谱重建的动态框架,间隔地给出小段hr频谱数据用于监测模型性能,当时间在60400时隙,模型重建的误差mae大于最大误差阈值时,地面站认为频谱的规律已经改变,通知卫星发送hr频谱数据,一方面用于传输,另一方面用于模型的离线训练,因此训练阶段并不影响卫星数据传输。在67600时隙,新的模型被用于在线重建和在线预测,重建误差回归正常水平。
综上所述,本发明提供的基于dcnn神经网络的频谱超分辨率在线重建方法,结合离线在线频谱重建的动态框架,模型离线使用传输的hr频谱数据进行训练,在线阶段直接重建lr频谱数据,离线在线动态框架的加入,使得卫星间隔发送小段hr频谱用于在线评估模型性能,保证了模型长期有效地重建实时lr频谱的能力,避免模型因随机噪声的影响和频谱规律的变化导致的性能下降,从而达到缓解星地间传输压力的目的。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
1.一种基于深度卷积神经网络的频谱超分辨率在线重建方法,其特征在于:结合离线在线频谱重建的动态框架进行在线重建,包括模型构建、离线训练、在线重建和在线评估四个部分,具体步骤如下:
(1)模型构建:利用多层卷积层搭建深度卷积神经网络,网络模型参数通过自适应矩估计优化算法进行优化;
(2)离线训练:对传输的hr频谱进行数据预处理得到大尺寸lr频谱,然后将大尺寸lr频谱和对应的hr频谱一同作为训练样本输入到网络模型中进行训练;
对传输的hr频谱进行数据预处理的过程包括:对传输的hr频谱进行归一化,对归一化后的hr频谱进行降质,获得lr频谱;对lr频谱进行零插值操作,将lr频谱扩大至hr频谱的尺寸,得到大尺寸lr频谱;
(3)在线重建:数据重建服务器利用训练确定的网络模型重建传输的lr频谱,得到重建的hr频谱;
过程包括:对卫星传输的lr频谱进行归一化,对归一化后的lr频谱进行零插值操作,将lr频谱扩大至hr频谱的尺寸,得到大尺寸lr频谱;将大尺寸lr频谱输入到训练好的网络模型中;
(4)在线评估:基于周期性传输的少量hr数据,将其降质后使用训练好的网络模型进行hr重建,并分析重建的hr频谱与传输的hr频谱进行对比的误差,确定是否需要重新进行离线训练。
2.根据权利要求1所述的基于深度卷积神经网络的频谱超分辨率在线重建方法,其特征在于:所述步骤(1)中,设计深度卷积神经网络构建网络模型,通过网络模型学习lr频谱到hr频谱间端到端的一个特征映射,估计lr频谱中缺失的高频信息从而实现hr频谱的重建,网络模型使用修正线性单元作为卷积层的激活函数,用于隐藏层神经元输出;激活函数的形式为:
y=max(0,x)
其中:x为深度神经网络的输入向量;max(0,x)为取0和x中的最大值,即当x≤0时,输出为0,当x>0时,输出为x;
网络模型由三层卷积层构成,分别为特征提取层、非线性映射层和频谱重建层:
f1(x)=max(0,w1*x b1)
f2(x)=max(0,w2*f1(x) b2)
f(x)=w3*f2(x) b3
其中:x表示大尺寸lr频谱,*表示卷积运算;
f1(x)为特征提取层的输出,权重w1包含n1个尺寸为c×f1×f1的特征提取层卷积核,b1表示特征提取层的偏置,且b1是一个n1维向量,n1为不为零的整数;c为特征提取层卷积核的深度,f1同时用于表示特征提取层卷积核的长和宽;特征提取层使用n1个卷积核做卷积操作,每个卷积核输出一张特征映射图,组成n1维特征映射图;
f2(x)为非线性映射层的输出,权重w2包含n2个尺寸为n1×f2×f2的非线性映射层卷积核,b2表示非线性映射层的偏置,且b2是一个n2维向量,n2为不为零的整数;f2同时用于表示非线性映射层卷积核的长和宽;非线性映射层对特征提取层的输出进行非线性映射,输出n2维特征映射图;
f(x)为频谱重建层的输出,权重w3包含n3个大小为n2×f3×f3的频谱重建层卷积核,b3表示频谱重建层的偏置,且b3是一个n3维向量,n3为不为零的整数;f3为同时用于表示频谱重建层卷积核的长和宽;频谱重建层对非线性映射层输出的特征映射图重叠区域进行平均化操作,获得完整的重建的hr频谱;
网络模型的损失函数l(θ)为均方误差函数:
其中:f(xk;θ)为对大尺寸lr频谱xk进行重建得到的重建hr频谱,即频谱重建层的输出;θ={w1,w2,w3,b1,b2,b3}为网络模型参数,k为训练集或验证集的大小,k为训练集或验证集中元素的序号,{yk}为hr频谱集合,{xk}为与{yk}对应的大尺寸lr频谱集合;
网络模型使用自适应矩估计优化算法迭代更新网络模型参数θ,使得重建hr频谱f(xk;θ)与对应的真实hr频谱yk之间的误差达到最小;
网络模型的性能评估准则为平均绝对误差值,用以评估真实hr频谱与重建hr频谱间的功率谱密度归一化误差值,其公式为:
其中:m为频点总数,n是时间长度,y(i,j)是真实hr频谱中第i个频点j时刻的功率谱密度归一化值,
3.根据权利要求1所述的基于深度卷积神经网络的频谱超分辨率在线重建方法,其特征在于:所述步骤(2)中,离线训练包括如下步骤:
步骤21:对传输的hr频谱
其中:
步骤22:对归一化后的hr频谱
步骤23:在
其中:n为正整数,s=1,
步骤24:训练网络模型
(241)r为最大训练周期,网络模型参数集为{θ1,θ2,…,θr},初始化maebest为无穷大的正数,初始化训练周期变量r=0,设置计数器count,并初始化count=0;
(242)训练周期r=r 1;
(243)在训练集
其中:
(244)计算误差mae:若mae>maebest,则count=count 1,进入步骤(245);否则,maebest=mae,count=0,进入步骤(245),maebest为最小重建误差值;
(245)判断count≤patience是否成立:若成立,则进入步骤(246);否则,
其中:
(246)判断r>r是否成立:若成立,则结束;否则,返回步骤(242);
步骤25:选择最佳网络模型参数
4.根据权利要求1所述的基于深度卷积神经网络的频谱超分辨率在线重建方法,其特征在于:所述步骤(3)中,在线重建包括如下步骤:
步骤31:
步骤32:t=t 1,当
其中:
步骤33:对归一化后的lr频谱
步骤34:将
5.根据权利要求1所述的基于深度卷积神经网络的频谱超分辨率在线重建方法,其特征在于:所述步骤(4)中,在线评估包括如下步骤:
步骤41:
t=t 1,当
其中:
步骤42:对归一化后的hr频谱
步骤43:将