本发明涉及无线通信技术领域，具体来说，涉及无线通信领域中的资源动态管理，更具体地说，涉及一种多波束卫星通信网络的资源分配方法。
背景技术：
卫星网络中的业务具有空、时分布均匀的特点，现有的多波束卫星(包括高通量卫星)通常采用固定的资源分配方式将网络资源分配给不同的波束，缺乏资源灵活分配的能力，无法有效应对各波束覆盖下用户业务的变化。现有资源管理器的资源分配呈现两级分化：一方面给轻负载波束分配的资源过剩，资源被浪费；另一方面给重负载波束分配的资源又太少，波束覆盖下的用户业务需求无法保障，导致卫星资源管理器的资源利用效率比较低下。因此，根据各波束覆盖下用户业务的空、时分布特点进行资源动态按需分配是提升卫星资源利用率的关键。
现有的研究技术分别从功率管理、带宽管理、波束管理等角度出发，提出了相应的网络资源按需分配技术。但是，采用单一的资源管理方式通常得出的资源优化分配方案不是最优化方案，只能一定程度上提升网络资源利用效率，效果有限。因此，要达到较高的资源使用效率，需要从多种途径综合考虑设计资源管理技术，获取最优的资源动态按需分配方案。
基于现有的研究情况，国内外研究者提出通信卫星应设计更为灵活的通信载荷，允许卫星网络资源管理器根据波束覆盖下的业务分布调整通信载荷中各波束下的带宽、载波和功率等资源分配策略。但是，伴随着资源管理的手段增多，资源管理模型考虑的因素也就越多，例如，新的资源管理模型需考虑用户业务需求、用户信道条件、网络干扰、功率使用限制、频率使用限制等，在这种高维度信息空间中，资源管理器根据每个时间点各波束下的用户业务需求计算网络资源的最优化资源分配方案时，可能存在无限种资源优化分配方案，也就意味着要从所有的方案中找出最优的哪一种方案几乎不可能并且非常耗时。国外有学者尝试采用模拟退火算法求解这类高维度资源优化分配问题，但是在计算资源动态分配最优化策略时，容易陷入局部最优解，并且随着卫星波束数量的增加，计算复杂度呈现指数级增长，耗时十分严重，难以满足业务每小时动态调整资源分配方案的要求。
因此，在多波束卫星通信网络中，需要一种高效的资源管理器，使之既能满足高信息维度空间搜索最优解的需求，又能降低求解的复杂度，根据各波束下的用户业务分布，快速的更新资源分配方案，以适应业务时变的环境，满足资源管理的动态需求，有效提升资源利用率。
技术实现要素：
因此，为了达到上述目的，本发明提供一种新的高效的能够满足资源动态分配需求的、提升资源利用率的多波束卫星资源分配方法及系统。
根据本发明的第一方面，提供一种多波束卫星网络资源分配方法，用于具有灵活通信载荷配置的卫星网络，包括如下步骤：
s1、将卫星网络中的带宽、载波和功率资源平均分配给卫星的每一个波束并调整好每个波束的功率等级以获得卫星网络资源初始分配方案，同时初始化资源调整策略，其中资源调整策略表示的是预设调整动作集合中所有调整动作对应的被选中概率；根据本发明的一些实施例，所述预设调整动作集合中包括如下动作中的几种或全部：增加一级当前波束的功率等级、减少一级当前波束的功率等级、不做调整、给当前波束增加一个载波、给当前波束减少一个载波。其中，初始化资源调整策略是将预设动作集合中每一种调整动作对应的概率随机设置为0～1之间的小数以使所有调整动作对应的概率之和为1。
s2、基于各波束覆盖范围内所有用户的资源需求以及波束当前被分配的网络资源计算每一个波束的资源分配状态及供需差距，并根据所有波束的资源分配状态及供需差距计算卫星网络资源的资源匹配性能指标；根据本发明的一些实施例，每个波束的资源分配状态及供需差距为：cpi＝rii jdii，其中，rii＝tio/tir，rii≥0，表示波束i的资源分配状态；dii＝tio-tir，表示第i个波束的资源供需的差距，tio为分配给第i个波束的网络资源对应的容量，tir为第i个波束覆盖范围内所有用户需求的容量；卫星网络资源的资源匹配性能指标为：
s3、对卫星网络资源初始分配方案进行多轮全局预调整，得到多个全局预调整方案；其中每一轮全局预调整是对卫星网络资源初始分配方案进行预设次数的多次迭代预调整，且每一次预调整是在上一次预调整后的卫星网络资源分配方案基础上进行调整；根据本发明的一些实施例，对卫星网络初始分配方案进行至少1000轮全局预调整或某一轮全局预调整中某一次预调整的资源匹配性能指标达到1为止，每一轮全局预调整中预设的次数至少为卫星网络中波束的数量。其中，每一次预调整是随机选择卫星的一个波束并根据当前资源调整策略随机选择一种调整动作对该波束进行预调整，计算每一次预调整后卫星网络资源分配方案对应的资源匹配性能指标，选出资源匹配性能指标最优的某次预调整对应的卫星网络资源分配方案作为当轮全局预调整方案。在每一轮全局预调整中，记录每一次预调整前后卫星网络资源的资源匹配性能指标的变化，将资源调整策略中在预调整后资源匹配性能指标变好的调整动作对应的被选中概率提高，将资源调整策略中在预调整后资源匹配性能指标变差的调整动作对应的被选中概率降低。
s4、从所有全局预调整方案中选择一个资源匹配性能指标最优的方案并将卫星网络资源按照该方案进行分配。
根据本发明的第二方面，提供一种卫星网络系统，包括卫星、地面关口站、地面网络控制中心、地面网络管理中心和用户终端，所述卫星网络系统具有灵活通信载荷的配置，所述地面网络控制中心配置有网络资源管理器，用于将卫星网络的带宽、载波和功率资源按照如本发明第一方面所述的方法分配给各个波束；所述地面关口站配置有波束资源管理器，用于将波束分配到的带宽、载波和功率资源分配给波束覆盖范围内的用户。
根据本发明的第三方面，提供一种用于卫星网络资源的分配系统，所述系统包括全局资源管理器、多个子资源管理器；其中，所述全局资源管理器用于初始化卫星网络资源分配方案以将卫星网络的带宽、载波和功率资源平均分配给卫星网络中的每一个波束，并按照子资源管理器反馈的方案中资源匹配性能指标最优的方案调整分发给各个波束的资源；所述每个子资源管理器独立的对初始化后的卫星网络资源分配方案进行多轮全局预调整，每一轮全局预调整之后给全局资源管理器反馈一个资源分配方案；其中，每一轮全局预调整是对初始化后的卫星网络资源分配方案进行预设次数的多次迭代预调整，且每一次预调整是在上一次预调整后的卫星网络资源分配方案基础上进行调整，并将多次迭代调整中资源匹配性能指标最优的某一次调整对应的资源分配方案反馈给全局资源管理器。优选的，所述用于卫星网络资源的分配系统将卫星网络资源分配方案组织为状态矩阵s,且
其中，cbi表示子资源管理器当前时刻是否对第i个波束的资源使用情况进行调整，cbi＝1时表示是，0时表示不是；bi表示波束的id号，
与现有技术相比，本发明的优点在于：本发明解决了多波束卫星网络中，在用户业务空、时分布不均场景下，现有资源管理器的分配方案存在分配两极化的情况，而导致网络资源利用率低的问题。本发明涉及的两级资源框架，以资源按需分配为目的，建立了卫星网络资源管理模型，并提出了adrl-dra方法，该方法采用多个异步并行的子资源管理器，各子资源管理器采用不同的策略进行资源最优化分配方案计算，且可通过全局cnn神经网络(卷积神经网络)共享计算经验，提升搜索最优分配方案的效率，并通过并行计算大幅降低了计算时间，有效解决了现有方案求解容易陷入局部最优解及耗时严重的问题。另外，由于设计的adrl-dra采用了并行化的技术，可以大幅度降低新的资源分配方案计算的时间，满足资源管理动态分配的需求。
附图说明
以下参照附图对本发明实施例作进一步说明，其中：
图1为根据本发明实施例的多波束通信卫星网络架构示意图；
图2为根据本发明实施例的灵活卫星通信载荷的配置示意图；
图3为根据本发明实施例的灵活载荷的配置可变模式下的输入输出回退曲线示意图；
图4为根据本发明实施例的多波束卫星的网络覆盖示意图；
图5为根据本发明实施例的多波束卫星波束覆盖范围内业务流量变化特性示意图；
图6为根据本发明实施例的卫星资源管理两级框架示意图；
图7为根据本发明实施例的卫星网络资源分配方法中adrl-dar方法中采用的神经网络结构示意图；
图8为根据本发明实施例的卫星网络资源分配方法中adrl-dar方法的工作结构示意图；
图9为根据本发明实施例的卫星网络资源分配方法中adrl-dar方法流程示意图；
图10为根据本发明实施例的卫星网络资源分配方法实验验证流程示意图。
具体实施方式
为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
现有的资源管理技术在面对复杂(需要考虑的信息维度很高)的卫星网络时，容易陷入局部最优解，计算得到的资源管理方案通常是次优的，资源管理效率提升有限，无法高效的使用稀缺的卫星网络资源。另外，在计算迭代的过程中，由于迭代次数多，计算复杂，耗时非常严重，无法满足计算策略按需动态更新的需求。
针对用户业务空、时分布不均的问题，现有的资源管理技术均存在一些缺陷，不能高效利用卫星网络中稀缺的载波、带宽和功率资源。在采用目前卫星领域新的灵活通信载荷(允许带宽、载波及功率可调)技术背景下，考虑资源管理技术设计的关键影响因素，如业务需求，用户信道条件，自适应调制编码技术，网络干扰等情况时，现有的模拟退火算法，神经网络算法等存在计算复杂度高，耗时严重，动态性能不佳的缺点。另外，现有的卫星网络资源管理器，均没有明确的对网络中的网元资源管理功能进行明确的划分，给资源管理器的设计带来了不便。
为了更好的理解本发明，首先介绍一下卫星网络的基本框架以及灵活通信载荷的原理。
如图1所示，卫星网络的架构主要由卫星、地面关口站(gw)、地面网络控制中心(ncc)、地面网络管理中心(nmc)和用户终端(ut)构成。在传输体制上,下行采用tdm的多址方式，单波束可以使用多子载波，用户按照时间来共享下行的带宽资源；另外，网络采用了频率复用技术来提升频率资源的利用率。
卫星网络系统中灵活通信载荷的配置，允许卫星网络中的带宽、载波以及功率可调，本发明对灵活通信载荷的配置做了进一步的优化限制。对于卫星网络下行用户链路，一个多波束天线上有多个馈源，每个馈源可以产生一个波束对地面区域进行覆盖以服务该区域内的用户。需要说明的是，如果一个卫星的波束较少，例如在100个波束以下，该卫星设置一个多波束天线即可；如果一个卫星的波束较多，可设置多个多波束天线。将连接到同一个功率放大器(twta)上的波束组成一个资源管理簇，其中，功率放大器对簇内的波束进行功率放大，且针对单个波束的功率放大不会影响到功率放大器对其他波束的功率放大，每一个单波束的功率等级通过调节每个波束与功率放大器之间的数字控制器实现，每个波束与功率放大器有独立的连接端口，互不影响。图2示意性示出了灵活通信载荷的配置示意图，如图2所示，一个多波束天线中包含多个馈源，每个馈源产生一个波束，所有的波束分别连接到n个功率放大器(twta1、…twtan)上,功率放大器与波束之间通过数字控制器控制每个波束的功率放大等级，即调整输入功率ibo和输出功率obo的对应关系，如图3所示，在同样ibo的情况下，不同功率等级的twta功率放大配置对应不同的obo，考虑到载荷的交调干扰，各波束的功率放大器通常工作在固定的ibo值，如ibo取3db。本发明的功率调整指的是功率配置调整，ibo工作在固定值，obo通过调整放大级别实现；对于系统带宽的使用，为了方便理解，文中定义系统带宽为bwtot，一个簇可以使用系统所有带宽，簇与簇间的带宽资源使用完全互相独立，互不影响，定义系统的最小带宽使用单位为bwca，即一个载波可用带宽为最小带宽bwca，则一个簇内可以有bwtot/bwca个载波，定义簇内的波束可以使用多个载波，但是簇内各波束的载波不能复用，即一个载波只能被簇内的唯一的一个波束使用，通过这种带宽和功率资源使用的限制可以在灵活使用网络资源的同时，降低网络干扰。
根据本发明的一个实施例，本发明提供一种多波束卫星网络资源分配方法，能够基于灵活通信载荷实现卫星网络资源的动态分配，该分配方法包括步骤p1、p2、p3，下面详细说明每个步骤。
在步骤p1中，将卫星网络中的带宽、载波和功率资源平均分配给卫星的每一个波束并调整好每个波束的功率等级以获得卫星网络资源初始分配方案，同时初始化资源调整策略，其中，资源调整策略表示的是预设调整动作集合中所有调整动作对应的被选中概率。
根据本发明的一个实施例，调整动作集合中的调整动作包括如下动作中的几种或全部：增加一级当前波束的功率等级、减少一级当前波束的功率等级、不做调整、给当前波束增加一个载波、给当前波束减少一个载波，在初始化时，可随机将这些动作的被选中概率设置为0～1之间的小数以使所有调整动作对应的概率之和为1，例如，将每一种动作的被选中概率设置为0.2，表示在预调整过程中，每种调整动作被选到的概率均为0.2。
根据本发明的一个示例，假设卫星采用多波束对地面进行覆盖，覆盖图如图4所示，在初始化时采用传统的均匀资源分配方案，即频率规划上采用频率复用技术，如采用4色复用，系统总带宽bwtot按照相同大小的带宽被均匀分成四段，即每段子带宽大小为bwtot/4，四段带宽在频率上互相不重叠。每段带宽被分配给簇内的一个波束进行使用，这种情景下一个簇内有4个波束。然后将带宽继续划分为载波，载波使用的带宽大小为bwca，即初始化时，每个波束可以有
在步骤p2中，基于各波束覆盖范围内所有用户的资源需求以及波束当前被分配的网络资源计算每一个波束的资源分配状态及供需差距，并根据所有波束的资源分配状态及供需差距计算卫星网络资源的资源匹配性能指标。
需要说明的是，卫星波束覆盖范围内的用户业务具有空、时分布特性，在空间上，假设每个波束下的用户数量服从高斯分布，每个用户的地理位置服从泊松分布；在时间上，假设卫星网络中各波束覆盖下的平均业务需求在一天中随时间变化，则时变业务模型可由下面公式表示：
其中，v(t)表示时刻t的平均网络业务需求，a0是常数，根据运营商对覆盖区的流量数据统计规律选取。如图5所示的曲线示出了业务流量根据时间变化的特性，其中，选取了a0＝190，az是
为了更好的判断卫星网络资源分配方案的优劣，本发明设计了考虑全局优化性能的资源匹配性能指标romd，用于指示分配给网络中各波束的资源(载波、带宽和功率)与各波束覆盖下的用户业务需求的匹配程度，romd∈[0,1]，romd越接近1，说明供需的匹配程度越高；当romd等于1时，说明资源分配完全符合所有波束覆盖下用户业务的需求；反之，romd越小，说明资源分配的效率越差。定义tio为卫星网络中分配给第i个波束的容量，tir为第i个波束覆盖下所有用户需求的容量。令cpi＝rii jdii，cpi为复数平面，用于测量每个波束的资源分配状态及供需差距，其中rii＝tio/tir，rii≥0，用于表示波束i的资源分配状态，当rii＞1时，表示分配给第i个波束的资源大于该波束覆盖下用于业务的需求，波束处于资源过度分配状态；反之，rii＜1，表示波束i处于资源分配不足状态；dii＝tio-tir，用于测量资源供需的差距，当dii＞0时，表示资源过度分配，且dii越大，表示过度分配的程度越严重，反之dii<0表示资源分配不足，dii越小表示资源分配不足的程度越严重；则全网所有波束的资源分配匹配程度可以表示为
其中，β为缩放因子，用于数据的归一化处理，
此外，根据本发明的一个实施例，针对现有技术下均没有明确的对网络中的网元资源管理功能进行明确的划分，给资源管理器的设计带来了不便的问题，本发明从“宏观”和“微观”的角度设计了两级卫星网络资源管理框架，即第一级资源管理器和第二级资源管理器，其中，第一级资源管理为网络资源管理，位于地面网络管理中心(nmc)，负责给网络中各波束分配载波、带宽和功率资源；第二级资源管理为波束资源管理器，位于各个地面关口站(gw)中，负责管理连接到对应地面关口站的波束中的资源，包括时隙，频率，功率等资源，并可根据波束覆盖下用户的需求，进行用户资源调度，通过两级资源管理框架实现对卫星网络中各网元的资源管理单元进行明确的功能划分。如图6所示，其中，第一级网络资源管理器负责对全网所有无线资源进行管理和分配，可以根据网络用户的业务空、时分布进行动态网络资源的分配，合理的给网络中的每个波束分配功率、带宽和载波资源；第一级网络资源管理器将卫星网络资源动态的分配给各个波束以满足各个波束覆盖范围内的用户业务需求；第二级波束资源管理器负责对波束覆盖下的用户的业务数据进行调度，调度时会结合用户信息如信道条件，用户优先级，qos保障需求等综合考虑，另外，调度的前提是基于一级资源管理器给定各波束的无线资源条件下进行。举例说明，设网络中有4个波束，其中有2个波束负载比较重，另2个波束负载比较轻。网络中共有80mhz带宽，80w功率。则一级资源管理器负责进行网络级资源按需分配，例如，给2个重负载波束分别分配30mhz带宽和30w功率，给2个轻负载波束分别分配10mhz带宽和10w功率。二级波束管理器在这个给定的资源前提下，结合系统的传输体制如tdma、fdma、cdma、ofdma等，并充分考虑用户的信息进行数据调度，根据不同的调度策略如比例公平、最大载干比等策略将波束资源分配给不同的用户。优选的，本发明实施例中采用比例公平的策略将波束资源分配给其覆盖范围内的用户，例如，用户的载波有n个时隙，在比例公平算法下，这n个时隙均匀的分配给所有用户，每个用户占用相同数量的时隙资源。通过两级资源管理框架以及灵活通信载荷的配置，第一级网络资源管理器可以根据业务的空、时分布动态调整带宽、载波和功率资源，第二级波束资源管理器可以根据波束覆盖下用户的关键信息，在第一级网络资源管理器分配给波束的载波、带宽和功率的资源下进行用户时隙、频点资源调度。
在步骤p3中，对卫星网络资源初始分配方案进行多轮全局预调整，得到多个全局预调整方案；其中每一轮全局预调整是对卫星网络资源初始分配方案进行预设次数的多次迭代预调整，且每一次预调整是在上一次预调整后的卫星网络资源分配方案基础上进行调整。根据本发明的一个实施例，每一次预调整是随机选择卫星的一个波束并根据当前资源调整策略随机选择一种调整动作对该波束进行预调整，计算每一次预调整后卫星网络资源分配方案对应的资源匹配性能指标，选出资源匹配性能指标最优的某次预调整对应的卫星网络资源分配方案作为当轮全局预调整方案。最后从所有全局预调整方案中选择一个资源匹配性能指标最优的方案并将卫星网络资源按照该方案进行分配。
根据本发明的一个实施例，本发明采用了基于异步深度增强学习的资源动态按需分配方法(adrl-dra方法)对第一级资源管理器中的卫星网络资源初始分配方案进行预调整计算，以得到最优的网络资源分配方案。其中，对卫星网络初始化分配方案进行预调整计算可视为对资源匹配性能指标romd进行优化，通过动态计算romd来衡量分配给各波束的信息容量(比特信息速率)与波束覆盖下所有用户需求的业务速率的匹配程度，优化问题的目标可表示为：
opt.h(bwca,pi,υi)＝maxmizeromd
在优化过程中，波束i的输出功率需满足载荷使用的限制条件，即
卫星网络的功率、载波、带宽的资源使用状态是根据网络环境进行变化的。本发明的adrl-dra方法需要根卫星网络资源使用状态，以及当前时刻波束覆盖下的用户业务容量需求进行判断，确定如何采取具体的资源分配调整行动。在实际系统中，资源可能的使用状态几乎有无限种，为了快速搜索到最优的分配方案，根据本发明的一个实施例，在adrl-dra方法中，采用多个异步并行的子资源管理器，每个子资源管理器分别采用不同的策略进行资源最优化分配方案的计算，且可通过全局卷积神经神经网络(cnn)共享计算经验，提升搜索最优分配方案的效率。采用cnn卷积神经网络对卫星网络资源使用状态信息进行记录，并通过输入和输出之间的映射关系，对任一输入状态下，对应的可能采取的资源分配调整动作发生的概率分布、奖励结果平均值进行记录。针对卫星网络的结构特征，本发明设计了状态矩阵s用于表示卫星网络的资源分配状态，s可表示为：
其中，cbi表示用于指示子资源管理器当前时刻是否对第i个波束的资源使用情况进行调整，cbi＝1时表示是，0时表示不是，其中，一个子资源管理器同时只能对一个波束下的资源分配状态进行调整，因此，在任意时刻
本发明的adrl-dra方法通过资源分配状态矩阵s来识别卫星网络的资源使用状态，并通过cnn将每种状态对应的可能输出值相互连接，如图7所示，cnn网络包括两个部分，一个是值函数卷积神经网络v(sn；θv)，另一个是策略函数卷积神经网络π(sn；θ)。其中，值函数积神经网络的输出可表示为v(sn；θv)，采用线性输出表示在参数θv的配置下，该轮预调整中第n步动作时状态sn情况下子资源管理器获取的累计奖励平均值，奖励指的是每次采取资源调整动作后，使得romd指标变好的动作会给予一个正的值作为奖励，其他情况下没有奖励；而策略函数网络的输出是π(an|sn；θ)，采用软最大输出(输出值的数量和可能的动作的数量一致)，表示在策略参数θ的配置时，状态sn情况下，第n步对应的所有可能采取的动作an的概率分布。
在实际使用实施过程中，如图8所示，adrl-dra方法的工作结构由一个或多个子资源管理器构成，子资源管理器的数量可以视运行算法的机器cpu配置决定。每个子资源管理器包含一个本地神经网络，对求解过程中任一状态下，可以执行的动作概率分布进行记录。其中，概率分布由每次全局预调整过程中产生的样本(sn,an,rn)，即sn状态下，采取an动作，获取的奖励rn，进行自学习优化。另外，还有一个全局神经网络，在结构上与本地神经网络完全一样，各子资源管理器求解的过程中通过经验样本训练的本地神经网络参数θ、θv，会更新到全局神经网络供其他子资源管理器学习。该方法中通过采取可并行(即在网络级资源管理器中设计多个并行子资源管理器)的运行框架来降低计算时延，且各并行子资源管理器可采用不同求解策略(即异步思想)进行探索优化资源分配方案，并且在探索过程中各子资源管理器通过全局神经网络共享探索经验，以避免收敛到局部最优解。
为了更好的说明步骤p3中采用的adrl-dra方法，下面结合附图以及具体的步骤详细说明。图9示意性示出了采用adrl-dra方法进行全局预调整计算的详细过程，如图9所示，采用adrl-dra方法对卫星网络资源初始化分配方案进行全局预调整计算包括如下步骤：
p31、根据运行adrl-dra方法的设备的处理器核数配置，生成对应数量的子资源管理器；其中，每一核对应一个子资源管理器，子资源管理器之间相互独立运行，且每个子资源管理器拥有完整的网络信息参数，包括sn,an,rn等矩阵参数以及θ、θv、dθ、
p32、采用随机方式，初始化全局神经网络中的参数θ、θv，取值范围在[0,1]区间；并初始化全局迭代控制变量epsiode＝0，采用均匀分配方式初始化s0卫星资源分配矩阵使功率均匀分配，带宽采用频率复用技术，例如采用4色复用，初始化状态矩阵s。
p33、各个子资源管理器开始独立运行，对初始化资源分配方案进行独立预调整计算，所有的子资源管理器共用一个全局预调整计算迭代计数器episode，该计数器对全局预调整计算进行统一管理，每个子资源管理器完成一轮全局预调整计算，该计数器加1。子资源管理器通过矩阵s0获取当前网络中的资源分配状态，包括各波束的带宽、载波、功率分配状态，其中，每轮全局预调整计算过程中，子资源管理器对初始资源分配方案进行多次迭代计算，迭代的次数(step)不低于波束的总数。
p34、子资源管理器根据前面所述的用户时变业务模型计算当前时间段的业务流量需求。
p35、根据步骤p33和p34获取的信息，以及用户信息计算当前romd性能指标，如果romd不等于1，说明资源分配方案还有优化的空间，则子资源管理器开始求解新的最优化资源分配方案。
p36、开始一次新的全局预调整过程(epsiode可以理解为对网络中所有波束的一级资源分配进行一次调整尝试，调整尝试的次数越多，adrl-dra的效果越好)，初始化矩阵s0。单个卫星下有多个波束，从现在高通量卫星发展的趋势来看，一个卫星的波束可能达到200左右，因此，子资源管理器要决定先从哪个波束开始调整资源分配状态，不同的起点对最终的分配结果有影响。根据本发明的一个实施例，该步骤采用随机的方式选择起点，即cbstartpoint＝1，startpoint＝random.choice([0:nb])，nb表示卫星波束数量，则资源状态矩阵被初始化为：
其中，每个子资源管理器的startpoint都是随机的，所以对应的s0也不一样，互相独立，从而达到各子资源管理器使用不同策略求解的目的，避免收敛到局部最优解。
p37、判断判断epsiode的次数是否大于最大迭代次数epmax(epmax应大于1000次)，如果没有超过，则继续下一轮迭代，如果超过则表明当前时间点的资源分配方案计算完毕，选取各子资源管理器中romd最大的资源分配方案作为最终优化资源分配方案，结束本次预调整计算。
p38、子资源管理器根据初始的startpoint,载波、带宽和功率初始值等信息重新初始化资源状态矩阵为s0，并对step计数器n重置为0(其中，step计数器是对完成一次episode需要的次数进行记录，nstep取值应该大于卫星波束的数量)，累计奖励函数r重置为0，子资源管理器中的本地卷积神经网络的策略梯度dθ和值函数梯度
p39、检查step计数器，如果没超出计数范围nstep，则进行下一步，如果超出范围，则表明已完成一次episode计算，全局episode计数器加1,并跳转到步骤p37。
p310、获取当前第n步操作时，卫星网络中资源的使用状态对应的状态矩阵sn。通过sn中的子资源管理器指示符号cbi获取当前可进行资源调整动作的第i个波束，即cbi＝1的波束。
根据本发明的一个实施例，在采用adrl-dar方法对卫星网络资源分配方案进行优化预调整计算过程中，采用自学习的方式，共享神经网络学习参数，具体说明如下：
定义状态矩阵sn对应状态下对波束资源的调整动作集合为αn＝{m|m∈m(sn)}，其中m＝{p1,p2,n,b1,b2}，表示可选的资源调整动作集合。p1，p2分别表示增加和减少一级当前波束的功率等级；n表示什么动作都不采取；b1,b2表示给当前波束增加或减少一个载波，带宽相应增加或减少一个载波的带宽。从全局神经网络下载参数θ、θv到本地神经网络，将状态矩阵sn作为输入，导入到本地神经网络的策略网络部分，获取对当前可操作波束的所有可选资源调整动作的概率分布p(an)，并根据概率分布选出要调整的动作,即调整功率还是带宽。需要说明的是，值函数神经网络和策略网络参数θ、θv决定动作选取，adrl-dra刚开始时，从全局神经网络下载这两个参数，而没有经过训练的这两个参数是随机的，随着每次episode迭代产生大量样本并进行自学习，θ、θv参数不断的朝着使romd指标变好的策略发展，即sn状态下对应的动作概率分布中，使得romd变好的动作概率会在每次自学习后逐渐大于其他动作。子资源管理器通过sn状态下选取得动作进行资源调整，操作完后，随机跳转到下一个可操作波束，状态矩阵进入sn 1。进行资源调整后到达下一新状态sn 1，然后计算新的资源状态下分配给各波束的容量
其他动作都为0(包括使得romdnew≤romdold的所有动作)。另外，定义累计奖励信息为rn，表示从0到第n步动作的累计奖励值，考虑到奖励信息的长远影响，定义折扣因子γ∈(0,1]，则
如上所述子资源管理器在求解过程中需要以最大化romd为目标，进行不断的学习更新训练自己的神经网络参数，优化自身的资源分配策略。本发明定义更新周期为tupload，每次step计数n%tupload＝＝0(n都是指当前step计数的次数，n%tupload表示每间隔tupload步数adrl-dra采集一次样本数据进行自学习并更新一次神经网络参数，tupload可以取[5,30]内的数据，看实际效果定)时，从缓存区中采样进行自学习，并更新策略网络和值函数网络的参数v(sn；θv)，另一个是策略函数卷积神经网络π(an|sn；θ)。
其中，策略网络π(an|sn；θ)的参数更新方法：
dθ←dθ ▽θ‘logπ(an|sn；θ’)(rn-v(sn；θv'))即用新的dθ更新参数θ。值函数网络v(sn；θv)更新方法：
通过自学习和共享经验参数的方式，在采用adrl-dra方法进行全局预调整计算过程中，可以更加快速的搜索到最优的资源分配方案，可适用于高维度信息空间、且复杂的资源管理模型，能够有效的避免搜索资源分配方案时，陷入局部最优解，有效提升网络资源的利用率。另外，由于本专利采用了轻量级的并行化技术，可大幅度降低计算资源分配方案的时间，应对业务时变的特点，满足卫星网络资源动态分配的需求。
为了验证本发明的方法的有效性，下面结合示例实验的方式说明本发明，如图10所示，本发明方法在一天24小时的业务动态变化过程中的操作过程。包括如下步骤：
步骤1：进行卫星网络场景初始化，加载卫星，波束覆盖参数，包括卫星的轨道信息，卫星中各波束的覆盖信息(波束的半波束张角，波束中心在地面的经纬度指向)，各波束的频率和功率使用信息等，并给各波束随机产生用户终端(各波束的用户数量服从高斯分布)，各波束下的用户空间上随机分布。另外，需加载卫星网络的流量模型，模型如图5所示。
步骤2：进行资源动态按需分配算法初始化。第一级网络资源管理器中，采用adrl-dra方法，第二级波束资源管理器中加载比例公平算法。
步骤3：由于业务具有时变特点，为模拟该过程，以时间间隔一小时为基本单位，更新模拟仿真实验过程中的时间点。以模拟一天24小时的业务变化为例，因此，时间点更新24次，超过24次时，实验结束。
步骤4：根据当前的时间点，基于本发明中的空、时业务分布模型，计算当前网络中各波束的业务需求分布。
步骤5：执行资源动态按需分配算法。第一级网络资源管理器中，采用adrl-dra方法，向第二级波束资源管理输出最优资源分配方案；
步骤6：第二级波束资源管理器中加载比例公平算法，并按照最新分配方案给波束资源管理器的资源进行用户调度，使波束覆盖下的用户公平的使用各波束中的载波、时隙、功率的等资源。运行到1个小时的时候，跳转到步骤3。
本发明解决了多波束卫星网络中，在用户业务空、时分布不均场景下，现有资源管理器的分配方案存在分配两极化的情况，而导致网络资源利用率低的问题。本发明涉及的两级资源框架，以资源按需分配为目的，建立了卫星网络资源管理模型，并提出了adrl-dra方法，该方法采用多个异步并行的子资源管理器，各子资源管理器采用不同的策略进行资源最优化分配方案计算，且可通过全局cnn神经网络(卷积神经网络)共享计算经验，提升搜索最优分配方案的效率，并通过并行计算大幅降低了计算时间，有效解决了现有方案求解容易陷入局部最优解及耗时严重的问题。另外，由于设计的adrl-dra采用了并行化的技术，可以大幅度降低新的资源分配方案计算的时间，满足资源管理动态分配的需求。
通过本发明的资源动态按需分配技术，可以针对业务在空间、时间上分布不均匀的场景，在满足灵活通信载荷的使用约束前提下，对卫星网络中各波束下的带宽、载波和功率等资源进行动态分配，并通过本专利中的资源供需匹配程度指标romd评价资源分配分案的性能。通过本发明设计的资源分配算法adrl-dra，可根据当前时间点的业务分布，不断的迭代计算更新更优的romd获取最优的资源分配方案。另外，本发明的adrl-dra方法在信息维度(如考虑用户业务分布，用户信道干扰情况，采用自适应调制编码，灵活载荷技术等)比较高的卫星网络场景中，可以获得比现有的模拟退火，神经网络算法更好的效果(romd指标更高)，并通过adrl-dra中的并行化技术降低了计算的时间，满足了动态分配的需求。
本发明建立了相应的资源管理模型，且以满足各波束下的业务需求为目标进行了资源管理方法设计，并提出一种基于异步增强学习的资源动态按需分配方法(adrl-dra)。
需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
1.一种多波束卫星网络资源分配方法，用于具有灵活通信载荷配置的卫星网络，其特征在于，包括如下步骤：
s1、将卫星网络中的带宽、载波和功率资源平均分配给卫星的每一个波束并调整好每个波束的功率等级以获得卫星网络资源初始分配方案，同时初始化资源调整策略，其中资源调整策略表示的是预设调整动作集合中所有调整动作对应的被选中概率；
s2、基于各波束覆盖范围内所有用户的资源需求以及波束当前被分配的网络资源计算每一个波束的资源分配状态及供需差距，并根据所有波束的资源分配状态及供需差距计算卫星网络资源的资源匹配性能指标；
s3、对卫星网络资源初始分配方案进行多轮全局预调整，得到多个全局预调整方案；其中每一轮全局预调整是对卫星网络资源初始分配方案进行预设次数的多次迭代预调整，且每一次预调整是在上一次预调整后的卫星网络资源分配方案基础上进行调整；
s4、从所有全局预调整方案中选择一个资源匹配性能指标最优的方案并将卫星网络资源按照该方案进行分配。
2.根据权利要求1所示的一种多波束卫星网络资源分配方法，其特征在于，所述预设调整动作集合中包括如下动作中的几种或全部：
增加一级当前波束的功率等级；
减少一级当前波束的功率等级；
不做调整；
给当前波束增加一个载波；
给当前波束减少一个载波。
3.根据权利要求2所述的一种多波束卫星网络资源分配方法，其特征在于，初始化资源调整策略是将预设动作集合中每一种调整动作对应的概率随机设置为0～1之间的小数以使所有调整动作对应的概率之和为1。
4.根据权利要求3所述的一种多波束卫星网络资源分配方法，其特征在于，
每个波束的资源分配状态及供需差距为：cpi＝rii jdii，其中，
rii＝tio/tir,rii≥0，表示波束i的资源分配状态；
dii＝tio-tir，表示第i个波束的资源供需的差距，tio为分配给第i个波束的网络资源对应的容量，tir为第i个波束覆盖范围内所有用户需求的容量；
卫星网络资源的资源匹配性能指标为：
5.根据权利要求3所述的一种多波束卫星网络资源分配方法，其特征在于，对卫星网络初始分配方案进行至少1000轮全局预调整或某一轮全局预调整中某一次预调整的资源匹配性能指标达到1为止，每一轮全局预调整中预设的次数至少为卫星网络中波束的数量。
6.根据权利要求3所述的一种多波束卫星网络资源分配方法，其特征在于，每一次预调整是随机选择卫星的一个波束并根据当前资源调整策略随机选择一种调整动作对该波束进行预调整，计算每一次预调整后卫星网络资源分配方案对应的资源匹配性能指标，选出资源匹配性能指标最优的某次预调整对应的卫星网络资源分配方案作为当轮全局预调整方案。
7.根据权利要求6所述的一种多波束卫星网络资源分配方法，其特征在于，在每一轮全局预调整中，记录每一次预调整前后卫星网络资源的资源匹配性能指标的变化，将资源调整策略中在预调整后资源匹配性能指标变好的调整动作对应的被选中概率提高，将资源调整策略中在预调整后资源匹配性能指标变差的调整动作对应的被选中概率降低。
8.一种卫星网络系统，包括卫星、地面关口站、地面网络控制中心、地面网络管理中心和用户终端，所述卫星网络系统具有灵活通信载荷的配置，其特征在于，
所述地面网络控制中心配置有网络资源管理器，用于将卫星网络的带宽、载波和功率资源按照如权利要求1至8任一所述的方法分配给各个波束；
所述地面关口站配置有波束资源管理器，用于将波束分配到的带宽、载波和功率资源分配给波束覆盖范围内的用户。
9.一种用于卫星网络资源的分配系统，其特征在于，所述系统包括全局资源管理器、多个子资源管理器；其中，
所述全局资源管理器用于初始化卫星网络资源分配方案以将卫星网络的带宽、载波和功率资源平均分配给卫星网络中的每一个波束，并按照子资源管理器反馈的方案中资源匹配性能指标最优的方案调整分发给各个波束的资源；
所述每个子资源管理器独立的对初始化后的卫星网络资源分配方案进行多轮全局预调整，每一轮全局预调整之后给全局资源管理器反馈一个资源分配方案；其中，每一轮全局预调整是对初始化后的卫星网络资源分配方案进行预设次数的多次迭代预调整，且每一次预调整是在上一次预调整后的卫星网络资源分配方案基础上进行调整，并将多次迭代调整中资源匹配性能指标最优的某一次调整对应的资源分配方案反馈给全局资源管理器。
10.根据权利要求9所述的一种用于卫星网络资源的分配系统，其特征在于，所述用于卫星网络资源的分配系统将卫星网络资源分配方案组织为状态矩阵s,且
其中，cbi表示子资源管理器当前时刻是否对第i个波束的资源使用情况进行调整，cbi＝1时表示是，0时表示不是；bi表示波束的id号，δica表示第ca个载波是否分配给第i个波束，0：不是，1：是；υi表示当前波束采用的功率放大等级；
所述全局资源管理器包括一个全局神经网络，所述每一个子资源管理器包括一个本地神经网络；
所述全局神经网络用于对卫星网络资源分配方案对应的状态矩阵进行特征学习以获取最优的资源分配方案对应的状态矩阵，并将学习经验参数分发给不同的本地神经网络；
所述本地神经网络用于对不同调整动作后的卫星网络资源分配方案对应的状态矩阵进行特征学习并将输出作为训练样本反馈给全局神经网络。
技术总结