基于maddpg算法的多波束卫星通信系统资源分配方法
技术领域
1.本发明属于无线通信技术领域，涉及一种基于maddpg(multi-agent deep deterministic policy gradient)算法的多波束卫星通信系统资源分配方法。
背景技术：2.近年来，卫星通信系统作为对地面通信网络基础结构的一种补充，以其全球覆盖能力强、通信距离远、抗重大自然灾害、可提供固定及移动通信业务等优点，得到了广泛应用。为提升卫星系统频谱资源利用率及系统传输性能，可采用多波束卫星，通过使用多个高增益窄波束提升用户的覆盖能力，实现频谱复用增益。然而，针对多波束卫星通信系统用户需求多样化以及卫星通信系统拓扑动态性与时空分布不均匀性等特点，如何设计高效用户关联和波束功率分配策略，实现用户服务质量保障及系统性能提升成为重要的研究课题。
3.现有研究已经考虑了多波束卫星通信系统的资源分配问题，但是很少有工作针对地面用户的时空分布不同及业务需求不均衡等情况，研究基于系统平均性能优化的资源分配策略。
技术实现要素：4.有鉴于此，本发明的目的在于提供一种基于maddpg算法的多波束卫星通信系统资源分配方法，针对包含一个采用数字波束成型技术的多波束高通量卫星及多个卫星用户的多波束卫星通信系统，建模系统平均回报为优化目标，实现用户关联和波束功率分配策略，提高系统综合性能。
5.为达到上述目的，本发明提供如下技术方案：
6.一种基于maddpg算法的多波束卫星通信系统资源分配方法，包括以下步骤：
7.s1：建模卫星通信网络模型及业务模型；
8.s2：建模用户关联变量及功率分配变量；
9.s3：建模卫星信道；
10.s4：建模系统吞吐量；
11.s5：建模系统回报函数；
12.s6：建模系统资源分配约束条件；
13.s7：建模系统状态及动作；
14.s8：构建并训练多智能体深度确定性策略梯度maddpg网络；
15.s9：基于maddpg算法确定系统资源分配策略。
16.进一步，步骤s1中所述卫星通信网络模型，包含一个采用数字波束成型技术的多波束高通量卫星及多个用户，卫星覆盖区域用s表示，令n表示卫星的波束数目，波束间采用频率复用技术，系统总时间为t，将t分为等长的时隙，每个时隙长度为τ，令p
tot
表示卫星总功率，p
max
表示单个波束最大发射功率，b
tot
表示卫星可用带宽，将总带宽划分为m个等长子信道，则每个子信道的带宽为b
tot
/m，令fm表示第m个子信道的载波频率，令k
(x,y)
表示用户存
在变量，k
(x,y)
∈{0,1}，若(x,y)处存在卫星用户，则k
(x,y)
＝1，反之k
(x,y)
＝0；
17.所述卫星业务模型具体包括：假设多波束卫星覆盖区域存在l个卫星业务类型，令q
t,l,(x,y)
表示t时隙内(x,y)处到达的第l类卫星业务需求量，建模q
t,l,(x,y)
为正态分布随机变量，均值为μ
l,(x,y)
、方差为令表示t时隙初(x,y)处卫星终端的业务需求总量，其中，q
t,(x,y)
表示t时隙(x,y)处卫星终端的实际传输吞吐量。
18.进一步，步骤s2中所述建模用户关联变量，具体包括：令α
t,n,(x,y)
＝[α
t,n,1,(x,y)
,α
t,n,2,(x,y)
,...,α
t,n,m,(x,y)
]
t
表示t时隙波束n与(x,y)处卫星用户关联向量，其中α
t,n,m,(x,y)
∈{0,1}，若t时隙波束n占用第m个子信道与(x,y)处用户通信，则α
t,n,m,(x,y)
＝1，反之，α
t,n,m,(x,y)
＝0；
[0019]
建模功率分配变量，具体包括：令p
t,n
＝[p
t,n,1
,p
t,n,2
,...,p
t,n,m
]
t
表示t时隙波束n的发射功率分配向量，其中p
t,n,m
表示t时隙波束n占用第m个子信道所对应的发射功率。
[0020]
进一步，步骤s3中所述建模卫星信道，具体包括：令h
t,n,m,(x,y)
表示t时隙卫星与位于(x,y)处卫星终端之间的链路占用波束n在第m个子信道的信道增益，h
t,n,m,(x,y)
建模为其中表示接收天线增益，建模为：
[0021][0022]
其中u
t,(x,y)
＝2.07123sin(θ
t,(x,y)
)/sin(θ
3db
)，θ
t,(x,y)
表示t时隙卫星与(x,y)处接收天线的方位角，θ
3db
为3db波束带宽对应的角度，g
max,r
为接收天线最大增益；表示卫星发射天线增益，建模为：
[0023][0024]
其中φn为波束n对应的天线波束宽度，δ＜＜1，为t时隙卫星到地面(x,y)处在子信道m的自由路径损耗，其中c为光速，d
t,(x,y)
为t时隙卫星到(x,y)处的距离，表示t时隙卫星到地面链路的雨衰系数。
[0025]
进一步，步骤s4中所述建模系统吞吐量，具体包括：令q
t,n
表示t时隙波束n覆盖区域内的终端实际总吞吐量，则i
t,n,m,(x,y)
为t时隙波束n内占用子信道m的(x,y)处用户受到的波束间干扰，定义为：
令表示t时隙波束n覆盖范围内的需求吞吐量总和，则
[0026]
进一步，步骤s5中所述系统回报函数，包括：
[0027]
t时隙波束n覆盖区域内系统吞吐量相关的回报函数为：
[0028][0029]
其中λ表示奖励因子，z表示差异阈值，0≤z≤ω，其中ω表示调整参数；
[0030]
t时隙卫星覆盖区域内的平均回报函数为：
[0031][0032]
进一步，步骤s6中所述建模系统资源分配约束条件，具体包括：
[0033]
1)波束发射功率约束：单个波束存在最大发射功率限制，则有：
[0034][0035]
波束总发射功率不超过系统总功率，则有：
[0036][0037]
2)子信道分配约束：为防止过度的同频干扰，设同一子信道最大重用数为f，则有：
[0038][0039]
3)用户关联约束：同一时隙一个地面用户只能关联一个波束中的一个子信道，则有：
[0040][0041]
进一步，步骤s7中所述建模系统状态及动作，具体包括：定义t时隙全局状态空间s
t
＝{s
t,1
,s
t,2
,
…
,s
t,n
}，其中表示t时隙波束n的状态，定义t时隙的联合动作空间a
t
＝{a
t,1
,a
t,2
,
…at,n
}，其中a
t,n
＝{α
t,n,(x,y)
,p
t,n
|(x,y)∈s}表示t时隙波束n的动作空间，包含用户关联变量和波束功率分配变量。
[0042]
进一步，步骤s8中所述构建并训练maddpg网络，具体包括：将n个波束视为n个智能体，每个智能体包括四个神经网络，分别为演员现实网络、评论家现实网络、演员目标网络、评论家目标网络；初始化智能体各网络，初始化经验回放缓冲区d、系统状态s
t
；对于智能体n，利用其当前演员现实网络和随机过程选择动作a
t,n
＝μn(s
t,n
|θn)+χ
t,n
，其中μn为智能体n
的演员现实网络，θn为演员现实网络μn的参数，χ
t,n
为随机噪声，各智能体执行联合动作a
t
，得到全局奖励r
t
，转移到下一时刻的状态s
t+1
，将四元组(s
t
,a
t
,r
t
,s
t+1
)并将其存入经验回放缓冲区d；从d中抽取样本，利用损失函数最小化更新智能体n的评论家现实网络，即其中φn为智能体n的评论家现实网络，ωn为评论家现实网络φn的参数，yn为评论家目标网络的q值，表示为：
[0043][0044]
其中为智能体n的评论家目标网络，为评论家目标网络的参数，为智能体n的演员目标网络，为演员目标网络的参数，γ为评论家网络学习率，0＜γ＜1；根据样本数据和评论家现实网络生成的q值，利用策略梯度更新公式更新演员现实网络：
[0045][0046]
通过软更新算法更新演员目标网络和评论家目标网络的参数，具体为：其中ε＜＜1为目标网络的软更新参数。
[0047]
进一步，步骤s9中所述基于maddpg算法确定系统资源分配策略，具体包括：在满足波束发射功率、子信道分配、用户关联的限制条件下，以系统平均回报最大化为目标，优化确定资源分配策略，即：
[0048][0049]
其中和分别是最优用户关联策略和波束功率分配策略。
[0050]
本发明的有益效果在于：本发明所述方法能够有效保障通信业务时空分布不均匀的情况下，基于用户关联和波束功率分配策略，实现系统平均回报最大化，提高系统综合性能。
[0051]
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
[0052]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
[0053]
图1为多波束卫星通信系统场景示意图；
[0054]
图2为基于maddpg算法的多波束卫星通信系统资源分配方法的流程示意图。
具体实施方式
[0055]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实
施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0056]
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0057]
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0058]
请参阅图1～图2，图1为多波束卫星通信系统场景示意图，如图1所示，该通信系统包含一个多波束高通量卫星及其覆盖区域的多个卫星地面用户，通过联合设计最优用户关联和波束功率分配策略可实现系统平均回报最大化。
[0059]
图2为基于maddpg算法的多波束卫星通信系统资源分配方法的流程示意图，如图2所示，该方法具体包括以下步骤：
[0060]
1、建模卫星通信网络模型及业务模型
[0061]
系统包含一个采用数字波束成型技术的多波束高通量卫星及多个用户，卫星覆盖区域用s表示，令n表示卫星的波束数目，波束间采用频率复用技术，系统总时间为t，将t分为等长的时隙，每个时隙长度为τ，令p
tot
表示卫星总功率，p
max
表示单个波束最大发射功率，b
tot
表示卫星可用带宽，将总带宽划分为m个等长子信道，则每个子信道的带宽为b
tot
/m，令fm表示第m个子信道的载波频率，令k
(x,y)
表示用户存在变量，k
(x,y)
∈{0,1}，若(x,y)处存在卫星用户，则k
(x,y)
＝1，反之k
(x,y)
＝0；假设多波束卫星覆盖区域存在l个卫星业务类型，令q
t,l,(x,y)
表示t时隙内(x,y)处到达的第l类卫星业务需求量，建模q
t,l,(x,y)
为正态分布随机变量，均值为μ
l,(x,y)
、方差为令表示t时隙初(x,y)处卫星终端的业务需求总量，其中，q
t,(x,y)
表示t时隙(x,y)处卫星终端的实际传输吞吐量。
[0062]
2、建模用户关联变量及功率分配变量
[0063]
令α
t,n,(x,y)
＝[α
t,n,1,(x,y)
,α
t,n,2,(x,y)
,...,α
t,n,m,(x,y)
]
t
表示t时隙波束n与(x,y)处卫星用户关联向量，其中α
t,n,m,(x,y)
∈{0,1}，若t时隙波束n占用第m个子信道与(x,y)处用户通信，则α
t,n,m,(x,y)
＝1，反之，α
t,n,m,(x,y)
＝0；令p
t,n
＝[p
t,n,1
,p
t,n,2
,...,p
t,n,m
]
t
表示t时隙波束n的发射功率分配向量，其中p
t,n,m
表示t时隙波束n占用第m个子信道所对应的发射功率。
[0064]
3、建模卫星信道
[0065]
令h
t,n,m,(x,y)
表示t时隙卫星与位于(x,y)处卫星终端之间的链路占用波束n在第m
个子信道的信道增益，h
t,n,m,(x,y)
建模为其中表示接收天线增益，建模为：
[0066][0067]
其中u
t,(x,y)
＝2.07123sin(θ
t,(x,y)
)/sin(θ
3db
)，θ
t,(x,y)
表示t时隙卫星与(x,y)处接收天线的方位角，θ
3db
为3db波束带宽对应的角度，g
max,r
为接收天线最大增益；表示卫星发射天线增益，建模为：
[0068][0069]
其中φn为波束n对应的天线波束宽度，δ＜＜1，为t时隙卫星到地面(x,y)处在子信道m的自由路径损耗，其中c为光速，d
t,(x,y)
为t时隙卫星到(x,y)处的距离，表示t时隙卫星到地面链路的雨衰系数。
[0070]
4、建模系统吞吐量
[0071]
令q
t,n
表示t时隙波束n覆盖区域内的终端实际总吞吐量，则i
t,n,m,(x,y)
为t时隙波束n内占用子信道m的(x,y)处用户受到的波束间干扰，定义为：令表示t时隙波束n覆盖范围内的需求吞吐量总和，则
[0072]
5、建模系统回报函数
[0073]
令表示t时隙波束n覆盖区域内系统吞吐量相关的回报函数，其中λ表示奖励因子，z表示差异阈值，0≤z≤ω，其中ω表示调整参数，令表示t时隙卫星覆盖区域内的平均回报函数。
[0074]
6、建模系统资源分配约束条件
[0075]
1)波束发射功率约束：单个波束存在最大发射功率限制，则有：
[0076][0077]
波束总发射功率不超过系统总功率，则有：
[0078][0079]
2)子信道分配约束：为防止过度的同频干扰，设同一子信道最大重用数为f，则有：
[0080][0081]
3)用户关联约束：同一时隙一个地面用户只能关联一个波束中的一个子信道，则有：
[0082][0083]
7、建模系统状态及动作
[0084]
定义t时隙全局状态空间s
t
＝{s
t,1
,s
t,2
,...,s
t,n
}，其中表示t时隙波束n的状态，定义t时隙的联合动作空间a
t
＝{a
t,1
,a
t,2
,
…at,n
}，其中a
t,n
＝{α
t,n,(x,y)
,p
t,n
|(x,y)∈s}表示t时隙波束n的动作空间，包含用户关联变量和波束功率分配变量。
[0085]
8、构建并训练maddpg网络
[0086]
将n个波束视为n个智能体，每个智能体包括四个神经网络，分别为演员现实网络、评论家现实网络、演员目标网络、评论家目标网络；初始化智能体各网络，初始化经验回放缓冲区d、系统状态s
t
；对于智能体n，利用其当前演员现实网络和随机过程选择动作a
t,n
＝μn(s
t,n
|θn)+χ
t,n
，其中μn为智能体n的演员现实网络，θn为演员现实网络μn的参数，χ
t,n
为随机噪声，各智能体执行联合动作a
t
，得到全局奖励r
t
，转移到下一时刻的状态s
t+1
，将四元组(s
t
,a
t
,r
t
,s
t+1
)并将其存入经验回放缓冲区d；从d中抽取样本，利用损失函数最小化更新智能体n的评论家现实网络，即其中φn为智能体n的评论家现实网络，ωn为评论家现实网络φn的参数，yn为评论家目标网络的q值，表示为：
[0087][0088]
其中为智能体n的评论家目标网络，为评论家目标网络的参数，为智能体n的演员目标网络，为演员目标网络的参数，γ为评论家网络学习率，0＜γ＜1；根据样本数据和评论家现实网络生成的q值，利用策略梯度更新公式
[0089]
更新演员现实网络；通过软更新算法更新演员目标网络和评论家目标网络的参数，具体为：
其中ε＜＜1为目标网络的软更新参数。
[0090]
9、基于maddpg算法确定系统资源分配策略
[0091]
在满足波束发射功率、子信道分配、用户关联的限制条件下，以系统平均回报最大化为目标，优化确定资源分配策略，即：
[0092][0093]
其中和分别是最优用户关联策略和波束功率分配策略。
[0094]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
技术特征：1.一种基于maddpg算法的多波束卫星通信系统资源分配方法，其特征在于：包括以下步骤：s1：建模卫星通信网络模型及业务模型；s2：建模用户关联变量及功率分配变量；s3：建模卫星信道；s4：建模系统吞吐量；s5：建模系统回报函数；s6：建模系统资源分配约束条件；s7：建模系统状态及动作；s8：构建并训练多智能体深度确定性策略梯度maddpg网络；s9：基于maddpg算法确定系统资源分配策略。2.根据权利要求1所述的基于maddpg算法的多波束卫星通信系统资源分配方法，其特征在于：步骤s1中所述卫星通信网络模型，包含一个采用数字波束成型技术的多波束高通量卫星及多个用户，卫星覆盖区域用s表示，令n表示卫星的波束数目，波束间采用频率复用技术，系统总时间为t，将t分为等长的时隙，每个时隙长度为τ，令p
tot
表示卫星总功率，p
max
表示单个波束最大发射功率，b
tot
表示卫星可用带宽，将总带宽划分为m个等长子信道，则每个子信道的带宽为b
tot
/m，令f
m
表示第m个子信道的载波频率，令k
(x,y)
表示用户存在变量，k
(x,y)
∈{0,1}，若(x,y)处存在卫星用户，则k
(x,y)
＝1，反之k
(x,y)
＝0；所述卫星业务模型具体包括：假设多波束卫星覆盖区域存在l个卫星业务类型，令q
t,l,
(
x,y
)表示t时隙内(x,y)处到达的第l类卫星业务需求量，建模q
t,l,(x,y)
为正态分布随机变量，均值为μ
l,(x,y)
、方差为令表示t时隙初(x,y)处卫星终端的业务需求总量，其中，q
t,(x,y)
表示t时隙(x,y)处卫星终端的实际传输吞吐量。3.根据权利要求1所述的基于maddpg算法的多波束卫星通信系统资源分配方法，其特征在于：步骤s2中所述建模用户关联变量，具体包括：令α
t,n,(x,y)
＝[α
t,n,1,(x,y)
,α
t,n,2,(x,y)
,...,α
t,n,m,(x,y)
]
t
表示t时隙波束n与(x,y)处卫星用户关联向量，其中α
t,n,m,(x,y)
∈{0,1}，若t时隙波束n占用第m个子信道与(x,y)处用户通信，则α
t,n,m,(x,y)
＝1，反之，α
t,n,m,(x,y)
＝0；建模功率分配变量，具体包括：令p
t,n
＝[p
t,n,1
,p
t,n,2
,...,p
t,n,m
]
t
表示t时隙波束n的发射功率分配向量，其中p
t,n,m
表示t时隙波束n占用第m个子信道所对应的发射功率。4.根据权利要求1所述的基于maddpg算法的多波束卫星通信系统资源分配方法，其特征在于：步骤s3中所述建模卫星信道，具体包括：令h
t,n,m,(x,y)
表示t时隙卫星与位于(x,y)处卫星终端之间的链路占用波束n在第m个子信道的信道增益，h
t,n,m,(x,y)
建模为其中表示接收天线增益，建模为：
其中u
t,(x,y)
＝2.07123sin(θ
t,(x,y)
)/sin(θ
3db
)，θ
t,(x,y)
表示t时隙卫星与(x,y)处接收天线的方位角，θ
3db
为3db波束带宽对应的角度，g
max,r
为接收天线最大增益；表示卫星发射天线增益，建模为：其中φ
n
为波束n对应的天线波束宽度，δ＜＜1，为t时隙卫星到地面(x,y)处在子信道m的自由路径损耗，其中c为光速，d
t,(x,y)
为t时隙卫星到(x,y)处的距离，表示t时隙卫星到地面链路的雨衰系数。5.根据权利要求1所述的基于maddpg算法的多波束卫星通信系统资源分配方法，其特征在于：步骤s4中所述建模系统吞吐量，具体包括：令q
t,n
表示t时隙波束n覆盖区域内的终端实际总吞吐量，则i
t,n,m,(x,y)
为t时隙波束n内占用子信道m的(x,y)处用户受到的波束间干扰，定义为：令表示t时隙波束n覆盖范围内的需求吞吐量总和，则6.根据权利要求1所述的基于maddpg算法的多波束卫星通信系统资源分配方法，其特征在于：步骤s5中所述系统回报函数，包括：t时隙波束n覆盖区域内系统吞吐量相关的回报函数为：其中λ表示奖励因子，z表示差异阈值，0≤z≤ω，其中ω表示调整参数；t时隙卫星覆盖区域内的平均回报函数为：7.根据权利要求1所述的基于maddpg算法的多波束卫星通信系统资源分配方法，其特
征在于：步骤s6中所述建模系统资源分配约束条件，具体包括：1)波束发射功率约束：单个波束存在最大发射功率限制，则有：波束总发射功率不超过系统总功率，则有：2)子信道分配约束：为防止过度的同频干扰，设同一子信道最大重用数为f，则有：3)用户关联约束：同一时隙一个地面用户只能关联一个波束中的一个子信道，则有：8.根据权利要求1所述的基于maddpg算法的多波束卫星通信系统资源分配方法，其特征在于：步骤s7中所述建模系统状态及动作，具体包括：定义t时隙全局状态空间s
t
＝{s
t,1
,s
t,2
,...,s
t,n
}，其中表示t时隙波束n的状态，定义t时隙的联合动作空间a
t
＝{a
t,1
,a
t,2
,
…
a
t,n
}，其中a
t,n
＝{α
t,n,(x,y)
,p
t,n
|(x,y)∈s}表示t时隙波束n的动作空间，包含用户关联变量和波束功率分配变量。9.根据权利要求1所述的基于maddpg算法的多波束卫星通信系统资源分配方法，其特征在于：步骤s8中所述构建并训练maddpg网络，具体包括：将n个波束视为n个智能体，每个智能体包括四个神经网络，分别为演员现实网络、评论家现实网络、演员目标网络、评论家目标网络；初始化智能体各网络，初始化经验回放缓冲区d、系统状态s
t
；对于智能体n，利用其当前演员现实网络和随机过程选择动作a
t,n
＝μ
n
(s
t,n
|θ
n
)+χ
t,n
，其中μ
n
为智能体n的演员现实网络，θ
n
为演员现实网络μ
n
的参数，χ
t,n
为随机噪声，各智能体执行联合动作a
t
，得到全局奖励r
t
，转移到下一时刻的状态s
t+1
，将四元组(s
t
,a
t
,r
t
,s
t+1
)并将其存入经验回放缓冲区d；从d中抽取样本，利用损失函数最小化更新智能体n的评论家现实网络，即其中φ
n
为智能体n的评论家现实网络，ω
n
为评论家现实网络φ
n
的参数，y
n
为评论家目标网络的q值，表示为：其中为智能体n的评论家目标网络，为评论家目标网络的参数，为智能体n的演员目标网络，为演员目标网络的参数，γ为评论家网络学习率，0＜γ＜1；根据样本数据和评论家现实网络生成的q值，利用策略梯度更新公式更新演员现实网络：通过软更新算法更新演员目标网络和评论家目标网络的参数，具体为：
其中ε＜＜1为目标网络的软更新参数。10.根据权利要求1所述的基于maddpg算法的多波束卫星通信系统资源分配方法，其特征在于：步骤s9中所述基于maddpg算法确定系统资源分配策略，具体包括：在满足波束发射功率、子信道分配、用户关联的限制条件下，以系统平均回报最大化为目标，优化确定资源分配策略，即：其中和分别是最优用户关联策略和波束功率分配策略。
技术总结本发明涉及一种基于MADDPG算法的多波束卫星通信系统资源分配方法，属于无线通信技术领域。该方法包括以下步骤：S1：建模卫星通信网络模型及业务模型；S2：建模用户关联变量及功率分配变量；S3：建模卫星信道；S4：建模系统吞吐量；S5：建模系统回报函数；S6：建模系统资源分配约束条件；S7：建模系统状态及动作；S8：构建并训练多智能体深度确定性策略梯度MADDPG网络；S9：基于MADDPG算法确定系统资源分配策略。本发明通过联合优化用户关联和波束功率分配策略，实现系统平均回报最大化。实现系统平均回报最大化。实现系统平均回报最大化。
技术研发人员：柴蓉 刘磊 杨国荣 陈前斌
受保护的技术使用者：重庆邮电大学
技术研发日：2022.09.20
技术公布日：2022/12/6
