本公开涉及多智能体强化学习，特别涉及一种基于多头分类堆叠注意力机制的多智能体强化学习方法。
背景技术：
1、多智能体强化学习(multi-agent reinforcement learning，marl)可广泛应用于涵盖合作、竞争、合作与竞争混合的场景领域。深度学习中的注意力机制(attentionmechanism)是一种模仿人类视觉和认知系统的方法，它允许神经网络在处理输入数据时集中注意力于相关的部分。通过引入注意力机制，神经网络能够自动地学习并选择性地关注输入中的重要信息，提高模型的性能和泛化能力。多头注意力机制是在自注意力机制的基础上发展起来的，是自注意力机制的变体，旨在增强模型的表达能力和泛化能力。多头注意力机制通过使用多个独立的注意力头，分别计算注意力权重，并将它们的结果进行拼接或加权求和，从而获得更丰富的表示。多智能体场景在现实之中往往包含多种类型、不定数量的智能体组合，为了应对这种情形，现有技术已经将注意力机制引入了多智能体强化学习。
2、现有技术中，针对包括敌我双方的团体对抗场景，多智能体强化学习中的注意力机制模块大多是将本体放入查询矩阵(q-query)，将本体对应的我方队友及敌方同时放入注意力机制模块中的被查矩阵(k-key)、内容矩阵(v-value)进行处理，如图1所示，首先利用矩阵乘法对查询矩阵q和被查矩阵k进行处理，之后，将该矩阵乘法输出的处理结果输入由观测矩阵确定的可观测掩膜进行处理，对应的处理结果再利用softmax函数进行处理，最后，将softmax函数输出的处理结果和内容矩阵v同时利用新的矩阵乘法进行处理，得到的处理结果即为注意力机制模块最终的输出结果，然而，注意力机制模块的这种架构不对我方队友和敌方进行区分也不求我方队友和敌方相关的注意力，无法满足真实的多智能体强化学习问题中两人或两人以上的配合模式如足球比赛游戏中涉及的“二过一”、“两人夹击”等多人配合模式的需求。
技术实现思路
1、本公开旨在至少解决现有技术中存在的问题之一，提供一种基于多头分类堆叠注意力机制的多智能体强化学习方法。
2、本公开提供了一种基于多头分类堆叠注意力机制的多智能体强化学习方法，所述方法包括：
3、构建并初始化深度网络，所述深度网络包括智能体网络和混合网络；
4、初始化学习环境，所述学习环境用于利用多个智能体模拟足球比赛场景；
5、利用所述智能体网络，基于多头分类堆叠注意力机制分别确定每个智能体的q值；
6、将所述多个智能体对应的全局状态矩阵及下一时刻的全局状态矩阵、观测矩阵，以及每个所述智能体选择的动作、在当前时刻的可行动作及下一时刻的可行动作、奖励，存入经验池；
7、从所述经验池中随机采集多批次轨迹样本，利用所述多个智能体的整体q值确定的损失函数通过深度q网络相同的方式更新所述深度网络的网络参数，并在当前时刻满足预设条件时，将所述网络参数确定为所述深度网络的目标网络参数；其中，所述多个智能体的整体q值由所述混合网络基于所述每个智能体的q值计算得到；
8、利用配置有所述目标网络参数的所述深度网络，基于所述智能体的观测信息，分别确定所述智能体与队友的配合方式以及面对敌方不同对手的对抗方式，使所述智能体基于与队友的配合方式以及面对敌方不同对手的对抗方式确定执行的最优动作。
9、可选地，所述智能体网络包括依次连接的多头分类堆叠注意力机制模块、门控循环单元以及全连接层，所述多头分类堆叠注意力机制模块包括拼接在一起的多个独立运算的分类堆叠注意力机制层；
10、所述利用所述智能体网络，基于多头分类堆叠注意力机制分别确定每个智能体的q值，包括：
11、将所述多个智能体对应的全局状态矩阵及观测矩阵分别输入各个所述分类堆叠注意力机制层，得到所述智能体与所有队友的注意力机制处理结果，并在此基础上确定所述智能体与敌方所有对手的注意力机制处理结果，得到各个所述分类堆叠注意力机制层的输出结果；
12、将各个所述分类堆叠注意力机制层的输出结果进行拼接，得到所述多头分类堆叠注意力机制模块的输出结果；
13、将所述多头分类堆叠注意力机制模块的输出结果输入门控循环单元，得到所述门控循环单元的输出结果；
14、将所述门控循环单元的输出结果输入所述全连接层，使所述智能体的q值的输出维度与所述智能体的可执行动作数量对齐，得到每个所述智能体的q值。
15、可选地，每个所述分类堆叠注意力机制层均包括第一注意力机制子层和第二注意力机制子层；
16、所述将所述多个智能体对应的全局状态矩阵及观测矩阵分别输入各个所述分类堆叠注意力机制层，得到所述智能体与所有队友的注意力机制处理结果，并在此基础上确定所述智能体与敌方所有对手的注意力机制处理结果，包括：
17、将所述智能体及其所有队友对应的全局状态矩阵及观测矩阵分别输入各个所述分类堆叠注意力机制层中的所述第一注意力机制子层，得到所述智能体与所有队友的注意力机制处理结果；
18、将所述智能体与所有队友的注意力机制处理结果以及敌方所有对手对应的全局状态矩阵及观测矩阵分别输入对应的所述分类堆叠注意力机制层中的所述第二注意力机制子层，得到所述智能体与敌方所有对手的注意力机制处理结果。
19、可选地，所述分类堆叠注意力机制层的输出结果表示为下式(1)：
20、
21、其中，csa({i}，s，μi；wq(1)，wk(1)，wv(1)，wq(2)，wk(2)，wv(2))表示所述分类堆叠注意力机制层的输出结果；i表示智能体的编号；s表示全局状态矩阵；μi表示观测矩阵μ的第i行元素；d表示每个智能体表征的维度；t表示总迭代轮数；
22、wq(1)表示第一注意力机制子层中的query可学习的网络参数矩阵，wk(1)表示第一注意力机制子层中的key可学习的网络参数矩阵，wv(1)表示第一注意力机制子层中的value可学习的网络参数矩阵，wq(2)表示第二注意力机制子层中的query可学习的网络参数矩阵，wk(2)表示第二注意力机制子层中的key可学习的网络参数矩阵，wv(2)表示第二注意力机制子层中的value可学习的网络参数矩阵；
23、q2表示所述第二注意力机制子层输出的所述智能体与敌方所有对手的注意力机制处理结果，且
24、k2表示第二注意力机制子层中key模块计算结果且k2＝sywk(2)；
25、v2表示第二注意力机制子层中value模块计算结果且v2＝sywv(2)；
26、sy表示智能体的敌方所有对手集合y对应的状态矩阵，且sy＝eliminate(s，y，μi)，eliminate(s，y，μi)表示删除s中不属于集合y的元素，再删除s中对应的μi的列元素为0的元素；
27、q1表示所述第一注意力机制子层输出的所述智能体与所有队友的注意力机制处理结果，且q1＝siwq(1)；
28、si＝[φi，ψi]表示智能体i的状态，φi表示智能体i的当前状态，ψi表示智能体i的角色类型；
29、k1表示第一注意力机制子层中key模块计算结果且k1＝sxwk(1)；v1表示第一注意力机制子层中value模块计算结果且v1＝sxwv(1)；
30、sx表示智能体的队友集合x对应的状态矩阵，且sx＝eliminate(s，x，μi)，eliminate(s，x，μi)表示删除s中不属于集合x的元素，再删除s中对应的μi的列元素为0的元素。
31、可选地，所述多头分类堆叠注意力机制模块的输出结果表示为下式(2)：
32、
33、其中，mhcsa({i}，s,μ)表示智能体i对应的所述多头分类堆叠注意力机制模块的输出结果；
34、j表示所述分类堆叠注意力机制层的编号，nh为所述分类堆叠注意力机制层的总数量；
35、表示将智能体i对应的所有分类堆叠注意力机制层的输出结果进行拼接得到的拼接结果；
36、表示第j个分类堆叠注意力机制层的第一注意力机制子层中的query可学习的网络参数矩阵，表示第j个分类堆叠注意力机制层的第一注意力机制子层中的key可学习的网络参数矩阵，表示第j个分类堆叠注意力机制层的第一注意力机制子层中的value可学习的网络参数矩阵，表示第j个分类堆叠注意力机制层的第二注意力机制子层中的query可学习的网络参数矩阵，表示第j个分类堆叠注意力机制层的第二注意力机制子层中的key可学习的网络参数矩阵，表示第j个分类堆叠注意力机制层的第二注意力机制子层中的value可学习的网络参数矩阵。
37、可选地，所述门控循环单元的输出结果表示为下式(3)：
38、
39、其中，zgru表示所述门控循环单元的输出结果，yt表示门控循环单元输出且wy表示门控循环单元的输出层可学习的网络参数矩阵，by表示门控循环单元的输出层可学习的偏置项，ht表示门控循环单元的t时刻隐藏向量且ht-1表示门控循环单元的t-1时刻隐藏向量且表示门控循环单元的更新门向量且表示门控循环单元的当前记忆向量且σ表示sigmoid函数，zt表示门控循环单元的输入且表示门控循环单元中间层可学习的网络参数矩阵，表示门控循环单元中间层可学习的偏置项，表示门控循环单元中间层可学习的网络参数矩阵，rt表示门控循环单元的重置门向量且rt＝[σ(wr·[ht-1，zt]t+br)]t，表示门控循环单元中间层可学习的偏置项，wr表示门控循环单元r中间层可学习的网络参数矩阵，br表示门控循环单元r中间层可学习的偏置项；表示向量维度为1×(d×nh)的实数空间；zmhcsa表示所述多头分类堆叠注意力机制模块的输出结果；⊙为哈达马内积。
40、可选地，所述全连接层的中间过程表示为下式(4)：
41、
42、所述全连接层的输出表示为下式(5)：
43、
44、其中，fc表示所述全连接层，zfc表示所述全连接层的输出，w表示全连接层的可学习网络参数矩阵且表示向量维度为|a|×(d×nh)的实数空间，b表示全连接层的可学习偏置项且表示向量维度为|a|×1的实数空间，|a|表示所述智能体的可执行动作数量。
45、可选地，所述混合网络包括依次连接的第一加权混合层和第二加权混合层；
46、所述多个智能体的整体q值表示为下式(6)：
47、qtot＝w2(st)y1+b2(st) (6)
48、其中，qtot表示所述多个智能体的整体q值；st表示t时刻所述多个智能体对应的全局状态；y1表示所述第一加权混合层的输出且elu表示指数线性单元；w1(st)表示所述第一加权混合层利用st生成的权值矩阵；q1，q2，...，qn分别表示智能体1，2，...，n的q值；b1(st)表示所述第一加权混合层利用st生成的偏置矩阵；w2(st)表示所述第二加权混合层利用st生成的权值矩阵；b2(st)表示所述第二加权混合层利用st生成的偏置矩阵。
49、可选地，所述多个智能体的整体q值确定的损失函数表示为下式(7)：
50、
51、其中，l(θ)表示所述多个智能体的整体q值确定的损失函数，bs表示一个样本包内的样本总数量，m表示样本编号且m＝1，2，...，bs，表示第m个样本对应的中间变量且qtot(τ′，a′，s′；θ-)，r表示奖励函数，γ表示折扣因子，τ表示当前时刻的观测-动作轨迹，a表示当前时刻的联合动作，s表示当前时刻的全局状态；τ′表示下一时刻的观测-动作轨迹，a′表示下一时刻的联合动作，s′表示下一时刻的全局状态，θ表示当前时刻所述深度网络的网络参数，θ-表示异步更新的所述深度网络的网络参数，maxa，qtot(τ′，a′，s′；θ-)表示由异步更新的深度网络得到的下一时刻的整体q值。
52、可选地，每个所述智能体的q值表示为下式(8)：
53、qi(τi，ai)＝qi,alone(τi，τy，ai)+∑x∈xqi,collaborate(τi，τx，τy，ai) (8)
54、其中，qi(τi，ai)表示智能体i的q值，τi表示智能体i的轨迹信息，ai表示智能体i采取的动作，qi,alone(τi，τy，ai)表示智能体i单独产生的价值，qi，collaborate(τi，τx，τy，ai)表示智能体i与队友配合产生的价值，x表示智能体的队友集合，x表示集合x中的任意非空子集，y表示智能体的敌方所有对手集合，τy表示集合y对应的智能体的轨迹信息，τx表示x对应的智能体的轨迹信息。
55、本公开提供的基于多头分类堆叠注意力机制的多智能体强化学习方法，相对于现有技术而言，在多个智能体模拟足球比赛场景中，利用智能体网络基于多头分类堆叠注意力机制分别确定每个智能体的q值，将智能体与其所有队友做注意力机制，提取出智能体与队友的配合方式，并在此基础上与智能体面对的敌方所有对手做注意力机制，形成面对不同对手的配合方式，利用混合网络将各个智能体的q值进行混合，计算得到智能体整体的q值，进而确定出智能体基于与队友的配合方式以及面对敌方不同对手的对抗方式所要执行的最优动作，有效满足了模拟足球比赛场景涉及的多人团体对抗场景中的多人配合模式需求。
1.一种基于多头分类堆叠注意力机制的多智能体强化学习方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述智能体网络包括依次连接的多头分类堆叠注意力机制模块、门控循环单元以及全连接层，所述多头分类堆叠注意力机制模块包括拼接在一起的多个独立运算的分类堆叠注意力机制层；
3.根据权利要求2所述的方法，其特征在于，每个所述分类堆叠注意力机制层均包括第一注意力机制子层和第二注意力机制子层；
4.根据权利要求3所述的方法，其特征在于，所述分类堆叠注意力机制层的输出结果表示为下式(1)：
5.根据权利要求4所述的方法，其特征在于，所述多头分类堆叠注意力机制模块的输出结果表示为下式(2)：
6.根据权利要求5所述的方法，其特征在于，所述门控循环单元的输出结果表示为下式(3)：
7.根据权利要求6所述的方法，其特征在于，所述全连接层的中间过程表示为下式(4)：
8.根据权利要求1至7任一项所述的方法，其特征在于，所述混合网络包括依次连接的第一加权混合层和第二加权混合层；
9.根据权利要求8所述的方法，其特征在于，所述多个智能体的整体q值确定的损失函数表示为下式(7)：
10.根据权利要求1至7任一项所述的方法，其特征在于，每个所述智能体的q值表示为下式(8)：
