本公开涉及人工智能中的多智能体协作，特别涉及一种基于队友探测的多智能体合作对象泛化方法及装置。
背景技术：
1、在现实生活中，有很多场景涉及多智能体泛化合作，包括智能交通系统、工业自动化、健康护理辅助、灾难响应和智能家居系统等。这些应用领域中，智能体需要与各种不同的伙伴或环境互动，以实现最佳的合作效果。例如，在智能交通系统中，自动驾驶车辆需要与其他车辆及行人进行有效协调，以保障交通流畅和安全。在工业自动化领域，多机器人系统需要协同工作，以提高生产效率和减少误差。在健康护理辅助领域，辅助机器人需要根据不同病人的特定需求提供个性化的服务。
2、面对这些现实应用场景，现有的多智能体合作方法存在一些显著的局限性。首先，大多数现有方法假设固定的队伍配置和静态环境，这在动态变化的现实世界场景中是不现实的。例如，自动驾驶车辆在真实的道路环境中，会不断遇到新的驾驶行为和不同的路况。其次，现有方法在处理大规模智能体协作时往往缺乏灵活性和泛化能力。例如，在大规模的工业自动化系统中，机器人需要能够迅速适应新的工作环境和任务需求。最后，现有方法在智能体间的有效通信和协作策略学习方面仍然面临挑战。例如，健康护理辅助机器人在与不同病人互动时，需要能够理解和适应每个病人的特殊需求和偏好。尽管现有多智能体合作方法在一定程度上取得了进展，但它们在现实世界动态环境中的泛化能力和适应性方面仍有待提高。因此，为了更好地应对现实世界的挑战，需要开发更为灵活、能够快速适应不断变化环境和任务需求的多智能体协调模式。
3、合作型多智能体系统(multi-agent system，mas)的核心挑战之一是如何使得智能体在不同队友之间进行有效的协调。这种协调在实际应用中尤为重要，例如，在人机交互系统和跨智能体系统交互等环境中，智能体需要在多变的团队组合中快速适应并做出恰当决策。现有的多智能体强化学习(multi-agent reinforcement learning，marl)方法主要集中于训练固定队伍解决特定多智能体任务。这些方法在集中式训练和分散式执行(centralizedtraining and decentralized execution，ctde)设置下，通过价值分解方法如价值分解网络(value-decomposition networks，vdn)、qmix和qplex等，成功处理了多智能体协作的一些问题。然而，这些方法在面对动态变化的队友配置时，仍然存在适应性不足的问题。
4、在传统的marl方法中，基于注意力(attention)机制的多智能体深度确定性策略梯度(multi-agent deep deterministic policy gradient，maddpg)即att-maddpg等方法采用基于注意力的中心化评估器来模拟队友的动态联合策略，以稳定训练过程。此外，自适应团队合作(ad hoc teamwork，aht)旨在使单个自主智能体能够在没有预先协调的情况下与其他智能体进行有效合作。在这方面，诸如plastic和通过使用注意力机制实现临时团队合作(achieving the ad hoc teamwork by employing the attention mechanism，aateam)等方法通过利用先前的经验来识别智能体，而odits引入了信息基正则化器，基于联合变分自编码器(variational auto-encoder，vae)，自动逼近全局信息。这些方法通常专注于无先验适应设置中的单智能体问题。
5、现有技术虽然在多智能体系统中取得了一定的进展，但仍存在一些局限性。例如，深度循环对手网络(deep recurrent opponent network，dron)、生成式表征(generativerepresentation)和深度策略推理q网络(deep policy inference q-network，dpiqn)等方法尽管在预测对手行为和弱化非平稳性问题上取得了进展，但它们主要集中于提升单智能体的表现，而不是整个团队的协调。在多智能体系统中，预测和适应动态变化的队友行为是一个核心问题，不仅需要在智能体层面进行有效的策略学习和适应，也需要在团队层面进行有效的策略学习和适应。此外，现有方法在行为多样性的优化上往往需要集中式的损失和梯度计算，这在实际应用中可能造成高成本和时间消耗。
技术实现思路
1、本公开旨在至少解决现有技术中存在的问题之一，提供一种基于队友探测的多智能体合作对象泛化方法及装置。
2、本公开的一个方面，提供了一种基于队友探测的多智能体合作对象泛化方法，所述泛化方法包括：
3、初始化预设动态场景的环境信息，基于多智能体合作任务建立马尔可夫决策模型；所述预设动态场景包括智能交通场景、工业自动化场景、智能家居管理场景、紧急救援行动场景、健康护理辅助场景、人机交互场景、智能零售场景中的任意一者；
4、构建多个不同的智能体团队，采用种群训练方式，基于所述马尔可夫决策模型对队友协调模式模型进行训练，得到每个所述智能体团队分别对应的不同的协调模式；所述协调模式用于指示所述智能体团队中各个智能体在所述预设动态场景中的合作策略；
5、利用探测模型与所述多个智能体团队进行交互，分别获得每个所述智能体团队及其所述协调模式对应的编码表示；
6、基于所述编码表示，对各所述协调模式进行聚类处理，针对每个聚类类别对应的所述协调模式对专家策略模型进行训练，得到每个所述聚类类别分别对应的专家策略；所述专家策略用于指示所述聚类类别对应的所述智能体团队中各个所述智能体在所述预设动态场景中的最优合作模式。
7、可选地，所述队友协调模式模型的软价值多样化目标的优化方程式表示为下式(1)：
8、
9、其中，jsvd表示所述队友协调模式模型的软价值多样化目标；i＝1,2,…,m表示智能体团队编号；m表示智能体团队的总数量；θi表示第i个智能体团队对应的协调模式的q网络参数；τ、a分别表示智能体个体的观察信息和行为信息；表示；表示；d(τ,a)表示所有智能体团队的平均观察-行动价值估计；di(τ,a)表示通过执行玻尔兹曼归一化指数函数操作获得的第i个智能体团队的归一化价值估计。
10、可选地，所述探测模型包括探针策略单元和团队动态自动编码器；
11、所述利用探测模型与所述多个智能体团队进行交互，分别获得每个所述智能体团队及其所述协调模式对应的编码表示，包括：
12、利用所述探针策略单元与所述多个智能体团队进行交互，收集揭示所述智能体团队的所述协调模式对应的轨迹信息；
13、利用所述团队动态自动编码器，对所述协调模式及其所述轨迹信息进行编码，得到对应的所述编码表示；
14、利用所述探针策略单元，采用策略动态重建方法自监督学习所述编码表示中所述协调模式对应的嵌入表示。
15、可选地，所述自监督学习的过程中，总损失函数表示为下式(2)：
16、
17、其中，ltot表示所述总损失函数；h表示所述协调模式对应的轨迹长度；lpred(t)表示在时刻t的预测损失；dp表示团队动态自动编码器中的解码器；表示t时刻智能体团队中作为队友的智能体的真实动作；st表示t时刻的环境状态信息；zp表示所述协调模式对应的嵌入表示；φp表示团队动态自编码器的网络参数。
18、可选地，所述基于所述编码表示，对各所述协调模式进行聚类处理，包括：
19、采用k-means聚类法，基于最优聚类数量对所述编码表示进行聚类处理，得到与所述最优聚类数量相对应的聚类类别；
20、所述最优聚类数量表示为下式(3)：
21、
22、其中，k表示聚类编号；k*表示最优聚类数量；k表示聚类数量上限；z表示队友策略表征集；sv(z)表示单个表征z的轮廓值。
23、可选地，在得到每个所述聚类类别分别对应的专家策略之后，所述泛化方法还包括：
24、在所述预设动态场景中，利用所述探测模型与目标智能体的合作智能体进行实时交互，得到对应的交互信息；其中，所述合作智能体与所述目标智能体共同完成多智能体合作任务；
25、对所述交互信息进行聚类处理，得到所述交互信息对应的所述聚类类别；
26、基于所述交互信息对应的所述聚类类别，通过所述专家策略模型确定所述交互信息对应的所述专家策略。
27、可选地，所述对所述交互信息进行聚类处理，得到所述交互信息对应的所述聚类类别，包括：
28、根据下式(4)，分别计算所述交互信息与各所述聚类类别对应的聚类中心的距离：
29、
30、其中，πmeta表示所述交互信息与各所述聚类类别对应的聚类中心的距离；τ、a分别表示智能体个体的观察信息和行为信息；τp表示所述交互信息的当前协调模式对应的轨迹信息；表示编号为j*的专家策略；j*表示由k-means聚类法给出的分类编号，且μj表示第j个聚类中心；j表示聚类中心的编号；ep表示团队动态自动编码器中的编码器；
31、将与所述交互信息距离最近的所述聚类中心对应的所述聚类类别，作为所述交互信息对应的所述聚类类别。
32、本公开的另一个方面，提供了一种基于队友探测的多智能体合作对象泛化装置，所述泛化装置包括：
33、初始化模块，用于初始化预设动态场景的环境信息，基于多智能体合作任务建立马尔可夫决策模型；所述预设动态场景包括智能交通场景、工业自动化场景、智能家居管理场景、紧急救援行动场景、健康护理辅助场景、人机交互场景、智能零售场景中的任意一者；
34、种群训练模块，用于构建多个不同的智能体团队，采用种群训练方式，基于所述马尔可夫决策模型对队友协调模式模型进行训练，得到每个所述智能体团队分别对应的不同的协调模式；所述协调模式用于指示所述智能体团队中各个智能体在所述预设动态场景中的合作策略；
35、探测模块，用于利用探测模型与所述多个智能体团队进行交互，分别获得每个所述智能体团队及其所述协调模式对应的编码表示；
36、专家策略模块，用于基于所述编码表示，对各所述协调模式进行聚类处理，针对每个聚类类别对应的所述协调模式对专家策略模型进行训练，得到每个所述聚类类别分别对应的专家策略；所述专家策略用于指示所述聚类类别对应的所述智能体团队中各个所述智能体在所述预设动态场景中的最优合作模式。
37、可选地，所述队友协调模式模型的软价值多样化目标的优化方程式表示为下式(1)：
38、
39、其中，jsvd表示所述队友协调模式模型的软价值多样化目标；i＝1,2,…,m表示智能体团队编号；m表示智能体团队的总数量；θi表示第i个智能体团队对应的协调模式的q网络参数；τ、a分别表示智能体个体的观察信息和行为信息；表示；表示；d(τ,a)表示所有智能体团队的平均观察-行动价值估计；di(τ,a)表示通过执行玻尔兹曼归一化指数函数操作获得的第i个智能体团队的归一化价值估计。
40、可选地，所述探测模型包括探针策略单元和团队动态自动编码器；
41、所述探测模块，用于利用探测模型与所述多个智能体团队进行交互，分别获得每个所述智能体团队及其所述协调模式对应的编码表示，包括：
42、所述探测模块，用于：
43、利用所述探针策略单元与所述多个智能体团队进行交互，收集揭示所述智能体团队的所述协调模式对应的轨迹信息；
44、利用所述团队动态自动编码器，对所述协调模式及其所述轨迹信息进行编码，得到对应的所述编码表示；
45、利用所述探针策略单元，采用策略动态重建方法自监督学习所述编码表示中所述协调模式对应的嵌入表示。
46、可选地，所述自监督学习的过程中，总损失函数表示为下式(2)：
47、
48、其中，ltot表示所述总损失函数；h表示所述协调模式对应的轨迹长度；lpred(t)表示在时刻t的预测损失；dp表示团队动态自动编码器中的解码器；表示t时刻智能体团队中作为队友的智能体的真实动作；st表示t时刻的环境状态信息；zp表示所述协调模式对应的嵌入表示；φp表示团队动态自编码器的网络参数。
49、可选地，所述专家策略模块，用于基于所述编码表示，对各所述协调模式进行聚类处理，包括：
50、所述专家策略模块，用于：
51、采用k-means聚类法，基于最优聚类数量对所述编码表示进行聚类处理，得到与所述最优聚类数量相对应的聚类类别；
52、所述最优聚类数量表示为下式(3)：
53、
54、其中，k表示聚类编号；k*表示最优聚类数量；k表示聚类数量上限；z表示队友策略表征集；sv(z)表示单个表征z的轮廓值。
55、可选地，所述泛化装置还包括执行模块，所述执行模块用于：
56、在所述预设动态场景中，利用所述探测模型与目标智能体的合作智能体进行实时交互，得到对应的交互信息；其中，所述合作智能体与所述目标智能体共同完成多智能体合作任务；
57、对所述交互信息进行聚类处理，得到所述交互信息对应的所述聚类类别；
58、基于所述交互信息对应的所述聚类类别，通过所述专家策略模型确定所述交互信息对应的所述专家策略。
59、可选地，所述执行模块用于对所述交互信息进行聚类处理，得到所述交互信息对应的所述聚类类别，包括：
60、所述执行模块，具体用于：
61、根据下式(4)，分别计算所述交互信息与各所述聚类类别对应的聚类中心的距离：
62、
63、其中，πmeta表示所述交互信息与各所述聚类类别对应的聚类中心的距离；τ、a分别表示智能体个体的观察信息和行为信息；τp表示所述交互信息的当前协调模式对应的轨迹信息；表示编号为j*的专家策略；j*表示由k-means聚类法给出的分类编号，且μj表示第j个聚类中心；j表示聚类中心的编号；ep表示团队动态自动编码器中的编码器；
64、将与所述交互信息距离最近的所述聚类中心对应的所述聚类类别，作为所述交互信息对应的所述聚类类别。
65、本公开的另一个方面，提供了一种电子设备，包括：
66、至少一个处理器；以及，
67、与至少一个处理器通信连接的存储器；其中，
68、存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行前文记载的基于队友探测的多智能体合作对象泛化方法。
69、本公开的另一个方面，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现前文记载的基于队友探测的多智能体合作对象泛化方法。
70、本公开相对于现有技术而言，通过构建多个不同的智能体团队作为策略多样性的队友种群，确保了智能体在训练阶段能够接触到多种合作模式即协调模式，打破了自我训练的局部最优限制；通过设计探测模型和聚类处理，智能体能够利用探测模型识别不同队友的协调模式并选择适应当前环境的最优策略，增强适应性和效率；通过对专家策略模型进行基于无监督聚类的多模态合作策略训练，进一步提升了智能体的泛化能力。本公开实施方式提供的基于队友探测的多智能体合作对象泛化装置，其优势在于显著提升了多智能体系统面对多变合作环境的适应性，特别是在与未见队友的合作中能够保持高效性能，这不仅克服了现有技术中智能体在遇到不同队友或未见过的合作伙伴时合作效果不佳的局限，还为多智能体系统在人机交互、跨系统智能体合作等更广泛领域的应用奠定了基础，预期将在多智能体合作任务中实现更高效率和更优性能。
1.一种基于队友探测的多智能体合作对象泛化方法，其特征在于，所述泛化方法包括：
2.根据权利要求1所述的泛化方法，其特征在于，所述队友协调模式模型的软价值多样化目标的优化方程式表示为下式(1)：
3.根据权利要求1所述的泛化方法，其特征在于，所述探测模型包括探针策略单元和团队动态自动编码器；
4.根据权利要求3所述的泛化方法，其特征在于，所述自监督学习的过程中，总损失函数表示为下式(2)：
5.根据权利要求4所述的泛化方法，其特征在于，所述基于所述编码表示，对各所述协调模式进行聚类处理，包括：
6.根据权利要求5所述的泛化方法，其特征在于，在得到每个所述聚类类别分别对应的专家策略之后，所述泛化方法还包括：
7.根据权利要求6所述的泛化方法，其特征在于，所述对所述交互信息进行聚类处理，得到所述交互信息对应的所述聚类类别，包括：
8.一种基于队友探测的多智能体合作对象泛化装置，其特征在于，所述泛化装置包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于队友探测的多智能体合作对象泛化方法。
