[发明专利]智能体的控制方法及系统、计算机装置以及存储介质

说明书

本申请公开一种智能体的控制方法及系统、计算机装置以及存储介质。所述方法用于包含多个智能体通过各自的行为操作执行协同任务的系统，包括：以多个智能体中的一个智能体为目标智能体并获取其当前观测信息；在一角色控制机制下执行以下步骤：基于包含当前观测信息的输入信息集生成目标智能体的当前行为信息；按照所生成的当前行为信息控制目标智能体的当前行为操作，一段时间内的行为操作用于反映当前角色属性，当前角色属性是由角色控制机制生成的；基于目标智能体的包含新的观测信息的输入信息集重新执行上述生成步骤和控制步骤，以利用新的行为信息控制目标智能体执行协同任务中的新的行为操作。

技术领域

本申请涉及计算机数据处理领域，具体的涉及一种智能体的控制方法及系统、计算机装置以及存储介质。

背景技术

多智能体系统(multi-agent system，简称为MAS)是由在一个环境中交互的多个智能体组成的计算系统。在该系统中，每个智能体都有自己的目标和行为，但同时也与其他智能体进行交互和协作。

目前，在涉及多个智能体交互的场景中，例如多玩家的游戏场景，多个机器人的控制场景等等，强化学习的引入备受关注。随着多智能体强化学习(multi-agentreinforcement learning，简称为MARL)技术的不断发展，现有的应用于多智能体系统的强化学习技术在适应性和灵活度方面都有所提高，但是对于复杂任务，其仍存在效率低下的缺点。

因而，如何在多智能体系统中基于强化学习来提高学习效率成为多智能体强化学习中待解决的技术问题。

发明内容

鉴于以上所述相关技术的缺点，本申请的目的在于提供一种智能体的控制方法及系统、计算机装置以及存储介质，用以克服上述相关技术中存在的针对复杂的智能体任务而言学习效率低下的技术问题。

为实现上述目的及其他相关目的，本申请公开的第一方面提供一种智能体的控制方法，所述控制方法用于包含多个智能体通过各自的行为操作执行协同任务的系统，所述控制方法包括：以所述多个智能体中的一个智能体为目标智能体，并获取所述目标智能体的当前观测信息；以及在一角色控制机制下执行以下步骤：基于包含所述当前观测信息的输入信息集生成所述目标智能体的当前行为信息；按照所生成的当前行为信息控制所述目标智能体的当前行为操作，所述目标智能体的一段时间内的行为操作用于反映所述目标智能体的当前角色属性，所述当前角色属性是由所述角色控制机制生成的；以及基于所述目标智能体的包含新的观测信息的输入信息集重新执行上述生成步骤和控制步骤，以利用新的行为信息控制所述目标智能体执行所述协同任务中的新的行为操作。

在本申请的第一方面的某些实施方式中，所述输入信息集还包括所述目标智能体的轨迹信息。

在本申请的第一方面的某些实施方式中，所述生成所述目标智能体的当前行为信息的步骤包括：基于所述输入信息集进行角色生成处理以获得与所述当前角色属性对应的行为特征；以及依据所述行为特征生成所述目标智能体为执行所述协同任务的当前行为信息。

在本申请的第一方面的某些实施方式中，所述基于输入信息集进行角色生成处理以获得与所述当前角色属性对应的行为特征的步骤包括：利用角色编码器基于所述输入信息集生成所述当前角色属性；以及利用角色解码器将所述当前角色属性转换为所述行为特征。

在本申请的第一方面的某些实施方式中，所述角色编码器包括编码单元和采样单元；所述利用角色编码器基于所述输入信息集生成所述当前角色属性的步骤包括：所述编码单元用于基于所述输入信息集输出角色特征信息；以及所述采样单元用于对基于所述角色特征信息而得到的角色分布进行采样处理以得到所述当前角色属性。

在本申请的第一方面的某些实施方式中，所述角色控制机制基于所述目标智能体的当前观测信息、所述目标智能体的当前角色属性、以及所述目标智能体的轨迹信息而被优化，以使所述目标智能体所执行的后续行为操作能反映出比优化前具有更高识别性的角色属性。