[发明专利]智能体模型的训练方法、装置、电子设备和存储介质

权利要求书

1.一种智能体模型的训练方法，包括：

获取候选历史样本，其中，所述候选历史样本包括第一智能体、第二智能体的历史数据，所述第二智能体为所述第一智能体的敌方；

将所述候选历史样本添加到经验池；

基于当前样本，从所述经验池中筛选出目标历史样本，其中，所述当前样本包括所述第一智能体、所述第二智能体的当前数据；

基于所述当前样本和所述目标历史样本，得到所述第一智能体对应的智能体模型的第一训练样本集；

基于所述第一训练样本集，对所述智能体模型进行训练。

2.根据权利要求1所述的方法，其中，所述基于当前样本，从所述经验池中筛选出目标历史样本，包括：

获取所述当前样本和所述候选历史样本之间的第一相似度；

基于所述第一相似度，从所述经验池中筛选出所述目标历史样本。

3.根据权利要求2所述的方法，其中，所述基于所述第一相似度，从所述经验池中筛选出所述目标历史样本，包括：

将多个所述候选历史样本按照所述第一相似度从大到小进行排序；

将排序前N个的候选历史样本确定为所述目标历史样本，其中，N为正整数。

4.根据权利要求1所述的方法，其中，所述智能体模型包括编码器和解码器；

其中，所述编码器用于对所述第一智能体的状态数据、所述第二智能体的状态数据分别进行编码，得到编码数据；

所述解码器用于对所述编码数据进行解码，得到所述第一智能体的目标动作。

5.根据权利要求4所述的方法，其中，所述编码器包括融合层和编码层；

其中，所述第一智能体的状态数据、所述第二智能体中的任一种智能体的状态数据进行编码的过程如下：

所述融合层用于对所述任一种智能体的当前状态数据和历史状态数据进行融合，得到融合状态数据；

所述编码层用于对所述融合状态数据进行编码，得到所述编码数据。

6.根据权利要求1所述的方法，其中，所述智能体模型的模型参数包括多个所述第二智能体对应的奖励参数；

其中，所述基于所述第一训练样本集，对所述智能体模型进行训练，包括：

识别所述第一训练样本集中的第一训练样本对应的第二智能体；

将所述第一训练样本划分到所述第二智能体对应的第二训练样本集；

基于所述第二智能体对应的第二训练样本集，对所述第二智能体对应的奖励参数进行更新。

7.根据权利要求1所述的方法，其中，还包括：

将所述智能体模型添加到对手池；

从所述对手池中筛选出目标对手模型，并获取所述目标对手模型和所述智能体模型之间的对战数据；

基于所述对战数据，生成所述智能体模型的第三训练样本集；

基于所述第三训练样本集，对所述智能体模型进行训练。

8.根据权利要求7所述的方法，其中，所述从所述对手池中筛选出目标对手模型，包括：

获取所述智能体模型在训练过程中使用的历史对手模型；

获取所述历史对手模型与所述对手池中的候选对手模型之间的第二相似度；

基于所述第二相似度，从所述对手池中筛选出所述目标对手模型。

9.根据权利要求8所述的方法，其中，所述基于所述第二相似度，从所述对手池中筛选出所述目标对手模型，包括：

将多个所述候选对手模型按照所述第二相似度从小到大进行排序；

将排序前M个的候选对手模型确定为所述目标对手模型，其中，M为正整数。