[发明专利]智能体训练方法、装置、计算机设备和存储介质

权利要求书

1.一种智能体训练方法，其特征在于，所述方法包括：

获取多个经验动作数据，所述经验动作数据为进化种群中多个目标样本智能体与环境交互学习的经验动作；

基于所述多个经验动作数据，获取初始强化学习智能体输出的动作数据的奖励信息；

根据所述奖励信息和预设的损失函数，对所述初始强化学习智能体的网络参数进行更新；

若所述初始强化学习智能体更新后的网络参数与目标网络参数相同，则结束对所述初始强化学习智能体的网络参数的更新，得到训练完成的强化学习智能体。

2.根据权利要求1所述的方法，其特征在于，在所述获取多个经验动作数据之前，所述方法包括：

通过进化策略对所述进化种群中的第一样本智能体进行繁殖处理，获取第二样本智能体；所述第一样本智能体为所述进化种群中满足预设的适应度条件的样本智能体；

通过进化算法对所述第二样本智能体进行繁殖处理，获取第三样本智能体；

根据所述第一样本智能体、所述第二样本智能体和所述第三样本智能体的适应度，确定多个所述目标样本智能体；

将各所述目标样本智能体与环境交互学习的经验动作数据，存储至循环重播缓冲区。

3.根据权利要求2所述的方法，其特征在于，所述通过进化策略对所述进化种群中的第一样本智能体进行繁殖处理，获取第二样本智能体，包括：

对所述第一样本智能体进行重组处理，得到第一子代；

对所述第一子代进行突变处理，得到第二子代；

根据所述进化策略预设的第一适应度函数，将所述第二子代中满足所述适应度条件的第二子代作为所述第二样本智能体。

4.根据权利要求2所述的方法，其特征在于，所述通过进化算法对所述第二样本智能体进行繁殖处理，获取第三样本智能体，包括：

对所述第二样本智能体中各样本智能体组进行交叉处理，得到第三子代；每个样本智能体组包括所述第二样本智能体中任意两个样本智能体；

对所述第三子代进行变异处理，得到第四子代；

根据所述进化算法预设的第二适应度函数，将所述第四子代中满足所述适应度条件的第四子代作为所述第三样本智能体。

5.根据权利要求2-4任一项所述的方法，其特征在于，所述将各所述目标样本智能体与环境交互学习的经验动作数据，存储至循环重播缓冲区，包括：

将各所述目标样本智能体与环境交互学习的经验动作数据，以经验元组的形式存储在所述循环重播缓冲区中；每个经验元组包括：当前环境状态、所述目标样本智能体响应于所述当前环境状态后执行的连续动作空间的样本动作、所述目标样本智能体执行所述样本动作后获得的奖励，以及所述目标样本智能体的交互环境的下一环境状态。

6.根据权利要求5所述的方法，其特征在于，所述获取多个经验动作数据，包括：

从所述循环重播缓冲区中获取预设数量的经验元组；

将所述预设数量的经验元组中的经验动作数据，确定为所述多个经验动作数据。

7.根据权利要求6所述的方法，其特征在于，所述基于所述多个经验动作数据，获取初始强化学习智能体输出的动作数据的奖励信息，包括：

针对所述预设数量的经验元组中的各经验元组，根据所述初始强化学习智能体响应于各所述经验元组中的当前环境状态输出的动作数据，获取所述初始强化学习智能体的第一奖励；

根据所述初始深度学习智能体响应于各所述经验元组中的下一环境状态输出的动作数据，获取所述初始强化学习智能体的第二奖励；

根据所述第一奖励和所述第二奖励，确定所述奖励信息。

8.根据权利要求1-4任一项所述的方法，其特征在于，所述损失函数包括均方差损失函数和梯度策略损失函数；

所述根据所述奖励信息和预设的损失函数，对所述初始强化学习智能体的网络参数进行更新，包括：

根据所述奖励信息和所述均方差损失函数，通过梯度神经网络的反向传播对奖励参数进行更新；

根据更新后的奖励参数和所述梯度策略损失函数，通过梯度神经网络的反向传播对所述初始强化学习智能体的网络参数进行更新。