[发明专利]神经网络训练方法及装置和环境处理方法及装置

权利要求书

1.一种神经网络训练方法，其特征在于，所述方法包括：

将当前训练周期的环境状态向量输入神经网络中进行处理，获得当前训练周期的动作输出和当前训练周期的衡量输出，其中，所述环境状态向量用于描述当前训练周期的环境，动作输出用于作用于当前周期的环境中，对环境造成改变，所述环境包括游戏环境，所述动作输出包括游戏中的动作指令；或者，所述环境包括交通环境，所述动作输出包括自动驾驶中的操作指令；所述衡量输出用于在对神经网络进行反向调整时，作为调整的参数；

根据所述当前训练周期的环境状态向量和所述当前训练周期的动作输出，确定当前训练周期的第一奖惩反馈，所述第一奖惩反馈表示当前训练周期的动作输出作用于当前周期的环境后，所述环境与理想状态之间的差距的变化；

根据所述当前训练周期的第一奖惩反馈、历史训练周期的第一奖惩反馈和当前训练周期的衡量输出，确定所述神经网络的模型损失，所述历史训练周期包括在所述当前训练周期之前的一个或多个训练周期；

根据所述模型损失，调整所述神经网络的网络参数值；

在所述神经网络满足训练条件时，获得训练后的神经网络。

2.根据权利要求1所述的方法，其特征在于，所述当前训练周期的衡量输出包括当前训练周期的第一衡量输出和当前训练周期的第二衡量输出。

3.根据权利要求2所述的方法，其特征在于，所述模型损失包括与所述第一衡量输出对应的第一模型损失、与所述第二衡量输出对应的第二模型损失以及与所述动作输出对应的第三模型损失。

4.根据权利要求1-3中任一项所述的方法，其特征在于，根据所述当前训练周期的第一奖惩反馈、历史训练周期的第一奖惩反馈和当前训练周期的衡量输出，确定所述神经网络的模型损失，包括：

根据所述当前训练周期的第一奖惩反馈和当前训练周期的第一衡量输出，确定第一模型损失；

根据所述当前训练周期的第一奖惩反馈、历史训练周期的第一奖惩反馈和当前训练周期的第二衡量输出，确定第二模型损失；

根据所述第一模型损失和所述第二模型损失，确定第三模型损失。

5.根据权利要求4所述的方法，其特征在于，根据所述当前训练周期的第一奖惩反馈和当前训练周期的第一衡量输出，确定第一模型损失，包括：

根据所述当前训练周期的第一奖惩反馈、预设的折现率和第一期望奖惩函数，确定第一累积折现奖惩反馈；

根据所述第一累积折现奖惩反馈和所述第一衡量输出，确定所述第一模型损失。

6.根据权利要求4所述的方法，其特征在于，根据所述当前训练周期的第一奖惩反馈、历史训练周期的第一奖惩反馈和当前训练周期的第二衡量输出，确定第二模型损失，包括：

根据所述当前训练周期的第一奖惩反馈和历史训练周期的第一奖惩反馈，确定当前训练周期的第二奖惩反馈；

根据所述当前训练周期的第二奖惩反馈、预设的折现率以及第二期望奖惩函数，确定第二累积折现奖惩反馈；

根据所述第二累积折现奖惩反馈和所述第二衡量输出，确定所述第二模型损失。

7.根据权利要求6所述的方法，其特征在于，根据所述当前训练周期的第一奖惩反馈和历史训练周期的第一奖惩反馈，确定当前训练周期的第二奖惩反馈，包括：

根据历史训练周期的第一奖惩反馈和当前训练周期的第一奖惩反馈，确定奖惩变化向量；

根据所述奖惩变化向量，获得变化累积向量；

根据所述变化累积向量，获得零波动奖惩向量；

根据所述变化累积向量和所述零波动奖惩向量，确定所述第二奖惩反馈。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述当前训练周期的前一个训练周期的环境状态向量和所述前一个训练周期的动作输出，确定所述当前训练周期的环境状态向量。