[发明专利]神经网络训练方法及装置和环境处理方法及装置

说明书

本公开涉及一种神经网络训练方法及装置和环境处理方法及装置，所述方法包括：将当前训练周期的环境状态向量输入神经网络，获得动作输出和衡量输出；根据环境状态向量和动作输出确定第一奖惩反馈；根据第一奖惩反馈、历史训练周期的第一奖惩反馈和衡量输出，确定神经网络的模型损失；根据模型损失，调整神经网络的网络参数值；在神经网络满足训练条件时，获得训练后的神经网络。根据本公开的实施例的神经网络训练方法，通过当前训练周期和历史训练周期的多个奖惩反馈来确定的模型损失，在训练神经网络的过程中不易陷入局部最优解，可获得拟合优度较高的神经网络。

技术领域

本公开涉及计算机技术领域，尤其涉及一种神经网络训练方法及装置和环境处理方法及装置。

背景技术

在相关技术中，可将描述当前周期的环境的环境状态向量输入神经网络中，获得动作输出和衡量输出，将动作输出作用于环境中，环境可由于所述动作输出而发生变化，获得下一个周期的环境，同时获得对该动作输出的奖惩反馈。根据该奖惩反馈来确定神经网络的损失函数，以训练神经网络。但该训练方法根据单一的奖惩反馈来确定损失函数，容易使训练过程陷入局部最优解，难以获得拟合优度较高的神经网络。

发明内容

本公开提出了一种神经网络训练方法及装置和环境处理方法及装置。

根据本公开的一方面，提供了一种神经网络训练方法，包括：

将当前训练周期的环境状态向量输入神经网络中进行处理，获得当前训练周期的动作输出和当前训练周期的衡量输出；

根据所述当前训练周期的环境状态向量和所述当前训练周期的动作输出，确定当前训练周期的第一奖惩反馈；

根据所述当前训练周期的第一奖惩反馈、历史训练周期的第一奖惩反馈和当前训练周期的衡量输出，确定所述神经网络的模型损失，所述历史训练周期包括在所述当前训练周期之前的一个或多个训练周期；

根据所述模型损失，调整所述神经网络的网络参数值；

在所述神经网络满足训练条件时，获得训练后的神经网络。

根据本公开的实施例的神经网络训练方法，将环境状态向量输入神经网络可获得当前训练周期的动作输出和当前训练周期的衡量输出，并根据当前训练周期的第一奖惩反馈、历史训练周期的第一奖惩反馈以及所述衡量输出确定模型损失，通过多个奖惩反馈来确定的模型损失在训练神经网络的过程中不易陷入局部最优解，可获得拟合优度较高的神经网络。

在一种可能的实现方式中，所述当前周期的衡量输出包括当前训练周期的第一衡量输出和当前训练周期的第二衡量输出。

在一种可能的实现方式中，所述模型损失包括与所述第一衡量输出对应的第一模型损失、与所述第二衡量输出对应的第二模型损失以及与所述动作输出对应的第三模型损失。

在一种可能的实现方式中，根据所述当前训练周期的第一奖惩反馈、历史训练周期的第一奖惩反馈和当前训练周期的衡量输出，确定所述第一神经网络的模型损失，包括：

根据所述当前训练周期的第一奖惩反馈和当前训练周期的第一衡量输出，确定所述第一模型损失；

根据所述当前训练周期的第一奖惩反馈、历史训练周期的第一奖惩反馈和当前训练周期的第二衡量输出，确定所述第二模型损失；

根据所述第一模型损失和所述第二模型损失，确定所述第三模型损失。

在一种可能的实现方式中，根据所述当前训练周期的第一奖惩反馈和当前训练周期的第一衡量输出，确定所述第一模型损失，包括：

根据所述当前训练周期的第一奖惩反馈、预设的折现率和第一期望奖惩函数，确定第一累积折现奖惩反馈；

根据所述第一累积折现奖惩反馈和所述第一衡量输出，确定所述第一模型损失。