[发明专利]应用于强化学习训练过程的方法、装置及电子设备

说明书

公开了一种应用于强化学习训练过程的方法，包括：确定强化学习智能体的第一动作数据；对所述第一动作数据进行限制处理，得到第二动作数据；通过所述第二动作数据控制目标设备。本公开技术方案由于对强化学习智能体的第一动作数据进行限制处理，得到第二动作数据，第二动作数据不会产生瞬间的变化，通过第二动作数据控制目标设备，避免机电设备等目标设备常常以功率极限运行，可以延长机电设备等目标设备的寿命。

技术领域

本发明涉及机电技术领域，具体涉及一种应用于强化学习训练过程的方法、装置及电子设备。

背景技术

强化学习(RL，Reinforcement Learning)，又称再励学习、评价学习，是一种重要的机器学习方法，在智能控制机器人及分析预测等领域有许多应用。强化学习是智能体(Agent)以“试错”的方式进行学习，通过与外部环境(Environment)进行交互获得的奖赏(Reward)指导行为，目标是使智能体获得最大的奖赏。由于外部环境提供的信息很少，强化学习系统需要较多的随机探索，必须靠自身的经历进行学习。

在强化学习应用于机电设备(如机械臂)等目标设备的训练过程中，需要执行大量的随机动作，会产生瞬间的位置或速度的变化，导致机电设备等目标设备常常以功率极限运行，降低了机电设备等目标设备的寿命。

发明内容

为了解决上述技术问题，本申请实施例提供了一种应用于强化学习训练过程的方法、装置及电子设备。

根据本申请的一个方面，提供了一种应用于强化学习训练过程的方法，包括：确定强化学习智能体的第一动作数据；对所述第一动作数据进行限制处理，得到第二动作数据；通过所述第二动作数据控制目标设备。

根据本申请的另一个方面，提供了一种应用于强化学习训练过程的装置，包括：第一确定模块，用于确定强化学习智能体的第一动作数据；处理模块，用于对所述第一动作数据进行限制处理，得到第二动作数据；控制模块，用于通过所述第二动作数据控制目标设备。

根据本申请的另一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一所述的方法。

根据本申请的另一个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述任一所述的方法。

本申请实施例提供的应用于强化学习训练过程的方法，由于对强化学习智能体的第一动作数据进行限制处理，得到第二动作数据，第二动作数据不会产生瞬间的变化，通过第二动作数据控制目标设备，避免机电设备等目标设备常常以功率极限运行，可以延长机电设备等目标设备的寿命。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请一示例性实施例提供的应用于强化学习训练过程的场景示意图。

图2是本申请一示例性实施例提供的应用于强化学习训练过程的方法的流程示意图。

图3是本申请一示例性实施例提供的对第一动作数据进行限制处理，得到第二动作数据的流程示意图。

图4是本申请另一示例性实施例提供的应用于强化学习训练过程的方法的流程示意图。

图5是本申请一示例性实施例提供的基于第二动作数据和第一动作数据，确定奖赏误差数据的流程示意图。

图6是本申请一示例性实施例提供的应用于强化学习训练过程的装置的结构示意图。