[发明专利]用于连续控制任务的数据高效强化学习

摘要

用于数据高效的强化学习的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。所述系统之一是一种用于训练行动者神经网络的系统，所述行动者神经网络用于选择要由通过接收表征环境的状态的观察并且响应于每个观察执行从可能的动作的连续空间选择的动作而与所述环境交互的智能体执行的动作，其中，所述行动者神经网络按照所述行动者神经网络的参数的值将观察映射到下一些动作，并且其中，所述系统包括：多个工作者，其中，每个工作者被配置为独立于每个其他工作者进行操作，其中，每个工作者与在训练所述行动者神经网络期间与所述环境的相应副本交互的相应智能体副本关联。

主权项

1.一种用于训练行动者神经网络的系统，所述行动者神经网络用于选择要由通过接收表征环境的状态的观察并且响应于每个观察执行从可能的动作的连续空间选择的动作而与所述环境交互的智能体执行的动作，其中，所述行动者神经网络按照所述行动者神经网络的参数的值将观察映射到下一些动作，并且其中，所述系统包括：多个工作者，其中，每个工作者被配置为独立于每个其他工作者进行操作，其中，每个工作者与在训练所述行动者神经网络期间和所述环境的相应副本交互的相应智能体副本关联，并且，其中，每个工作者还被配置为重复地执行操作，所述操作包括：从能够由所述多个工作者中的每一个访问的共享存储器确定所述行动者神经网络和评价神经网络的参数的当前值；从回放存储器获得经验元组的小批次，每个经验元组包括表征所述环境的训练状态的训练观察、来自响应于所述训练观察由所述智能体副本之一执行的动作的连续空间的训练动作、由用于执行所述训练动作的智能体副本接收的训练反馈值和表征所述环境的下一训练状态的下一训练观察；确定所述行动者神经网络的参数的当前值和所述评价神经网络的参数的当前值的更新，包括对于所述小批次中的每个经验元组：使用所述评价神经网络处理所述经验元组中的所述训练观察和所述训练动作以按照所述评价神经网络的参数的当前值确定对于所述经验元组的神经网络输出，从所述经验元组中的所述训练反馈值和所述经验元组中的所述下一训练观察确定对于所述经验元组的目标神经网络输出，使用对于所述小批次中的经验元组的所述神经网络输出和目标神经网络输出之间的误差确定所述评价神经网络的参数的当前值的更新，以及使用所述评价神经网络确定所述行动者神经网络的参数的当前值的更新；以及将所述行动者神经网络的参数的当前值的更新和所述评价神经网络的参数的当前值的更新写入到所述共享存储器。