[发明专利]训练动作选择神经网络

说明书

用于训练策略神经网络的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。策略神经网络用于选择要由代理执行的动作，代理通过接收表征环境状态的观察并响应于接收到的观察而执行动作集合中的动作来与环境交互。从回放存储器获得轨迹，并且为轨迹中的每个训练观察确定策略网络参数的当前值的最终更新。策略网络参数的当前值的最终更新是根据选定动作更新和留一更新来确定的。

背景技术

本说明书涉及强化学习。

在强化学习系统中，代理通过执行由强化学习系统响应于接收表征环境当前状态的观察而选择的动作来与环境交互。

一些强化学习系统根据神经网络的输出，响应于接收到给定的观察来选择要由代理执行的动作。

神经网络是机器学习模型，它采用一层或多层非线性单元来预测接收到的输入的输出。一些神经网络是深度神经网络，除了输出层之外，还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中下一层(即下一隐藏层或输出层)的输入。网络的每一层根据相应参数集的当前值，根据接收到的输入产生输出。

发明内容

本说明书描述了实施为在一个或多个位置的一个或多个计算机上的计算机程序的系统，该系统选择要由与环境交互的代理执行的动作。

本公开的一个方面概括地提出了一种强化学习系统，其中使用轨迹(即，对于时间序列中的每一个时间，每个轨迹都是先前收集的对应的训练观察、训练动作和训练奖励)来迭代地训练策略网络。策略网络的每次更新基于与序列中的特定时间相对应的轨迹之一的特定训练动作，并且包括基于除了特定训练动作之外的所有可能动作的留一(leave-one-out)更新、以及基于将代理执行特定训练动作而产生的回报的更新回报估计来计算的选定动作更新。

根据第一方面，提供了一种用于训练具有多个策略网络参数的策略神经网络的方法。策略神经网络用于选择要由代理执行的动作，代理通过接收表征环境状态的观察并响应于接收到的观察而执行动作集合中的动作来与环境交互。策略神经网络具有多个策略网络参数，并且被配置为接收输入观察并处理输入观察，以根据策略网络参数生成动作集合中的动作的得分分布。

该方法包括，从回放存储器获得轨迹，该轨迹包括各自表征环境的相应训练状态的多个训练观察，以及对于每个训练观察，该轨迹还包括：来自由代理响应于接收训练观察而执行的动作集合中的训练动作和由代理接收的对于执行训练动作的训练奖励。

使用轨迹确定策略网络参数的当前值的更新。对于轨迹中的每个训练观察，确定更新包括根据策略网络参数的当前值，使用策略神经网络处理训练观察，以确定动作集合中的动作的当前得分分布。为每个动作确定该动作的当前得分相对于策略网络参数的梯度。使用分布式评委(critic)神经网络处理训练观察，来为动作集合中的每个动作生成可能Q值的相应的分布。对于集合中除了响应于训练观察而执行的动作之外的每个动作，根据该动作的当前得分相对于策略网络参数的梯度和该动作的可能Q值的分布，确定策略网络参数的当前值的留一更新。根据策略网络参数的当前值，确定将策略神经网络用于选择由代理执行的未来动作而产生的回报的更新回报估计。根据更新回报估计和所执行动作的当前得分相对于策略网络参数的梯度，确定策略网络参数的当前值的选定动作更新。根据选定动作更新和留一更新，确定策略网络参数的最终更新。

在一些实施方式中，策略神经网络是递归神经网络。

在一些实施方式中，策略神经网络是前馈神经网络。

在一些实施方式中，策略网络参数的当前值的留一更新是，对于集合中除了响应于训练观察而执行的动作之外的每个动作，该动作的当前得分相对于策略网络参数的梯度和该动作的可能Q值的分布的集中趋势的度量的相应乘积的总和。

在一些实施方式中，选定动作更新是更新回报估计和所执行动作的当前得分相对于策略网络参数的梯度的乘积。