[发明专利]样本高效的强化学习

权利要求书

1.一种计算机实施的方法，包括：

维护Q网络的集合，每个Q网络是神经网络，每个Q网络被配置成：接收Q网络输入，所述Q网络输入包括(i)用于表征与代理交互的环境的状态的输入观察结果和(ii)用于从动作集中标识一个动作的数据，并且处理所述Q网络输入以针对所述输入观察结果-动作对生成Q值；

维护转变模型的集合，每个转变模型被配置成：接收转变输入，所述转变输入包括(i)输入观察结果和(ii)由所述代理响应于所述输入观察结果而执行的动作，并且处理所述转变输入以生成所预测的下一个观察结果，所预测的下一个观察结果用于表征作为所述代理响应于所述观察结果而执行所述动作的结果而由所述环境所转变成的状态；

维护奖励模型的集合，每个奖励模型被配置成：接收奖励输入，所述奖励输入包括(i)输入观察结果、(ii)由所述代理响应于所述输入观察结果而执行的动作、和(iii)用于表征作为所述代理响应于所述观察结果而执行所述动作的结果而由所述环境所转变成的状态的下一个观察结果，并且处理所述奖励输入以生成由所述代理响应于执行所述动作而接收到的预测奖励；

获得转变，所述转变包括(i)初始训练观察结果、(ii)训练动作、(iii)训练奖励、和(iv)下一个训练观察结果；

使用所述转变模型的集合来生成在所述转变中从所述下一个训练观察结果开始的M个轨迹，所述M个轨迹中的每个轨迹在预定数目的时间步的每个时间步包括相应的观察结果；

对于所述M个轨迹中的每个轨迹并且对于所述时间步中的每个时间步：

使用所述奖励模型的集合来针对所述时间步生成N个奖励，

使用所述Q网络的集合来针对所述时间步生成L个Q值，并且

根据所述N个奖励、所述L个Q值和所述训练奖励，针对所述轨迹并针对所述时间步确定L*N个候选目标Q值；

对于所述时间步中的每个时间步，组合来自所述M个轨迹的针对所述时间步的所述M*L*N个候选目标Q值以针对所述时间步生成组合候选目标Q值；

针对所述时间步根据组合目标Q值确定最终目标Q值；以及

使用所述最终目标Q值来训练所述集合中的所述Q网络中的至少一个Q网络。

2.根据权利要求1所述的方法，其中，所述转变是转变的最小批次中的转变中的一个，其中，所述最小批次中的每个转变被指派给所述集合中的所述Q网络中的相应一个Q网络，并且其中，使用所述最终目标Q值来训练所述集合中的所述Q网络中的至少一个Q网络包括使用所述最终目标Q值来训练被指派了所述转变的所述Q网络。

3.根据权利要求1或2中的任一项所述的方法，进一步包括：

在所述转变上训练所述转变模型中的至少一个和所述奖励模型中的至少一个。

4.根据权利要求1至3中的任一项所述的方法，进一步包括：

使用所述Q网络的集合来训练策略神经网络。

5.根据权利要求4所述的方法，其中，使用所述转变模型的集合来生成在所述转变中从所述下一个训练观察结果开始的M个轨迹包括：对于每个轨迹并在每个时间步，使用所述策略神经网络来选择在所述时间步的所述动作。

6.根据权利要求1至3中的任一项所述的方法，其中，使用所述转变模型的集合来生成在所述转变中从所述下一个训练观察结果开始的M个轨迹包括：对于每个轨迹并在每个时间步，使用以下(i)或(ii)来选择在所述时间步的所述动作：(i)所述Q网络中的相应一个，或(ii)具有作为所述集合中的所述Q网络的参数的较旧副本的参数值的Q网络。

7.根据权利要求1至6中的任一项所述的方法，其中，对于所述时间步中的每个时间步，组合来自所述M个轨迹的针对所述时间步的所述M*L*N个候选目标Q值以针对所述时间步生成组合候选目标Q值包括：

针对所述时间步确定所述M*L*N个候选目标Q值的集中趋势的量度；

针对所述时间步确定所述M*L*N个候选目标Q值的变化的量度；以及

基于所述集中趋势的量度和所述变化的量度来针对所述时间步生成所述组合候选目标Q值。