[发明专利]基于Actor-Critic神经网络连续控制的快速学习算法

说明书

本发明涉及一种Actor‑Critic神经网络连续控制的快速学习算法，经验池初始化、神经网络初始化、构造输出干扰、积累经验池、根据优先数prop采样及训练深度强化学习神经网络，根据由TD_diff、sigmoid_TD和使用迹UT计算出来的优先数prop来优化采样的算法，TD_error的收敛速度加快，使得算法的学习速度加快。

技术领域

本发明属于强化学习算法技术领域，具体涉及一种基于Actor-Critic神经网络连续控制的快速学习算法。

背景技术

近年来，深度强化学习大放异彩，Google研发的围棋程序AlphaGo成功打败世界顶级棋手李世石，在世界范围掀起了人工智能的热潮，而AlphaGo的成功，归功于深度强化学习算法。现在的深度强化学习算法大多使用了记忆回放(memory replay)这一方法。记忆回放的概念在1993年便被提出，到2013年随着DQN算法的提出，记忆回放在深度强化学习的各个方面被广泛使用。但由于记忆回放往往采取随机取样的方式，导致神经网络对某些状态重复学习，优先状态学习不到，并且经验池中一些较优的历史数据不能得到优先采样。因此，如何优化经验池采样是深度强化学习算法提示的一个关键。

经验池优化采样的方法不多，有构造具有状态序列对的最大数量μrms和试验最大次数Knum两个参数约束的容器来使经验池保留一些较优的历史数据的方法，还有根据仅TD_error的大小的优先采样的方法。仅根据时间差分误差TD_error大小的方法有时的表现还不如随机采样，导致学习效率低。

发明内容

本发明的目的就是针对上述技术的不足，提供一种基于Actor-Critic神经网络连续控制的快速学习算法。

为实现上述目的，本发明所设计的基于Actor-Critic神经网络连续控制的快速学习算法，包括如下步骤：

步骤1)初始化

1.1)经验池初始化：设定经验池为m行、n列的二维矩阵，二维矩阵中每个元素的值初始化为0，其中，m为样本容量大小、n为每个样本储存的信息数量，n＝2×state_dim+action_dim+3，state_dim为状态的维度、action_dim为动作的维度；同时，在经验池中预留出用于存储奖励信息、使用迹和时间差分错误的空间；

1.2)神经网络初始化：神经网络分为Actor网络和Critic网络两个部分，Actor网络为行为网络、Critic网络为评价网络，每个部分又分别构建两个结构完全相同而参数不同的eval net和target net，eval net为估计网络、target net为目标网络，从而形成μ(s|θμ)网络、μ(s|θμ′)网络、Q(s,a|θQ)网络及Q(s,a|θQ′)网络共四个网络，其中，μ(s|θμ)网络为行为估计网络、μ(s|θμ′)网络为行为目标网络、Q(s,a|θQ)网络为评价估计网络、Q(s,a|θQ′)网络为评价目标网络；