[发明专利]基于深度强化学习DDPG算法框架的策略协同选择方法

权利要求书

1.一种基于深度强化学习DDPG算法框架的策略协同选择方法，其特征在于，包括下列步骤：

选定网络结构，初始化参数；

利用动作策略选择输出action；

输出action与环境探索交互，采集数据样本；

利用所述数据样本进行网络参数的训练更新。

2.如权利要求1所述的基于深度强化学习DDPG算法框架的策略协同选择方法，其特征在于，在选定网络结构，初始化参数的具体步骤如下：

选定两个actor当前网络，两个actor目标网络，两个critic当前网络和两个critic目标网络，并给actor网络添加dropout层；

使用随机参数θ₁，θ₂，和对两个所述critic当前网络和以及actor当前网络和进行初始化；

用参数θ′₁，θ′₂，和初始化对应的所述critic目标网络和以及对应的所述actor目标网络和

3.如权利要求2所述的基于深度强化学习DDPG算法框架的策略协同选择方法，其特征在于，设置初始参数θ′₁为θ₁，θ′₂为θ₂，为为

4.如权利要求1所述的基于深度强化学习DDPG算法框架的策略协同选择方法，其特征在于，在利用动作策略选择输出action的过程中，

将state(s)输入两个所述actor当前网络和中，获得两个不同的action分别是a₁和a₂，将a₁和a₂以及s输入到两个critic当前网络和中，获取在s的状态下a₁和a₂对应的评估Q值q₁和q₂，将q₁和q₂输入softmax函数，把输出作为概率输入到取样函数中，加权概率选取action(a)。

5.如权利要求1所述的基于深度强化学习DDPG算法框架的策略协同选择方法，其特征在于，在输出action与环境探索交互，采集数据样本的过程中，

在特定的步数内，随机选取action，和环境交互得到对应的reward(s，a)，与转到的下一个状态s’，将四元组(s，a，r，s’)存入replay buffer中；

超过特定的步数，通过策略协同的方式选取action，并加入对应的噪声函数，得到a，将s，a和环境交互产生对应的r，与转到的下一个状态s’组成四元组存入所述replay buffer中。

6.如权利要求1所述的基于深度强化学习DDPG算法框架的策略协同选择方法，其特征在于，在利用所述数据样本进行网络参数的训练更新的过程中，从replay buffer中回放N条(s，a，r，s’)，并将s’输入两个所述actor目标网络中加上噪声得到下一个动作a′₁和a′₂，再将它们分别输入两个所述critic目标网络中，评估出四个Q值，选取最小的目标Q值，更新所述critic当前网络和所述actor当前网络，最后软更新所述critic目标网络和所述actor目标网络。