[发明专利]一种基于最大置信度上界的交替深度Q网络方法

权利要求书

1.一种基于最大置信度上界的交替深度Q网络方法，其特征在于，包括如下步骤：

S1：初始化k个各自独立的深度Q网络公共历史经验回放池B，网络选择次数N_i；

S2：初始化环境状态s₀；

S3：根据Q-UCB策略选择Q网络；

S4：根据步骤S3获取的Q网络，选择并执行动作，获得新环境状态s_t+1和奖励r_t；

S5：将步骤S4获取的信息存储进公共历史经验回放池中；

S6：更新网络选择次数；

S7：从公共历史经验回放池中独立随机采样更新深度Q网络；

S8：重复步骤S2～S7直到网络收敛。

2.根据权利要求1所述的一种基于最大置信度上界的交替深度Q网络方法，其特征在于，所述步骤S3具体为：

计算每个网络的Q-UCB值，选择Q-UCB值最大的Q网络。

3.根据权利要求2所述的一种基于最大置信度上界的交替深度Q网络方法，其特征在于，所述Q-UCB值的计算方法为：

其中，为网络的最优状态动作价值，为Q_i的历史选择次数比，代表了该网络的不确定性。

4.根据权利要求1所述的一种基于最大置信度上界的交替深度Q网络方法，其特征在于，所述步骤S4中执行的动作具体为：

a_t＝argmax_a Q_i(s_t,a)。

其中s_t为在时间步t时的智能体状态，a为在时间步t时的智能体能够采取的动作。

5.根据权利要求4所述的一种基于最大置信度上界的交替深度Q网络方法，其特征在于，所述步骤S5中获取的信息包括(s_t,a_t,r_t,s_t+1)。

6.根据权利要求1所述的一种基于最大置信度上界的交替深度Q网络方法，其特征在于，所述步骤S7中采用自动微分技术对深度Q网络进行更新，具体为：

为对网络参数θ进行梯度下降更新。

其中，为目标值，Q(s,a|θ^-)为参数固定为θ^-的目标Q网络，其初始化参数与策略Q网络参数一致，每过一段时间就会将策略Q网络的参数赋予目标Q网络，θ^-←θ。