[发明专利]基于Q学习神经网络的无人船路径规划方法

权利要求书

1.一种基于Q学习神经网络的无人船路径规划方法，其特征在于，包括以下步骤：

a)、初始化存储区D；

b)、初始化Q网络，状态、动作初始值；Q网络中包含以下元素：S，A，P_s,α，R，其中其中S表示USV所处的系统状态的集合，A表示USV所能采取的动作的集合，P_s,α表示系统状态转移概率，R表示奖励函数；

c)、随机设定训练目标；

d)、随机选择动作a_t，得到当前奖励r_t，下一时刻状态s_t+1，将(s_t,a_t,r_t,s_t+1)存到存储区D中；

e)、从存储区D中随机采样一批数据进行训练，即一批(s_t,a_t,r_t,s_t+1)，当USV达到目标位置，或超过每轮最大时间时的状态都认为是最终状态；

f)、如果s_t+1不是最终状态，则返回步骤d，若s_t+1是最终状态，则更新Q网络参数，并返回步骤d，重复n轮后算法结束；

g)、设定目标，用训练后的Q网络进行路径规划，直到USV到达目标位置。

2.根据权利要求1所述的基于Q学习神经网络的无人船路径规划方法，其特征在于，步骤a)中，存储区D为经验回放存储区，用来存储USV航行过程兵采集训练样本。

3.根据权利要求1所述的基于Q学习神经网络的无人船路径规划方法，其特征在于，Q网络的算法规则为：

Q(s_t,a_t)＝Q(s_t,a_t)+αδ′_t

其中，函数Q(s_t，a_t)为在状态s_t时执行动作a_t，α为学习率，δ′_t为TD(0)偏差值，TD(0)中的0表示的是在当前状态下往前多看1步，其值为：

δ′_t＝R(s_t)+γV(s_t+1)-Q(s_t,a_t)

其中，γ为折扣因子，R(s)为奖励函数，V(s)为值函数，值函数另外，也可以把TD(0)偏差值定义为

δ_t+1＝R(s_t+1)+γV(s_t+2)-V(s_t+1)

其中，δ_t+1为TD(0)偏差值，R(s)为奖励函数，V(s)为值函数，

应用另一个折扣因子λ∈[0,1]来对将来步骤中的TD偏差值进行折扣，

Q(s_t,a_t)＝Q(s_t,a_t)+αδ_t^λ

其中，函数Q(s_t,a_t)为在状态s_t时执行动作a_t，α为学习率，δ_t^λ为TD(λ)的偏差值，TD(λ)是在当前状态下往前多看λ步；

在这里TD(λ)的偏差值δ_t^λ定义为

其中，δ′_t代表着过去学习得到的偏差值，δ_t^λ进行多步学习的偏差值，γ为折扣因子，λ为折扣因子，且λ∈[0,1],δ_t+i为现在学习得到的偏差值。