[发明专利]一种基于Dyna框架的混合智能路径规划方法及装置

权利要求书

1.一种基于Dyna框架的混合智能路径规划方法，其特征在于，包括以下步骤：

S1、根据马尔科夫决策过程构建决策模型；

S2、采用栅格法对船舶航行环境建立环境模型，确定初始位置及目标位置；

S3、根据船舶当前位置及目标位置，采用Dyna-H算法对所述决策模型进行更新，并根据船舶当前位置及目标位置及决策模型对船舶当前可能的动作a分别进行评估，确定当前最优动作；

S4、执行当前最优动作，并重复S3直到到达目标位置，生成最优路径。

2.如权利要求1所述的基于Dyna框架的混合智能路径规划方法，其特征在于，步骤S1具体包括：

马尔可夫决策由(S,A,r,P_sa)组成，其中，S＝{s₁,s₂,L,s_t}是状态空间，A＝{a₁,a₂,L,a_t}是动作空间，a_t∈A表示在t时刻执行的动作，r是奖励函数，P_sa是状态转移函数，它满足马尔可夫属性：P_sa(s_t+1|s₁,a₁,L,s_t,a_t)＝P_sa(s_t+1|s_t,a_t)，s_t为t时刻状态，a_t为t时刻所选动作；

强化学习的回报函数G_t表示从t时刻开始后的奖励折扣和，回报函数表达式为：其中，折扣因子γ∈(0,1)。

3.如权利要求1所述的基于Dyna框架的混合智能路径规划方法，其特征在于，步骤S2包括：

S21、将船舶航行水域用大小相同的栅格进行均匀划分；

S22、判断栅格是否被碍航物占据，将栅格分为无障碍物的自由栅格和被碍航物占据的障碍栅格，船舶航行的环境由自由栅格和障碍栅格构成；

S23、确定船舶的初始位置及目标位置。