[发明专利]一种基于强化学习和视线法的无人艇路径跟踪方法

权利要求书

1.一种基于强化学习和视线法的无人艇路径跟踪方法，其特征在于，该方法包括如下步骤：

S1.搭建仿真模型并定义无人艇运动参数，利用软件vrep和gazebo搭建无人艇仿真环境，或者根据无人艇实际运动数据对它的运动模型进行拟合从而获得仿真模型；

S2.设计基于强化学习模型的基本框架，拟采用双层全连接神经网络作为Actor当前网络μ(s|θ^μ)、Actor目标网络μ′(s|θ^μ′)、Critic当前网络Q(s，a|θ^Q)、Critic目标网络Q′(s，a|θ^Q′)基本结构，激活函数采用Leaky-ReLU；

S3.设计强化学习和视线法结合的PID控制框架；

S4.对步骤S3中设计好的模型进行训练并保存训练参数；

S5.对于同样的初始状态做对比仿真实验、实艇实验；

步骤S1中所述无人艇运动参数定义为：

无人艇运动速度V、x轴速度u、y轴速度v、航向角ψ、角速度w、无人艇与目标航线的垂直距离h、目标航线的倾斜角度α_k，航向角与目标航线倾角的偏差为α_k-ψ，α_φ为无人艇期望航向，β为漂角且β＝tan^-1(v/u)，Δ为无人艇的可视距离，是无人水面艇在路径上的投影点T与导航点(x_LOS，y_LOS)之间的距离；

智能体动作a为一个连续的正实数，范围为0-M，M可根据航线长度调整；

奖励值r设置为：r＝-h；

观测状态s定义为：

s＝[u，v，cos(ψ)，sin(ψ)，w，h，cos(α_k)，sin(α_k)，cos(α_k-ψ)，sin(α_k-ψ)]；

步骤S2中所述基于强化学习模型的基本框架中：

(a).Actor当前网络μ(s|θ^μ)：负责Actor当前网络参数θ^μ迭代更新，负责根据当前状态s选择当前动作a，用于和环境交互生成下一状态和奖励值r；

(b).Actor目标网络μ′(s|θ^μ′)：负责根据经验回放池中采样的状态选择最优动作，Actor目标网络参数θ^u′定期根据Actor当前网络参数θ^μ更新；

(c).Critic当前网络Q(s，a|θ^Q)：负责Critic当前网络参数θ^Q的迭代更新，负责计算当前动作价值Q值；

(d).Critic目标网络Q′(s，a|θ^Q′)：负责计算预测动作价值Q′值，Critic目标网络参数θ^Q′定期根据Critic当前网络参数θ^Q更新；

步骤S3中所述强化学习和视线法结合的PID控制框架，其第i步的控制量的计算公式如下：

Δ_i＝a_i

α_φ，i＝α_k，i+tan^-1(-h_i/Δ_i)-β_i

err_i＝α_φ，i-ψ_i

I_i＝I_i-1+K_I×err_i

du_i＝K_p×err_i+I_i

其中Δ_i为无人艇第i步的可视距离，a_i为第i步强化学习网络计算得到的动作值，α_φ，i、α_k，i分别是第i步无人艇期望航向和直线路径方向，ψ_i、β_i、err_i、du_i分别为第i步无人艇航向、漂角、航向误差、控制量偏差，I_i、I_i-1分别为第i步、第i-1步的积分项，K_I为积分控制的系数，K_p为比例控制的系数，Min、Max分别为最小控制量、最大控制量，U_L、U_R分别为左电机控制量、右电机控制量，U₀为基础控制量。