[发明专利]一种适用于复杂未知环境的自适应SAC-PID方法

权利要求书

1.一种适用于复杂未知环境的自适应SAC-PID方法，其特征在于，包括如下步骤：

步骤一、利用机器人仿真平台搭建循线机器人的环境；

其中，机器人仿真环境包括带RGB相机的移动机器人模型和路径模型，并将移动机器人置于路径的起始位置(x₀,y₀,z₀)为路径起点坐标；

步骤二、基于深度强化学习Soft Actor-Critic，简称SAC，构建深度神经网络模型；

其中，所述深度神经网络模型包括：决策网络π(φ)，状态价值函数网络V(ψ)和动作价值函数网络Q(θ_i)，i∈{1,2}；φ，ψ，θ_i分别为决策网络，状态价值函数网络和动作价值函数网络的参数；

步骤三、定义移动机器人循迹时的状态表征值；

其中，所述移动机器人状态表征值包括：轨迹中心线上均匀取由远及近的五个像素点的横纵坐标值(x_i,y_i)，i∈{1,2,3,4,5}；轨迹斜率和移动机器人的实时曲率之差e_c；移动机器人的实时线速度v_t和角速度ω_t；

步骤四、在步骤一中搭建的仿真环境中训练深度神经网络模型，具体包括如下子步骤：

4.1：构建并初始化步骤二中的四个深度神经网络模型；初始化一个空的经验回放池R；构造两个结构相同的增量PID控制器，分别为主控PID控制器和辅控PID控制器；设置回合数为n＝0，总回合数为N，令初始时刻t＝1；

4.2：利用步骤一中的RGB相机获得h×w的RGB图像I_t，并预处理I_t得到路径跟踪信息，并根据步骤三得到t时刻的状态s_t＝[x₁,y₁,x₂,y₂,x₃,y₃,x₄,y₄,x₅,y₅,e_c,v_t,ω_t]；

4.3：将步骤4.2中的s_t输入决策网络π(φ)，根据式(1)输出六维PID参数K_t＝{k_mp,k_mi,k_md,k_cp,k_ci,k_cd},{k_mp,k_mi,k_md}是主控PID控制器的比例、积分和微分参数，{k_cp,k_ci,k_cd}是辅控PID控制器的比例、积分和微分参数；

其中，ε_t是从一个正态分布N中采样的噪声向量，是决策网络高斯分布的均值，是决策网络高斯分布的方差；从而根据式(2)计算移动机器人的角速度：

ω_t＝ω_t-1+Δω_m+ηΔω_c (2)

其中ω_t-1是t-1时刻的角速度，Δω_m为主控PID控制器的输出，可由式(3)计算得到，Δω_c为辅控PID控制器的输出，可由式(4)计算得到，η为比例系数；

Δω_c＝k_cp[e_c(t)-e_c(t-1)]+k_cie_c(t)+k_cd[e_c(t)-2e_c(t-1)+e_c(t-2)] (4)

其中e_m＝x₄，e_m(t)，e_m(t-1)和e_m(t-2)分别是t，t-1和t-2时刻的e_m；e_c(t)，e_c(t-1)和e_c(t-2)分别是t，t-1和t-2时刻的e_c；

4.4：根据步骤4.3中的e_m(t)计算移动机器人的线速度：

v_t＝-a_x|e_m(t)|+b_x (5)

其中，a_x和b_x为限制移动机器人线速度的系数；

4.5：移动机器人执行角速度ω_t和线速度v_t，记录执行动作后重复步骤4.2得到移动机器人观测的状态s_t+1，并根据s_t+1和式(6)计算奖励函数r(t)，根据式(6)记录回合结束标志F；

其中s(w)，v(w)分别是第w个回合时循迹的路程和平均速度；β₁，β₂，β₃分别是e_m(t)，e_m(t-1)和e_m(t-2)的比例系数；ζ_r，ζ_v，ζ_s分别是每一项的权重系数；g为正奖励常数；

4.6：将元组(s_t,K_t,r_t,s_t+1,F)存入经验回放池R中；

4.7：设定采样数量为b，当前经验回放池R中的元组数量d，若bd，则进入步骤4.8更新网络参数，否则进入步骤4.9；

4.8：在R中随机采样b条元组，首先把式(7)作为损失函数，利用梯度下降算法更新状态价值函数网络V(ψ)的参数：

其中Q_θ(s_t,K_t)为再根据式(8)利用梯度下降算法分别更新和

是值函数网络参数ψ的平均值；最后根据式(9)利用梯度下降更新策略网络：

其中是

4.9：若F＝1，则t＝0，进入下一回合，回合数n+1，待回合数n≥N，完成训练，导出训练后的模型π(φ)，V(ψ)和Q(θ_i)；若F＝0，则t+1，进入步骤4.2，继续在此回合内进行交互；

步骤五、将仿真训练完成的策略网络模型参数导入实际机器人模块中，通过传感器实时获取如步骤二所述的移动机器人的状态表征值，将状态向量输入策略网络，根据式(1)得到最优的六维PID控制器参数；底层PID控制器接收上述参数，根据公式(2)和(4)输出角速度和线速度值控制移动机器人循迹。