[发明专利]一种适用于复杂未知环境的自适应SAC-PID方法

说明书

一种适用于复杂未知环境的自适应SAC‑PID方法，实现了无模型的PID参数的自适应最优整定。包含如下步骤：首先，获取表征移动机器人当前状态特征的信息；其次，基于深度强化学习SoftActor‑Critic算法，将状态信息输入强化学习网络模型，得到PID控制器的参数，PID控制器输出角速度信息控制移动机器人循迹；最后，根据设计好的奖励函数计算此次动作的奖励，并得到下一个时刻的状态，在与环境的交互中不断优化强化学习网络模型，得到最优的策略网络。该方法克服了传统PID控制自适应调参中对模型和经验的依赖，在仿真和落地的实验中均取得了优异的效果，并且具备良好的泛化性和鲁棒性。

技术领域

本发明涉及一种自适应SAC-PID方法。

背景技术

比例-积分-微分控制器(PID)由于其结构简单、鲁棒性强、适应性强，被广泛应用于工业控制和机器人控制中。实际上，传统的PID控制采用经验整定的方法来调整PID参数，从而获得较为合适的PID控制器。但是在面对不断变化的环境时，经验整定的方法变得捉襟见肘。Onat等研究人员在2018年发表了Anew design method for PI-PD control ofunstable processes with dead time，基于稳定边界轨迹，提出了一种获得PI-PD控制器参数稳定域的图形化方法。然而该方法需要大量复杂的计算和精确的建模，因此该方法不适合移植，泛化性较差。除此之外，该方法只能保证系统的稳定性，而在实施时并不能保证得到最优PID参数。

随着人工智能的发展，深度强化学习方法在智能体面对复杂环境决策博弈取得了显著的突破。深度强化学习通过智能体与环境不断交互中，实时地做出决策，并在决策后得到一系列奖励。智能体通过此奖励不断地优化自己的决策过程，目标是使累积奖励的期望最大化，最终得到最优策略。

Carlucho在2020年发表了An adaptive deep reinforcement learningapproach for MIMO PID control of mobile robots，提出了一种基于深度确定性策略梯度(DDPG)的自适应PID用以控制移动机器人的速度。但DDPG存在对于超参数极其敏感，难以稳定等缺点。因此在如何设计一个具有良好的泛化性，鲁棒性的自适应PID是一个值得研究的问题。

发明内容

本发明要克服现有技术的上述不足，提出了一种适用于复杂未知环境的自适应SAC-PID方法。

本发明针对复杂未知环境，设计了一个基于深度强化学习和PID控制的分层控制器，实现了无模型的PID参数的自适应最优整定。

一种适用于复杂未知环境的自适应SAC-PID方法，包括如下步骤：

步骤一、利用机器人仿真平台搭建循线机器人的环境；

其中，机器人仿真环境包括带RGB相机的移动机器人模型和路径模型，并将移动机器人置于路径的起始位置(x₀,y₀,z₀)为路径起点坐标。

步骤二、基于深度强化学习Soft Actor-Critic(SAC)构建深度神经网络模型；

其中，所述深度神经网络模型包括：决策网络π(φ)，状态价值函数网络V(ψ)和动作价值函数网络Q(θ_i)，i∈{1,2}。φ，ψ，θ_i分别为决策网络，状态价值函数网络和动作价值函数网络的参数；

步骤三、定义移动机器人循迹时的状态表征值；

其中，所述移动机器人状态表征值包括：轨迹中心线上均匀取由远及近的五个像素点的横纵坐标值(x_i,y_i)，i∈{1,2,3,4,5}；轨迹斜率和移动机器人的实时曲率之差e_c；移动机器人的实时线速度v_t和角速度ω_t。