[发明专利]一种基于强化学习算法与未知干扰观测器的多AUV编队分布式控制方法

说明书

一种基于强化学习算法与未知干扰观测器的多AUV编队分布式控制方法，属于机器人控制技术领域。为了解决现有的控制方法对AUV编队进行控制存在控制精度差的问题，本发明针对多AUV编队中的AUV，利用纵向和艏向的复合控制系统进行控制；纵向和艏向的复合控制系统包括：基于纵向干扰观测器确定的纵向分布式控制器、基于艏向干扰观测器确定的艏向分布式控制器，以及用于确定控制器控制增益的Actor‑Critic算法；Actor‑Critic算法由Actor当前网络、Actor目标网络、Critic当前网络和Critic目标网络四个网络构成，四个网络均使用RBF神经网络。本发明主要用于水下机器人的控制。

技术领域

本发明涉及多AUV编队分布式控制方法，属于机器人控制技术领域。

背景技术

自主水下机器人(Autonomous Underwater Vehicle，AUV)作为探索海洋的重要技术手段，近几年在海洋环境探索、资源勘探等领域具有革命性应用，受到社会各界的广泛关注。AUV在执行任务时离不开各种传感器，通过传感器实时反馈回的信息，机器人能得到自身位置、速度等运动信息，也能得到外部环境等与任务息息相关的重要数据。然而由于单台AUV传感器的探测范围有限，在涉及范围较大的任务中，单体AUV显然无法快速高效地完成任务。为了补偿单智能体的物理限制，通常将多个AUV进行编队，在一定队形基础上遥控几个AUV同时执行复杂任务，这样的工作模式减少了每台智能体的任务量，提高了工作效率，这样的系统被称为多水下机器人系统(Multiple Autonomous Underwater VehicleSystem，MAUVS)。在MAUVS系统中，每个智能体拥有独立的意识，拥有独立完成任务的能力。同时为了解决更复杂的问题，每个单体要学会与其他智能体相协作，在这种情况下多智能体协同控制就是需要解决的一大难题。

海洋环境复杂，洋流等干扰会影响AUV编队的运动精度，进一步给协同控制增加了难度。利用目前的控制方法在对AUV编队进行控制难以取得良好的控制精度，控制效果并不理。

发明内容

本发明是为了解决现有的控制方法对AUV编队进行控制存在控制精度差的问题。

一种基于强化学习算法与未知干扰观测器的多AUV编队分布式控制方法，其特征在于，包括以下步骤：

针对多AUV编队中的AUV，利用纵向和艏向的复合控制系统进行控制；AUV为自主水下机器人；

所述纵向和艏向的复合控制系统包括：基于纵向干扰观测器确定的纵向分布式控制器、基于艏向干扰观测器确定的艏向分布式控制器，以及Actor-Critic算法；

所述基于纵向干扰观测器确定的纵向分布式控制器、基于艏向干扰观测器确定的艏向分布式控制器如下：