[发明专利]一种基于模型参考强化学习的无人船容错控制方法

说明书

本发明公开了一种基于模型参考强化学习的无人船容错控制方法，该方法包括：对无人船的不确定性因素进行分析，构建无人船名义动力学模型；基于无人船名义动力学模型，设计无人船标称控制器；基于最大熵的Actor‑Critic方法，根据实际无人船系统、无人船名义动力学模型的状态变量差值和无人船标称控制器的输出，构建基于模型参考强化学习的容错控制器；根据控制任务需求，搭建强化学习评价函数和控制策略模型并训练容错控制器，得到训练完成的控制策略。通过使用本发明，能够显著提高无人船系统的安全性和可靠性。本发明作为一种基于模型参考强化学习的无人船容错控制方法，可广泛应用于无人船控制领域。

技术领域

本发明涉及无人船控制领域，尤其涉及一种基于模型参考强化学习的无人船容错控制方法。

背景技术

随着制导、导航和控制技术的显著进步，无人船(autonomous surface vehicles，ASV)的应用已经占据了航空举足轻重的部分。在大多数应用中，无人船预计将在长时间没有人工干预的情况下安全运行。因此，需要无人船具有足够的安全和可靠性属性以提供正常的运作，并避免灾难性的后果。然而，无人船容易出现故障、系统组建退化、传感器故障等问题，从而经历性能恶化，不稳定，甚至灾难性的损失。

发明内容

为了解决上述技术问题，本发明的目的是提供一种基于模型参考强化学习的无人船容错控制方法，可以在遇到故障后恢复系统性能或保持系统运行，从而显著提高系统的安全性和可靠性。

本发明所采用的第一技术方案是：一种基于模型参考强化学习的无人船容错控制方法，包括以下步骤：

S1、对无人船的不确定性因素进行分析，构建无人船名义动力学模型；

S2、基于无人船名义动力学模型，设计无人船标称控制器；

S3、基于最大熵的Actor-Critic方法，根据实际无人船系统、无人船名义动力学模型的状态变量差值和无人船标称控制器的输出，构建基于模型参考强化学习的容错控制器；

S4、根据控制任务需求，搭建强化学习评价函数和控制策略模型并训练容错控制器，得到训练完成的控制策略。

进一步，所述无人船名义动力学模型的公式表示如下：

上式中，表示广义坐标向量，v表示广义速度向量，u表示控制力和力矩，M表示惯性矩阵，C(v)包括科氏力和向心力，D(v)表示阻尼矩阵，G(v)表示由于重力和浮力及力矩而产生的未建模动力学，B表示预设的输入矩阵

进一步，所述无人船标称控制器的公式表示如下：

上式中，N_m和H_m包含无人船动力学模型的所有已知常量参数，η_m表示标称模型的广义坐标向量，u_m表示控制律，x_m表示参考模型的状态。

进一步，所述容错控制器的公式表示如下：

上式中，H_m-L表示Hurwitz矩阵，u_l表示来自深度学习模块的控制策略，β(v)表示内环动力学中所有模型不确定性的集合，n_v表示广义速度测量值上的噪声矢量，f_v表示作用于广义速度矢量的传感器故障。

进一步，所述强化学习评价函数的公式表示如下：

Q_π(s_t,u_l,t)＝T^πQ_π(s_t,u_l,t)