[发明专利]一种基于模型参考强化学习的无人船容错控制方法

权利要求书

1.一种基于模型参考强化学习的无人船容错控制方法，其特征在于，包括以下步骤：

S1、对无人船的不确定性因素进行分析，构建无人船名义动力学模型；

S2、基于无人船名义动力学模型，设计无人船标称控制器；

S3、基于最大熵的Actor-Critic方法，根据实际无人船系统、无人船名义动力学模型的状态变量差值和无人船标称控制器的输出，构建基于模型参考强化学习的容错控制器；

S4、根据控制任务需求，搭建强化学习评价函数和控制策略模型并训练容错控制器，得到训练完成的控制策略。

2.根据权利要求1所述一种基于模型参考强化学习的无人船容错控制方法，其特征在于，所述无人船名义动力学模型的公式表示如下：

上式中，表示广义坐标向量，v表示广义速度向量，u表示控制力和力矩，M表示惯性矩阵，C(v)包括科氏力和向心力，D(v)表示阻尼矩阵，G(v)表示由于重力和浮力及力矩而产生的未建模动力学，B表示预设的输入矩阵。

3.根据权利要求2所述一种基于模型参考强化学习的无人船容错控制方法，其特征在于，所述无人船标称控制器的公式表示如下：

上式中，N_m和H_m包含无人船动力学模型的所有已知常量参数，η_m表示标称模型的广义坐标向量，u_m表示控制律，x_m表示参考模型的状态。

4.根据权利要求3所述一种基于模型参考强化学习的无人船容错控制方法，其特征在于，所述容错控制器的公式表示如下：

上式中，H_m-L表示Hurwitz矩阵，u_l表示来自深度学习模块的控制策略，β(v)表示内环动力学中所有模型不确定性的集合，n_v表示广义速度测量值上的噪声矢量，f_v表示作用于广义速度矢量的传感器故障。

5.根据权利要求4所述一种基于模型参考强化学习的无人船容错控制方法，其特征在于，所述强化学习评价函数的公式表示如下：

Q_π(s_t,u_l,t)＝T^πQ_π(s_t,u_l,t)

上式中，u_l,t表示来自RL的控制激发，s_t表示时间步长t处的状态信号，T^π表示固定策略，E_π表示期望算子，γ表示折扣因子，α表示温度系数，Q_π(s_t,u_l,t)表示强化学习评价函数。

6.根据权利要求4所述一种基于模型参考强化学习的无人船容错控制方法，其特征在于，所述控制策略模型的公式表示如下：

上式中，Π表示策略集，π^old表示前一次更新的策略，Q^πold表示π^old的Q值，D_KL表示KL散度，表示归一化因子，(s_t,·)表示控制策略。

7.根据权利要求1所述一种基于模型参考强化学习的无人船容错控制方法，其特征在于，所述根据控制任务需求，搭建强化学习评价函数和控制策略模型并训练容错控制器，得到训练完成的控制策略这一步骤，其具体包括：

S41、根据控制任务需求，对基于模型参考强化学习的容错控制器搭建强化学习评级函数和模型策略模型。

S42、对基于模型参考强化学习的容错控制器进行训练，得到初始控制策略；

S43、在无人船系统中注入故障，对初始控制策略进行再训练并返回步骤S41，直至强化学习的评价函数网络模型和控制策略模型收敛。

8.根据权利要求7所述一种基于模型参考强化学习的无人船容错控制方法，其特征在于，还包括：

引入双评价函数模型，在控制策略预期回报函数中加入策略的熵值。