[发明专利]非线性工业系统数据驱动强化学习鲁棒控制方法

权利要求书

1.一种非线性工业系统强化学习数据驱动鲁棒控制方法，其特征在于，所述方法包括：

针对含有控制信道扰动的非线性工业系统，设计含有鲁棒项的代价函数，给出最优控制策略；

通过数学等价转换，将最优控制策略转换为数据驱动控制策略，收集系统运行的原始数据，设计数据样本计算模型，收集数据样本到经验池中，直至形成完整数据集合，构建数据驱动控制策略迭代模型；

内环迭代中计算数据驱动控制策略，外环迭代中将得到的数据驱动控制策略用于被控系统中；

设计新型数据样本存储经验池，在外环迭代控制策略用于被控系统之前，提取并处理数据样本形成不完整数据集合，存储不完整数据集合到经验池，将外环迭代控制策略用于被控系统，收集新的数据样本补充经验池直至形成完整数据集合，从而再次进入双闭环框架中的内环迭代。

2.根据权利要求1所述的一种非线性工业系统强化学习数据驱动鲁棒控制方法，其特征在于，所述含有鲁棒项的代价函数为：

其中，J(x(t))为代价函数，为被积效用函数，为被积时间变量，U(x(t),u(t))为效用函数；Q和M是相应维数的正定矩阵，γ是正实数，为代价函数鲁棒项，x(t)为系统状态，u(t)为控制信号，为与扰动信号相关的函数。

3.根据权利要求1所述的一种非线性工业系统强化学习数据驱动鲁棒控制方法，其特征在于，

所述数据样本计算模型为：

其中，和为数据样本，φ_c(·)为评价网络激活函数，φ_a(·)为行为网络激活函数，为行为网络权值参数矩阵；为单位矩阵，u_d0(x)＝u₀(x)+d_u(x)为受扰初始稳定控制策略，u₀(x)为初始稳定控制策略，d_u(x)为系统扰动信号；为矩阵克罗内科积运算；

所述数据驱动控制策略迭代模型为：

W^(i,j+1)＝[(Π^(i,j))^TΠ^(i,j)]^-1(Π^(i,j))^TΛ^(i,j)

其中，为神经网络权值矩阵，vec(·)表示矩阵的列向量变换，为评价网络权值参数矩阵，Π^(i,j)和Λ^(i,j)为数据样本集合。

4.根据权利要求1所述的一种非线性工业系统强化学习数据驱动鲁棒控制方法，其特征在于，所述内环迭代中计算数据驱动控制策略，外环迭代中将得到的数据驱动控制策略用于被控系统具体为：

a:初始化:设定初始内外环迭代步数i＝j＝0，初始稳定控制u⁽⁰⁾＝u_d0，收集的样本维数W_dim，内环最大迭代步数M_m，采样时间T，累计最大样本维数N_m，内环迭代收敛终止条件β；

b:数据收集：应用控制策略第一次框架循环时，使用u⁽⁰⁾于被控系统，收集原始系统数据包括：系统状态和扰动控制信号；

c:策略评估：计算并存储数据样本和于经验池，直至构成完整数据集合Π^(i,j)和Λ^(i,j)；

策略提高：基于数据驱动控制策略迭代模型式，计算神经网络权值参数W^(i,j+1)，更新评价网络与行为网络的权值参数与

d:判断条件：当‖W^(i,j+1)-W^(i,j)‖²＝β时，如果最大迭代步数M_m没有满足，进入流程c，且j←j+1；如果‖W^(i,j+1)-W^(i,j)‖²β并且达到最大训练时间，停止算法迭代并得到控制策略；否则，基于所设计的数据处理方法处理数据样本，进入流程b，且i←i+1。