[发明专利]基于策略迭代的电机系统最优调节控制方法

权利要求书

1.一种基于策略迭代的电机系统最优调节控制方法，其特征在于，包括以下步骤：

步骤1，建立直驱电机系统的数学模型；具体如下：

步骤1-1，将电流环近似为比例环节，根据第二牛顿定律，直驱电机系统的运动方程为：

式(1)中，m为惯性负载参数，k_i为力矩放大系数，B为库伦摩擦系数，y为惯性负载的位移，为惯性负载的速度，为惯性负载的加速度，u为控制系统的输入，t为时间变量；

步骤1-2，定义状态变量：则式(1)的运动方程转化为状态方程：

式(2)中，k_i/m，B/m均为名义值且已知；x₁表示惯性负载的位移，x₂表示惯性负载的速度；

则状态方程(2)写成下面形式：

式(3)中，B＝[0 k_i/m]^T，且(A,B)是稳定的；

步骤2，设计基于策略迭代的最优调节控制算法，并使用牛顿方法证明其收敛性；步骤如下：

步骤2-1，状态方程(3)满足最优控制问题：

u^*(t)＝arg min_u(t)V(x(t),t,u(t)) (4)

其中u^*(t)是系统的最优控制输入，最小化的二次代价函数V(x(t),t,u(t))表示为：

式(5)中，Q∈R^2×2≥0，R0，且(Q^1/2,A)是可测的；

取u(t)＝-Kx(t)，根据Bellman最优原理,K＝R^-1B^TP，其中P是Riccati方程(6)的解，且P是正定的；

A^TP+PA+Q-PBR^-1B^TP＝0 (6)

步骤2-2，K为稳定的增益，又A，B均为稳定的，则是一个稳定的闭环系统；将u(t)＝-Kx(t)代入(5)式，得：

式(7)中P∈R^2×2是Lyapunov矩阵方程(8)的解，且P是实对称正定矩阵；

(A-BK)^TP+P(A-BK)＝-(Q+K^TRK) (8)

式(7)进一步写成：

上式中，T1为时间区间；

记x(t)为x_t，选取一个初始的稳定增益K₁，由(7)和(8)得如下的策略迭代：

K_i+1＝R^-1B^TP_i (11)

实施式(10)和(11)的策略迭代不需要知道矩阵A；

步骤2-3，证明策略迭代算法的收敛性；

引理1：假设A_i＝A-BK_i是稳定的，则式(10)的解P_i与基本的Lyapunov方程(12)的解相同；

A_i^TP_i+P_iA_i＝-(Q+K_i^TRK_i) (12)

证明：取V_i(x_t)＝x_t^TP_ix_t作为系统的Lyapunov函数；因为A_i是一个稳定的矩阵，且Q+K_i^TRK_i0，所以Lyapunov方程(13)存在唯一的解P_i0；

所以，P_i满足式(14)；

引理2：假设控制策略K_i是稳定的，则用式(11)更新的新的控制策略K_i+1也是稳定的；

证明：取V_i(x_t)＝x_t^TP_ix_t作为系统的Lyapunov函数，求解控制策略K_i+1产生的状态轨迹；对V_i(x_t)求导，得：

将式(11)代入式(14)第二项，化简得：

x^T_t[K^T_i+1R(K_i-K_i+1)+(K_i-K_i+1)^TRK_i+1]x_t

＝x^T_t[-(K_i-K_i+1)^TR(K_i-K_i+1)-K_i+1^TRK_i+1+K_i^TRK_i]x_t (15)

结合式(12)及(15)：

因为Q≥0，R0，所以即式(11)更新的新的控制策略是稳定的；

定义矩阵值函数:

Ric(P_i)＝A^TP_i+P_iA+Q-P_iBR^-1B^TP_i (17)

记为Ric(P_i)关于P_i的Fréchet导数；给定矩阵M，则：

引理3：式(10)和(11)的迭代等价于牛顿方法：

证明：结合式(12)、式(13)被写成：

A_i^TP_i+P_iA_i＝-(Q+P_i-1BR^-1B^TP_i-1) (20)

两边同时减去A_i-1^TP_i+P_iA_i-1：

A_i^T(P_i-P_i-1)+(P_i-P_i-1)A_i＝-(A_i^TP_i-1+P_i-1A_i+Q-P_i-1BR^-1B^TP_i-1)

利用Ric(P_i)，有即式(19)；

定理4：算法的收敛性；假设(A,B)是稳定的、(Q^1/2,A)是可测的以及Q≥0，R0，给定一个初始的稳定控制输入，即稳定增益K₁，式(10)、(11)将收敛到具有代价(5)的最优控制问题(4)的解，其中P满足Riccati方程(6)；

证明：Kleinman已经证明在给定一个初始的稳定控制策略后，由引理3的牛顿方法得，式(10)、(11)的迭代将收敛到Riccati方程的解；此外，如果初始控制策略是稳定的，那么由引理2知随后的所有控制策略将是稳定的；式(10)、(11)和式(11)、(12)之间的等价证明，表明在不需要知道系统矩阵A的情况下，在线策略迭代算法将收敛于具有代价(5)的最优控制问题(4)的解；

步骤3，利用最小二乘法，实现最优调节控制算法的在线实施。

2.根据权利要求1所述的基于策略迭代的电机系统最优调节控制方法，其特征在于，步骤3所述利用最小二乘法，实现最优调节控制算法的在线实施，步骤如下：

实现(10)和(11)给出的迭代方案，仅需要知道策略更新中B矩阵即可，而关于系统矩阵的信息被嵌入到在线观察到的状态x(t)和x(t+T1)中，因此在策略迭代方案的两个步骤中都不需要系统矩阵A；下面给出算法的在线实施；

为了找出(10)中与控制策略K_i相关的代价函数的参数，即矩阵P_i，将x^T_tP_ix_t写成：

式中

利用式(21)，式(10)写成：

式(22)中，是未知参数的列向量，是一个回归向量；将式右边的项记为即它由时间区间[t,t+T1]的系统状态测量得到；

利用最小二乘法，在相同的时间区间T1内，在状态空间中取N≥3个点点的个数与矩阵P_i独立元素的个数相同；进而求得最小二乘解：

其中：