[发明专利]二维间歇过程非策略无模型输出反馈最优跟踪控制方法

说明书

二维间歇过程非策略无模型输出反馈最优跟踪控制方法，属于工业过程控制技术领域，具体步骤如下：步骤一：描述二维间歇过程控制问题；步骤二：设计二维间歇过程的最优控制器；步骤三：引入易于测量的输入输出序列信息；步骤四：设计输出反馈最优控制器；步骤五：分析控制算法的无偏性与收敛性；此方法能够有效避免动态信息未知的二维间歇过程难以精确建模以及难以测量完整状态信息等复杂问题，利用易于测量的输入输出信息，可以有效的避免状态观测器的设计，仅利用批次方向与时间方向的数据，避免了对模型的依赖；同时，此方法采用非策略强化学习技术，可以高效的利用数据，降低成本，提高性能。

技术领域

本发明属于工业过程控制技术领域，具体涉及二维间歇过程非策略无模型输出反馈最优跟踪控制方法。

背景技术

现代流程工业过程为兼顾环保、提高生产质量、生产效率和市场竞争力，缩减生产成本，更新生产设备使其自动化程度更高，导致生产过程越来越复杂，很难对其建立精确的数学模型。而间歇过程由于其具有高灵活性和强适用性的特点，能够满足现代社会的市场需求，在面对小规模、高附加值产品的需求日益增加的情况下，间歇过程已经受到越来越多的关注。早期大部分工业批处理都是手动或者简单的序列导致人们将连续过程中的控制方法应用到间歇过程，由于间歇过程的重复性，迭代学习控制被应用到间歇过程。上述方法设计的控制器都依赖于模型，这会引起闭环系统的鲁棒性、收敛性等控制性能下降。实际生产过程中难以建立十分精确的模型，因此在间歇过程中使用无模型的方法设计控制器是必要的。

强化学习是机器学习的一个分支，在各路学者对机器学习的研究有了突破后，强化学习也成为了一个研究热点。本文所提出的算法是利用强化学习中的非策略技术，通过“智能体”与环境实时交互产生的数据进行学习。可以更好的应用于难以建模的实际生产过程。同时，由于现代生产过程的复杂性，存在系统状态难以精确测量的困难。因此更希望能够通过易于测量的输出信息来寻找到系统最优的控制策略。为此，研究一种未知系统动态信息的二维间歇过程非策略无模型输出反馈最优跟踪控制方法，仅利用数据进行学习得到最优的控制器增益。

发明内容

本发明考虑到在系统动态信息未知的情况下，针对间歇过程，提出一种非策略无模型输出反馈最优跟踪控制方法，该方法可以有效解决间歇生产过程难以建立精确模型的问题，同时，仅利用输入输出数据进行控制，避免了状态观测器的设置，经过多次学习，得到最优的控制器增益，可以很好的跟踪设定值，提高系统性能。

本发明是通过以下技术方案实现的：

本发明针对系统动态信息未知的二维间歇过程采用包含输出误差的二维增广状态空间方程进行描述，紧接着设计基于模型的最优控制器增益用于后续的对比，然后引入输入输出序列到状态中，设计新的无模型的控制算法，最后对所提算法进行无偏性于收敛性的分析。本发明所提出的算法可以克服控制器对模型的依赖，同时避免了对状态观测器的设计，利用非策略强化学习技术，高效利用数据，提高了系统性能。

步骤一：描述二维间歇过程控制问题；

首先，间歇过程的状态空间可表示为：

其中，x(k,p)表示当前时间当前批次的系统状态，u(k,p)表示系统在当前时间当前批次下的控制输入，y(k,p)表示当前时间当前批次的系统输出，k表示时间方向，p表示批次；为了提高系统的稳定性，用系统状态沿批次方向的增量和输出误差的组合来代表扩展后的状态，根据等式(1)，具体可以表示为：

其中，定义Δ_pθ(k,p)＝θ(k,p)-θ(k,p-1)为变量θ沿批次方向的差值；

为了提高系统的跟踪性能以及自由度，将输出误差扩展到状态中，扩展后的状态方程表示为：