[发明专利]丢包环境下批次过程无模型离轨策略最优跟踪控制方法

说明书

本发明涉及丢包环境下批次过程无模型离轨策略最优跟踪控制方法，属于工业过程控制技术领域，具体步骤如下：步骤一：描述丢包环境下二维批次过程控制问题；步骤二：构建网络环境下丢包模型，引入具有丢包补偿的二维史密斯预估器；步骤三：设计基于模型的最优过程控制器；步骤四：设计丢包环境下的二维批次过程无模型离轨策略最优跟踪控制方法；步骤五：进行控制算法的无偏性与收敛性分析。本发明所设计的方法能极大地降低控制器设计时系统的模型依赖性，同时引入二维史密斯预估器，有效地进行了数据丢包补偿，还采用了离轨策略，保证了数据的充分挖掘，降低了计算成本。

技术领域

本发明属于工业过程控制技术领域，具体涉及丢包环境下批次过程无模型离轨策略最优跟踪控制方法。

背景技术

随着计算机技术、控制技术和网络通信技术的迅速发展，三者之间的交叉融合也越来越紧密，控制系统的空间分布变得越来越广，控制结构也越来越复杂，无线网络环境下的批次过程控制问题也引起了控制、通信、数学等多学科研究者的广泛关注。以往在对这类系统进行控制器分析设计时，大多数都是在传感器到控制器有完美数据传输的假设下进行的。而在实际工业生产中，由于网络传输的不可靠性、带宽限制以及网络拥塞等原因，难以避免出现如数据包丢失等情况，这在一定条件下会显著降低系统性能甚至使系统失稳，在以往具有数据包丢失的二维批次过程的相关研究中，学者们通常使用依赖系统模型的方法对控制器进行设计，这对控制对象的要求极高，在一定程度上限制了这类方法在工业实际中的应用，因此，这类过于依赖模型的算法通常难以在丢包环境下的批次过程控制器设计中得到满意的效果。

批次过程作为一种小规模多工序的生产过程，每天都在产生并存储着大量的数据，这些数据隐含着工况变化、产品质量、生产效率和工业设备运行等重要信息。为了有效利用这些数据，以及在难以对受控系统建立较为准确的机理动态模型的条件下，实现对工业生产过程的控制，数据驱动控制方法应运而生。而作为其中之一的强化学习算法，更是在智能控制、数据预测、图像处理等诸多领域有了广泛应用，并且取得了良好的效果。但是这些研究仅局限于不涉及批次信息的一维系统，对于包含批次方向和时间方向的批次过程出现丢包问题的情况，一维强化学习算法难以解决。另外很多基于强化学习的算法采用的都是同轨策略，限制了数据挖掘的深度和广度。因此，在存在数据丢包且无法获得过程精确模型的情况下，如何有效地利用这些二维数据直接进行批次生产过程的控制器设计，是我们有待解决的问题。为此，研究一种融合史密斯预估器的二维框架下的无模型离轨策略最优跟踪控制方法，在存在数据包丢失的情况下，能得到有效补偿，还能克服模型依赖的问题，仅仅利用数据不断学习，得到最优的控制律。

发明内容

本发明考虑到无线网络环境下，数据传输不稳定出现丢包现象会对系统性能带来影响，以及考虑到系统模型信息未知的情况下，针对二维批次过程，提出一种二维框架下的无模型离轨策略最优跟踪控制方法，该方法可有效地解决批次过程无法精确建模的问题，仅仅利用采集到的历史数据即可求解控制律，克服了控制器对模型的依赖，此外，还对网络传输丢包问题进行了史密斯预估补偿，将其融合在无模型离轨策略中，经过不断地学习寻优，得到最优的控制律，并很好地跟踪上设定值，提高系统的控制和跟踪性能。

本发明是通过以下技术方案实现的：

本发明针对丢包环境下二维批次过程这个控制对象采用一般状态空间方程进行描述，为了减少系统的稳态误差并提高控制器的调节能力，使用系统的增量状态和输出误差作为扩展的系统状态，从而可形成新的状态空间方程，接着构建网络环境下的丢包模型，引入具有丢包补偿的二维史密斯预估器用来补偿丢失的数据，再设计基于模型的最优过程控制器用于对所提出的无模型离轨策略最优跟踪控制方法进行控制效果的对比，接着提出基于强化学习离轨策略的数据驱动最优跟踪控制方法，用于学习及求解最优控制增益，最后进行无模型离轨策略最优跟踪控制方法的无偏性与收敛性分析。本发明所设计的方法能有效克服控制器设计时对模型的过度依赖问题，同时引入二维史密斯预估器，有效地进行了数据丢包补偿，保证了系统的控制性能，并且由于采用离轨策略，避免了不停地采样，减少了时间损耗，也能有效保证数据被充分挖掘，充分学习。