[发明专利]一种基于改进AC算法的强化学习间歇过程控制方法

说明书

本发明公开了一种基于改进AC算法的强化学习间歇过程控制方法，涉及深度强化学习领域和间歇过程控制领域。该方法将基于强化学习方法的间歇过程控制在马尔科夫决策过程的基础上建模为一个最优控制问题；在强化学习控制器的奖励函数中引入控制动作约束，通过增加有效奖励样本的数目提高强化学习控制器的学习速率，缩短控制周期。并在深度强化学习的Actor‑Critic算法中引入优先级采样方法，提出了优先采样的软行动者‑评论家算法，以此来提高算法在经验回放池中的采样效率。且本发明不依赖于先验知识和过程模型，可以实现间歇过程的无模型控制。

技术领域

本发明涉及一种基于改进AC算法的强化学习间歇过程控制方法，属于深度强化学习和间歇过程控制领域。

背景技术

间歇过程是现代工业过程中最重要的加工方式之一，其应用涉及了诸多领域，在精细化工、生物医药和半导体等行业均能看见间歇生产过程的身影。与连续过程不同，间歇过程具有“多重时变”的生产特性，“多”即多样产品，间歇过程在同一设备上切换生产不同的产品；“重”即重复运行，间歇过程生产同一产品的过程会重复进行；“时”即时段切换，间歇过程在同一批次生产产品会进行多种操作工序切换；“变”即“变换指标”，针对不同产品，间歇过程会在不同操作阶段具有不同的控制目标和控制方案。作为一种典型的间歇过程，青霉素发酵过程由于“多重时变”的生产特性导致其难以精确控制发酵条件，从而导致青霉素产量低下。

传统基于模型的控制方法，例如模型预测控制(MPC)，迭代控制(ILC)等方法的性能在很大程度上依赖于过程底层模型的准确性。但在青霉素发酵过程的实际应用中会存在因传感器或执行器故障和未知干扰导致的实际与模型不匹配的问题，进而对过程变量的预测不准确。因此，开发出一种不需要过程模型的控制策略具有重大意义。

为实现青霉素发酵过程的精准控制，强化学习(Reinforcement Learning，RL)作为一种自学习的数据驱动方法是一种替代传统控制方法的良好方案。诸如深度确定性策略梯度算法、近端策略优化算法等深度强化学习算法在某些过程控制中已经表现出了超越传统控制方法的性能。但这些算法中存在的值函数高估计和超参数敏感性等问题会造成控制效果不稳定，可能会对生产流程造成不可逆的损失。近期提出的软行动者评论家(SAC)算法通过将最大熵算法与随机离线策略相结合，具有极强的抗干扰能力，适合用于间歇过程控制任务，目前已经在诸如机器人控制等任务中获得较大成功，但机器人控制任务通常持续时间较短，而且机器人控制过程中涉及的数据量较小，而针对具有大规模数据和长时间连续控制等特点的青霉素发酵过程的控制任务，需要对SAC算法做出针对性改进。因此，开发出基于SAC算法且符合青霉素发酵过程的特定特征和要求的RL控制器是有必要的。

发明内容

鉴于现有技术的上述缺点、不足，本发明提供了一种基于改进AC(Actor-Critic)算法的强化学习间歇过程控制方法。针对具有长批次时间且存在显著非线性特性的青霉素发酵过程中，通过将SAC算法的经验回放机制中随机采样的方式改进为优先采样，提升了SAC算法对众多历史过程数据的采样效率从而获得了更鲁棒的控制效果，同时针对稀疏奖励问题，设计了一种新型的奖励函数，不仅考虑产物质量偏差，同时引入控制动作约束，指导控制器更新策略，提高了青霉素产量。

一种基于改进Actor-Critic算法的强化学习间歇过程控制方法，所述方法应用于青霉素发酵过程，包括：

步骤1，将青霉素发酵过程控制任务在马尔科夫决策过程的基础上建模为一个最优控制模型，所述最优控制模型包括控制器和执行器，所述控制器用于根据青霉素发酵过程当前时刻的状态信息输出控制信号，并在下一时刻根据传感器监测的下一状态值与过程预期轨迹的偏差确定立即奖励r_t，基于所述立即奖励r_t调整控制策略；所述执行器用于根据所述控制器输出的控制信号对青霉素发酵过程中进行控制；所述过程预期轨迹指青霉素发酵过程控制目标；