[发明专利]一种基于策略的Q-Learning算法控制松散回潮热风温度的方法

说明书

本发明公开了一种基于策略的Q‑Learning算法控制松散回潮热风温度的方法，属于烟草领域，所述的一种基于策略的Q‑Learning算法控制松散回潮热风温度的方法包括以下步骤：步骤1.数据准备，步骤2.数据处理.步骤3.离线训练策略选择器.步骤4.评估策略选择器训练结果，步骤5.部署应用。本发明本方法通过与设备、物料的不断交互自主的进行学习，赋予了控制系统不断学习的能力，随着时间的推移，控制系统将变得原来越智能。

技术领域

本发明属于烟草领域，更具体的说涉及一种基于策略的Q-Learning算法控制松散回潮热风温度的方法。

背景技术

在卷烟制丝生产工艺中，松散回潮是片烟预处理段的关键工序，其工艺任务是提高切片后片烟的含水率和温度，提高片烟的耐加工性，从而改善片烟的感官质量。近年来，随着烟草行业逐渐提高水平的要求，国内烟草行业对松散回潮工序过程进行了大量的工艺参数优化研究，并取得了一定的进展，其中绝大部分优化方法，都是基于传统控制领域的比例-积分-微分(PID)控制，通过优化参数、调整风门开度等。诚然，PID控制是目前卷烟制造的主流控制方法，在大部分情况下都能满足技术要求，然而，随着卷烟制造自动化、信息化水平的提升，传统的控制方法已经显露一些不足之处：

松散回潮热风控制具有高度的非线性特点，热风的产生主要通过蒸汽进入散热片从而加热新鲜空气，并且滚筒内的一部分热风经循环后会被加热后重复利用，另一部分经排潮管路排除，其热量转换过程很难用现有理论描述，一般在某一范围近似为线性系统；

松散回潮热风控制具有多变量耦合交叉影响的特点，在热风控制中，排潮风门开度、进散热器蒸汽流量、新风量、加水量、加水引射蒸汽量、筒壁温度等均在不同程度地影响热风温度的稳定性；

松散回潮热风控制具有明显时间延迟，通过蒸汽加热散热器，再通过散热器加热新风或循环风，本身就具有较大的时间延迟，其次，温度传感器一般使用PT100铂热电阻，其动态响应特性也具有延迟较大的特点。

有一些学者已经在先进控制领域做了一些尝试，先进控制主要是基于模型的控制策略，如:模型预测控制和推断控制等，这些控制策略充分利用工业过程输入输出有关信息建立系统模型，而不必依赖对反应机理的深入研究。然而，这类基于模型的控制系统，其模型建立、参数辨识、实际应用方面均不同程度存在一定困难，并且模型一旦建立，由于设备老化故障、物料的改变、工艺升级等因素，其控制模型将失效，对于柔性生产方式来说，适用性不佳。

在先进控制领域，有通过模拟人类专家的推理思维过程的控制方法的尝试，一般是将领域专家的知识和经验，用一种知识表达模式存入计算机，学术上称之为专家系统，专家系统一般不具有持续地自我学习能力，无法在于环境的交互中持续提升，类似于聊天机器人，只能针对特定的问题、特定的关键字做出特定的回应。

目前，绝大多数卷烟生产企业均有数据采集系统，但是，大量数据没有被挖掘出其应有的价值，仅进行产品质量分析。松散回潮具有大量的传感器及阀门，其电控动作及传感器参数都能有数采系统进行采集，从而对控制过程提供参考。

发明内容

本发明将整个设备作为一个整体考虑，虽然设备具有非线性、大延迟、多耦合的特点，但是其变化最终将提现在控制对象的状态与设备传感器采集的数据中，在数据中发掘最有控制策略，达到甚至超过历史最好水平。本方法通过与设备、物料的不断交互自主的进行学习，赋予了控制系统不断学习的能力，随着时间的推移，控制系统将变得原来越智能。

为了实现上述目的，本发明是采用以下技术方案实现的：所述的一种基于策略的Q-Learning算法控制松散回潮热风温度的方法包括以下步骤：步骤1.数据准备，步骤2.数据处理.步骤3.离线训练策略选择器.步骤4.评估策略选择器训练结果，步骤5.部署应用。