[发明专利]一种工业系统无模型自适应控制方法及系统

权利要求书

1.一种工业系统无模型自适应控制方法，其特征在于，包括：

获取工业过程中各种设备的历史监测数据；所述历史监测数据包括可控制类数据、状态类数据、环境噪声类数据以及目标输出类数据；所述可控制类数据包括流量阀开度、开度阀开度、变频器转速以及泵机转速；所述状态类数据包括工业生产中的管道压力；所述环境噪声类数据包括上一工序的产品信息、温度以及湿度；所述目标输出类数据包括生产过程中控制的对象；

利用所述可控制类数据生成控制指令集合；所述控制指令集合包括多条下一时刻生成的控制指令；

根据所述历史监测数据构建预测仿真模型；

所述根据所述历史监测数据构建预测仿真模型，具体包括：

构建多个预测模型，以对下一时刻的系统状态量以及目标预测状态输出量中的各个变量进行独立预测；其中，对于每一个单变量的预测，采用LightGBM算法构建预测模型，最大叶子数目num_leaves为10，学习速率为0.8，特征筛选比例feature_fraction为0.9，采用l2正则项减少过拟合；

将所述历史监测数据划分成7:3；其中30%的历史监测数据作为验证集用于确定最优的预测模型的超参数；

根据控制器给出的可控变量以及环境噪音量以及所述历史监测数据中的系统状态量以及目标当前状态输出量，整合多个所述预测模型构建预测仿真模型；

基于所述控制指令集合，根据所述预测仿真模型训练基于强化学习的控制模型，生成训练后的基于强化学习的控制模型；

获取当前监测数据；

将所述当前监测数据输入至所述训练后的基于强化学习的控制模型中，自适应控制工业系统的生产过程，输出所述工业系统的最优设定目标。

2.根据权利要求1所述的工业系统无模型自适应控制方法，其特征在于，所述利用所述可控制类数据生成控制指令集合，具体包括：

定义一条监测数据，所述监测数据为历史监测数据S或当前监测数据，为任一条所述监测数据中可控制类数据的可控变量，为任一条所述监测数据中状态类数据的系统状态量，为任一条所述监测数据中环境噪声类数据的环境噪音量，为任一条所述监测数据中目标输出类数据的目标输出量，S为一个连续时间段的历史监测数据，为历史监测数据集合的大小，control为可控制类数据，state为状态类数据，env为环境噪声类数据，goal为目标输出类数据；

从所述历史监测数据S中对可控变量进行采集，生成条控制指令；

采用聚类的方式缩小条控制指令的规模，利用贝叶斯信息准则确定最佳的聚类中心数k，并将每个类簇中所有的聚类中心的平均值作为所述基于强化学习的控制模型的一个动作指令，生成控制指令集合。

3.根据权利要求2所述的工业系统无模型自适应控制方法，其特征在于，所述基于所述控制指令集合，根据所述预测仿真模型训练基于强化学习的控制模型，生成训练后的基于强化学习的控制模型，具体包括：

构建基于强化学习的控制模型，并获取所述当前监测数据、设定控制目标值以及所述历史监测数据中下一时刻的环境噪音量；

将所述当前监测数据以及设定控制目标值输入至所述基于强化学习的控制模型，输出个控制指令的收益值，并以所述收益值作为概率权重进行采样，采样所述控制指令集合中的一条控制指令；

根据所述当前监测数据以及所述控制指令，利用预测仿真模型预测下一时刻的系统状态量以及目标预测状态输出量；

根据所述设定控制目标值和下一时刻的目标输出量，计算决策奖赏r；

基于所述决策奖赏r、所述当前监测数据、所述控制指令以及下一时刻的系统状态量以及目标预测状态输出量，利用基于Q-Learning的时序差分损失函数对所述基于强化学习的控制模型进行训练，以使得所述基于强化学习的控制模型在所述当前监测数据下，输出使未来累计奖赏最大的控制指令；

将下一时刻的监测数据s’(control,state,env,goal)替换所述当前监测数据s(control,state,env,goal)，训练所述基于强化学习的控制模型，直至所述基于强化学习的控制模型的平均奖赏不再升高，确定训练后的基于强化学习的控制模型。