[发明专利]一种水泥回转窑温控PID参数自调整方法

权利要求书

1.一种水泥回转窑温控PID参数自调整方法，其特征在于，包括步骤：

(1)由强化学习得出并设置增量式PID控制模块的初始参数；

(2)实时采集水泥回转窑理想温度、实际温度与理想温度之间的偏差以及实际温度作为BP神经网络模块的输入值；

(3)将步骤(2)中实时采集到的数据输入到BP神经网络模块中，进行在线网络运算，网络输出PID参数进而得出控制参数，水泥回转窑模型模块利用控制参数实时控制水泥回转窑的喂煤阀的开度，进而控制水泥回转窑内部工作温度；重复步骤(2)和步骤(3)，不断更新BP神经网络模块的网络权值和阈值，直至水泥回转窑内部温度达到设定条件；

步骤(1)中的初始参数通过利用水泥回转窑工作过程的数组数据作为预备数据并利用强化学习得到，包括子步骤：

(101)确定决策网络π以及期望奖励网络V^π的结构，并初始化两者的权值、阈值以及学习率；

(102)采样理想火焰温度r(t-1)以及实际火焰温度状态s_t-1，并计算误差r(t-1)-s_t-1，更新决策网络π输入值，计算控制参数，调整喂煤阀开度，从而调整火焰温度至状态s_t，若|r(t)-s_t|＜|r(t-1)-s_t-1|，则给予奖励R(t)＝1，反之则奖励为R(t)＝0；

(103)取s_t以及r(t)作为网络V^π的输入值，并计算过程期望奖励V^π(s_t)，同时重复步骤(102)，得到过程实际奖励

(104)训练网络V^π，使过程期望奖励与过程实际奖励之间的均方误差尽可能小；

(105)基于训练后的网络V^π更新决策网络π，并重复步骤(102)、(103)、(104)，直至由决策网络π得到的控制参数满足回转窑理想温度控制要求为止；

步骤(3)中包括子步骤：

(301)确定BP神经网络模块的结构，根据步骤(1)确定的增量式PID控制模块的初始参数，确定初始学习率以及动量系数；

(302)采样理想火焰温度r(t)以及实际输出温度y(t)，计算误差e(t)＝r(t)-y(t)，并更新BP神经网络模块的输入值；

(303)由BP神经网络前向传播算法计算出增量式PID控制模块的控制参数，进而计算出控制信号u(t)；

(304)水泥回转窑模型模块获取控制信号u(t)，并实时控制水泥回转窑的喂煤阀的开度，根据均方误差以及改进的BP神经网络反向传播算法更新网络的权值和阈值；

(305)返回步骤(302)，不断重复以减小步骤(304)中的均方误差，直至水泥回转窑内部温度达到设定条件；

其中，

u(t)＝u(t-1)+△K p·[e(t)-e(t-1)]+△Ki·e(t)+△K d·[e(t)-2·e(t-1)+e(t-2)]；

式中，△K_p、△K_i、△K_d分别为增量式PID控制模块的比例、积分以及微分系数；

其中，

强化学习决策网络π参数θ^π更新规则按下式定义：

式中，为学习率；

按照如下公式定义：

式中，N为离线模拟仿真运行总次数，a代表由决策网络π得到的控制参数，R(t)：若|r(t)-s_t|＜|r(t-1)-s_t-1|，则给予奖励R(t)＝1，反之则奖励为R(t)＝0；代表水泥回转窑火焰温度在状态s_t下采取控制参数a_t，并转移到状态s_t+1的概率。

2.如权利要求1所述的水泥回转窑温控PID参数自调整方法，其中，

强化学习期望奖励网络V^π参数σ^π更新规则按下式定义：

式中，ρ为学习率；E为与V^π(s_t)之间的均方误差。