[发明专利]一种基于锅炉热负荷均衡分配的制粉系统优化调度方法

说明书

本发明提出一种基于锅炉热负荷均衡分配的制粉系统优化调度方法，分别用锅炉效率表示经济性、锅炉热负荷均衡作为安全性、出口NOx浓度作为环保性，将这三种指标结合起来，作为强化学习的值函数。采用行动者‑评论家的强化学习框架，合理的选择强化学习的状态、动作和值函数，不断更新网络，使强化学习算法学习到最优的控制策略，选择使得长期回报最优的动作，最终实现制粉系统的自主最优决策优化调度控制。

技术领域

本发明属于过程控制领域，特别涉及一种基于锅炉热负荷均衡分配的制粉系统优化调度方法。

背景技术

近年来，我国新能源电力增长速度惊人，规模化新能源电力并网问题严重，火电机组担负起调峰的任务，调峰过程中机组变负荷时改变磨煤机出力是必不可少的，由于磨煤机位置不同，不同磨煤机的出力对锅炉燃烧的影响不同，然而实际现场主要依靠人为主观选择磨煤机出力，缺乏对经济性、安全性和环保性的考量，时常错过最佳启停时机，或者选择效率低的磨组合煤量分配方式，因此需要一种方法帮助运行人员自主决策，选择合理的磨煤机出力。传统的遗传算法根据历史数据进行寻优，当机组特性或煤质变化时，寻优好的磨煤机组合出力分配不再适合，并且历史数据可能不会覆盖到所有情况，因此需要一种能在线学习、自主探索寻找最优分配方式的方法。

发明内容

本发明提出一种基于锅炉热负荷均衡分配的制粉系统优化调度方法，强化学习算法可以实现对磨煤机组合分配的试错探索，最终找到一个策略，根据当前状态选择最优动作，使得该动作的长期回报最高，即值函数最大。分别用锅炉效率表示经济性、锅炉热负荷均衡分配作为安全性，出口NO_x浓度作为环保性，将这三种指标结合起来，作为强化学习的值函数，合理的选择强化学习的状态、动作和值函数，不断更新网络，使强化学习算法得到最优的控制策略，选择使得长期回报最优的动作，最终实现制粉系统的自主最优决策控制。

一种基于锅炉热负荷均衡分配的制粉系统优化调度方法，从锅炉燃烧的经济性、安全性和环保性综合考虑磨煤机组合优化分配的控制效果形成值函数，利用强化学习深度确定性策略网络算法对磨煤机组合进行优化，采用行动者-评论家的学习框架，学习磨煤机出力的控制策略，使得机组的经济性、安全性和环保性达到最优。

值函数为：R＝a*R_a+b*R_b+c*R_c

其中，R_a是锅炉燃烧的经济性指标，R_b是锅炉燃烧的安全性指标，R_c是锅炉燃烧的环保型指标，a、b、c三个指标的权值，指标越受重视权值越高；其中锅炉燃烧的经济性指标用锅炉效率表示，燃烧的安全性指标用锅炉各个受热面测量的壁温与热平衡图上壁温的差值判断，锅炉燃烧的环保性与出口NOx浓度有关。权值a、b、c均为1/3。

行动者-评论家的学习框架中，在线行动者的根据当前状态S_t和策略u，执行动作a_t，获得回报r_t和下一状态S_t+1，将生成的序列(s_t,a_t,r_t,s_t+1)保存到经验池中，同时从经验池中取出样本，更新网络参数；在线评论家根据当前状态给出行为值函数；目标评论家和行动者用于预测状态s_i+1下的行为值函数y_i，目标行动者负责根据经验池中下一状态s_i+1选择最优动作，目标评论家负责计算选择动作后的行为值函数；二者的网络采用软更新，采用滑动平均法从当前网络复制最新网络参数。

附图说明

图1为一种锅炉磨煤机分布图；

图2为本发明的基于强化学习的磨煤机组合优化原理图。

具体实施方式

本发明提供了一种基于锅炉热负荷均衡分配的制粉系统优化调度方法，如图2所示，建立基于强化学习的磨煤机组合优化方法。