[发明专利]一种基于强化学习的压水堆堆芯自动控制方法

说明书

本发明公开了一种基于强化学习的压水堆堆芯自动控制方法，包括以下步骤：S1、获取参数控制目标；S2、在压水堆堆芯控制器中加入基于DQN的预先训练好的强化学习模块，然后将参数控制目标传递至强化学习模块；S3、通过强化学习模块获取实现参数控制目标的多个策略；S4、选择最优策略作为控制策略传递至控制器；S5、控制器基于控制策略控制压水堆堆芯的执行器执行相应动作；S6、控制器获取执行过程中压水堆堆芯内产生的物理量，以及动作和参数轨迹。本发明通过引入人工智能技术，提升了核电站运行的效率，完全不需要人的参与便可自动完成。

技术领域

本发明涉及核反应堆自动控制方法领域，具体是一种基于强化学习的压水堆堆芯自动控制方法。

背景技术

典型的传统压水反应堆的一回路功率调节系统包括：发电机功率调节、冷却剂平均温度及控制棒位置调节、硼浓度调节、蒸汽旁通控制系统及闭锁系统。其中发电机功率调节及其所附属的汽轮机调节是外部调节，即不与反应堆堆芯交互或者作用而调节反应堆的功率(因为反应堆功率由一回路热量输出，进而蒸发冷凝水而推动汽轮机转动发电，因而反应堆的外在功率会因汽轮机的参数而不同)；蒸汽旁通控制系统用作功率调节系统的辅助，而闭锁系统则是为了防止控制棒提升过大而导致紧急停堆。冷却剂平均温度及控制棒位置调节与硼浓度调节是反应堆中最常见的通过直接与反应堆堆芯交互而调节堆芯功率的手段。

核电站发电需要反应堆堆芯能够持续释放出裂变能以转化为热能并最终转化为电能；而这一切的前提条件是堆芯需要超临界，也就是需要保证产生的中子数多于损失的中子(即实现中子的链式自持)。反应堆是否临界通常用反应性ρ＞1表示，若ρ＜1，则次临界；若ρ＝1，则反应堆临界；若ρ＞1，则超临界。而反应性是冷却剂温度、慢化剂温度(慢化剂用于慢化中子速度)等物理量的函数。硼会增强慢化剂对中子的寄生吸收，会对慢化剂温度系数造成影响；而控制棒调节则会引入外来反应性，因此冷却剂平均温度调控、控制棒位置调控、硼浓度调节对堆芯功率有直接影响。

目前已有一些用于核反应堆堆芯控制的系统和方法，如公开号为CN106340331B的中国专利：一种用于核反应堆功率的自抗扰控制方法，其公开了用于核反应堆功率的自抗扰控制方法，目的在于针对目前核反应堆对象没有既简单又能取得良好控制效果的控制器，提出将自抗扰控制器应用于核反应堆功率控制中的方法。通过推导将原有模型转化为适合设计自抗扰控制器的非线性模型；并且充分利用模型信息，减轻ESO的负担；还利用系统输出y可测的特点，设计基于RESO的自抗扰控制器；最后通过简单调整带宽、就能容易的得出控制器参数，此控制系统相比预测控制、模糊控制等先进控制算法结构简单，但是有更好的控制效果。

公开号为CN101840737B的中国专利：一种数字化棒位控制系统及其控制方法，系统包括：堆芯控制单元，其根据主控制室发送的控制棒控制命令输出相应的棒位运行指令；棒控驱动单元，其接受所述棒位运行指令并依据其控制控制棒驱动机构中钩爪的动作序列，从而实现控制棒沿轴向的相应移动；棒位处理及指示单元，其测量控制棒的实际棒位信息，并将所述实际棒位信息经整形、编码后送至棒位处理柜和主控制室里的棒位显示设备；同时，将所述实测棒位信息与所述棒位运行指令进行比较，当控制棒滑步、失步或偶然落棒超过预定阈值时发送故障报警信号。该专利还公开了一种数字化棒位控制方法。该专利实现了核电站中反应堆功率和温度的数字化控制，提高了棒位控制系统的可靠性和安全性。

但上述现有技术专利存在以下不足：

(1)现有的堆芯功率控制系统都是通过逻辑控制来完成对功率的控制，此类系统自动化水平不足、智能化水平则严重缺乏。

(2)现有的堆芯功率控制技术往往需要操作员的人为干预，并且在一定程度上依赖操作员的经验，这会在无形之中给操作员带来压力。

(3)传统功率控制系统感知能力及预防事故能力很差，如果发生某种突发情形往往需要经过操作员的判断及既定规程执行相应的动作，这造成了核电站的操作运行效率比较低下。