[发明专利]一种基于混合时间尺度DRL的综合能源在线调度方法

权利要求书

1.一种基于混合时间尺度DRL的综合能源在线调度方法，其特征在于，步骤如下：

步骤一、构建综合能源系统的热电联产机组模型、电锅炉模型、燃气锅炉模型；

步骤二、将多时间尺度同步协调为混合时间尺度，建立混合时间尺度IES环境经济调度模型；

步骤三、分别定义混合时间尺度状态空间、混合时间尺度动作空间以及环境经济归一化奖励函数；

步骤四、采用近端策略优化算法实现基于混合时间尺度实时反馈的在线决策；

步骤二中，混合时间尺度IES环境经济调度模型包括经济性调度目标、碳排放调度目标和约束条件，约束条件包括能量平衡约束和风光出力上下限约束；

经济性调度目标的目标函数为：

式中：表示系统在整个调度周期的运行成本；分别为与电网购电量成本和天然气源购气成本；为在时刻的购电单价；为系统在时刻从电网的购电量；为天然气单价；表示在时刻下系统购买天然气的流量；

碳排放调度目标的目标函数为：

式中：表示系统在调度周期内的含碳污染气体排放总量；分别表示热电联产机组、燃气锅炉和从电网购电所产生的碳污染气体排放因子；、分别为在时刻热电联产机组和在时刻燃气锅炉的热出力；

能量平衡约束表示为：

式中：表示在时刻风电和光伏的电出力；表示在时刻的电负荷和在时刻的热负荷；

风光出力上下限约束表示为：

式中：分别表示风电和光伏出力上限；

步骤三中，混合时间尺度状态空间如式(11)所示：

式中，为风电、光伏、电负荷和热负荷在时刻的预测信息向量，其对应的矩阵分别为电热系统调度时间尺度下的预测值；和分别表示在时刻各设备的电出力和热出力向量，其对应矩阵内共有个电力系统设备和个热力系统设备；为时刻的电价；

动作机组的调度时间尺度分别与电、热调度时间尺度相同，假设共有n个电力系统调度时间尺度的动作机组，m个热力系统调度时间尺度的动作机组，则混合时间尺度动作空间如式(12)所示：

式中，向量对应的是电力系统调度时间尺度下的动作机组动作，其中行向量表示对应时刻下的个动作机组出力，列向量表示所对应的动作机组在整个混合时间尺度下的电出力；向量对应的是热力系统调度时间尺度下的动作机组动作，表示对应时刻下的个动作机组热出力；

动作机组设置为风电机组、光伏机组、热电联产机组和电锅炉；为了在动作设计上更好的切合IES环境的约束条件，对4种动作机组进行分类设计，且动作值的范围为[-1,1]；

对于风电机组和光伏机组，其下一时刻的出力值为对应动作的绝对值乘上状态中的预测信息，满足了风光出力上下限约束：

式中，表示机组在时刻的出力值；表示从动作空间中选出的机组在时刻动作的绝对值；为状态空间中机组在时刻的预测值；

对于热电联产机组和电锅炉，下一时刻的出力为当前时刻的出力加上其动作值乘于爬坡率，在满足其爬坡约束的同时将其限制在机组出力上下限范围内，如式(14)所示：

式中：为机组在时刻的出力值；函数表示将第一个数限制在后面两个数之间；为机组所对应的爬坡或滑坡率；分别为机组的出力上下限；

IES环境经济调度的目标为最小化成本和碳污染排放，首先将两个目标进行归一化处理，再采用加权法将多目标优化问题转化为单目标优化；为提升训练速度，在环境经济归一化奖励函数中加入热平衡机组越限惩罚，归一化后的环境经济归一化奖励函数为：

式中：为即时奖励；和分别表示成本归一化系数和碳污染排放归一化系数；和为加权系数；为热平衡机组越限惩罚系数。