[发明专利]一种基于混合时间尺度DRL的综合能源在线调度方法

说明书

本发明涉及一种基于混合时间尺度DRL的综合能源在线调度方法，构建综合能源系统的热电联产机组模型、电锅炉模型、燃气锅炉模型；将多时间尺度同步协调为混合时间尺度，建立混合时间尺度IES环境经济调度模型；分别定义混合时间尺度状态空间、混合时间尺度动作空间以及环境经济归一化奖励函数；采用近端策略优化算法实现基于混合时间尺度实时反馈的在线决策。本发明应用DRL解决IES环境经济调度问题，可为推进“双碳”目标提供可行性方案；将多时间尺度同步协调为混合时间尺度，填补了DRL方法应用在多时间尺度优化调度的空缺。

技术领域

本发明属于输配电技术领域，涉及一种基于混合时间尺度DRL的综合能源在线调度方法。

背景技术

综合能源系统(IES)能够有效地对多种能源进行梯级利用，大力促进新能源消纳，是实现“双碳”目标的重要方向。IES优化调度是实现系统中多种能源供需平衡的前提。调度过程中主要面临以下困难：第一，可再生能源的间歇性、波动性以及负荷预测的误差所造成的源荷不确定性，给IES优化调度带来了极大的挑战。第二，IES中气和热的传输速度远小于电能传输，电力系统达到稳态时气和热还处于动态过程，不同子系统的调度时间尺度不一致增加了IES调度难度。

针对源荷不确定性的处理方法主要有随机优化和鲁棒优化。有文献采用鲁棒优化处理源侧风电不确定性，并采用随机优化处理负荷不确定性。但是鲁棒优化方法是一类基于区间扰动信息的不确定性决策方法，由于考虑了最差场景下的最优解，造成结果可能较为保守。而随机优化方法一般需要先假设随机变量的概率分布，其性能严重依赖建模者的技能和经验，导致对不确定性的刻画不够精确。

近年来，深度强化学习(DRL)凭借其能够避免对复杂的不确定性进行建模，并自适应不确定性的优点，吸引了大量研究人员的关注。在电力领域，已有部分研究应用DRL方法来解决IES的优化调度问题。然而DRL方法在进行能量管理时需将动作空间离散化，随着离散化精度的增加容易出现动作空间维度灾难。为了避免出现这一问题，一些学者将目光投向连续动作空间下的DRL方法。有文献基于SAC算法实现多场景下的电-气综合能源系统优化调度决策，将源荷不确定性近似为某种确定的数学概率分布，叠加概率分布来模拟历史数据，进而对智能体进行训练。还有文献提出一种双层强化学习方法对多能园区进行实时经济调度。还有文献基于近端策略优化算法实现对电热综合能源系统中风电的动态能量转化。还有文献基于深度确定性策略梯度算法对综合能源系统进行动态经济调度。以上研究中均表明DRL方法无需对源荷不确定性进行建模，并能对该不确定性做出动态响应。

然而，现有文献对IES优化调度的研究都基于单一时间尺度，忽视了实际过程中不同能源系统调度时间尺度的差异。由此差异性造成在同一时刻下的不同能源系统状态变量维度不一致，并且IES无法应对多重状态变量维度的缺陷，进而导致DRL方法难以处理多时间尺度的优化问题。

发明内容

为了补充DRL应用于IES多时间尺度优化调度研究的空缺，本发明提出了一种基于混合时间尺度DRL的综合能源在线调度方法。首先将多时间尺度同步协调为混合时间尺度，建立混合时间尺度IES环境经济调度模型；然后针对多时间尺度下电热状态变量维度不一致的问题，结合混合时间尺度IES调度模型，提出一种新型的混合时间尺度DRL方法，分别定义混合时间尺度状态空间、混合时间尺度动作空间以及环境经济归一化奖励函数；采用近端策略优化(Proximal Policy Optimization，PPO)算法，可达到根据环境实时反馈信息做出在线调度决策。最后结合算例分析，验证混合时间尺度DRL方法对IES在线环境经济调度的有效性，并与日前优化、实时优化和单一时间尺度DRL方法进行对比，证明了本发明的优越性。

本发明通过下述技术方案来实现，一种基于混合时间尺度DRL的综合能源在线调度方法，步骤如下：

步骤一、构建综合能源系统的热电联产机组模型、电锅炉模型、燃气锅炉模型；

步骤二、将多时间尺度同步协调为混合时间尺度，建立混合时间尺度IES环境经济调度模型；