[发明专利]一种基于Q学习的园区综合能源系统低碳运行方法

说明书

本发明涉及一种基于Q学习的园区综合能源系统低碳运行方法，包括步骤：基于能量枢纽的概念建立园区综合能源系统的模型PIES；计及PIES二氧化碳排放量的治理费用，以PIES的日运行费用最小为目标，建立PIES低碳经济运行策略的数学优化模型；建立与上述优化模型相对应的马尔科夫决策过程MDP，并相应定义MDP问题的状态空间、动作空间和奖励函数；采用改进的Q学习算法对所述的MDP问题进行求解，利用奖励函数对Q值表进行初始化的改进。本发明能够实现园区综合能源系统的低碳运行。

技术领域

本发明涉及电力系统低碳运行技术领域，特别是一种基于Q学习的园区综合能源系统低碳运行方法。

背景技术

随着能源短缺和环境污染问题日益凸显，如何通过节能减排、提高能源利用率、增加新能源占比等方式来实现可持续的发展是当前研究中较为关注的问题。园区综合能源系统(Park-level Integrated Energy System,PIES)在此背景下应运而生，PIES直接面向终端能源用户，利用光伏发电、热电联产、制冷机等多种能源转化装置，将太阳能等清洁能源转化为用户所需的能源形式，继而提高能源利用率并提高清洁能源在终端能源的占比。在恰当的能源运行策略下，PIES可以实现多能互补和能量的梯级利用，最终实现能源的高效灵活利用。但PIES中负荷的波动性、风力和光伏的不确定性、以及能流的多样性的存在，使得制定经济合理的运行策略具有较大的挑战。

目前国内外关于PIES的运行策略已有一定的研究成果。相关研究为了寻求PIES的有效运行策略，或建立了混合整数线性模型，调用Cplex、Gurobi求解器进行求解；或建立混合整数非线性模型，采用粒子群算法、遗传算法等启发式算法进行求解。但PIES中能源的转化存在较强的耦合性，可能会使得PIES运行策略的求解模型变得非凸、非线性，此时调用求解器的方法便不再适用，同时启发式算法在求解时长方面也存在一定的缺陷。

发明内容

有鉴于此，本发明的目的是提出一种基于Q学习的园区综合能源系统低碳运行方法，能够实现园区综合能源系统的低碳运行。

本发明采用以下方案实现：一种基于Q学习的园区综合能源系统低碳运行方法，具体包括以下步骤：

基于能量枢纽的概念建立园区综合能源系统的模型PIES；

计及PIES二氧化碳排放量的治理费用，以PIES的日运行费用最小为目标，建立PIES低碳经济运行策略的数学优化模型；

建立与上述优化模型相对应的马尔科夫决策过程MDP，并相应定义MDP问题的状态空间、动作空间和奖励函数；

采用改进的Q学习算法对所述的MDP问题进行求解，利用奖励函数对Q值表进行初始化的改进。

进一步地，所述基于能量枢纽的概念建立园区综合能源系统的模型PIES具体为：

建立光伏发电装置、能源转化装置以及电储装置建立运行时的数学模型，并确定各类装置的能源转化关系、装置输入输出范围；所述能源转化装置包括热电联产、燃气锅炉、压缩式制冷机；

1)光伏发电装置PV：PV的输出电功率满足以下约束：

0≤P_PV(t)≤P_PV,max；

式中，P_PV(t)表示t时刻PV发电机输出的电功率，P_PV,max表示PV输出电功率的最大值；

2)热电联产CHP的模型及运行条件如下：

P_CHP(t)＝η_CHP,eG_CHP(t)；

H_CHP(t)＝η_CHP,hG_CHP(t)；