[发明专利]基于深度强化学习的含氢储能微网优化运行方法

说明书

本发明提出一种基于深度强化学习的含氢储能微网优化运行方法，利用线性插值法建立了电解槽效率特性模型，并将电解槽效率特性模型与燃气轮机、电化学储能、储氢罐和燃料电池等模型相结合，以微网运行成本为目标，构建含氢储能微网优化运行模型。最后采用深度确定性策略梯度算法求解微网优化运行这一序列决策问题。该方法考虑了电解槽的效率特性，可以充分利用氢储能容量，根据深度强化学习原理求解优化问题，降低了含氢储能微网的运行成本，且具有较好的泛化性。

技术领域

本发明属于电力系统优化运行与调度技术领域，尤其涉及一种基于深度强化学习的含氢储能微网优化运行方法。

背景技术

随着“二氧化碳排放力争于2030年前达到峰值，努力争取2060年前实现碳中和”目标的提出，如何提高可再生能源利用率，减少碳排放成为当下的研究热点问题。然而，微网中大量的可再生能源具有间歇性和随机性，给微网的调度运行带来了巨大挑战。

目前，微网经济调度问题通常使用传统规划算法或启发式算法求解。然而，传统规划算法对于非线性、非凸等问题难以避免局部最优解，启发式算法可以解决非线性非凸问题，但存在收敛速度慢、泛化性不强等问题。且上述算法，常常依赖于对可再生能源出力与负荷波动不确定性的精确预测，无法适应源荷的动态变化。

深度强化学习是一种机器学习方法，具备感知环境能力和决策能力，可以感知环境中的不确定性。目前，深度强化学习已经在电网无功优化、电动汽车、电力市场等领域取得一定的效果。

发明内容

针对现有技术的空白，本发明提出了一种基于深度强化学习的含氢储能微网优化运行方法，利用线性插值法建立了电解槽效率特性模型，并将电解槽效率特性模型与燃气轮机、电化学储能、储氢罐和燃料电池等模型相结合，以微网运行成本为目标，构建含氢储能微网优化运行模型。最后采用深度确定性策略梯度算法求解微网优化运行这一序列决策问题。该方法考虑了电解槽的效率特性，可以充分利用氢储能容量，根据深度强化学习原理求解优化问题，降低了含氢储能微网的运行成本，且具有较好的泛化性。

其应用线性插值法构建电解槽效率特性模型，更精确评估电解槽的运行成本。以最小化微网运行成本为目标，构建含氢储能微网调度模型，并采用深度确定性策略梯度算法优化其运行成本。

本发明具体采用以下技术方案：

一种基于深度强化学习的含氢储能微网优化运行方法，其特征在于：利用线性插值法建立电解槽效率特性模型，并将电解槽效率特性模型与燃气轮机、电化学储能、储氢罐和燃料电池模型相结合，以最小化微网运行成本为目标，构建含氢储能微网优化运行模型；并采用深度确定性策略梯度算法求解微网优化运行决策问题。

进一步地，包括以下步骤：

步骤S1：计算电解槽效率与输入功率，获取电解槽效率特性数据，利用查表线性插值的方法构建电解槽效率特性模型；

步骤S2：以微网运行成本最小化为目标，构建包含光伏发电装置、微型燃气轮机、电化学储能以及电解槽、储氢罐和燃料电池组成的氢储能系统的含氢储能微网经济调度模型；

步骤S3：利用深度确定性策略梯度算法优化微网运行成本。

进一步地，步骤S1中利用查表线性插值的方法构建电解槽效率特性模型，具体包括：

步骤S11：计算电解槽效率特性：

电解槽效率η_el由电压效率η_v和电流效率η_i两部分组成：

η_el＝η_iη_v

η_v＝(U_tn/U_el)*100％