[发明专利]基于深度强化学习的含氢储能微网优化运行方法

权利要求书

1.一种基于深度强化学习的含氢储能微网优化运行方法，其特征在于：利用线性插值法建立电解槽效率特性模型，并将电解槽效率特性模型与微型燃气轮机、电化学储能、储氢罐和燃料电池模型相结合，以最小化微网运行成本为目标，构建含氢储能微网优化运行模型；并采用深度确定性策略梯度算法求解微网优化运行决策问题，包括以下步骤：

步骤S1：计算电解槽效率与输入功率，获取电解槽效率特性数据，利用查表线性插值的方法构建电解槽效率特性模型，具体包括：

步骤S11：计算电解槽效率特性：

电解槽效率η_el由电压效率η_v和电流效率η_i两部分组成：

η_el＝η_iη_v

η_v＝(U_tn/U_el)*100％

式中：I为电解槽的堆栈电流；U_tn为理论分解电压；U_el为电解电压；

其中，电解电压由以下式子算出：

U_rev(T,p)＝1.5184-1.5421×10^-3T+9.523×10^-5TlnT+9.84×10^-8T²

U_ohm＝IR_i

式中：T为电解槽工作温度；U_rev为电解水的可逆电压；U_ohm为电解质自身电阻产生的电阻压降；依次为电解水产生的氢超电势、氧超电势；R_i为电解质电阻；R为普适气体常数，F为法拉第常数；α_c为阴极的电荷传递系数，α_a为阳极的电荷传递系数；j_co为阴极的交换电流密度，j_ao为阳极的交换电流密度；n_c为阴极的电子转移数，n_a分别为阳极的电子转移数；

电解槽输入功率由以下式子算出：

P_el＝U_elI；

步骤S12：构建基于查表线性插值法的电解槽效率特性模型：

取若干个计算出的功率效率数据对作为原始数据，形成数据表；通过查表以及线性插值的方式求出对应的电解槽效率：

式中，P₀、P₁分别为查表时数据表中离P_el最近的两个功率；η₀为P₀在数据表中对应的电解槽效率，η₁为P₁在数据表中对应的电解槽效率；

步骤S2：以最小化微网运行成本为目标，构建由光伏发电装置、微型燃气轮机、电化学储能以及电解槽、储氢罐和燃料电池组成的氢储能系统的含氢储能微网优化运行模型；

步骤S3：利用深度确定性策略梯度算法优化微网运行成本，具体包括：

步骤S31：确定状态空间和动作空间：

微网优化运行的状态空间参数包括光伏实时发电功率P_t^PV、实时用电负荷P_t^load、电化学储能的实时荷电状态氢储罐的储氢状态

式中，s_t表示t时刻微网状态；

电化学储能充放电功率通过SOC约束和额定功率算出；

微网运行优化的动作空间用微型燃气轮机出力P_t^MT和氢储能系统充放电功率表示：

式中，a_t表示t时刻动作；

步骤S32：设计奖励值：

将约束条件转换为奖励函数的一部分：

D₂＝2(P_t^curt+P_t^loss)

r_t＝-F_t-D₂+D₁

其中：

C_bat(t)＝c_bat|P_t^b|

C_el(t)＝c_elP_t^el

C_fc(t)＝c_fcP_t^fc

式中，D₁为氢储能SOC罚函数；表示氢储能SOC的上限，表示氢储能SOC的下限，D₂表示失负荷和弃光成本；P_t^curt为t时刻弃光功率，P_t^loss为t时刻失负荷功率；r_t为t时刻奖励，F_t为t时刻微网运行成本；C_MT(t)为t时刻微型燃气轮机的运行成本；为t时刻微型燃气轮机的CO₂排放成本；C_bat(t)为电化学储能的运维成本，C_el(t)为电解槽的运维成本，C_fc(t)为燃料电池的运维成本；c_bat为电化学储能的运维成本系数，c_el为电解槽的运维成本系数，c_fc为燃料电池的运维成本系数；为燃气轮机CO₂排放系数；为碳交易市场碳排放价格；P_t^b为t时刻电化学储能的充放电功率；P_t^el为t时刻电解槽功率、P_t^fc为t时刻燃料电池功率；

步骤S33：利用深度确定性策略梯度算法优化微网运行成本：

首先确定迭代次数和调度周期长度，初始化深度确定性策略梯度算法超参数，然后，选择微网初始状态，根据策略网络选择动作并叠加噪声，根据动作计算电化学储能功率，执行动作，观察当前奖励，并将当前状态、动作、奖励、下一时刻状态存储至经验池；最后，选取样本，根据更新公式更新策略网络和评价网络及目标网络并更新状态，重复至调度周期结束，开始下一轮迭代。