[发明专利]一种梯级水库生态随机优化调度模型及求解方法

权利要求书

1.一种梯级水库生态随机优化调度模型，其特征在于，该模型的目标函数为：

式中：f^*为梯级水库最小AAPFD期望值的平方，N为梯级水电站的个数，T为调度周期总的时段数，N_s为入库径流离散状态数，R_n,t为第n个水库第t时段的指标函数，f_n,t为第n个水库第t时段的AAPFD值；

R_n,t、f_n,t表达式如下所示：

式中：V_n,i为第n级电站i状态时对应的水位，为第n级电站第t时段的出库流量，为第n个水库第t时段离散的j个入库流量值，j、k为入库径流相互之间的状态转移，为第n个水库第t时段的出库流量，为第n个水库第t时段的入库径流，为第n个水库第t时段处于j状态转移到k状态的转移概率，为调度周期天然入库流量的平均值。

2.根据权利要求1所述一种梯级水库生态随机优化调度模型，其特征在于：所述目标函数约束条件为：

①、龙头水库水量平衡约束：

上式中：V₁^t+1为龙头水库第t+1时段的水位，V₁^t为龙头水库第t时段的水位，为龙头水库第t+1时段的入库流量，为龙头水库第t+1时段的出库流量，△t为面临时段的时长；

②、其他水库水量平衡约束：

上式中：为第n+1级水库第t+1时段的水位，为第n+1级水库第t时段的水位，为第n级水库第t时段的出库流量，为第t时段第n+1级水库上游区间来水流量，为第n+1级水库第t时段的出库流量，△t为面临时段的时长，N为梯级水库的总数；

③、水库蓄水量约束：

上式中：V_n,min为第n级水库的最小蓄水量，为第n级水库第t时段的水位，V_n,max为第n级水库的最大蓄水量，N为梯级水库的总数；

④、水库下泄流量约束：

上式中：Q_n,min,ck为第n级水库最小下泄流量，为第n级水库第t时段的下泄流量，Q_n,max,ck为第n级水库最大下泄流量，N为梯级水库的总数；

⑤、保证出力约束：W_n,bz≤W_n≤W_n,zj n＝1,...,N；

上式中：W_n,bz为第n级水库的保证出力，W_n为第n级水库的出力，W_n,jz为第n级水库的机组最大出力；N为梯级水库的总数。

3.根据权利要求1所述一种梯级水库生态随机优化调度模型，其特征在于：所述优化调度模型中，对梯级电站按照上下游的顺序从上到下依次编号为1,...,n，并根据上下游水库之间的水量关系，建立梯级各水库之间的水量平衡方程：

上式中：L_n+1,t为流域内t时段两级水库之间的区间来水。

4.根据权利要求1所述一种梯级水库生态随机优化调度模型，其特征在于：所述优化调度模型中，由于水库中长期径流具有随机性，因此各个水库的入库径流采用随机入库过程作为梯级水库入库径流的表示方式，即根据皮尔逊Ⅲ型分布法计算所得频率离散为从小到大的各水库各时段随机来水的拟合值。

5.根据权利要求1所述一种梯级水库生态随机优化调度模型，其特征在于：所述优化调度模型中，生态指标利用修正全年流量偏差AAPFD指标，该指标反映一个调度周期内流量变化对河流生态环境的影响，其值越小，表示水库调度后流量变化对河流生态系统的影响越小，河流生态环境越好；

对于单一水库，修正全年流量偏差AAPFD表示为：

式中：T为调度周期总时段数，为t时段水库出库流量值；为t时段水库天然入库流量；为调度周期天然入库流量的平均值。

6.采用SARSA算法对权利要求1-5中所述任意一种梯级水库生态调度随机优化模型进行优化计算，得到修正全年流量偏差AAPFD期望值的平方最大，以及各水库各时段的最优出库流量

包括以下步骤：

步骤1：根据梯级水库历年入库流量，求解各水库各时段的皮尔逊Ⅲ型概率密度曲线的统计参数，并根据统计样本参数绘制各水库各时段的径流频率曲线，最终通过皮尔逊Ⅲ型分布模拟得出的径流随机值计算状态转移概率矩阵；

步骤2：对每一个水库任一时段始末库容分别为V_n,i,V_n,j时，进行阶段收益求解，通过状态转移矩阵求解和Bellman方程求解在每一个水库在下一时刻水位随机情况下的余留收益，从而得到强化学习算法中的收益矩阵；

步骤3：根据SARSA算法试错的原理，从第一阶段梯级水库起调水位V₀开始进行尝试，对每一组[V_i,V_j]均对出库寻优计算，直到进行到最后一个阶段，完成一次寻优，然后根据时序差分法TD通过下一时刻的价值更新前一时刻的价值的思想对值函数方程，进行如下计算：

式中：为t+1时段采用策略π得到状态动作对(s,a)时的Q值函数，为t时段采用策略π得到状态动作对(s,a)时的Q值函数，α为SARSA算法的学习率，为采取动作a后状态由s转移到s′的回报值；γ为SARSA算法的奖赏折扣率，为t时段采用策略π得到状态动作对(s′,a′)时的Q值函数；

通过对Q值函数进行不断的试错更新，最终形成一个以s，a分别为横纵坐标，以离散的水位数为维数的Q矩阵；

步骤4：重复对当前状态V_i进行观察，并根据贪婪决策选择下一阶段的执行动作，然后对当前Q矩阵进行更新，直到Q矩阵收敛；然后从Q矩阵中选取最大值作为策略，即可得到修正全年流量偏差(AAPFD)期望值的平方最大，以及各水库各时段的最优出库流量