[发明专利]一种工业副产煤气系统长期调度方法

权利要求书

1.一种工业副产煤气系统长期调度方法，其特征在于，步骤如下：

(1)能源数据的特征粒度化建模

采用自适应粒度化方法，根据能源数据的波动趋势特征划分数据粒度；给定时间序列X＝{x₁,x₂,...,x_n}，其一阶和二阶动态变量表示为：

Δ＝{Δ₁,Δ₂,...,Δ_n-1},E＝{e₁,e₂,...,e_n-2} (1)

其中，Δ_i＝x_i+1-x_i，e_i＝Δ_i+1-Δ_i；通过Δ_i×Δ_i-1和e_i×e_i-1的符号判断数据点x_i所在序列段的凹凸性和单调性变化，并在性质改变时刻划分时间序列数据；对于时间序列X＝{x₁,x₂,...,x_p,x_p+1,...,x_n}，若Δ_p×Δ_p-1＜0∪e_p×e_p-1＜0，则以x_p作为分割点，划分X为{x₁,x₂,...,x_p}和{x_p+1,x_p+2,...,x_n}；在实施粒度划分前，先将能源数据进行滤波预处理；为了进一步实现能源数据的语义增强，采用由时间跨度D_τ、波动幅值A_τ和趋势线型L_τ组成的三维特征向量来对信息粒G_τ进行描述，记为G_τ＝{D_τ,A_τ,L_τ}，其中τ为粒度时间步长；

(2)基于粒度对比网络的知识提取及策略计算

建立粒度对比网络获得与调度状态相关的知识表示，并基于该知识表示拟合历史调度样本中的专家调整量，计算出初始调度策略；

粒度对比网络模型的输入为能源发生、消耗以及存储流量数据的信息粒描述，即其中e表示不同调度事件，n为输入因素个数；粒度对比网络模型分为以下四个部分：

1)首先根据历史时刻的专家调度数据将数据样本定性地划分为不同的子集

2)通过基于神经网络的编码器f(·)从数据的粒度化特征描述中提取表示向量；采用长短时记忆网络来获得调度状态的特征表示，即h_e＝f(s_e)＝LSTM(s_e)，其中为网络的隐藏表示；

3)通过具有单隐藏层的神经网络映射层g(·)将提取的表示向量映射到对比损失空间，该神经网络映射层得到的状态知识表示z_e相比于上一层的h_e具有更好的对比学习效果；采用MLP来获得最终的状态知识表示，即z_e＝g(h_e)＝MLP(h_e)；经过对比学习后，z_e相比于s_e能够反映出能源系统的调度状态，因此z_e还被用于actor-critic框架中的状态空间表示；

4)在状态知识表示z_e的基础上建立全连接输出层，得到初始调度策略，即u_e＝Output(z_e)；对于所建立粒度对比网络的学习过程，分别从定性和定量的两个层次进行训练：

1)通过最小化定义的损失函数，使得根据由专家调度数据定性划分在相同子集的样本其表示向量相互接近，而区分不同子集样本的表示向量以尽可能区分不同的调度工况；这一过程的损失函数定义如下：

其中，p表示与属于同一子集的样本个数；q为不同子集样本个数；d(·)表示向量间的距离，采用余弦相似度来衡量；

针对专家调度数据中包含的多分类情况，提出一种多步训练策略；在训练过程中首先根据调整方向进行二分类的对比学习，之后通过构建具有不同调整量大小的输入样本再进行多次学习，使得输出的表示向量能够区分多类别的专家知识；若专家经验样本总数为N，在训练模型时使用所有可能的数据对，用于训练的数据信息量达到(N)(N-1)/2；

2)在上述训练过程结束后，进一步提出多层次训练机制来实现调度知识的定量学习和细化表示；

首先定义验证集{s₁,s₂,...,s_l}，根据上述过程得到的网络模型计算相应的状态知识表示{z₁,z₂,...z_l}；在知识表示向量的基础上建立输出层来拟合专家调度量；通过计算出的调度量与真实调度量之间的误差来判断当前获得的知识表示是否能够满足实际系统条件；若存在样本数据集的误差高于某一设定的阈值θ，即

其中，y_e为真实调度量；说明当前的表示空间无法覆盖该样本集中所包含的调度知识；这种情况下，需要进一步训练粒度对比网络使得其能够区分出和验证集中其他样本；由于需要学习出与已有表示空间不同的特征，因此在这一过程中定义相互排斥的损失函数：

其中，r为未满足条件的样本个数，l为验证集样本总数；上述训练结束后，需再次根据学习后的网络模型判断验证集中的样本能否满足阈值条件，并不断执行上述过程实现多层次迭代学习，直到所有样本均满足设定条件；

在对比学习训练结束后，给定粒度对比网络模型的输入s_e，得到相应的状态知识表示z_e；基于z_e建立全连接输出层，通过有监督学习的方式拟合专家调度量，计算出基于专家知识的初始调度策略；

(3)基于Actor-Critic框架的补偿策略计算

针对副产能源系统的长期调度表现，提出一种Actor-critic框架实现对于初始调度策略的动态补偿，其中critic部分将状态知识表示z_e作为强化学习的状态，建立深度Q网络计算调度策略的值函数评价；Actor部分利用由粒度对比网络计算的初始调度策略作为初始解，根据策略的评价值与目标设定值的偏差，通过数据拟合的方式获得调度策略的补偿量，并迭代计算出最终的调度方案；

1)Critic部分构建评价网络对调度策略进行评价；网络的输入为状态知识表示z_e和动作a_e的集合，分别经过一层神经网络后进行拼接，在此基础上构建多层隐藏层与ReLU激活函数层建立深度神经网络，网络输出为值函数Q，critic网络结构；

在每个调度事件发生时刻计算调度奖赏，因此定义以调度事件为单位的值函数，即

其中，reward_k定义为第k个调度事件的奖赏，通过副产煤气系统调度效果的评价指标描述，定义为

其中，prof为固定利润，loss为每次柜位达到机械上、下限的时损失的利润；loss后括号内的内容表示柜位达到机械上、下限的次数，len为调度事件时长；θ则是数值较小的阈值；t_level_i为第i时刻的柜位值；HMB、LMB和HSB，LSB分别表示柜位的机械上下限和安全上下限，sign(·)与G(·)函数分别如式(7)所示：

基于Q网络学习的思想更新深度神经网络的参数，定义损失函数如下：

其中，Q_w为由神经网络表示的评价网络Q值函数，w为当前评价网络的权值参数，z_e为当前调度事件下由粒度对比网络获得的状态知识表示，即z_e＝g(f(s_e))；z_e+1为在调度事件e实施动作a_e后，由数据预测模型获得的下一调度事件发生时刻(e+1)所对应的系统状态知识表示；γ为强化学习过程中奖励的衰减系数；

采用软更新的方式来提高网络的稳定性，Q'_w表示目标评价网络；评价网络参数更新公式如下：

w'←τw+(1-τ)w' (11)其中，α为评价网络学习率，τ为软更新系数；

2)Actor部分比较初始调度策略的值函数评价Q_w(z_e,u_e)与设定的长期调度目标Q^*，并结合能源系统的状态知识表示z_e计算出初始调度策略u_e的动态补偿量Δu_e；

在补偿值的计算过程中，根据给定Q^*和由critic部分得到的值函数评价Q_w(z_e,u_e)，计算出调度目标返还值ΔQ(z_e,u_e)＝Q^*-Q_w(z_e,u_e)，并建立以ΔQ(z_e,u_e)，当前调度事件下的状态知识表示z_e以及其值函数估计Q_w(z_e,u_e)为输入，补偿值Δu_e为输出的非线性关系，即

Δu_e＝f(ΔQ(z_e,u_e),z_e,Q_w(z_e,u_e)) (12)

基于历史调度时刻的案例样本建立训练集，采用数据驱动方法拟合此非线性关系，计算出初始调度策略u_e的动态补偿量Δu_e，进而得到最终的调度方案。