[发明专利]一种基于深度强化学习的智慧家庭能量管理方法及系统

权利要求书

1.一种基于深度强化学习的智慧家庭能量管理方法，包括：

步骤一：将在无明确建筑热动力学模型和维持室内温度在舒适范围的情况下最小化智慧家庭能量成本问题建模为马尔可夫决策过程，并设计其环境状态、行为、奖励函数；

在智慧家庭能量成本最小化问题中，目标函数是智慧家庭能量成本，包括智慧家庭与电网进行能量买卖产生的电费C_1,t和能量存储系统充放电折损产生的费用C_2,t，其表达式如下：

C_2,t＝ψ(|c_t|+|d_t|)，

式中，C_1,t为t时刻智慧家庭与电网进行能量买卖产生的电费，C_2,t为t时刻能量存储系统充放电折损产生的费用，v_t为t时刻的买电电价，u_t为t时刻的卖电电价，g_t为t时刻智慧家庭与电网买卖的电量，ψ为能量存储系统的折旧系数，c_t为t时刻能量存储系统的充电功率，d_t为t时刻能量存储系统的放电功率；当g_t0时，智慧家庭买电，成本为C_1,t＝v_tg_t；g_t≤0时，成本为C_1,t＝u_tg_t；

智慧家庭能量成本最小化问题的决策变量有：智慧家庭与电网之间的能量买卖数量、能量存储系统的充放电功率、暖通空调系统的输入功率；需考虑的约束有：与能量存储系统相关的约束、与暖通空调系统相关的约束、与能量守恒相关的约束，具体如下：

(1)能量存储系统存储水平的动态变化模型为：B_t+1＝B_t+η_cc_t+d_t/η_d，式中，B_t+1为能量存储系统在t时刻的下一时间步的存储水平，B_t为能量存储系统在t时刻的存储水平；η_c∈(0,1]，为能量存储系统的充电效率；η_d∈(0,1]，为能量存储系统的放电效率；

(2)B^min≤B_t≤B^max；式中，B^min为能量存储系统的最小存储水平，B^max为能量存储系统的最高存储水平；

(3)0≤c_t≤c^max，-d^max≤d_t≤0，式中，c^max为能量存储系统的充电功率最大值，d^max为能量存储系统的放电功率最大值；

(4)c_t·d_t＝0；

(5)暖风空调系统在t时刻的输入功率e_t小于其额定功率e^max，且输入功率e_t可连续调节；

(6)g_t+p_t+d_t＝b_t+e_t+c_t；式中，p_t为分布式发电机在t时刻的功率输出，b_t为刚性负载在t时刻的需求功率；

所述马尔可夫决策过程的环境状态如下：

所述环境状态的表达式如下：s_t＝(p_t,b_t,B_t,T_t^out,T_t,v_t,t′)，

式中，s_t为智慧家庭在t时刻的环境状态，p_t为t时刻的分布式发电机输出功率，b_t为t时刻的刚性负载需求功率，B_t为t时刻的能量存储系统储能水平，T_t^out为t时刻的室外温度，T_t为t时刻的室内温度，v_t为t时刻的买电电价，t′为t时刻的当前绝对时间在一天内的相对时间；

所述行为的表达式如下：

a_t＝(f_t,e_t)，

式中，a_t为能量存储系统和暖通空调系统在t时刻的行为，f_t为能量存储系统在t时刻的充放电功率，f_t≥0表示充电，f_t0表示放电，e_t为暖通空调系统在t时刻的输入功率；设定能量存储系统的充放电功率f_t∈[-d^max,c^max]，当f_t≥0时表示充电，此时c_t＝f_t且d_t＝0；相反，当f_t0时表示放电，此时d_t＝f_t且c_t＝0，该马尔可夫决策过程的行为可表示为：a_t＝(f_t,e_t)，能量存储系统需满足以下要求：

min{-d^max,(B^min-B_t)η_d}≤d_t≤0,f_t0；

所述奖励函数表达式如下：

R_t＝-β(C_1,t(s_t-1,a_t-1)+C_2,t(s_t-1,a_t-1))-C_3,t(s_t)，

式中，R_t为t时刻的奖励，β为能量系统的成本相对于温度违背导致的惩罚成本的重要性系数，C_1,t(s_t-1,a_t-1)为t时刻因能量买卖导致的惩罚，s_t-1为智慧家庭在t时刻的上一时间步的环境状态，a_t-1为能量存储系统和暖通空调系统在t时刻的上一时间步的行为，C_2,t(s_t-1,a_t-1)为t时刻因能量存储系统折损产生的惩罚，C_3,t(s_t)为t时刻因违背室内舒适温度范围导致的惩罚，C_3,t(s_t)＝([T_t-T^max]⁺+[T^min-T_t]⁺)，其与当前环境状态相关，式中，T^max为室内舒适温度最高值，T^min为室内舒适温度最低值；

步骤二：以累计奖励最大化为目标，利用深度确定性策略梯度算法训练出不同环境状态下能量存储系统和可控负载的最优行为；云端深度神经网络包括行动者网络、目标行动者网络、评论家网络、目标评论家网络；其中行动者网络和目标行动者网络与本地深度神经网络的结构相同；

行动者网络输入层的神经元个数与环境状态的分量数相对应，行动者网络隐藏层所采用的激活函数包括线性整流函数，行动者网络输出层的神经元个数与行为的分量数相对应，行动者网络输出层所采用的激活函数分别为双曲正切函数和sigmoid函数；

评论家网络和目标评论家网络的结构相同，其输入层包括两个分别与环境状态和行为相关的独立子层，环境状态相关子层的神经元个数与环境状态的分量数相对应，行为相关子层的神经元个数与行为的分量数相对应，两子层分别连接有若干隐藏层，与两子层分别连接的若干隐藏层的最后一个隐藏层的神经元个数相同，所述最后一个隐藏层的输出求和后输入至新的隐藏层，所述新的隐藏层所采用的激活函数包括线性整流函数，与所述新的隐藏层连接的输出层所采用的激活函数包括线性激活函数；

步骤三：智慧家庭能量管理系统智能体的行为控制模块根据本地深度神经网络输出的当前行为，对能量存储系统和可控负载实施控制。

2.一种基于权利要求1的深度强化学习的智慧家庭能量管理方法的能量管理系统，其特征是，包括：

信息采集模块，用于获取智慧家庭的当前环境状态、下一时间步环境状态和下一时间步奖励，以及将所述当前环境状态、所述当前行为、所述下一时间步环境状态、所述下一时间步奖励发送至云端经验池；

本地深度神经网络，用于根据所述当前环境状态，输出能量存储系统或/和可控负载的当前行为；

行为控制模块，用于根据所述当前行为，对能量存储系统或/和可控负载实施控制；

在线学习模块，用于从云端经验池中提取训练样本集，以所述奖励最大化为目标，利用深度确定性策略梯度算法对云端深度神经网络进行训练，并将训练好的云端深度神经网络参数更新至本地深度神经网络。