[发明专利]多主体博弈环境下基于深度强化学习的建筑负荷需求响应方法

说明书

本发明公开了一种多主体博弈环境下基于深度强化学习的建筑负荷需求响应方法，该方法包括以下步骤：首先，收集电力系统中建筑物的负荷数据并建立负荷模型，对建筑物需求响应建立马尔可夫博弈过程模型。其次，根据电力系统稳定性要求设计奖励函数，定义纳什均衡。第三，对每个建筑物建立一个包含策略网络和价值网络的智能体，策略网络输出负荷动作序列，价值网络评估建筑物的负荷可调潜力。最后，使用建筑物的负荷数据训练价值网络和策略网络，直到所有智能体收敛到纳什均衡。该方法通过对多个建筑物在需求响应系统下博弈过程模拟并设计奖励函数，引导用户错峰用电，降低系统总的负荷功率峰值，平抑负荷功率波动，避免了系统出现峰值转移的情况。

技术领域

本发明设计电力系统控制领域，尤其指一种基于需求响应的区域电力调控方法。

背景技术

需求响应是指当电力批发市场价格升高或系统可靠性受威胁时,电力用户接收到供电方发出的诱导性减少负荷的直接补偿通知或者电力价格上升信号后,改变其固有的习惯用电模式，达到减少或者推移某时段的用电负荷而响应电力供应,从而保障电网稳定,并抑制电价上升的短期行为，其作为一种重要的电力需求管理方法逐渐引起了国内外研究人员的关注。

目前有很多技术可实现需求响应的建模和应用,包括深度学习,强化学习和区块链技术。需求响应系统的建模一般从以下几个方面考虑：用户用电负荷的建模,用户用电画像,需求响应价格策略,用户负荷的响应策略,新能源的消纳。

深度强化学习作为一种能够与环境交互的智能算法，成为需求响应这一领域新的研究趋势。由于深度强化学习通过不断与环境交互来提取优化知识，当环境变化时，其提取到的优化知识也能在线更新，自动适应被控系统的不确定性，自动探索到最优解。

但是，传统的单智能体深度强化学习算法在训练过程中只有一个智能体在环境中进行交互学习，无法精确的对用户之间的博弈合作关系进行建模，对需求响应中博弈问题的忽略可能导致需求响应的结果出现峰值转移的状况，这种情况违背了需求响应技术的初衷。同时，随着博弈过程的加入，需求响应系统中的智能体只追求全局最优，多个智能体之间相互博弈收敛至纳什均衡的情况可以保证用户自身的舒适度，防止了峰值转移的情况发生。

发明内容

为了克服上述现有技术存在的问题，本发明的目的在于提供一种多主体博弈环境下基于深度强化学习的建筑负荷需求响应方法，解决了用户用电习惯随时间变化后，需求响应策略无法及时适配用户用电习惯变化的问题。

为了达到上述目的，本发明采用如下技术方案：

多主体博弈环境下基于深度强化学习的建筑负荷需求响应方法，包括以下步骤：

S1以建筑物为单位收集电力系统中建筑物的负荷数据，建立建筑物中用电负荷的负荷模型，根据建筑物中用电负荷的负荷模型，以建筑物为单位对每个建筑物的需求响应建立马尔可夫博弈过程模型，分别提取每个建筑物的动作空间和观测空间；

S2根据电力系统的稳定性需求以及不同建筑物之间的博弈关系设计奖励函数，定义需求响应下马尔可夫博弈过程的策略纳什均衡，根据需求响应下马尔可夫博弈过程构建多主体博弈的深度强化学习环境；

S3分别对每个建筑物设计智能体，智能体中包含一个策略网络和一个价值网络，每个智能体策略网络根据用户自身的负荷状态和价值函数输出结果更新参数，输出负荷的动作序列，价值网络用于评估整个电力系统的状态，价值网络收入所有的建筑物的状态，输出当前整个电力系统的负荷可调潜力；

S4使用建筑物的负荷数据训练价值网络和策略网络，最终整个电力系统收敛至策略纳什均衡。

所述S1中负荷模型包括不响应负荷模型，温控负荷模型和储能系统负荷模型；其中，温控负荷模型包括空调系统负荷模型和供暖系统负荷模型；

所述不响应负荷模型为：