[发明专利]基于强化学习的综合能源系统多主体运行优化方法及装置

说明书

本发明公开了一种基于强化学习的综合能源系统多主体运行优化方法及装置，方法包括：构建综合能源系统模型；对构建的系统模型进行分层，上层为多主体博弈，下层为设备调度优化；为求解上层多主体博弈过程，基于Stackelberg博弈定义以排列组合的形式筛选Nash均衡点，并结合Nash‑Q算法获取全系统最优策略组合；以各主体生产成本最小为目标函数使用CPLEX求解器求取下层各主体设备最优运行状态。装置包括：构建模块、划分与互动模块、筛选与求解模块、求取模块。本发明解决了现有算法在指导园区优化运行时柔性资源未被充分挖掘、未计及多方主体互动、不利于最优潮流计算等问题。

技术领域

本发明涉及综合能源系统运行优化领域，尤其涉及一种基于强化学习的综合能源系统多主体运行优化方法及装置。

背景技术

能源是人类生存与发展的基础，是社会进步的基本保障。近些年来，随着化石能源的不断消耗、世界用能需求的不断上升，如何高效的利用能源成为了一个非常重要的研究课题。因此，发掘新能源、提升已有能源的利用效率迫在眉睫。综合能源系统(IntegratedEnergy System,IES)是一种将多种能源混合利用、通过不同能源之间的协调互补进行供能的系统，它打破原有各供能系统单独规划、单独设计和独立运行的既有模式，进行社会能源系统的一体化规划设计和运行优化，能够提升各类能源的利用效率。综合能源系统中往往存在多个利益主体，各主体在满足供应需求的情况下，均可根据自身的利益目标灵活协调，这为分析各主体行为带来了一定困难。

在分析综合能源系统多主体博弈时，目前大部分学者常采用粒子群算法。然而该类启发式算法计算时间较长、分析博弈较慢，且容易收敛于局部最优点，单次优化不容易得到全局最优解。在实际工程应用中，较长的计算时间会使园区运营者制定的控制策略相对滞后，不利于柔性资源的充分挖掘与全系统的优化运行；系统运行于局部最优点时，各个主体的互动能力未被充分挖掘，其实际收益低于理论最优，同时也不利于网级层面的最优潮流计算。为解决此类问题，众多研究人员将人工智能算法引入多主体博弈并取得了一定的效果。

发明人在实现本发明的过程中，发现现有技术至少存在以下缺点和不足：

1、现有的启发式算法计算时间较长、分析博弈较慢，较长的计算时间会使园区运营者制定的控制策略相对滞后，不利于柔性资源的充分挖掘与全系统的优化运行；

2、现有技术未能充分考虑运营方、服务方和用户多方主体互动，各个主体的互动能力未被充分挖掘，实际收益低于理论最优；

3、现有技术容易收敛于局部最优点，单次优化不容易得到全局最优解，不利于网级层面的最优潮流计算。

发明内容

为了解决在求解园区运行时传统的粒子群等启发式算法导致的柔性资源未被充分挖掘、多方主体利益低下、不利于最优潮流计算等问题，本发明提供了一种基于强化学习的综合能源系统多主体运行优化方法及装置，详见下文描述：

第一方面，一种基于强化学习的综合能源系统多主体运行优化方法，所述方法包括：

构建园区综合能源系统多主体模型，将多主体模型的优化过程分为上层多主体博弈与下层设备调度优化，并采用“源-荷”双侧博弈互动；

基于Stackelberg博弈定义以排列组合的形式筛选Nash均衡点，并结合Nash-Q算法获取全时段的最优组合动作，即为当前典型日的最优策略；以各主体生产成本最小为目标函数使用CPLEX求解器求取各主体设备最优运行状态。

在一种实现方式中，所述基于Stackelberg博弈定义以排列组合的形式筛选Nash均衡点具体为：

应用强化学习中的强化信号去描述多主从博弈中纳什均衡点的实际物理意义，根据强化信号判断组合动作是否满足任一智能体的回报约束条件，若满足则该组合动作为一个Nash均衡解。