[发明专利]基于强化学习的分布式能源参与配电网调峰调度优化方法

说明书

本发明公开了一种基于强化学习的分布式能源参与配电网调峰调度优化方法，包括：建立分布式能源参与配电网调峰调度模型，确定系统目标函数和相关约束条件，形成原始优化问题；将分布式能源参与配电网调峰调度模型转化为马尔可夫决策过程；获取某地区典型日的系统负荷、可控分布式电源和分布式储能的历史数据；根据深度确定性策略梯度DDPG算法原理，构建神经网络；利用DDPG算法对历史数据进行学习，并对分布式能源参与配电网调峰调度模型进行求解，得到分布式储能单元的最优行为策略，实现分布式能源参与配电网调峰调度优化。本发明能够实现分布式能源参与配电网调峰的调度优化，有效地进行削峰填谷，提高电力系统运行的经济性。

技术领域

本发明实施例涉及电力系统技术领域，尤其涉及一种基于强化学习的分布式能源参与配电网调峰调度优化方法。

背景技术

以传统化石能源为主的能源消费结构加剧了环境污染以及能源枯竭等问题，尤其是近年出现的全国大范围雾霾天气，开发和利用清洁无污染的可再生能源势在必行。分布式能源主要包括：分布式光伏、分散式风电和分布式储能等，分布式能源能够充分利用清洁和可再生能源，是实现节能减排目标的重要举措，同时也是集中式发电的有效补充。电力系统运行过程中，随着用户负荷不断增加以及负荷的波动，电力负荷峰谷差将会逐渐增大，为保证电网稳定运行和供用电平衡，需采取相应的削峰填谷措施。而分布式能源具有能效利用合理、运行灵活、经济成本低等特点，能够在智能配电网处于负荷高峰状态时提供充足的峰值功率、满足峰值负荷的需求，从而缓解输电线路的功率阻塞，起到有效调节电力系统负荷峰值的作用。

现有针对分布式能源参与配电网调峰的调度优化策略多引入虚拟电厂的概念对分布式电源进行控制，以负荷方差最小及运行成本最小为目标，建立多目标调峰调度模型，并采用粒子群算法(PSO)模型进行优化求解。

采用粒子群算法(PSO)对含分布式能源的智能配电网的多目标调峰调度模型进行求解时，当所建立的配电网调峰调度模型中具有多个目标函数，并且各个目标函数是互相冲突时，同时使多个目标值都达到最优解是不可能的，因此多目标函数的最优解是使任一目标函数值在不使其它布标函数劣化的条件下，不能够进一步优化的一组解(即帕累托最优解集)，粒子群算法在求解多目标函数模型过程中，一般会出现以下问题：1)惯性权重选取不当，最优解容易陷入局部最优；2)帕累托解集的更新策略不当使得最优解集的多样性分布分散。

发明内容

本发明提供一种基于强化学习的分布式能源参与配电网调峰调度优化方法，以解决现有技术的不足。

为实现上述目的，本发明提供以下的技术方案：

一种基于强化学习的分布式能源参与配电网调峰调度优化方法，包括：

建立分布式能源参与配电网调峰调度模型，确定系统目标函数和相关约束条件，形成原始优化问题；

将分布式能源参与配电网调峰调度模型转化为马尔可夫决策过程；

获取某地区典型日的系统负荷、可控分布式电源和分布式储能的历史数据；

根据深度确定性策略梯度DDPG算法原理，构建神经网络；

利用DDPG算法对历史数据进行学习，并对分布式能源参与配电网调峰调度模型进行求解，得到分布式储能单元的最优行为策略，实现分布式能源参与配电网调峰调度优化。

进一步地，所述基于强化学习的分布式能源参与配电网调峰调度优化方法中，所述分布式能源参与配电网调峰调度模型为以系统负荷方差最小、系统运行成本最小为目标的多目标调峰模型。

进一步地，所述基于强化学习的分布式能源参与配电网调峰调度优化方法中，所述相关约束条件包括电网平衡约束、潮流约束、分布式电源出力约束和分布式储能单元运行约束。

进一步地，所述基于强化学习的分布式能源参与配电网调峰调度优化方法中，所述可控分布式电源包括分布式光伏和分散式风电。