[发明专利]基于深度强化学习的分布式能源系统自治控制方法及系统

说明书

本发明提供一种基于深度强化学习的分布式能源系统自治控制方法及系统，该方法提供获取实时环境数据和变化数据，将获取的数据输入训练好的智能体神经网络中进行深度强化学习；进行决策计算，得到决策特征值，输出至决策空间，得到具体执行决策进行仿真，调整仿真模型中的可控设备与负荷，并进行潮流计算，根据执行决策调整现实分布式能源系统中的可控设备及负荷，完成自治控制。通过构建智能体神经网络对分布式能源系统中的电网数据和燃气网数据进行深度学习，将生成的执行策略由仿真系统进行仿真，实现配电网的仿真计算。更能从本质上反映原件的物理特性，能够处理复杂的配电网络，并能实现快速计算，优化能源配置，降低运行成本。

技术领域

本发明属于配用电领域，具体涉及一种基于深度强化学习的分布式能源系统自治控制方法及系统。

背景技术

随着可再生能源大规模开发利用，分布式能源、储能、电动汽车等交互式能源设施快速发展，各种新型用能形式不断涌现，我国能源出现了结构性变革，推动能源系统向能源互联网升级跨越。能源互联网包括多种能量生产、传输、存储和消费网络，且拓扑结构动态变化，演变为结构复杂、设备繁多、技术庞杂的巨维系统，具有典型的非线性随机特征与多尺度动态特征。同时，能源互联网在各要素建模、信息物理融合、运行场景与运行边界描述、多能优化调度等方面均存在挑战，需基于能源生产-能源传输-能源消费，针对能源互联网多能源多要素及其交互过程进行全方位研究。分布式能源系统作为能源互联网的物理载体，是由电、气、热多种能源流相互耦合构成的复杂系统。根据地理因素与能源发/输/配/用特性，可将分布式能源系统分为用户级、区域级和跨区级，其中，园区级分布式能源系统由智能用电系统、分布式/集中式供热系统、供水系统等耦合而成，以提高综合能效作为主要目标，是当前电/气/冷/热各类能源协同利用的主要场所，必将成为实施综合能源优化调控的关键。然而，用户侧分布式能源系统多能流相互耦合、多主体相互博弈，其运行优化面临物理空间、信息空间乃至社会空间的多层次关联，涉及连续及离散动态行为，以及混沌有意识行为的强随机性，呈现出不同时空尺度的动态特性，传统机理模型分析和优化控制方法已经难以满足分布式能源系统规划、设计、运行和维护的要求。

深度强化学习同时具有感知复杂输入和求解最优策略的能力，对具体数学模型依赖程度低，并善于从数据中学习，为突破分布式能源系统运行分析技术瓶颈提供了有效解决途径。其已在分布式能源系统状态估计、优化运行和协同控制等方面的研究起到了推进作用。国内能源领域科研机构和综合能源服务企业在多能源调度和控制方面也做了相关研究，在用户侧分布式能源系统分级调控和风光氢分布式能源系统等方面申报了发明专利，如：CN106849835A-一种风光氢分布式能源系统在线能量调控方法、CN110707711A-一种用户侧分布式能源系统分级调控方法及系统，都采用传统方式进行调控，尚未涉及采用深度强化学习等人工智能技术，及如何实现分布式能源系统分布自治和协同方面的方法。因此，如何利用人工智能算法，实现分布式能源系统分布自治和协同是本领域急需解决的重要问题。

发明内容

本申请通过采用深度强化学习技术，提出适用于综合能源调度控制的具体方法，实现包括冷/热/气/电等能源的综合调度和控制，并以园区级分布式能源系统为例阐述实现方法，以解决目前分布式能源系统粗放运行的问题，最终实现综合能效提升和运行成本下降。

本申请一方面的实施例提供一种基于深度强化学习的分布式能源系统自治控制方法，包括：

通过能源管理系统模块从能源系统获取实时环境数据和变化数据，并将获取的实时环境数据和变化数据输入训练好的智能体神经网络中进行深度强化学习；智能体神经网络将接收到的数据进行决策计算，得到决策特征值，将决策特征值输出至决策空间，得到具体执行决策；按照得到的执行决策进行仿真，调整仿真模型中的可控设备与负荷，并进行潮流计算，判断计算结果是否异常，如果异常则上报异常信息，如果不异常则输出执行决策；根据执行决策调整现实分布式能源系统中的可控设备及负荷，完成自治控制。