[发明专利]一种混合深度对抗网络滚动强化学习博弈策略

说明书

本发明提供一种混合深度对抗网络滚动强化学习博弈策略，该策略能解决目前能源分布和市场供求失衡问题，最大限度地实现供需均衡。本发明提出的混合深度对抗网络滚动强化学习算法框架，以基于深度对抗网络算法的智能体与多个基于强化学习算法的智能体进行博弈，并在多区域互联的能源系统中进行测试。本发明提出一种混合深度对抗网络滚动强化学习算法来探索一种长期的价格动态引导策略，动态地维持供电、供气、供暖、供冷、供氢和电气化交通等能源产消者之间的经济利益最大化。

技术领域

本发明属于电力市场调度与优化领域，涉及一种多智能体系统的博弈算法，适用于电力市场调度与优化。

背景技术

随着能源的枯竭和环境的恶化，人类逐渐转变能源的利用方式。美国著名学者杰里米·里夫金在其著作《第三次工业革命》中第一次提出能源互联网。能源互联网以电力网络为核心，联合石油网络、天然气网络等能源节点，从而大规模利用和共享各种资源。但是，在实际的资源分配中，人们过于注重整体利益，从而极易出现效益分配不合理甚至导致区域利益牺牲，进而影响整个区域。

为解决区域能源分配不合理的问题，从而实现区域经济利益最大化，需采取合作博弈的方法。在多区域互联的系统中，能源产消者与能源服务商进行博弈，从而协调各决策主体平衡和优化各方利益。但是，实际区域往往注重于个体经济利益，无法找到纳什均衡解。

近年来，随着科技的进步，人工智能得到快速的发展，而生成对抗网络无疑是当前人工智能界最为重要的技术之一。因为生成对抗网络具有出色的生成能力，所以在各类图像和自然语言领域具有较大的优势。生成对抗网络由生成器与判别器构成，通过无监督学习的训练方式，生成器与判别器两者相互对抗共同提高。生成对抗网络训练的目的是为找到一个纳什均衡解，从而实现各方利益最大化。

深度学习算法与强化学习算法、蒙特卡罗树搜索算法结合的算法在围棋方面的应用受到了诸多学者的关注。深度学习能学习数据的输入和输出关系，并且速度较快，多智能体之间的博弈可通过机器学习算法解决，因此深度学习能被应用于电力系统的电力市场问题中。强化学习算法是一种无需模型的算法，且在外部的扰动下，能获得较高的控制性能指标，能适应于未知环境的控制。强化学习算法与博弈思想相结合，可使得各区域的智能体多能互补，实现区域的利益最大化。

为满足各个区域的控制策略最优，同时满足各区域的控制性能、经济性和环保等多方面最优，本发明引入了生成对抗网络思想，通过博弈的思想使得区域能源多能互补。但是，针对电力系统的多区域多能源博弈问题，传统的基于生成对抗网络的方法，难以找到纳什均衡点，或者生成的样本与真实数据相差甚大。为此，本发明提出一种混合深度对抗网络滚动强化学习博弈算法，以基于深度对抗网络算法的智能体与多个基于强化学习的智能体进行博弈，来探索一种长期的价格动态引导策略，动态地维持供电、供气、供暖、供冷、供氢和电气化交通等能源产消者之间的经济利益最大化。

发明内容

本发明提出一种混合深度对抗网络滚动强化学习博弈策略。该策略是针对多智能系统的博弈方法，以基于深度对抗网络算法的智能体与多个基于强化学习算法的智能体进行博弈。

能够感知环境的自治智能体，可通过强化学习来选择其目标的最优动作。在预训练过程中，每个能源产消者都采用了各自的强化学习算法去训练属于自身的被动引导策略。其中，强化学习算法中强化矩阵Q和概率矩阵P的更新方式可如下表示：

式中，s表示能源产消者在系统环境所处的当前时刻，s′表示能源产消者在系统环境所处的下一时刻状态，α和β分别表示强化学习的学习率和概率分布因子，1/|A|表示概率矩阵P(s,a)中每个元素的初始值，在概率矩阵范围是P(s,a)∈[0,1]内，|A|为动作集A中动作的数量，γ为强化学习算法的折扣因子，R(s,s′,a)为在状态s的情况下给出动作a后转移到状态s′的立即奖励值。