[发明专利]基于强化和模仿学习的多微网电能交易的定价策略及系统

说明书

本发明公开了一种基于强化和模仿学习算法的主电网定价策略及系统，该定价策略包括微网电能需求的预测，自生成专家知识模仿学习机制以及策略学习机制，该方法能够在主电网未知各微网效用函数参数的前提下，制定最优的定价策略，从而最大化其个人经济效益，该方法利用强化和模仿学习算法学习最优定价策略，通过实验证明了其在一定的迭代后能够收敛达到至经济效益的最优状态，与其他的策略方法相比，本方法能够最大限度的市场的整体经济效益，实现需求响应，减小电能供应和分配的压力。

技术领域

本发明属于电力系统数据安全和控制技术领域，涉及一种基于强化和模仿学习的多微网电能交易的定价策略。

背景技术

智能电网是一个典型的信息物理系统(CPS)，能够实现信息和电力在各实体之间的双向传输，包括发电厂、最终用户和每个终端用户。与传统电网相比，智能电网保证了能源的安全、高效、可靠的分配。微电网作为智能电网中的局部配电系统，因其具有环境友好性和自我可持续性等优点，近年来备受关注。为满足负荷需求，可再生发电机组被集成到微网中。然而，间歇性可再生发电机组由于不可预测的环境因素不能满足微网的负荷需求，特别是在负荷高峰时期，这一现象更为严重。因此，微网仍需要从考虑主电网(MPG)处购电。在主电网和微网之间的电力交易市场中，主电网负责根据定价策略制定交易价格，微网确定电力交易量。因此，主电网的定价策略在智能电网的电力市场中起着重要的作用。一方面，主电网的定价策略在很大程度上决定了能源市场的经济效益。另一方面，主电网的定价策略对需求响应的实现起着重要作用。因此，有必要制定一种既能实现经济利润最大化又能实现需求响应的有效定价策略。

博弈论是分析电力市场中主电网和微网之间相互作用过程并制定电价策略的有力工具。主电网-微网电能交易市场可以看作一个典型的斯塔克尔伯格交易模型，主电网作为领导者，各微网作为模型中的跟随者。已有相关研究表明，斯塔克尔伯格博弈模型虽然可以精确地模拟电力交易，但仍存在一个难以解决的问题，即先前的研究是在假定主电网完全了解电力消费者的准确效用函数的基础上制定主电网的定价策略。然而，在现实世界中，这种假设是不切实际的，因为效用函数属于消费者的私人信息，消费者大多不愿意将这些信息泄露给他人。

近年来，强化学习(RL)和模仿学习(IL)的快速发展使得在不了解微网效用函数的前提下学习定价策略成为了可能。强化学习通过智能体与环境的交互作用来帮助智能体学习最优的行动策略，并被引入到电力市场定价策略学习中。模仿学习方法提供专家知识，允许智能体在学习行动策略时模仿专家行为策略。因此，RL经常与IL方法结合使用来提高策略的学习效率。

然而，在电力市场中应用基于RL和IL(RIL)的方法时，仍面临两个主要的挑战:1)微网电力市场环境下的奖励函数由于日结算机制的存在而变得稀疏；其中主电网仅在日结算时获得该天的经济收益，极大地降低了RL方法的学习效率；2)RIL方法的性能依赖于专家知识数据集的质量。然而，在智能电网电力交易研究领域，公认的专家数据集较少，这使得IL方法难以直接应用于电力市场。

发明内容

针对现有技术中存在的问题，本发明的目的在于利用强化和模仿学习算法，为主电网在主电网-微网电能交易市场中制定最优的定价策略。该方法能够克服奖励函数稀疏，缺少专家数据集等缺点，实现主电网经济效益的最大化。

本发明是通过以下技术方案来实现：

一种基于强化和模仿学习的多微网电能交易的定价策略，包括以下步骤：

步骤1、将能源交易中主电网的定价策略问题转化为马尔科夫博弈模型，定义马尔科夫博弈模型的环境状态、博弈者的行为和奖赏函数；

步骤2、构建主电网的深度神经网络，包括策略网络、评判网络、目标策略网络和目标评判网络；

策略网络用于根据代理人的行为信息输出定价策略，评判网络用于评判代理人的行为策略，目标网络则用于策略网络和评判网络的更新；