[发明专利]一种融合Q学习与势博弈的多微电网系统协调控制方法

说明书

一种融合Q学习与势博弈的多微电网系统协调控制方法，属于微电网协调控制技术领域，解决如何以微电网收益最大化和微电网间出力平衡为目标实现多微电网协调控制问题，基于多微电网分布式协调架构和势博弈优化策略，构建了融合强化学习与势博弈的多微电网系统协调控制方法。充分利用势博弈的分布式特性，将每个微电网视为一个智能体，采用分布式协调控制结构，以最大限度提高和平衡单微电网和整体多微电网系统的经济性为目的建立势博弈模型，然后以强化学习的Q学习算法为载体，以参数传递的方法将势博弈和强化学习算法进行融合，从而得到最优纳什均衡解，以提高寻优性能，提高多微电网系统经济性，实现系统整体和系统内个体的利益平衡。

技术领域

本发明属于微电网协调控制技术领域，涉及一种融合Q学习与势博弈的多微电网系统协调控制方法。

背景技术

随着可再生能源技术的迅速发展及分布式能源在配电网中的大范围高渗透，单一微电网系统逐渐向多微电网系统转型。多微电网不仅具有更高可靠性，还能够有效提高可再生能源就地消纳能力，但因其规模大、复杂性高、投资主体多样化，传统集中式控制方法难以满足其控制需求，且系统整体利益及系统内个体利益难以达到平衡，参见文献《Amultiagent-based hierarchical energy management strategy for multi-microgridsconsidering adjustable power and demand response》(V.H.Bui,etc.,IEEETransactions on Smart Grid 9.2(2018):1323-1333)；因此，亟需研究一种有效协调整体与个体间经济关系，提高系统经济性的多微电网分布式协调控制方法。

强化学习主要是通过智能体与环境进行交互从而不断改善自身行为，智能体选择动作作用于环境，得到环境奖励或惩罚的反馈，并根据反馈及环境变化选择下一个动作，有利于目标的动作被保留，不利于目标的动作被删减。Q学习算法是强化学习中一种基于值函数迭代的离线控制算法，原理是利用包含先前经验的Q值表作为后续迭代计算的初始值，从而缩短算法的收敛时间。势博弈(Potential game，PG)是非合作博弈的一个子类，于1996年由Monderer和Shapely首次提出。它将个体收益的变化映射到势函数中，当个体通过调整策略使得自己的收益增加时，势函数的值也同步增加，借助求解势函数最大值或极大值，可间接求得纳什均衡解。势博弈具有分布式特性，适合求解分布式优化问题，且拥有有限改进特性(finite improvement properties，FIP)，每个有限势博弈必有纯策略纳什均衡，因此势博弈在算法复杂度和计算量方面有着很大的优势。