[发明专利]一种面向多智能体强化学习能源系统的鲁棒对抗训练框架

权利要求书

1.一种面向多智能体强化学习能源系统的鲁棒对抗训练框架，其特征在于，包括：

步骤1、构造一个对抗智能体以生成对抗攻击，并建模为对抗性部分可观察的随机博弈系统；

步骤2、固定经过预训练的被害多智能体策略，训练一个最优的确定性对抗策略来产生有界扰动；

步骤3、固定最优的对抗攻击策略，通过对抗性训练提高最优攻击者下受害者策略的鲁棒性。

2.根据权利要求1所述的面向多智能体强化学习能源系统的鲁棒对抗训练框架，其特征在于，步骤1包括：

步骤1.1，将基于多智能体强化学习的综合能源管理系统表述为部分可观察的随机博弈问题，每个智能体控制一个建筑，通过优化所有智能体的策略以使得整个团队的累积奖励最大化:

其中，N是智能体数量，S是环境状态，Aⁱ是第i个智能体的动作空间，是联合动作空间,定义为A＝A¹×…×A^N；P:S×A×S→Δ(S)是任意t时刻给定动作下从状态s_t到下一个t+1时刻状态s_t+1的状态转移概率；是第i个智能体从(s_t,a_t)到下一时刻状态s_t+1的及时反馈奖励；γ是折扣因子；Oⁱ是第i个智能体的观测空间，联合观测空间是{Oⁱ}_i∈N，定义为O＝O¹×…×O^N；Z:S×A→Δ(O)是任意t时刻联合观测o_t∈O在任意动作a_t下，状态s_t的观测概率；

在t时刻，每个智能体i根据观测通过策略选择动作然后，环境根据状态转移概率P移动到下一个状态，s_t+1～P(·|s_t,a_t)；每个智能体i获得奖励和新的局部观测

步骤1.2、在所述综合能源管理系统中引入一个对手智能体，通过生成最强对抗攻击引起模型最差性能，将这个系统建模为对抗性部分可观察的随机博弈问题：

＜W，S，A^adv，{Aⁱ}_i∈N，P，{Rⁱ}_i∈w，R^adv，γ，{Oⁱ}_i∈N，Z＞

其中N是受害智能体数量，S是环境状态，A^adv和R^adv分别是攻击者的行动空间和奖励函数；Aⁱ是第i个受害智能体的动作空间，是联合动作空间,定义为A＝A¹×…×A^N；P:S×A^adv×A×S→Δ(S)是给定动作和A^adv下从状态s_t到下一个时刻状态s_t+1的状态转移概率；是第i个智能体从(s_t,a_t)到下一时刻状态s_t+1的及时反馈奖励；γ是折扣因子；Oⁱ是第i个智能体的观测空间，联合观测空间是{Oⁱ}_i∈N，定义为O＝O¹×…×O^N；Z:S×A→Δ(O)是任意t时刻联合观测o_t∈O在任意动作a_t下，状态s_t的观测概率。