[发明专利]一种基于强化学习的智能电网切片无线资源分配方法及系统

权利要求书

1.一种基于强化学习的智能电网切片无线资源分配方法，所述方法包括：

基于智能电网场景下的不同电力业务的需求对所述电力业务进行分类，并为多个所述电力业务设置优先级；

按照所述电力业务的分类将所述电力业务与电网切片进行关联；

建立电网业务资源分配的强化学习优化模型，根据所述强化学习优化模型的当前切片状态和奖励函数确定下一个状态执行的动作，基于最小成本原则为电网业务分配电网切片；其中优先级高的电力业务优先分配电网切片。

2.根据权利要求1所述的方法，将多个所述电网切片按需求进行联合，通过切片管理器管理对应的切片。

3.根据权利要求1所述的方法，所述电力业务的类别包括：电网控制类、信息采集类和移动应用类；

所述电力业务的需求包括时延、速率、可靠性。

4.根据权利要求1所述的方法，所述建立电网业务资源分配的强化学习优化模型，包括：

所述状态空间为：

电网切片m在第n个状态下的当前状态s_m用于指示当前所有可用于承载相关电力业务的切片的状态空间；

每个用户的需求d_k＝d₁，d₂，...，d_K；

系统的频谱效率SE可定义为：

其中，B是基站n的系统带宽，R是传输速率，b_k是分配给用户k的带宽；σ²表示热噪声功率，表示信道增益，基站n的发射功率用p_n表示，N为系统中的基站总数量，l为系统中的某个基站；

用户体验质量QoE定义为：

∑_s∈Mμ_s＝1

其中R为传输速率；为单位时间内用户的最大传输速率；是用户实际速率与最大速率的比值；μ_s表示用户的优先级，基于用户体验质量QoE确定电力业务的优先级；

所述奖励函数为：

Reward＝λ·SE+γ·QoE，

其中，λ，γ分别代表SE和QoE的权重系数；SE代表频谱效率，QoE表示用户体验质量。

5.根据权利要求4所述的方法，所述强化学习优化模型的算法为：

设置状态空间为S＝{s₁，s₂，...，s_n}，动作空间为A＝{a₁，a₂，...，a_n}，奖励函数为Reward＝{s_t，a_t}，P(s_t，s_t+1)表示从状态s_t转移到s_t+1的转移概率；

策略π：S→A，从状态空间到动作空间的映射，代表从状态s_t进行a_t的动作，变换到下一状态s_t+1；强化学习算法通过定义值函数得到最优策略，值函数定义为下式：

V代表值函数，γ是表示未来效用对当前效用的重要性的一个系数,r_i代表第i次奖励函数的值，最优策略对应着最大值函数，即：

根据Q-learning算法，切片控制器通过迭代学习到最优的Q值；在任意时刻，处于状态s的切片控制器选择动作a，得到奖励Reward(s，a)，同时也会转移到下一个状态s′；

其中，α代表学习率；Q(s，a)表示状态为s,动作为a时的Q值；

通过调整α和γ的值，保证Q(s，a)最终可以收敛到最优策略时候的值，即Q^*(s，a)。