[发明专利]一种基于强化学习的通信资源分配方法及其相关设备

权利要求书

1.一种基于强化学习的通信资源分配方法，包括：

S1、获取目标用户和非目标用户的位置，初始化所述目标用户的Q值、回报函数和状态信息；

S2、生成随机数，根据所述随机数和ε贪婪算法，确定所述目标用户的信道选择策略和所述目标用户的功率选择策略；

S3、根据所述目标用户和非目标用户的位置、所述目标用户的Q值和回报函数、所述目标用户的状态信息、所述信道选择策略和所述功率选择策略进行通信资源分配，计算下一时刻的回报函数和状态信息并更新所述目标用户的Q值；

S4、返回步骤S2循环迭代，直到满足预设的迭代时间或满足预设条件，得到所述目标用户的最终信道选择策略和所述目标用户的最终功率选择策略，并根据所述最终信道选择策略和所述最终功率选择策略，进行通信资源分配。

2.根据权利要求1所述的方法，其中，所述生成随机数，根据所述随机数和ε贪婪算法，确定所述目标用户的信道选择策略和所述目标用户的功率选择策略，包括：

响应于确定所述随机数小于ε，选择使动作策略概率最大的动作策略；

响应于确定所述随机数大于等于ε，选择使所述Q值最大的动作策略。

3.根据权利要求1所述的方法，其中，所述状态信息包括：目标用户链路的发送端到接收端的信道增益，来自其他目标用户链路发送端的干扰增益，目标用户链路发送端到基站的干扰增益，非目标用户到目标用户链路接收端的干扰增益，每个信道上的所述目标用户和非目标用户数目，所述目标用户和非目标用户的通信服务质量。

4.根据权利要求1所述的方法，其中，所述回报函数与所述目标用户和非目标用户的通信质量、所述目标用户和非目标用户的总的吞吐量有关；

当所述目标用户和非目标用户的通信质量满足最低通信门限要求时，所述回报函数大于0；

当所述目标用户和/或非目标用户的通信质量不满足最低通信门限要求时，所述回报函数小于0。

5.根据权利要求4所述的方法，其中，所述回报函数表示为：

其中，λ_m和λ_n分别是平衡所述目标用户链路和所述非目标用户链路的权重，0≤λ_m≤1，0≤λ_n≤1，β_m,k表示所述非目标用户的通信质量，γ_n,k表示所述目标用户的通信质量，β₀表示所述非目标用户的最低通信门限要求，γ₀表示所述目标用户的最低通信门限要求，r_m表示所述非目标用户可实现的最大通信速率，r_n表示所述目标用户可实现的最大通信速率，R₀＜0。

6.根据权利要求1所述的方法，其中，所述更新所述目标用户的Q值通过下述公式更新：

其中，s_t表示状态信息，a_t表示动作策略，表示下一时刻状态s_t+1下所有可能动作策略的最大Q值，γ为折扣因子,0≤γ≤1,α表示t时刻下的学习因子。

7.根据权利要求1所述的方法，其中，所述目标用户和非目标用户都不少于一个。