[发明专利]一种基于深度强化学习的Femtocell异构网络功率自适应优化方法

权利要求书

1.一种基于深度强化学习的Femtocell异构网络功率自适应优化方法，其特征在于：包括如下步骤：

步骤S1、建立Femtocell异构网络系统模型，并进行问题建模

设计Femtocell异构网络中基站类型、数量、服务的用户数量、干扰的类型以及系统实现的目标，并就以上系统元素以及系统目标建立数学优化模型；

步骤S2、将基于Femtocell异构网络的功率自适应优化问题建模成马尔科夫决策过程MDP，设计其状态空间、动作空间以及奖励函数

设计其MDP元组元素，具体为一个基本的MDP模型通常是由S，a，P，R，γ五元组构成，其中S表示环境中的状态集合，a表示环境中可采取的动作集合，P是状态转移概率矩阵P(s′|s，a)表示在智能体状态s时执行动作a后转移到状态s′的概率，其中P(s′|s，a)＝P(s_t+1＝s′|s_t＝s，a_t＝a)∈[0，1]，R是回报函数，R^a(s→s′)表示智能体在状态s时执行动作a后转移到状态s′时环境反馈回的回报值，γ为折扣系数，0≤γ≤1；

步骤S3、深度强化学习算法DDPG搭建

设计DDPG算法中的Actor网络和Critic网络，其中Actor和Critic网络均具有当前策略网络和目标策略网络；

其中Actor当前策略网络μ负责策略网络参数θ的迭代更新，根据当前智能体感知的状态S选择当前动作A；

其中Actor目标网络μ′负责根据经验回放池中采用的下一状态S′选择动作A′，网络参数θ′定期从θ复制；

其中Critic当前策略网络Q负责网络参数ω的迭代更新，负责计算当前状态S、动作A的Q值Q(S，A，ω)；

其中Critic目标网络Q′负责计算下一状态S′、下一动作A′的Q′值Q′(S′，A′，ω′)，网络参数ω′定期从ω复制；

步骤S4、模型训练

通过利用Actor当前策略网络μ感知当前状态并产生执行动作，获得环境反馈的奖励以及下一状态，将上述信息存入经验回放池；

Actor当前策略网络参数μ的训练使用损失梯度

Critic当前策略网络参数ω的训练使用均方损失函数进行反向传播更新参数，其中y_j＝R_j+γQ′(S′，A′，ω′)。

2.根据权利要求1所述的基于深度强化学习的Femtocell异构网络功率自适应优化方法，其特征在于：问题建模的问题模型描述如下：

s.t.P_min≤P_i≤P_max，i＝1，...，N (1)

C_MUE≥l_MUE (2)

其中为Femtocell基站群选择的发射功率集合，式(1)表示FBS发射功率约束，式(2)、式(3)分别表示MUE、FUE信息约束。

3.根据权利要求2所述的基于深度强化学习的Femtocell异构网络功率自适应优化方法，其特征在于：

在步骤S2中，基于步骤S1中建立的系统模型，建立MDP过程，智能体为每一个Femtocell基站，即FBS_i，i∈{1，...，N}；动作集合设计为智能体FBS允许分配的发射功率，DDPG算法可在连续合法功率取值空间中进行功率决策，即每一个FBS都将从动作集合P_min≤a∈A≤P_max中选择一个发射功率；状态集合定义主要考虑到距离因素和阈值约束因素，对于第i个智能体FBS，在时刻t定义其状态s∈S为其中表示MUE在时刻t的信息容量是否超过了指定阈值l_MUE，即状态表示FUE在时刻t信息容量是否超过设定阈值即表示在时刻t第i个FBS与MUE之间距离可取0、1、2、3四个值，当取0时说明第i个FBS与MUE距离很近，同理取3时说明距两者相距较远，即类似的，表示在时刻t第i个FBS与MBS之间距离可取0、1、2、3四个值，即定励函数的设计主要考虑到网络容量和约束关系，每一个智能体FBS选择、执行完动作级发射功率后获得的奖励