[发明专利]基于深度强化学习的多用户子载波功率分配方法

说明书

一种多用户子载波功率分配方法、电子设备及存储介质，一个实施例的方法包括：获取当前环境状态，当前环境状态包括：发射机本地状态，基站状态，干扰邻居状态以及被干扰邻居状态；基于用来进行动作选择的第一神经网络对所述当前环境状态进行处理，获得当前功率分配方案，所述第一神经网络包括动作选择参数；所述当前功率分配方案包括：各可用子载波，以及各可用子载波对应的发射功率等级。本实施例最大限度保证信息传输的安全性，实现了子载波的复用，可以有效克服频谱资源短缺的问题。

技术领域

本申请涉及通信技术领域，特别是涉及一种基于深度强化学习的多用户子载波功率分配方法、电子设备及存储介质。

背景技术

随着通信网络的发展和物联网时代的到来，接入通信网络的终端数量呈指数级增长，据估计，将有超过500亿台设备相互连接和交换信息，在此情况下，随着接入通信网络的设备数量的增加，对通信资源的需求是巨大的。然而，能够进行分配的频谱资源有限，难以满足通信网络发展所面临的频谱资源的需求，因此，频谱资源的短缺成为通信过程中的发展瓶颈。

发明内容

基于此，有必要提供一种基于深度强化学习的多用户子载波功率分配方法、电子设备及存储介质，以解决资源短缺的问题。

一种基于深度强化学习的多用户子载波功率分配方法，所述方法包括：

获取当前环境状态，当前环境状态包括：发射机本地状态，基站状态，干扰邻居状态以及被干扰邻居状态；

基于用来进行动作选择的第一神经网络对所述当前环境状态进行处理，获得当前功率分配方案，所述第一神经网络包括动作选择参数；所述当前功率分配方案包括：各可用子载波，以及各可用子载波对应的发射功率等级。

一种基于深度强化学习的多用户子载波功率分配方法，包括步骤：

获取预定数量的经验回放样本，所述经验回放样本包括对应的当前环境状态，所述当前环境状态包括：发射机本地状态，基站状态，干扰邻居状态以及被干扰邻居状态；

采用所述经验回放样本对用来评估动作的第二神经网络进行训练，获得训练后的第二神经网络，所述训练后的第二神经网络中包括最优动作值评估参数；

在满足参数更新条件时，将所述最优动作值评估参数发送给发射机，以使得所述发射机采用所述最优动作值评估参数更新用来进行动作选择的第一神经网络，所述第一神经网络用于发射机进行当前功率分配方案的确定，所述第二神经网络与所述第一神经网络的结构相同。

一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现控制执行如上所述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现控制执行如上所述的方法的步骤。

基于如上所述的实施例方案，其在进行子载波功率分配时，不仅获取发射机本地状态，基站状态，还包括干扰邻居状态以及被干扰邻居状态，并在此基础上进行功率分配，从而信息交换仅限于选定的相邻设备之间，因此可以显著降低信令开销，同时最大限度保证信息传输的安全性，同时通过将子载波划分为不同的发射功率等级，从而不同的发射机可以在各子载波的不同的发射功率等级上进行通信传输，实现了子载波的复用，可以有效克服频谱资源短缺的问题。

附图说明

图1为一个实施例中的应用场景示意图；

图2为一个实施例中的多用户子载波功率分配方法的流程示意图；

图3为另一个实施例中的多用户子载波功率分配方法的流程示意图；

图4为一个实施例中的多用户子载波功率分配方法的流程示意图；

图5为一个实施例中的原理架构示意图；