[发明专利]一种基于Q学习的蜂窝网络D2D通信功率控制算法

说明书

本发明公开了一种基于Q学习的蜂窝网络D2D通信功率控制算法，包括如下步骤：步骤1、利用距离信息计算蜂窝链路和D2D链路的信道增益，利用频谱分配信息计算用户链路的信干噪比，根据香农公式计算用户吞吐量；步骤二、根据D2D通信功率控制场景定义Q学习中的智能体、动作、状态、奖励函数等参数；步骤三、在集中式场景下设计并运行Q学习算法；步骤四、在分布式场景下设计并运行Q学习算法。本发明在保证蜂窝用户通信质量的前提下，能够有效提高蜂窝用户、D2D用户共存系统的吞吐量。

技术领域

本发明属于无线通信技术领域，尤其涉及一种基于Q学习的蜂窝网络D2D通信功率控制算法。

背景技术

由于通信终端的急速增长，无线频谱资源短缺问题日益严重，为缓解频谱资源短缺问题，D2D通信方式被提出并应用于蜂窝网络中，它具有提高频谱利用率、降低通信时延、节约功率能耗等优势。在共享模式中，D2D用户对复用蜂窝用户的频谱资源块，能够有效提高蜂窝网络的频谱利用率，但两者之间的互相干扰无法避免。因此，如何在保证蜂窝用户通信质量的前提下有效缓解D2D链路与蜂窝链路之间的干扰成为D2D通信中的一个重要问题。针对这一问题，目前的解决方法主要包括功率控制、频谱分配和模式选择三种，其中功率控制通过对用户进行合理的功率分配减小链路之间的干扰。针对蜂窝网络D2D通信的功率控制方法已经得到广泛研究。但随着机器学习的广泛应用，有必要探索和研究基于机器学习的D2D通信干扰控制方法，以进一步提升蜂窝网络D2D通信的性能。

发明内容

本发明目的在于提供一种基于Q学习的蜂窝网络D2D通信功率控制算法,以解决在单小区上行链路共享场景中引入D2D通信导致的基站、蜂窝用户、D2D用户对三者之间的干扰问题和提高系统吞吐量的技术问题。

为解决上述技术问题，本发明的具体技术方案如下：

一种基于Q学习的蜂窝网络D2D通信功率控制算法，包括如下步骤：

步骤1、为蜂窝用户和D2D用户对分配频谱资源，利用基站和用户之间的距离信息计算蜂窝用户与基站之间、D2D用户对与基站之间、蜂窝用户与D2D对之间、D2D用户对之间的信道增益，利用频谱分配信息计算共享同一频谱资源块的用户链路的信干噪比，根据香农公式计算用户吞吐量；

步骤2、根据D2D通信功率控制的场景定义Q学习中的智能体、动作、状态、奖励函数参数；

步骤3、在集中式场景下设计并运行Q学习算法，在集中式场景中，占用同一个频谱资源块的所有D2D用户对共同维护和更新一个Q值表，Q值表个数与频谱资源块的数目相等，功率分配过程是多个独立的Q学习过程；

步骤4、在分布式场景下设计并运行Q学习算法；在分布式场景中，每个D2D用户对单独维护一张Q值表，Q值表个数与D2D用户对的数目相等。

进一步的，步骤1中蜂窝链路的信干噪比为：

其中，C_i表示第i个蜂窝用户(i＝1,2,…,M)，D_j表示第j个D2D用户对(j＝1,2,…,N)，r＝1,2,…,K表示网络中频谱资源块的编号，M表示蜂窝用户，N表示D2D用户对，K表示频谱资源块的数量；表示共享第r个频谱资源块的所有D2D用户对的集合；表示占用第r个频谱资源块的蜂窝用户C_i的发射功率，表示占用第r个频谱资源块的D2D用户对D_j的发射功率；表示占用第r个频谱资源块的蜂窝用户C_i与基站之间的信道增益，表示占用第r个频谱资源块的D2D用户对D_j发送端与基站之间的信道增益，σ²表示噪声功率；

D2D链路的信干噪比为：