[发明专利]一种基于Q学习的蜂窝网络D2D通信功率控制算法

权利要求书

1.一种基于Q学习的蜂窝网络D2D通信功率控制算法，其特征在于，包括如下步骤：

步骤1、为蜂窝用户和D2D用户对分配频谱资源，利用基站和用户之间的距离信息计算蜂窝用户与基站之间、D2D用户对与基站之间、蜂窝用户与D2D对之间、D2D用户对之间的信道增益，利用频谱分配信息计算共享同一频谱资源块的用户链路的信干噪比，根据香农公式计算用户吞吐量；

步骤2、根据D2D通信功率控制的场景定义Q学习中的智能体、动作、状态、奖励函数参数；

步骤3、在集中式场景下设计并运行Q学习算法，在集中式场景中，占用同一个频谱资源块的所有D2D用户对共同维护和更新一个Q值表，Q值表个数与频谱资源块的数目相等，功率分配过程是多个独立的Q学习过程；

步骤4、在分布式场景下设计并运行Q学习算法；在分布式场景中，每个D2D用户对单独维护一张Q值表，Q值表个数与D2D用户对的数目相等。

2.根据权利要求1所述的基于Q学习的蜂窝网络D2D通信功率控制算法，其特征在于，步骤1中蜂窝链路的信干噪比为：

其中，C_i表示第i个蜂窝用户(i＝1，2，…，M)，D_j表示第j个D2D用户对(j＝1，2，…，V)，r＝1，2，…，K表示网络中频谱资源块的编号，M表示蜂窝用户，N表示D2D用户对，K表示频谱资源块的数量；表示共享第r个频谱资源块的所有D2D用户对的集合；表示占用第r个频谱资源块的蜂窝用户C_i的发射功率，表示占用第r个频谱资源块的D2D用户对D_j的发射功率；表示占用第r个频谱资源块的蜂窝用户C_i与基站之间的信道增益，表示占用第r个频谱资源块的D2D用户对D_j发送端与基站之间的信道增益，σ²表示噪声功率；

D2D链路的信干噪比为：

其中，表示占用第r个频谱资源块的D2D用户对D_j发送端与接收端之间的信道增益，表示占用第r个频谱资源块的蜂窝用户C_i和D2D用户对D_j接收端之间的信道增益，表示共享第r个频谱资源块的不同D2D用户对D_j′发送端与D_j接收端之间的信道增益。

3.根据权利要求2所述的基于Q学习的蜂窝网络D2D通信功率控制算法，其特征在于，步骤1中网络中蜂窝用户的吞吐量为：

其中，W表示网络的频谱带宽；

网络中D2D用户的吞吐量为：

其中，表示网络中所有D2D用户对的集合；

网络中所有用户的总吞吐量为：

4.根据权利要求3所述的基于Q学习的蜂窝网络D2D通信功率控制算法，其特征在于，所述智能体是蜂窝网络中的D2D用户对；

所述动作是占用同一频谱资源块的每个D2D用户对选择一个发射功率p∈{p₁，p₂，…，p_L}，动作用a进行表示，其中，p₁，p₂，…，p_L为可供选择的发射功率；

所述状态是单状态，即学习过程中只有一个状态，用s表示状态；

所述奖励函数是特定频谱资源块上的条件吞吐量：

其中，R表示奖励函数，τ₀表示蜂窝链路信干噪比的门限值；

上式表示当蜂窝链路的信干噪比高于门限值时，奖励函数为该频谱资源块上的总吞吐量，否则，奖励函数为-1，表示惩罚值。