[发明专利]LTE-V中基于深度强化学习的基站选择方法

权利要求书

1.一种LTE-V中基于深度强化学习的基站选择方法，其特征在于，包括以下步骤：

1)根据LTE-V网络通信特点及基站选择性能指标，构建Q函数；

2)移动管理单元获取网络内车辆的状态信息，构建状态矩阵，并存入经验回放池；

3)以经验回放池为样本，基于构建的Q函数，采用竞争-双重训练方式训练获得一用于选择最优接入基站的主DQN；

4)以训练获得的主DQN对输入信息进行处理，输出选择接入基站；

所述LTE-V网络通信特点包括通信带宽和信噪比，所述基站选择性能指标包括用户接收速率和基站负载；

所述Q函数具体构建如下：

式中，μ表示用户接收速率，L表示基站负载，R表示奖励函数，α表示学习率，Q(s_t,a_t)表示在t时刻处于状态s采取动作a所能获得的期望奖励，下标s'表示在状态s处采取动作a进入的下一个状态，γ∈[0,1]为折扣因子，w₁、w₂为权重系数，表示在t+1时刻处于状态s采取不同动作所能获得的最大期望奖励；

所述竞争-双重训练方式中：

基于Q函数建立一目标DQN和一主DQN，由主DQN选择基站，该基站的Q函数最大值由目标DQN计算生成，以损失函数是否收敛作为判断训练是否结束的依据，所述损失函数为：

式中，r_t+1表示在t+1时刻位于状态s采取动作a之后收获的奖励大小，Q_target表示目标DQN生成的Q函数最大值，Q_main表示主DQN生成的Q函数最大值，γ∈[0,1]是折扣因子。

2.根据权利要求1所述的LTE-V中基于深度强化学习的基站选择方法，其特征在于，所述竞争-双重训练方式中，每次训练使用ε-greedy算法来选择接入基站，同时使用反向传播算法和适应性矩估计算法更新网络参数。

3.根据权利要求2所述的LTE-V中基于深度强化学习的基站选择方法，其特征在于，所述ε-greedy算法的探索概率如下：

ε_t+1(s)＝δ×f(s,a,σ)+(1-δ)×ε_t(s)

式中，δ是当前状态可选择的动作总数，f(s,a,σ)来表征环境的不确定性，σ∈[0,1]表示方向灵敏度，ε_t+1(s)表示在t+1时刻位于状态s采取DQN生成动作a的概率。

4.根据权利要求1所述的LTE-V中基于深度强化学习的基站选择方法，其特征在于，所述竞争-双重训练方式中，使用交叉验证法选择最优的超参数。

5.根据权利要求1所述的LTE-V中基于深度强化学习的基站选择方法，其特征在于，经验回放池的容量为T，当存入的状态矩阵的数量大于T时，优先删除最早存入的状态矩阵。