[发明专利]一种基于强化学习的波束训练方法

权利要求书

1.一种基于强化学习的波束训练方法，其特征在于，包括以下步骤:

步骤1、在初始时隙内，基站搜索整个码本找到波束作为发送波束；

步骤2、初始化强化学习Q值估计网络、目标Q值网络和经验池D；

步骤3、在每一个时隙t内，通过上一时隙t-1内的波束训练结果得到时隙t的状态信息s_t，并将s_t输入Q值估计网络，得到动作价值估计值，选取价值最大的动作a_t；

步骤4、在时隙t内执行动作a_t，计算奖励值r_t，并根据波束训练结果得到下一时隙t+1的状态信息s_t+1；

步骤5、在时隙t的剩余时间内传输有效数据，并将交互数据(s_t,a_t,r_t,s_t+1)存入经验池；

步骤6、在数据传输的后台训练网络，更新Q值估计网络和目标Q值网络的网络参数；

所述步骤2还包括以下步骤：初始化强化学习Q值估计网络、目标Q值网络和经验池D；

步骤2.1，构建强化学习Q值估计网络，包括一个输入层、四个全连接层和一个输出层，初始化Q值估计网络的参数θ；

步骤2.2，构建强化学习目标Q值网络，结构与Q值估计网络相同，初始化目标Q值网络的参数θ′＝θ；

状态信息输入Q值估计网络后，依次通过第一个全连接层、整流线性单元激活层、第二个全连接层、整流线性单元激活层、第三个全连接层、整流线性单元激活层和最后一个全连接层，最终输出动作价值估计结果；

所述步骤1还包括以下步骤：

步骤1.1、通过对波束空间的均匀采样来构建码本：

其中，f_i表示每一个波束，M为码本的大小；a(·)代表天线阵列响应向量；

a(·)的形式为：

其中，N_t为发射天线数量，λ和d分别表示信号的波长和天线单元的间距；

步骤1.2、测量码本中每一个波束对应的接收信号强度，选择接收信号强度最大的波束作为发送波束；

所述步骤4还包括以下步骤：

步骤4.1、在时隙t内执行动作a_t；a_t是一个二元组，a_t＝(a_i,b_i)；在时隙t内用于波束训练的波束集合为：

其中，f_c为上一时隙内的最佳波束；

步骤4.2，在时隙t内利用波束集合中的波束进行波束训练，测量每一个波束对应的接收信号强度，并估计出等效信道向量

其中，h^H为信道向量，f₁,...,f_M代表码本中M个波束；将中的每个元素取模得到向量I_t，其中：I_t(i)和表示向量I_t和的第i个元素，将连续三个时隙内的I_t进行拼接得到状态s_t+1＝[I_t-2,I_t-1,I_t]；

步骤4.3，计算动作a_t的奖励值r_t＝(1-b_iT₀/T_S)log₂(1+P|h^Hf_k|²)，其中，b_i为时隙t内用于波束训练的波束个数，T₀为传输一个波束需要的时间，T_S为一个时隙的总时长，P为基站的发射功率，f_k为时隙t内的最佳波束；

所述步骤6还包括：

步骤6.1、在经验池D中抽取交互数据，计算损失函数为：

其中，Q(s_t,a_t)代表输入状态信息s_t时，Q值估计网络输出的动作a_t的价值估计值，代表输入状态信息s_t+1时，目标Q值网络输出的最大的动作价值估计值，γ为衰减因子，r_t为动作a_t的奖励值，利用梯度下降法更新Q值估计网络的参数θ；

步骤6.2、延迟更新目标Q值网络的参数θ′＝θ。