[发明专利]一种大规模MIMO中波束赋形的方法和系统

权利要求书

1.一种大规模MIMO中波束赋形的方法，其特征在于，具体包括：

获取现网的真实数据生成至少一个样本，将所有样本的集合作为训练数据集对强化学习模型进行训练，其中，所述样本包括：信道特征、动作集合、平均吞吐量和下一时刻的信道特征，所述强化学习模型的动作为波束赋形权重调节因子，强化学习模型的Reward为网络的信干噪比；

获取当前网络的信道特征，将当前网络的信道特征输入强化学习模型，强化学习模型根据当前网络的信道特征输出最优的波束赋形权重调节因子；

根据波束赋形权重调节因子计算波束赋形权重矩阵，对数据进行波束赋形，并计算下一时刻的信道特征，将下一时刻的信道特征对应的样本加入训练数据集中再次对强化学习模型进行训练。

2.根据权利要求1所述的大规模MIMO中波束赋形的方法，其特征在于，具体的：

所述信道特征为信道矩阵或信道冲击响应。

3.根据权利要求1所述的大规模MIMO中波束赋形的方法，其特征在于，所述获取现网的真实数据生成至少一个样本，具体包括：

通过交互消息获得UE的信道特征，根据信道矩阵生成所有可用的波束赋形权重调节因子作为动作集合；

计算新的波束赋形权重，并计算出网络的平均吞吐量；

根据新的波束赋形计算下一时刻的信道特征。

4.根据权利要求3所述的大规模MIMO中波束赋形的方法，其特征在于，所述通过交互消息获得UE的信道特征，具体包括：

为上行波束赋形时，信道矩阵为当前UE的上行信道矩阵；

为下行波束赋形时，信道矩阵为当前UE的下行信道矩阵。

5.根据权利要求2所述的大规模MIMO中波束赋形的方法，其特征在于，所述根据信道矩阵生成动作集合，具体包括：

将波束赋形权重调节因子以复数表示，复数的实部和虚部进行水平方向连接或进行垂直方向连接，以所有实部和虚部的合集作为动作集合。

6.根据权利要求1所述的大规模MIMO中波束赋形的方法，其特征在于，所述将状态矩阵作为训练数据集对强化学习模型进行训练，还包括：

使用训练数据集对GAN模型进行训练，使用训练好的GAN模型生成更多的样本加入训练数据集中。

7.根据权利要求1所述的大规模MIMO中波束赋形的方法，其特征在于，所述强化学习模型根据当前网络的信道特征输出最优的波束赋形权重调节因子，具体包括：

所述强化学习模型采用Actor-Critic算法，智能体actor及Q-function均是神经网络模型。

8.根据权利要求1所述的大规模MIMO中波束赋形的方法，其特征在于，所述强化学习模型根据当前网络的信道特征输出最优的波束赋形权重调节因子，还包括：

强化学习模型的智能体actor与Q-function为卷积神经网络，Actor和Q是一个整体的网络，actor的输出为动作合集中的波束赋形权重调节因子，Q的输出为使用当前波束赋形权重调节因子后卷积神经网络的评分。

9.根据权利要求1所述的大规模MIMO中波束赋形的方法，其特征在于，所述根据波束赋形权重调节因子计算波束赋形权重矩阵，具体包括：

根据波束赋形权重调节因子计算每个波束的波束赋形权重，将各波束的波束赋形权重整合为波束赋形权重矩阵。

10.一种大规模MIMO中波束赋形的系统，其特征在于，包括基站和至少一个UE，具体的：

UE将信道矩阵发送至每个基站，每个基站将信道矩阵输入本基站上训练后的强化学习模型中，根据权利要求1-9中任一项提供的大规模MIMO中波束赋形的方法获取最优的波束赋形权重调节因子；

每个基站根据波束赋形权重调节因子计算新的波束赋形权重矩阵，并发送波束赋形后的数据给UE；

基站获取下一时刻状态数据，对训练数据集进行迭代更新，并使用更新后的训练数据集重新训练模型。