[发明专利]一种基于强化学习的天线调整方法

说明书

本发明公开一种基于强化学习的天线调整方法。所述方法包括：获取用户上报的MDT数据，对用户小区进行栅格化；调整天线使天线方位波束对正用户聚类方向；基于栅格化的MDT数据计算主小区信号覆盖参数，根据主小区信号覆盖参数判断是否需要对天线进行调整；在确定天线调整优化目标的基础上，构建分别由主小区性能参数和天线调整动作组成的状态集和动作集，通过进行强化学习实现对天线的优化调整。本发明以基于天线调整优化目标的强化机器学习代替人工计算实现天线的优化调整，能够显著提升4G 3D‑MIMO和5G Massive MIMO天线调整速度、效率和准确度，改善4G和5G网络性能指标和提升用户的网络体验。

技术领域

本发明属于移动通信网络优化技术领域，具体涉及一种基于强化学习的天线调整方法。

背景技术

作为面向5G演进的4G增强关键技术之一，3D MIMO(多进多出)的技术优势一方面在于可同时提升4G网络的覆盖和容量，即利用水平垂直立体维度的波束赋形，提升频谱效率和吞吐量，满足4G热点区域多层次、差异化的容量需求和高层楼宇深度覆盖，提升4G业务承载能力；另一方面，3D MIMO实际为4G化的5G技术，3D MIMO天线波束赋形权值的前期实施和经验准备完全适用于5G网络时代Massive MIMO天线广播波束赋形的需求，3D MIMO相应的权值调优思路可以积累转化成为一整套可同时满足4G网络增强时代3D MIMO和5G网络时代Massive MIMO天线广播波束赋形需求的更为成熟可靠的权值调优方案。

随着4G与5G业务需求的发展及终端技术的改进和用户数量的激增，网络流量与频率覆盖的矛盾，将会导致3DMIMO和Massive MIMO网络性能评估与天线覆盖在优化上的技术困难愈发突出，主要表现两个方面：一是用户终端的复杂多样化，出现了多网络制式终端，既有4GLTE终端也有5G NR终端、既有单模工作方式也有同时支持双模工作方式的终端；二是不同用户不同业务特征将交织在4G与5G相混合的现网中，使网络评估标准和天线参数动态调整方法更加复杂化。由于3DMIMO和MassiveMIMO权值组合变得越来越复杂，尤其是MassiveMIMO的子波束调整权值组合规模可达数千或上万种，导致网络性能数据变化和空口使用效率变化程度的陡增，给网络性能数据栅格化评估和天线权值的计算带来难以估量的复杂性，远超人工所能及。

发明内容

为了解决现有技术中存在的上述问题，本发明提出一种基于强化学习的天线调整方法。

为实现上述目的，本发明采用如下技术方案：

一种基于强化学习的天线调整方法，包括以下步骤：

步骤1，获取用户上报的MDT(Minimization of Drive Tests，最小化路测数据)数据，对用户小区进行栅格化；

步骤2，调整天线使天线方位波束对正用户聚类方向；

步骤3，基于栅格化的MDT数据计算主小区信号覆盖参数，根据主小区信号覆盖参数判断是否需要对天线进行调整；如果需要调整，转下一步；

步骤4，在确定天线调整优化目标的基础上，构建分别由主小区性能参数和天线调整动作组成的状态集和动作集，通过进行强化学习实现对天线的优化调整。

与现有技术相比，本发明具有以下有益效果：

本发明通过获取用户上报的MDT数据，调整天线使天线方位波束指向用户聚类方向，根据主小区信号覆盖参数判断是否需要对天线进行调整，构建分别由主小区性能参数和天线调整动作组成的状态集和动作集，通过进行强化学习实现对天线的优化调整。本发明以基于天线调整优化目标的强化机器学习代替人工计算实现天线的优化调整，可以很好地解决因3DMIMO和MassiveMIMO网络性能数据变化陡增带来的复杂而且繁琐的栅格化评估与相应的权值计算问题，能够显著提升4G 3D-MIMO和5G Massive MIMO天线调整速度、效率和准确度，提升用户的网络体验。

附图说明