[发明专利]一种基于深度强化学习的智能通信波束碰撞避免方法

说明书

本发明公开了一种基于深度强化学习的智能通信波束碰撞避免方法，首先建立关于基站簇工程参数的最小化平均总波束碰撞参数的优化问题。接着根据波束碰撞参数、波束域信道信息与信干噪比以及频谱效率的关系，将原始优化问题转化为与波束域统计信道信息强相关的平均频谱效率最大化问题。基于强化学习框架，将基站簇工程参数的调优过程建模成马尔科夫决策过程，并根据实际优化问题设计合理的状态、动作和奖励信息。最后，利用深度强化学习优化算法，实现基站簇与无线通信环境的交互，并根据波束域统计信道信息进行基站簇工程参数的自适应调整，避免波束碰撞。该方法具有复杂度较低、与实际无线通信环境匹配度较好、性能优异特点。

技术领域

本发明属于无线通信网络优化和智能通信领域，尤其涉及一种基于深度强化学习的智能通信波束碰撞避免方法。

背景技术

随着无线通信技术的不断发展，高速增长的移动数据业务和海量的接入需求对新一代移动通信技术提出了高容量、低功耗、低延时等需求。为进一步提高无线通信系统的容量，新一代无线通信系统广泛采用大规模天线阵列与波束赋形技术来获得更高的信道增益，但由于网络的密集化部署，使得无线通信网络的规划和优化出现新的挑战。特别在多小区多用户通信系统中，每个小区同时为多个用户发射多个波束，波束碰撞现象严重，波束间干扰增强，严重影响数据的有效传输，导致网络性能的急剧下降。

波束碰撞可以理解为多个波束同时覆盖某个区域而产生的波束之间的重叠现象，但目前鲜有研究给出准确的定义和相应的数学模型。由于波束碰撞会产生较强的波束间干扰，故现有研究往往通过处理波束间干扰来避免波束碰撞，但是并未给出波束碰撞和波束间干扰以及网络性能指标之间的具体关系。

由于波束碰撞与无线通信环境特征具有极大的相关性，故用户位置分布和基站簇工程参数会对其产生重要影响。在优化基站簇工程参数方面，传统方法往往采用人工经验或者模型假设，较难根据实际用户位置分布进行自适应调整。此外，由于数据采集成本和技术的限制，实际通信网络中很难实现基于瞬时性能的细粒度优化，因此需要考虑适合于提升网络平均性能的基站簇工程参数优化方案。

目前新一代无线通信系统可通过波束训练来感知无线通信环境，从而根据获得的波束域信道信息辅助信道估计和传输设计。与此同时，深度强化学习充分结合了深度神经网络的学习能力与强化学习与环境交互的学习机制，使其可实现根据环境特征的自适应决策。因此，基于深度强化学习的波束碰撞避免方法在无线通信网络数据的驱动下，充分挖掘环境中的波束域信道信息等特征，在实现基站簇工程参数的智能优化的同时，有效避免波束碰撞，提升网络性能。

发明内容

本发明目的在于提供一种基于深度强化学习的智能通信波束碰撞避免方法,以解决现有技术中波束碰撞概念不清晰、优化模型较难适用到实际通信场景，优化成本较大，优化方案很难落地实现的技术问题。

为解决上述技术问题，本发明的具体技术方案如下：

一种基于深度强化学习的智能通信波束碰撞避免方法，包括以下步骤：

步骤1、构建多天线多小区下行通信系统模型，定义波束碰撞事件以及波束碰撞参数，建立关于基站簇工程参数的最小化平均总波束碰撞参数的原始优化问题；

步骤2、根据波束碰撞参数和波束域信道信息与信干噪比以及频谱效率的关系，将步骤1中所述的原始优化问题近似转变成依据波束域统计信道信息最大化平均频谱效率的优化问题；

步骤3、针对步骤2中所述的优化问题，在强化学习的框架下，将多天线多小区下行通信系统当作环境，基站簇当作智能体，并将基站簇工程参数的调优过程建模成马尔科夫决策过程，然后对其状态、动作以及奖励函数进行具体设计；

步骤4、基于步骤3所述强化学习框架，利用深度强化学习算法，在基站簇与无线通信环境的交互下，根据波束域统计信道信息进行基站簇工程参数的自适应调整，避免波束碰撞，提高平均频谱效率。