[发明专利]一种基于强化学习的干扰控制方法

权利要求书

1.一种基于强化学习的干扰控制方法，其特征在于：具体步骤如下：

S1：将每个蜂窝网小区分为两簇，以小基站为中心的一簇为强干扰区，其余为弱干扰区；；

S2：小基站作为智能体学习环境中的可能出现的各种情况并将学习结果记录下来；

S3：智能体基站获取自身eUE_S的上下行数据需求，通过用户间无线技术获取智能体影响区域内的eUE_S及其eBS上下行数据需求，同时获取WAP节点传输需求等信息；

S4：智能体基站根据当前信息在学习结果中找到最优方案；

S5：智能体根据选择的结果执行帧和功率配置过程。

2.根据权利要求1所述的一种基于强化学习的干扰控制方法，其特征在于：在步骤S1中，首先将基站的用户分为两簇，即小区边缘用户和小区中心用户。处于小区中心的用户在进行下行传输时不会影响隔壁小区的用户，处于小区边缘的用户自身下行时，若相邻小区的边缘用户也在下行，则会相互影响。

3.根据权利要求1所述的一种基于强化学习的干扰控制方法，其特征在于：在步骤S2中，基站作为智能体，记为eBS₁，基站覆盖区域与WAP区域存在部分重叠，WAP用户随机分布在eBS₁的覆盖区域内外，eBS₁用户也有部分处于WAP覆盖区域内。假设智能体eBS₁有10个eUE_S用户，用户上行数据使用授权频段，下行数据使用免授权频段。在整个系统中，当WiFi节点处于基站覆盖区域的用户需要下行，若基站eBS₁在此时选择上行，使用授权频段传输数据，则会消除对WiFi节点的影响；若邻近基站的边缘区域想要下行传输，智能体基站eBS₁若能通过帧配置使得相邻用户此时处于上行传输，可保证对邻近用户的无干扰。但实际使用过程中，若WiFi用户流量需求过高或者邻近基站边缘节点流量需求高，将智能体基站eBS₁的上行帧全部改为下行帧十分不合理，此时可以通过降低基站发射功率来减小干扰。本发明除了注重整个系统的公平性外，同时注重实际需求，在WiFi用户需求低时尽可能多的为智能体基站eBS₁配置下行帧。因此智能体eBS₁通过强化学习来实现帧配置和功率配置有一定的可行性。eBS₁对可能出现的情况简化概括分类，设置吞吐量，公平性等指标进行强化学习，并将学习的结果保存记录下来。

4.根据权利要求1所述的一种基于强化学习的干扰控制方法，其特征在于：在步骤S3中，eBS₁通过X2-interface探测其当前临近的eBS并相互传递消息,以此确定临近eUE_S的上下行传输需求；eUE_S之间通过被动感知探测与其相近蜂窝小区的eUE_S有哪些，同时将消息传递给eBS；eBS_S和eUE_S通过被动感知探测WAP节点信息，eBS₁同时探测信道内WiFi平均传输时间。

5.根据权利要求1所述的一种基于强化学习的干扰控制方法，其特征在于：在步骤S4中，当有传输任务时，eBS₁通过收集到自身用户及关联用户的需求，再对比训练得到的结果，找到当前状态下的最优帧配置方式及发射功率。

6.根据权利要求1所述的一种基于强化学习的干扰控制方法，其特征在于：在步骤S5中，根据最优结果配置当前基站eBS₁及其eUE_S的上下行帧及功率。