[发明专利]一种基于强化学习的干扰控制方法

说明书

本发明涉及一种基于强化学习的干扰控制方法，属于无线通信领域。括以下步骤：S1：将每个蜂窝网小区分为两簇，以小基站为中心的一簇为强干扰区，其余为弱干扰区；S2：小基站作为智能体学习环境中的可能出现的各种情况并将学习结果记录下来；S3：智能体获取自身eUE_S的上下行数据需求，通过用户间无线技术获取智能体基站影响区域内的eUE_S及其eBS上下行数据需求，同时获取WAP节点传输需求等信息；S4：智能体基站根据当前信息在学习结果中找到最优方案；S5：智能体根据选择的结果执行帧和功率配置过程。本发明通过配置基站的上下行传输时间及发射功率，能够有效降低基站对WiFi和相邻基站的干扰，减少冲突，同时又能保证信道内用户的公平性，最终提高信道的吞吐量。

技术领域

本发明属于无线通信领域，涉及一种基于强化学习的干扰控制方法

背景技术

在过去的十年里，移动设备数量的惊人增长导致了数据流量的指数级增长。据预测，从2017年到2022年，全球移动数据流量将增长7倍。为了满足如此高的数据需求，LTE在免授权频段(LTE in unlicensed spectrum，LTE-U)获得了蜂窝行业的显著关注。由于LTE是为连续传输而设计的，现有的未授权频段(如WiFi)技术受到了很大的影响，因为它们基于信道感知方法，如避免冲突的载波感知多路接入(Carrier Sense Multiple Accesswith Collision Avoidance,CSMA/CA)机会地利用信道。LTE-U可以以两种方式与许可频段的LTE结合：

1)补充下行(SDL):未经许可的频谱仅用于下行流量；

2)载波聚合:免授权的频谱可用于下行和上行流量。

eLAA技术是将LTEeNB部署于5GHz非授权频段以增加可用通信带宽，有助于缓解授权频段的频谱压力，在保障非授权频段已有设备通信质量的前提下，充分利用非授权频段丰富资源，为移动终端带来更佳的用户体验，提高整个LTE系统的通信性能。

LTE-TDD模式中，每一个无线帧的长度共计10ms，由10个1ms的子帧组成。eLAA使用新的Type3结构，该结构除第一个子帧为下行(DL)帧以外,其它位置的子帧可任意组合，不再局限于传统LTE中的七种固定配置。

Q学习是强化学习算法中value-based的算法，已被广泛用于求解未知环境下的优化问题。Q(s,a)就是在某一时刻的s状态下(s∈S)，采取动作a(a∈A)动作能够获得收益的期望，环境会根据智能体的动作反馈相应的回报，所以算法的主要思想就是将状态与动作构建成一张Q表来存储Q值，然后根据Q值来选取能够获得最大的收益的动作。

Q学习包括智能体(Agent)、环境状态(environment)、奖励(reward)、动作(action)四个部分，可以将问题抽象成一个马尔科夫决策过程(MDP)，该过程包括有限，离散的环境状态的集合S＝{s₁，s₂，s₃，...，s_n}，有限，离散的学习者动作的集合A＝{a₁，a₂，a₃，...，a_n}，学习者的策略π：S→A和标量的成本反馈信号r等基本要素。通过与环境不断的交互学习，学习者积累经验，形成一套动作选择策略。在每一轮的学习中，学习者根据当前环境状态s_t∈S。在已有策略π中选择a_i∈A；动作完成后环境状态变为s_t+1∈S，同时学习者接收到环境产生的反馈信号r_t(s_t，a_t)；学习者根据反馈信号判断是否合理并更新策略，进入下一轮学习。

Q-table的更新过程如下，其中α为学习率，γ为奖励性衰变系数，采用时间差分法的方法进行更新。