[发明专利]家庭基站系统中基于频谱分配及功率控制的干扰管理方法

说明书

技术领域

本发明涉及一种特别用于基于OFDMA的家庭基站系统中的动态干扰管理方法，属于通信技术领域。

背景技术

家庭基站是为了服务小面积覆盖（如家庭或者办公室）而设计的，有报告显示在未来的几年内，室外手机呼叫的比例逐渐下降而室内的数据业务明显增加。由于家庭基站覆盖范围小，低花费和低功耗，所以家庭基站可以分布得比宏基站更加密集，频谱可以得到更有效的复用，为室内用户提供更宽的频谱和更好的服务质量。家庭基站的出现势必会增加对宏基站用户的干扰，所以如何进行合理的资源分配来降低家庭基站对宏用户的干扰已经成为运营商考虑的主要问题之一。合理分配家庭基站的资源不仅可以降低对宏用户的干扰而且家庭用户间的干扰也会降低从而获得更好的服务质量。

正交频分多址接入(OFDMA)已经被选为LTE和4G网络的下行接入技术，OFDMA的特点是不同的子载波间使正交的，所以小区内部干扰可以忽略。在LTE中定义能分配一个用户的最小时频单位为一个资源块（Resource Block，RB），当一个RB被分配为多个小区时就会引起小区间干扰降低信干噪比从而降低用户的服务质量。很多研究都已经涉及到了多种小区间干扰消除或减轻的算法。由于家庭基站分布的多而且不规律所以对家庭基站进行集中控制难度较大，所以研究都是基于分布式控制的。有的研究是通过动态的频谱复用来减小家庭基站网络中的干扰的，例如通过一种适用于家庭基站分布密集的场景的自组织网络的方法，或者一种基于强化学习的算法在保证对宏基站的干扰门限的同时也保证家庭基站的服务质量；有的研究是基于功率控制的干扰管理方法，例如通过提出一种基于模糊Q学习（Fuzzy learning）的算法来控制家庭基站对宏基站的干扰，或者一种改进的注水功率控制算法来保证网络的公平性；此外还有的文献是采用的是频谱分配和功率控制相结合的方法来避免干扰的，例如在分布式网络中采用基于博弈论的干扰避免模型降低互相之间的干扰。

强化学习(Reinforcement Learning,RL)是一种机器学习方法，它通过从环境状态到动作映射的学习，感知环境状态，使得动作从环境中获得最大的累积回报函数。Q学习是强化中的一种常用的学习方法，它通过马尔科夫过程进行建模，采用迭代的方法逼近最优解，并以状态-动作回报值作为衡量标准。Q学习在学习过程总无需状态转移概率和回报函数的先验知识模型，而是从环境中直接学习，所以Q学习计算复杂度很低。博弈论(game theory)又称对策论，早期被广泛应用于微观经济学中，它在解决资源调度的问题中有独特的优势。这种理论隐含的基本假设是：决策主体追求确定的外部目标并且考虑他们自身的知识或者其他决策主体行为的期望。博弈论是直到最近才作为分析工具应用于分布式无线资源管理当中。

本发明提供了一种Q学习与博弈论相结合(QL&game)的分布式的干扰管理方法，在保证宏用户的信干噪比门限的条件下提高家庭基站性能。在该方法中家庭基站间不需要进行信息交换，每个家庭基站作为一个Q学习的智能体(Agent)和博弈论中的博弈者(Player)。用Q学习动态地分配频谱，在Q学习过程中再通过博弈来进行功率分配，每个家庭基站都以优化自己的性能为目标。

发明内容

技术问题：本发明的目的是在基于OFDMA的家庭基站系统的场景下提供一种动态干扰管理方法。在该方法中每个家庭基站作为一个Q学习的智能体和博弈论中的博弈者，基于Q学习动态地分配频谱，在Q学习过程中再通过博弈来进行功率分配，每个家庭基站都以优化自己的性能为目标。家庭基站系统在不断地与环境交互的过程中可以最终收敛到一个最优的动作，使得系统在满足了宏基站信干噪比门限要求的基础上提高了家庭基站和整个系统的系能，这样就避免了复杂的最优化问题。

技术方案：本发明提供一种基于OFDMA的家庭基站系统的动态资源分配方法每个家庭基站作为一个Q学习的智能体和博弈论中的博弈者，在基于Q学习动态地分配频谱中通过博弈进行功率分配，每个家庭基站都以优化自己的性能为Q学习的目标和博弈的效用。发明中采用Q学习与博弈论相结合(QL&game)的分布式控制机制进行干扰管理。

本发明考虑的无线网络环境包括M个半径为R的宏小区，每个宏小区的中心都放有一个宏基站。假设每个宏小区中拥有一个居民区由F个房间组成，每个房间中间都放有一个可以随意开关的家庭基站，每个房间都是边长为r的正方形。家庭基站的用户随机均匀分布在每个房间内，而宏基站的用户随机分布在房间的周围。假设宏基站和家庭基站都是工作在相同的频带，宏用户和家庭用户之间会存在干扰。系统场景模型如图1所示。