[发明专利]基于Q学习的异构网络接入控制优化选择方法

说明书

技术领域

本发明涉及基于Q学习的异构网络接入控制优化选择方法，属于无线网络领域。

背景技术

随着手机、笔记本、上网本等终端的丰富，多媒体等多种业务的兴起，单一网络已经越来越无法满足人们对带宽和业务质量的需求，同时，网络类型的繁多与彼此的不兼容也给用户带来了诸多不便，因此，多种无线接入网络的融合已经成为下一代无线网络一个新的趋势。在所有接入网络中，由于3G无线网络系统WCDMA和无线局域网WLAN优缺点存在互补性，引起了各界专家的关注。WLAN具有数据速率高、灵活、建网迅速、个人化等特点，但是覆盖范围小，而WCDMA的移动终端可广泛的配置，覆盖范围遍布全球，但是通信速率不高，适合语音传输。通过将WCDMA与WLAN这两种异构网络进行融合能够以较低的成本共享两者的优点。

无线网络融合首先遇到的挑战性问题就是接入控制。现在提出的接入控制方案主要是基于测量和基于模型的，基于测量的接入控制方案通常比较有效而且易于实现。然而，由于没有理论基础，这些方案很难达到全局最优。基于模型的接入控制方案有明确的数学根据，更能够全局优化，然而这些方案计算过于复杂，而且模型常常建立在一些与实际不符的假设上(例如信道传输无错，每个站点都是贪婪的)，所以很难应用于实际的系统。马尔科夫决策的方法是解决接入控制问题的基于模型的经典方法，已经被应用到各个领域，但是这种方法的转移概率和回报函数都需要精确的定义，而且，在真正的实际环境中，模型的状态空间和计算复杂度会戏剧性的增大，这会使得马尔科夫决策的方法很难应用。

发明内容

本发明目的是为了解决针对WCDMA/WLAN融合异构网络系统，采用基于测量的接入方案选择网络类型不能实现全局最优，而采用基于模型的接入方案选择网络类型计算过于复杂，很难应用于实际系统的问题，提供了一种基于Q学习的异构网络接入控制优化选择方法。

本发明所述基于Q学习的异构网络接入控制优化选择方法，该方法包括以下步骤：

步骤一、判断接入新用户时的异构网络状态；

步骤二、查询Q值表，选择步骤一所述异构网络状态对应的Q值表中的最大Q值对应的子网络作为新用户的接入网络。

所述异构网络指的是WCDMA子网络和WLAN子网络采用松耦合的方式组成的融合异构网络，

所述异构网络状态是根据WCDMA子网络的基于干扰的四种网络状态和WLAN子网络的基于信道繁忙率的四种网络状态共同确定的，

WCDMA子网络的基于干扰的四种网络状态向量s_c＝[I_very low，I_low，I_high，I_very high]，WLAN子网络的基于信道繁忙率的四种网络状态向量s_w＝[R_b-very low，R_b-low，R_b-high，R_b-very high]，

则所述WCDMA子网络和WLAN子网络构成的异构网络的网络状态向量s为：

s＝[R_b-very lowI_very low，R_b-very lowI_low，R_b-very lowI_high，R_b-very lowI_very high，

R_b-lowI_very low，R_b-lowIlow，R_b-lowI_high，R_b-lowI_very high，

R_b-highI_very low，R_b-highI_low，R_b-highI_high，R_b-highI_very high，             。