[发明专利]基于Q学习资源分配策略的异构网络准入控制方法

说明书

技术领域

本发明涉及一种异构网络准入控制方法。

背景技术

WCDMA/WLAN异构网络是下一代异构网络融合的主流趋势。两者存在技术上的完美互补特性：WCDMA网络覆盖范围广，QoS保障机制完善，但是数据速率低；WLAN数据速率高，价格便宜，但是覆盖范围有限，QoS保障机制不完善。若能将两者有效地结合，形成统一的网络，则能够实现在广泛覆盖范围内，为用户提供高质量且无缝的服务。

WCDMA/WLAN异构网络融合过程中，用户的准入控制机制是一个非常重要的研究内容。其性能将会直接影响到新用户的阻塞率以及切换用户的掉话率等用户的QoS质量，另外，其也会影响到网络整体的性能。所以，合理且高性能的网络准入控制机制一直是各界研究的热点。

传统异构网络准入控制方法大多从用户角度出发考虑接入策略。只要用户到达，无论网络处于何种状态，无论有无可用资源都进行接入判决。进行接入尝试后，若发现系统已无可用资源，才会拒绝该用户。实际上，如果网络出现拥塞状态，其对于网络状态参数的影响是很大的，对于用户接入控制判决条件的影响可能是颠覆性的。良好的资源分配与调度策略对于优化用户的接入策略是非常必要和有效的。

发明内容

本发明是为了在兼顾网络整体性能和用户QoS需求，实现在异构网络的网络拥塞情况下进行用户呼叫准入控制，从而提供一种基于Q学习资源分配策略的异构网络准入控制方法。

基于Q学习资源分配策略的异构网络准入控制方法，它由以下步骤实现：

步骤一、在离线阶段，

定义Q学习中的可执行动作集A，用于在Q学习过程中，设定两个不同的资源分配门限TH₁与TH₂；

定义系统的立即回报函数p_t(e，a)，用于在每个当前状态e_t下系统执行可用动作后，作为网络环境对系统执行动作的回报，来判断系统执行动作的正确程度；

初始化Q值表，对于每个可用的动作a分配一个对应的Q值，形成一个Q值表，对每个Q值在[0，1]区间内随机赋值；

步骤二、在在线阶段，

步骤二一、测量并记录WCDMA/WLAN异构网络当前时刻的网络状态e_t，作为门限估计模块的输入参数；t的初始值为1；

步骤二二、当用户发起新呼叫或者切换呼叫时，采用门限估计模块根据网络状态e_t和与可用动作A对应的Q值表中最大Q值相应的动作来进行门限设定；

并采用网络选择模块根据网络状态e_t和门限估计模块设定的门限接入或拒绝接入该用户，并记录当前的立即回报函数p_t(e，a)；

步骤二三、将t的值加1，测量并记录WCDMA/WLAN异构网络在t+1时刻下的网络状态e_t+1；

步骤二四、根据公式：

Q_t+1(e，a)＝(1-α)Q_t(e，a)+α{p_t(e，a)+βV_t(e)}

对Q值表进行更新；

式中：α是学习强度，α＝0.1～0.2；β为折扣因子，且0＜β＜1；Q_t+1(e，a)为异构网络在网络状态e_t+1下，更新后的Q值；Q_t(e，a)为前一网络状态为网络状态e_t下的Q值，V_t(e)为值函数，所述V_t(e)的值通过公式：

Vt(e)=maxb{Qt(e,b)}]]>

获得，其中b是在状态e_t时的可选动作；