[发明专利]基于Q学习资源分配策略的异构网络准入控制方法

摘要

基于Q学习资源分配策略的异构网络准入控制方法，涉及一种异构网络准入控制方法。它是为了在兼顾网络整体性能和用户QoS需求，实现在异构网络的网络拥塞情况下进行用户呼叫准入控制。本发明采用Q学习方法控制门限控制模块中的门限设定，利用Q学习的自学习性质，动态的对有限的无线分配资源优先级分配。通过一段时间的学习，能够找到在不同的网络状态下，资源分配的最优策略。这样，用户的准入控制能够适应动态变化的网络环境，尤其在异构网络拥塞情况下，本发明的方法仍具有效性。本发明适用于异构网络下用户的准入控制。

主权项

1.基于Q学习资源分配策略的异构网络准入控制方法，其特征是：它由以下步骤实现：步骤一、在离线阶段，定义Q学习中的可执行动作集A，用于在Q学习过程中，设定两个不同的资源分配门限TH₁与TH₂；定义系统的立即回报函数p_t(e，a)，用于在每个当前状态e_t下系统执行可用动作后，作为网络环境对系统执行动作的回报，来判断系统执行动作的正确程度；初始化Q值表，对于每个可用的动作a分配一个对应的Q值，形成一个Q值表，对每个Q值在[0，1]区间内随机赋值；步骤二、在在线阶段，步骤二一、测量并记录WCDMA/WLAN异构网络当前时刻的网络状态e_t，作为门限估计模块的输入参数；t的初始值为1；步骤二二、当用户发起新呼叫或者切换呼叫时，采用门限估计模块根据网络状态e_t和与可用动作A对应的Q值表中最大Q值相应的动作来进行门限设定；并采用网络选择模块根据网络状态e_t和门限估计模块设定的门限接入或拒绝接入该用户，并记录当前的立即回报函数p_t(e，a)；步骤二三、将t的值加1，测量并记录WCDMA/WLAN异构网络在t+1时刻下的网络状态e_t+1；步骤二四、根据公式：Q_t+1(e，a)＝(1-α)Q_t(e，a)+α{p_t(e，a)+βV_t(e)}对Q值表进行更新；式中：α是学习强度，α＝0.1～0.2；β为折扣因子，且0＜β＜1；Q_t+1(e，a)为异构网络在网络状态e_t+1下，更新后的Q值；Q_t(e，a)为前一网络状态为网络状态e_t下的Q值，V_t(e)为值函数，所述V_t(e)的值通过公式：Vt(e)=maxb{Qt(e,b)}]]>获得，其中b是在状态e_t时的可选动作；步骤二五、判断该时刻下网络状态e_t+1时Q值与上一时刻的网络状态e_t的Q值的差值ΔQ(e，a)，是否满足收敛条件ΔQ(e，a)＜ε，a∈A；如果判断结果为是，则令t的值加1，并返回执行步骤二一；如果判断结果为否，则执行步骤二六；步骤二六、完成基于Q学习资源分配策略的异构网络准入控制。