[发明专利]一种基于Q学习的双连接流量分配方法

摘要

本发明提出了一种基于Q学习的双连接流量控制方法。该方法在用户同时和主、从基站连接的情况下，以数据传输的业务时延最小为目的，采用Q学习方法得到网络发送给用户的业务流量在两个网络间进行分配的最优策略。系统状态空间为三维数组S＝{sm，ss，sa}，sm和ss分别代表主基站队列和从基站队列中包括正在接收的分组在内的所有分组的数目，sa代表到达流量的分组数目。动作集合定义为A，不同动作分别表示有多少分组分配给主基站和从基站。回报函数定义为两条支路时延差值的函数，差值越小回报函数越大。利用训练好的Q矩阵可以很容易从任意状态出发快速找到双连接的最佳流量分配策略，实现了多网络间系统资源的优化使用，达到了时延敏感业务的QOS要求。

主权项

1.一种基于Q学习的双连接流量分配方法，其特征在于，该方法在用户同时和主、从基站连接的情况下，以数据传输的业务时延最小为目的，采用Q学习方法得到网络发送给用户的业务流量在两个网络间进行分配的最优策略，包括步骤：(1)参数设置：记主、从基站中可用资源块的数目分别为N_m和N_s，设置学习率α、折扣因子γ、动作选择的探索概率ε和迭代次数t；构建系统的状态空间S、动作集合A和回报函数r；状态空间S通过三维数组{s_m,s_s,s_a}描述系统所有状态，其中，s_m和s_s分别表示已分配给主、从基站的分组的数目，s_a代表待分配表示的分组的数目；动作集合A的表达式为A＝{a₀,a₁,a₂…,a_n}，a₀,a₁,a₂…,a_n分别表示不同的分配方案，n为分配方案的总数；回报函数r的表达式为：D_m表示主基站支路时延，D_s表示从基站本身的时延，D_b表示从基站回程链路的时延；(2)初始化Q值表，使Q值表中的每一个元素Q(s,a)都为零或者随机值，s为系统的一个状态，s∈S；初始化α＝α0、γ＝γ0、ε＝ε0；α0、γ0、ε0为符合系统要求的常数；(3)获取系统当前状态s；根据当前时刻的系统的状态，采用探索概率ε，从动作集合中选取动作a并从Q值表中查找相应的Q值Q(s,a)；(4)执行动作a，计算执行动作a后获得的回报值rt(a)；根据动作a执行的结果得到下一状态s′，从Q值表中找到状态s′的动作值函数的最大值maxQt(s',a')，a'∈A，a′为maxQt(s',a')对应的动作；更新动作函数值为：其中，t表示当前时刻，t+1表示下一时刻；(5)步骤(4)结束后，更新α和γ，α和γ均为负指数函数，随时间增大逐渐减小；(6)更新Q值表中相应的动作函数值；根据更新后的Q值表，找到状态s的动作值函数的最大值计算最优的Q值为：(7)重复执行步骤(3)至(6)，直至最优的Q值Q^*(s,a)收敛，然后输出各个状态s的最优动作，即