[发明专利]一种基于强化学习的移动数据流量卸载方法

权利要求书

1.一种基于强化学习的移动数据流量卸载方法，其特征在于，包括以下步骤：

步骤1：基于手机用户上网记录数据，进行用户流量需求分析，分别针对用户总流量和可卸载流量进行统计分析；

步骤1的具体实现包括以下子步骤：

步骤1.1：基于手机用户上网记录数据，针对用户总流量进行统计分析，统计各天中每个时段的用户总流量需求；

步骤1.2：基于手机用户上网记录数据，针对可卸载流量进行统计分析，统计各天中每个时段的可卸载流量；

步骤2：针对运营商、内容提供方和内容需求方，根据运营商效用函数、内容提供方效用函数、内容需求方效用函数和系统总效用函数，利用强化学习方法，求解令系统的总效用目标函数最优化的流量卸载策略；

步骤2的具体实现包括以下子步骤：

步骤2.1：设计运营商效用函数、内容提供方效用函数、内容需求方效用函数和系统总效用函数；

运营商的效用函数由提供流量的收益和成本两部分构成，令用户需求总流量为q，可卸载流量为f,流量卸载比例为x,则运营商的真实流量负载为q-fx,运营商的每单位流量定价为p,单位流量的成本为e,效用函数为：

U₁(x)＝(p-e)·(q-fx)；

内容提供方的效用函数由提供流量的收益和成本两部分构成，内容提供方提供的总流量为可卸载流量f和卸载比例x的乘积fx，令内容提供方的每单位流量定价为d，内容提供方的单位流量成本为g，则内容提供方的效用函数为：

U₂(x)＝(d-g)fx；

内容需求方的效用由获得的流量收益和支付的费用两部分组成，如下式所示：

U₃(x)＝αlog(1+q)-p(q-fx)-dfx；

其中α是与用户体验相关的参数，第二项为支付给运营商的费用，第三项为支付给内容提供方的费用；

系统总效用目标函数为：

U(x)＝λ₁·U₁(x)+λ₂·U₂(x)+λ₃·U₃(x)

s.t.λ₁+λ₂+λ₃＝1

λ₁≥0；λ₂≥0；λ₃≥0；

λ₁、λ₂和λ₃为三方效用函数的归一化权重，其中对三方的效用函数分别进行了归一化，并且限制了优化式中各权重的取值范围；

步骤2.2：利用强化学习中的Gradient Bandit算法，求解令系统的总效用目标函数最优化的流量卸载策略。

2.根据权利要求1所述的基于强化学习的移动数据流量卸载方法，其特征在于：步骤1.2中，利用用户之间的机会通信进行流量卸载，需要满足以下3个条件：用户对在时间、空间和内容维度有交集；因此对用户进行筛选，针对有相遇行为并且访问过相同类型的互联网内容的用户，进行流量需求统计，这一部分流量即为可卸载流量。

3.根据权利要求1-2任意一项所述的基于强化学习的移动数据流量卸载方法，其特征在于：步骤2中所述强化学习方法，在强化学习模型中有2类行为action，在第t轮迭代中，当action为1时，表示选择从运营商获取内容，相应的收益为R_t(1)＝U(x_t＝0)，当action为2时，表示选择从内容提供方获取内容，相应的收益为R_t(2)＝U(x_t＝1)；这2类action的偏好因子分别记为H_t(1)和H_t(2)，初始时t＝0，令H_t(1)＝H_t(2)＝0，则选择这2类action的概率分别为：

在后续t轮迭代中，π_t(1)和π_t(2)按照下式进行更新，假设当前t时刻的action为A_t，则迭代式为：

对于行为a≠A_t，则迭代式如下所示：

则选择行为a的概率为：

其中，α是可控参数，R_t是t时刻选择行为A_t的收益，是前t时刻选择行为A_t获得收益的平均值；在t+1时刻根据t时刻的概率π_t(1)和π_t(2)，选择从运营商或内容提供方获取数据。