[发明专利]一种基于强化学习的移动数据流量卸载方法

说明书

本发明公开了一种基于强化学习的移动数据流量卸载方法，首先基于手机用户上网记录数据，进行用户流量需求分析，分别针对用户总流量和可卸载流量进行统计分析；然后针对运营商、内容提供方和内容需求方，根据运营商效用函数、内容提供方效用函数、内容需求方效用函数和系统总效用函数，利用强化学习方法，求解令系统的总效用目标函数最优化的流量卸载策略。本发明利用强化学习中的Gradient Bandit算法，通过多天长期学习训练，做出最优的流量卸载决策。

技术领域

本发明属于移动互联网技术领域，特别涉及一种基于强化学习的移动数据流量卸载方法。

背景技术

根据思科的移动网络前景报告预测，全球移动数据流量将在2019年增长到292EB，并且97％的数据流量为智能流量。移动数据流量卸载是近年来兴起的一种新兴技术，利用互补网络分担原本在蜂窝网络上传输的数据流量，能够有效解决蜂窝网络流量负载问题，并且可以提升运营商的服务质量，保障用户的使用体验，减小用户的数据流量费用，提供更大的接入带宽。由于大部分互补网络已经存在或部署代价较小，相较于建设更多宏蜂窝网络基站，升级网络配置的传统措施，移动数据流量卸载在经济成本、建设周期等投入代价方面有着巨大的优势。因此，移动数据流量卸载的研究成为一个热点问题，引起了业界学者的广泛关注。

移动数据流量卸载是利用互补网络传输数据，从而降低蜂窝网络负载的一种技术。流量卸载的目标是在保障用户服务质量QoS的前提下，降低移动网络上对带宽需求较大的服务的成本，减小其对网络负载的影响。该技术可以有效解决移动数据量的激增所造成的资源竞争和用户体验指数下降的问题。基于机会连接的移动数据流量卸载，利用用户之间的机会通信进行流量卸载，可以减小回程链路的负载和传输代价。

发明内容

为了解决上述技术问题，本发明提出了一种基于强化学习的移动数据流量卸载方法。

本发明所采用的技术方案是：一种基于强化学习的移动数据流量卸载方法，其特征在于，包括以下步骤：

步骤1：基于手机用户上网记录数据，进行用户流量需求分析，分别针对用户总流量和可卸载流量进行统计分析；

步骤2：针对运营商、内容提供方和内容需求方，根据运营商效用函数、内容提供方效用函数、内容需求方效用函数和系统总效用函数，利用强化学习方法，求解令系统的总效用目标函数最优化的流量卸载策略。

本发明利用强化学习中的Gradient Bandit算法，通过多天长期学习训练，做出最优的流量卸载决策。

相对于现有技术，本发明的优点是：现有技术需要依赖于具体已知的流量负载情况，本发明可以在未来一天的流量负载是未知的情况下，通过分析流量负载的历史变化趋势，利用强化学习方法提前做出未来一天中最优的流量卸载决策。

附图说明

图1是本发明实施例的流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种基于强化学习的移动数据流量卸载方法，包括以下步骤：

步骤1：基于手机用户上网记录数据，进行用户流量需求分析，分别针对用户总流量和可卸载流量进行统计分析；

步骤1.1：基于手机用户上网记录数据，针对用户总流量进行统计分析，统计各天中每个时段的用户总流量需求；