[发明专利]基于Q学习的星地融合网络资源分配策略的实现方法

说明书

本发明涉及一种基于Q学习的星地融合网络资源分配策略的实现方法，属于天地一体化星地融合网络技术领域。本发明针对星地融合网络中的资源分配进行深入研究，提出了一种卫星和地面网络融合的资源分配策略，时刻以最大化收益为目标设计资源分配模型，并提出一种基于Q学习算法的星地融合网络资源分配策略，该策略以各回程网络的当前状态以及传输业务的特点为判决因素，不断学习训练出最佳决策集，执行最佳的资源分配策略，从而自适应缓解核心网回程链路压力，提高用户体验，保证了系统的实时性和可靠性。

技术领域

本发明属于天地一体化星地融合网络技术领域，具体涉及一种基于Q学习的星地融合网络资源分配策略的实现方法。

背景技术

随着移动互联网技术的飞速发展，用户的数据业务类型愈来愈多，由互联网产生的业务数据流量正在呈指数级增长，业务对终端处理器的计算能力和存储能力都提出了更高的要求以满足用户需求。针对卫星网络和地面通信网络的覆盖和传输能力与需求的失配性问题，以及星地融合网络业务服务的孤立性问题，星地融合网络的资源分配问题值得深度挖掘。无线自组网络在部署了资源节点后能够处理和存储海量数据，并能够将运算处理后的数据结果反馈至控制中心，不仅减少了中心节点的负载，还大大增加了数据的计算处理效率，实现海量设备之间的交互、管控和业务共享等功能，从而迎合了未来移动通信的趋势和应用要求。与传统的自组网网络架构不同的是，将星地融合网络与多级资源节点结合后，能够将多个资源节点进行分布式管控，同时利用卫星通信广播特性，实现多级资源节点的业务分配、多回程链路切换决策的制定、用户行为模型分析等功能，为星地融合网络中无线资源管理的研究奠定了坚实的理论基础。

由于不同种类的业务具有不同的特性，在交付过程中对传输链路的要求也不同。当用户对业务进行请求时，各个资源节点能够利用当前回程网络的信息状态和业务资源类型，对无线业务资源进行合理分配，最大程度上保证资源分配在相对合适的资源节点中，从而能够进一步提升星地融合网络的稳定性和可靠性。

随着5G通信、物联网、车联网以及各种新型应用的发展，用户的概念已经从传统狭义的“客户”角度扩展到广义的节点用户概念，网络的发展和业务的出现使得网络中用户行为特征呈现规律复杂、尺度多变的特征。无线网络业务承载中，计算、存储和通信所组成的多网络资源共同服务于用户的业务承载。现目前的自组网网络资源利用较为孤立，且各资源之间相互约束、相互抑制、相互关联，导致业务承载质量下降。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何设计一种星地融合网络资源分配策略实现方法，对用户请求的业务进行有效地控制判决。

(二)技术方案

为了解决上述技术问题，本发明提供了一种基于Q学习的星地融合网络资源分配策略的实现方法，该方法中，从每个决策判决开始到判决完成视为一个周期，用户在每个判决周期过程中按以下步骤进行资源分配：

步骤1、采集当前各级回程链路状态和用户请求业务状态信息s_t；在开始判决前，收集组成环境状态的多个参数形成状态集，影响状态集的参数包括当前回程网络的时延、丢包率、链路负载因素，以及用户请求的业务类型和业务复杂度，将状态集输入形成环境反馈，以此来确定资源业务将要被预取到的资源节点；

步骤2、通过环境反馈做出收益判决；基于状态信息s_t，根据业务QoS需求和QCI类型以及回报函数中每项因素的权重，做出回报最大的动作，即在Q表中查找当前Q值最大的动作项，以使用户在当前状态s_t下执行动作a_t时获得最大Q值maxQ(s_t,a_t)；

步骤3、强化信号并更新Q表；依据步骤2得到的收益，通过Q值函数对Q表进行更新，并将结果输入到训练队列进行循环迭代，为下一周期的判决做准备。每个判决周期的判决结果都是其下一个周期的状态输入，以此形成闭环直到得到最佳决策集为止。