[发明专利]基于Q学习的星地融合网络资源分配策略的实现方法

权利要求书

1.一种基于Q学习的星地融合网络资源分配策略的实现方法，其特征在于，该方法中，从每个决策判决开始到判决完成视为一个周期，用户在每个判决周期过程中按以下步骤进行资源分配：

步骤1、采集当前各级回程链路状态和用户请求业务状态信息s_t；在开始判决前，收集组成环境状态的多个参数形成状态集，影响状态集的参数包括当前回程网络的时延、丢包率、链路负载因素，以及用户请求的业务类型和业务复杂度，将状态集输入资源分配系统形成环境反馈，以此来确定资源业务将要被选取到的资源节点；

步骤2、通过环境反馈做出收益判决；基于状态信息s_t，根据业务QoS需求和QCI类型以及回报函数中每项因素的权重，做出回报最大的动作，即在Q表中查找当前Q值最大的动作项，以使用户在当前状态s_t下执行动作a_t时获得最大的Q值maxQ(s_t，a_t)，选择完动作之后也就确定了相应的资源节点，此时用户在发起业务请求时，部署在核心网处的源站服务器会将用户请求的业务对接传送到该资源节点中；

步骤3、强化信号并更新Q表；依据步骤2得到的收益，通过Q值函数对Q表进行更新，并将结果输入到训练队列进行循环迭代，为下一周期的判决做准备；每个判决周期的判决结果都是其下一个周期的状态输入，以此形成闭环直到得到最佳决策集为止。

2.一种基于权利要求1所述的方法实现的资源分配系统模型建立方法，其特征在于，包括以下步骤：

步骤11、业务对时延和丢包的敏感度的设置：将各条回程链路的时延和丢包率预设成各个数值大小不同的档位，每次训练之前都通过函数随机选取一档数值，作为当前回程链路环境状态的指标参数；

步骤12、回程链路负载和带宽的设置：链路的负载和带宽采用以下两种方法之一进行设置，一是通过修改Amarisoft平台中的带宽的配置.asn文件进行修改；二是利用wondersharper软件进行网卡限流；

步骤13、业务优先级和复杂度设置：业务类型的判别是利用不同业务原始名的后缀，通过在源站服务器部署的不同种类的业务，在核心网处得到预取资源业务的原始名，利用函数取其后缀名进行正则匹配，从而判断出每次预取的业务类型；

步骤14、动作集的设定：声明一个新的空间集，“ter”为地面级资源节点，“sat”为卫星级资源节点，根据当前所处的状态和Q值的大小选择回报最大的动作；

步骤15、选择判决的执行过程：关于业务资源分配的实现，设计采用SpringMVC框架和VSFTPD服务器进行对接，利用SpringMVC框架中的文件上传功能，将目标资源上传到VSFTPD服务器指定的文件夹下面，在资源节点中部署VSFTPD服务器后，将其IP、端口号、用户名和密码这些参数通过FTPClient与核心网处的源站服务器进行对接，同时采用UUID生成随机ID作为上传资源的资源名称，并且在完成上传后删除该目标资源。

3.如权利要求2所述的方法，其特征在于，步骤12中，通过修改Amarisoft平台中的带宽的配置.asn文件进行修改时，手动设置成5M、10M和20M这几种大小的带宽。

4.如权利要求2所述的方法，其特征在于，步骤12中，只要是基于Linux的操作系统则采用利用wondersharper软件进行网卡限流的方法。

5.如权利要求2所述的方法，其特征在于，步骤13中，设置优先级时，不同业务类型的优先级设置为不同，.mp4、.jpg、.txt这些类型资源归属于不同的优先级。

6.如权利要求2所述的方法，其特征在于，步骤13中，设置优先级时，通过业务类型间接反映出该业务的优先级信息。