[发明专利]基于Q学习的通信网络任务资源调度方法

说明书

本发明公开了一种基于Q学习的通信网络任务资源调度方法，包括获取通信网络的实时通信状态和通信参数并初始化R表；通信网络的每一个任务调度节点进行自身Q表的训练；通信网络的每一个任务调度节点进行自身Q表的决策；通信网络根据每一个任务调度节点在步骤S3得到的Q表进行后续的任务资源调度；通信网络的每一个任务调度节点进行自身R表的更新；重复上述步骤进行持续的通信网络任务资源调度。本发明利用Q学习的特点，为在具有不确定性的高动态网络环境下建模任务存活率与资源利用率之间的相互影响关系问题找到了突破口，通过创新性的算法研究和实施，实现了复杂情况下的通信网络的任务资源调度和平衡，而且可靠性高、稳定性好且简单方便。

技术领域

本发明属于分散计算领域，具体涉及一种基于Q学习的通信网络任务资源调度方法。

背景技术

在恶劣无线通信环境下，特别是面向网络吞吐量严重受限而用户应用又要求近乎实时响应的环境下，为解决计算任务复杂多变与节点资源严重受限的矛盾，基于分散计算的应用模式是一种值得探究的解决方案。在分散计算环境下，为保障已被调度的任务能在恶劣的战场环境下生存下来，顺利完成如军事应用等工作，需要研究跨节点计算任务的抗毁接替模式。在节点计算任务的抗毁接替模式中，一个关键问题是需要在确定被调度的任务数量时，明确任务完成期内资源的可用量与任务数量的合理匹配关系。若偏离合理值太远，要么资源利用率太低，要么任务存活率不高，这都会加剧恶劣的战场环境下资源严重受限与任务量巨大之间的矛盾。

在计算节点物理损毁情况下，要使其上执行的任务仍能得以存活，一个简单有效的手段是将该任务重调度到其它计算点上执行。因此，在一个特定时期内，被调度执行的总任务数与可用的资源总量的匹配关系直接影响这批任务的存活率。从充分利用资源的角度考虑被调度的任务数，可能会使同样的资源服务更多的任务，但计算节点物理损毁导致任务执行失败的概率会更大(如因缺乏抗毁接替资源而导致)，这时任务存活率并不会很高。反之，若过于降低同期被调度的任务总数，则计算节点物理损毁导致任务执行失败的概率将会降低很多。这主要是因重调度时有更多可选择的接替计算节点。然而，同期的资源利用率将会很低。这时，尽管任务存活率可能很高，但以严重降低资源利用率换得的任务高存活率没有意义，尤其在资源受限的战场环境下。因此，需要探讨任务存活率与资源利用率之间的相互影响关系，力求找到两者之间的一个合理平衡点。

但是，目前针对两者之间的合理平衡点的研究和技术方案，往往都可靠性不搞，而且方法极为复杂。

发明内容

本发明的目的在于提供一种可靠性高、稳定性好且简单方便的基于Q学习的通信网络任务资源调度方法。

本发明提供的这种基于Q学习的通信网络任务资源调度方法，包括如下步骤：

S1.获取通信网络的实时通信状态和通信参数，并初始化R表；

S2.通信网络的每一个任务调度节点进行自身Q表的训练；

S3.通信网络的每一个任务调度节点进行自身Q表的决策；

S4.通信网络根据每一个任务调度节点在步骤S3得到的Q表进行后续的任务资源调度；

S5.通信网络的每一个任务调度节点进行自身R表的更新；

S6.重复步骤S2～S5，进行持续的通信网络任务资源调度。

步骤S1所述的初始化R表，具体为采用如下步骤进行初始化：

前提：每个初始状态中资源项的值不超过所有节点初始化资源量之和；

Ⅰ.对于每一个均重复进行如下步骤Ⅱ～步骤Ⅷ；其中为任务调度节点i在时刻0的状态；S_i为任务调度节点i的状态空间集合；

Ⅱ.对于每一个均重复进行如下步骤Ⅲ～步骤Ⅷ；为任务调度节点i在时刻0采取的行动；A_i为任务调度节点i的行动集合；