[发明专利]一种使用深度强化学习进行移动边缘计算的任务迁移方法

说明书

本发明公开了一种使用深度强化学习进行移动边缘计算的任务迁移方法，先设定系统模型各参数，再描述强化学习中的决策公式，然后基于公式给出任务迁移算法；通过本方法能够获得高效的任务迁移机制，而高效的任务迁移机制能够提高系统实时性，充分利用计算资源，并减少能耗；本方法同时运用了深度强化学习思想进行任务调度，即决策是否迁移计算任务，尤其使用了马尔可夫决策过程，能够在极短时间内给出较优解，实时性强；本方法适用于用户处在高速运动状态时，解决是否更换使用的服务器基站问题。

技术领域

本发明涉及云服务器边缘计算的任务调度领域，尤其涉及的是一种使用深度强化学习进行移动边缘计算的任务迁移方法。

背景技术

边缘计算与云计算不同，云计算属于集中式大数据处理系统，而边缘计算定义为在用户附近或数据源头搭建的分布式计算服务平台。当用户处于高速移动状态，所使用的边缘计算平台基站需要不断切换，则涉及到任务迁移技术，其属于分布式计算系统的任务调度问题之一。

而用户在高速移动时，往往存在边缘计算所使用的服务器切换时机不当所导致的长时延、高能耗、信号差等问题。某些现有技术中会尝试解决上述问题，但均只考虑到单一因素，得到的效果往往不够理想：如专利CN 105656999 A（公布日 2016.06.08），一种移动云计算环境中能耗优化的合作任务迁移方法，公开了通过合作任务迁移降低能耗，但其只考虑服务器负载问题。又如专利CN 103957231 A（公布日 2014.07.30），一种云计算平台下的虚拟机分布式任务调度方法，虽然公开了云计算调度，但其没有提及在高速移动时云计算如何调度。

因此，现有技术还有待于改进和发展。

发明内容

本发明的目的在于提供一种使用深度强化学习进行移动边缘计算的任务迁移方法，旨在解决现有技术不能同时解决用户在高速移动时，因边缘计算所使用的服务器切换时机不当所导致的长时延、高能耗、信号差的问题。

本发明的技术方案如下：一种使用深度强化学习进行移动边缘计算的任务迁移方法，其中，具体包括以下步骤：

步骤S1：设定系统模型各参数；

步骤S2：描述强化学习中的决策公式；

步骤S3：基于公式给出任务迁移算法。

所述的使用深度强化学习进行移动边缘计算的任务迁移方法，其中，所述步骤S1包括以下步骤：

步骤S11：定义边缘计算服务基站位置集合为；

步骤S12：定义服务时间片段集合为；

步骤S13：在t时刻，，定义用户连接的服务基站位置为；

步骤S14：定义t时刻距离用户最近的服务基站位置为；

步骤S15：定义 式1为两基站的距离。

所述的使用深度强化学习进行移动边缘计算的任务迁移方法，其中，所述步骤S2中，采用马尔可夫决策过程描述强化学习中的决策公式，决策的智能体为装载于用户终端的一种云计算控制装置，该云计算控制装置可决定是否进行任务迁移。

所述的使用深度强化学习进行移动边缘计算的任务迁移方法，其中，所述步骤S2包括以下步骤：

步骤S21：定义t时刻智能体的状态为 式2，为用户当前使用基站与考虑任务迁移基站的距离之差；

步骤S22：定义智能体的动作集合为 式3，代表不做任务迁移，代表进行任务迁移；

步骤S23：定义t时刻智能体的动作为 式4；