[发明专利]一种基于强化学习的虚拟机资源调度方法

权利要求书

1.一种基于强化学习的虚拟机资源调度方法，其特征在于，包括以下步骤：

S101：建立云计算排队系统模型，确认允许用户每单位时间最大可使用的资源；

S102：建立虚拟机任务数估算模型，确认时刻t在系统等待的第v类虚拟机请求的任务数，得出等待所有资源请求的任务数；

S103：根据总任务数，把优化平均任务完成时间目标映射为数学模型，找出多个影响平均任务完成时间的决策条件；

S104：引入虚拟机配置数组，将多个影响平均任务完成时间的决策条件转换为单维的虚拟机调度决策条件，降低算法的时间复杂度；

S105：输入虚拟机实例数量、虚拟机请求数量与虚拟机请求的工作量，作为初始参数；

S106：得出决策点、行为空间、奖励函数、状态-行为价值函数与贪婪行为策略；

S107：在虚拟机调度模型中迭代计算，开始强化学习；

S108：选出使得状态-行为价值函数最大的行为组，作为最优虚拟机资源调度策略；

S109：根据策略输出最优虚拟机资源调度方法。

2.根据权利要求1所述的基于强化学习的虚拟机资源调度方法，其特征在于，所述步骤S101具体为，

将虚拟机划分为V类，每类虚拟机对应设备资源，表示允许用户每单位时间最大可使用的资源；令K＝{1,…,k}和V＝{1,…V}分别表示资源类型和虚拟机类型空间；令R_vk表示第v类虚拟机需要的第k类资源的数量，令C_k表示第k类资源的系统容量；系统能支持第v类虚拟机的条件是：

一个可行的虚拟机配置定义如下：

定义1：若一个云计算系统能同时调度N₁个类型-1的虚拟机实例、N₂个类型-2的虚拟机实例，…,N_v个类型-V的虚拟机实例，则称V元素矢量N＝(N₁,…N_v)为云计算系统的一个可行的虚拟机配置；当且仅当公式(2)成立时，N是一个可行的虚拟机配置；

则表示系统可支持的第V类虚拟机的最大数量。

3.根据权利要求2所述的基于强化学习的虚拟机资源调度方法，其特征在于，所述步骤S102具体为，

建立模型为：S1021：虚拟机请求随机地到达系统，不同类型的虚拟机请求到达速率相互独立；S1022：对每一类虚拟机，每单位时隙虚拟机请求的数量服从相互独立相同分布，每个请求的虚拟机运行时长也服从i.i.d分布；

令初始化系统为空闲状态；令J_v(t)≥C表示第v类虚拟机在时间间隔[t,t+1]到达的请求数量，表示第v类虚拟机第j个请求的请求时长，其中0≤jJ_v(t)；令λ_v表示第v类虚拟机请求数量的到达速率，计算

令表示第v类请求的平均时长，计算：

令表示在时隙t开始调度的第v类虚拟机实例的数量，表示在t前已经调度且在t仍需调度的第v类虚拟机实例的数量；在[t,t+1]内，第v类虚拟机实例的总调度数量为：

令Q_v(t)表示时刻t在系统等待的第v类虚拟机请求的数量：

令W_v(t)表示在时刻t在系统等待的第v类虚拟机请求的工作量：

4.根据权利要求3所述的基于强化学习的虚拟机资源调度方法，其特征在于，所述步骤S103具体为，

令表示第j个类型-v的虚拟机任务的完成时间，其定义为：

式中，表示响应时间，是运行时长；

类型-v虚拟机任务的平均完成时间为：

最小化：

限制条件：

公式(11)是所有虚拟机类型所有时间的平均任务完成时间；公式(12)是资源限制条件；公式(13)依据公式(7)；公式(14)依据公式(8)；公式(9)依据公式(6)；

优化方程的决策变量是N_v(t)和