[发明专利]一种基于强化学习的虚拟机资源调度方法

说明书

本发明为基于强化学习的虚拟机资源调度方法，建立云计算排队系统模型，确认最大可使用的资源；建立虚拟机任务数估算模型，确认时刻t在系统等待的第v类虚拟机请求的任务数，得出任务数；根据总任务数，把优化平均任务完成时间目标映射为数学模型，找出多个影响平均任务完成时间的决策条件；引入虚拟机配置数组，将多个影响平均任务完成时间的决策条件转换为单维的虚拟机调度决策条件，输入虚拟机实例数量、虚拟机请求数量与虚拟机请求的工作量，作为初始参数；得出决策点、行为空间、奖励函数、状态‑行为价值函数与贪婪行为策略；在虚拟机调度模型中迭代计算，行为组，作为最优虚拟机资源调度策略；根据策略输出最优虚拟机资源调度方法。

技术领域

本发明涉及计算机技术，具体涉及一种虚拟机的资源调度优化方法。

背景技术

虚拟机资源调度是指在云计算环境下，立足于多用户的多资源需求(例如，异构的CPU，内存，存储资源组合需求)和云计算系统的可用资源，为同时到达的用户分配虚拟机资源和决定虚拟机资源调度的顺序。

一般虚拟机资源调度采用在线算法，包括first-fit-sharing(FFS)和best-fit-sharing(BFS)，来解决虚拟机背包问题。在线算法主要是解决如何将虚拟机任务分配到多个服务器群集，从而均衡服务器群集间的业务负载或降低服务器群集的数量，它们并没有考虑虚拟机任务在服务器群集的排队问题，即没有考虑虚拟机任务的排队延迟。事实上，排队延迟对用户尤其延迟敏感用户具有重要的影响。

为了满足延迟敏感业务的服务质量要求，本方法综合考虑了虚拟机资源的多资源多类性和业务的延迟敏感性，设计了一种基于强化学习的虚拟机资源调度方法。将延迟的具体性能参数——任务完成时间作为奖赏函数，采用贪婪行为策略，通过训练使系统能通过自主学习的方法选择最优的调度策略来达到最大奖励，从而获得最优的平均任务完成时间。

发明内容

针对上述现有技术不足，本方法使云计算系统能够自主学习优化的虚拟机资源调度策略，减少虚拟机任务的延迟，满足尽量多用户的实时应用需求。

为解决上述技术问题，本发明采用的技术方案为，一种基于强化学习的虚拟机资源调度方法，包括以下步骤：

S101：建立云计算排队系统模型，确认允许用户每单位时间最大可使用的资源；

S102：建立虚拟机任务数估算模型，确认时刻t在系统等待的第v类虚拟机请求的任务数，得出等待所有资源请求的任务数；

S103：根据总任务数，把优化平均任务完成时间目标映射为数学模型，找出多个影响平均任务完成时间的决策条件；

S104：引入虚拟机配置数组，将多个影响平均任务完成时间的决策条件转换为单维的虚拟机调度决策条件，降低算法的时间复杂度；

S105：输入虚拟机实例数量、虚拟机请求数量与虚拟机请求的工作量，作为初始参数；

S106：得出决策点、行为空间、奖励函数、状态-行为价值函数与贪婪行为策略；

S107：在虚拟机调度模型中迭代计算，开始强化学习；

S108：选出使得状态-行为价值函数最大的行为组，作为最优虚拟机资源调度策略；

S109：根据策略输出最优虚拟机资源调度方法。

本发明综合考虑了虚拟机资源的多资源多类性和业务的延迟敏感性，设计了一种基于强化学习的虚拟机资源调度方法。将延迟的具体性能参数——任务完成时间作为奖赏函数，采用贪婪行为策略，通过训练使系统能通过自主学习的方法选择最优的调度策略来达到最大奖励，从而获得最优的平均任务完成时间。

附图说明

图1是本发明的一种基于强化学习的虚拟机资源调度方法的算法流程图。