[发明专利]一种云计算基于强化学习的虚拟机迁移方法

说明书

本发明请求保护一种云计算中基于强化学习的虚拟机自适应迁移策略，包括步骤：S1：采集负载数据，预测每个虚拟机的负载；S2：依据负载预测的结果更新服务节点的状态；S3，初始化数据中心的强化学习模型，即状态集、动作集、状态转移概率、收益和折扣因子；S4：确定强化学习的每一组状态‑行为对Q(s，a)的值，即在状态s下采用行为a的收益值；S5：使用贪心算法选择行为a；S6：收集数据中心系统的反馈信息S7：根据强化学习的结果进行虚拟机的迁移调度，更新服务节点的状态到s′，并更新状态行为对Q(s′，a)的值；S8：循环S1到S7直至目标值达到最优或者迭代次数达到阈值。

技术领域

本发明属于云计算资源调度领域，特别是涉及一种基于强化学习的虚拟机自适应迁移策略。

背景技术

云数据中心的工作负载是动态变化的，虚拟机迁移过程中变化的负载需要进一步的迁移去适应。因此需要有效的负载预测技术来减少因工作负载变化而提高的虚拟机迁移次数，从而减少虚拟机迁移的功耗。

云数据中心工作负载的多变性、用户行为的随机性造成了数据中心服务器负载不均衡。高效的负载均衡技术可以避免某些资源利用率过高造成的性能低下问题，甚至可以通过关闭低负载主机达到节能的目的。

云计算所提供的服务具有弹性伸缩的特性，这种特性使其可以根据业务负载情况动态实时自动创建和释放云服务器(Cloud virtual machine,CVM)实例，以帮助用户以最合适的实例数量应对业务情况。比如当CPU利用率较高时，就添加新的CVM实例；而当CPU利用率较低时，就删除一个CVM实例。这就为云计算的环境带来了很大的不确定性。云计算这种弹性伸缩的服务对于数据中心的负载均衡来说是一个非常大的挑战。在以往的服务器整合技术研究中，研究者多使用静态预留或者启发式算法来解决VM的迁移问题。但是现在云平台中的应用请求动态多变，应用所需资源不可预测现象严重，资源利用的不均衡问题突出。静态预留方法和启发式调度算法不能很好的满足均衡调度的需求，缺乏对优化目标的迭代反馈自主学习。

针对以上情况，本发明在云计算这种资源需求不确定的环境中，使用引入诱导有序加权平均算子的组合预测算法对数据中心的工作负载进行科学预测，并且使用基于强化学习的虚拟机迁移策略对云数据中心的资源进行动态配置，从而保证云数据中心的负载均衡，降低其功耗。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于强化学习的虚拟机自适应迁移策略。本发明保证数据中心负载均衡，降低其功耗的主要方式为基于强化学习的虚拟机调度或迁移。本发明首先使用引入诱导有序加权平均算子的组合预测方法对于服务节点的负载进行预测，并根据预测结果将服务节点分为不同的状态。同时，使用强化学习的方法来学习对于当前服务节点所采取的动作。强化学习是一种的虚拟机自适应迁移策略。提出了一种云计算基于强化学习的虚拟机迁移方法。本发明的技术方案如下：

一种云计算基于强化学习的虚拟机迁移方法，其包括以下步骤：

S1：采集负载数据，采用引入IOWA算子的组合预测方法预测每个虚拟机的负载；

S2：依据步骤S1中虚拟机的负载预测结果，计算每个服务节点的负载与平均负载之间的差，确定服务节点的负载状态；

S3，初始化数据中心的强化学习模型，即状态集、动作集、状态转移概率、收益和折扣因子；

S4：确定强化学习的每一组状态-行为对Q(s,a)的值，即在状态s下采用行为a的收益值；

S5：使用贪心算法选择行为a；对于每一个服务节点的状态，根据Q(s,a)的值选择收益最高的行为a；

S6：收集数据中心系统的反馈信息，包括数据中心的功耗、负载方差、平均资源利用率；

S7：根据强化学习的结果进行虚拟机的迁移调度，更新服务节点的状态到s′，并更新状态行为对Q(s′,a)的值；