[发明专利]一种跨数据中心云计算系统的数据迁移方法

说明书

技术领域

本发明涉及虚拟化云领域，特别地，涉及一种跨数据中心云计算系统的数据迁移方法。

背景技术

数据产生的速度从来没有当今这么快过：YouTube每天产生近40亿条视频查看记录与总时长近432000小时的新视频。随着大数据时代的到来，各行各业数据量不断增长，其潜在的巨大价值值得挖掘，例如FaceBook这样的社交网站可以通过分析网站历史记录(包括点击记录，活动记录等)揭示用户使用模式以及潜在的关系，并以此检测社会热点事件或为其市场决策服务。然而，对地理分散的大容量数据进行快速处理极其复杂，以至于传统PC机已经无法满足其处理要求，为此，许多公司部署了多数据中心云与混合云来处理此问题。这些云技术提供了强大而高效解决方案来处理不断高速增长的多元大数据集合，其中一些已经投入商用以应对不断增长的计算需求，同时向用户提供可保证的服务质量。

映射-规约模型(MapReduce)是一种针对大规模数据并行处理的分布式编程模型，已经在许多应用中显示出其引人注目的优势。最初的MaprRduce模型不是针对跨数据中心设计的，不过近期研究已经将最初的MapReduce模型从单数据中心扩展到多数据中心。最值得关注的问题包括：①如何将不同位置的大规模数据迁移至地理分布的数据中心？②需要在这些数据中心中提供多少量的计算资源以保证性能同时又最小化花费？大数据的异构性、多元性以及动态的效用驱动资源价格模型使这两个问题非常具有挑战性。另外，分布式计算多个阶段之间的内部依赖性，如MapReduce计算中映射阶段与规约阶段的相互作用，进一步加剧了在地理分布的多数据中心之间的数据迁移、资源供给以及规约器选择问题的复杂性。

针对现有技术中缺乏基于映射-规约模型的跨数据中心云计算系统调度方案的问题，目前尚未有有效的解决方案。

发明内容

有鉴于此，本发明的目的在于提出一种跨数据中心云计算系统的数据迁移方法，能够平衡跨数据中心的花费来高性能、高可用且以最小花费解决跨数据中心云计算系统的调度问题。

基于上述目的，本发明提供的技术方案如下：

根据本发明的一个方面，提供了一种跨数据中心云计算系统的数据迁移方法，包括：

从云计算系统中获取系统参数；

根据系统参数获得目标函数与约束；

使用李雅普诺夫优化框架获得目标函数的飘移-惩罚因子与其上界；

从飘移-惩罚因子中的上界中提取数据分配项并生成数据迁移方法。

其中，根据系统参数获得目标函数包括：

使用系统参数描述决策变量；

使用系统参数与决策变量描述数据中心的成本；

根据决策变量与数据中心的成本描述目标函数与约束。

并且，云计算系统包括多个数据源与多个数据中心，其中每个数据中心均包括一个映射器与一个规约器；云计算系统在进行数据迁移时，先将数据源的数据转移到任意数据中心的映射器上执行映射操作并生成中间键值对，后将中间键值对从任意数据中心的映射器转移到单个数据中心的规约器上执行规约操作。

并且，其特征在于，系统参数包括：

数据中心集合、虚拟机类型集合、数据集合；

某时刻从某数据源转移至某数据中心的数据量、某时刻某数据源产生的数据量、每时刻某数据源产生的最大数据量；

某数据源转移单位数据量至某数据中心的价格、单位数据在数据中心的存储价格、某时刻数据中心尚未处理完的数据量、某数据源到某数据中心间的延迟、延迟经济花费转换因子、某时刻某数据中心内某类虚拟机的价格、某时刻从某数据中心转移的数据量、某两数据中心间的迁移花费。

同时，决策变量包括数据分配变量、虚拟机供给变量与规约器选择变量，使用系统参数描述决策变量包括：

使用某时刻从某数据源转移至某数据中心的数据量、某时刻某数据源产生的数据量、每时刻某数据源产生的最大数据量描述数据分配变量；

使用某时刻从某数据中心提供的用作映射的某类虚拟机数量、某时刻从某数据中心提供的用作规约的某类虚拟机数量描述虚拟机供给变量；

使用某时刻映射器产生的所有数据汇集到的数据中心描述规约器选择变量。

并且，数据中心的成本包括带宽花费、存储花费、延迟花费、计算花费与迁移花费，使用系统参数与决策变量描述数据中心的成本包括：

使用从某数据源转移单位数据量至某数据中心的价格与数据分配变量描述带宽花费；