[发明专利]针对归约器任务的虚拟机优化分配和/或生成

说明书

本公开涉及在映射归约MapReduce中在“映射”阶段基本完成之后进行的归约器虚拟机的分配或生成。代替在先布置，在“映射”阶段之后进行在映射器虚拟机上的键的分布可用来在诸如OpenStack的虚拟云计算基础设施中有效地进行归约器任务。通过对约束优化问题求解，归约器虚拟机VM可受制于某些约束被优化地分配给处理键。具体地，本公开描述了一种特殊的变量矩阵。此外，本公开描述了用于表示基于在映射器VM上的键的分布(和其他适当的因素)所确定的成本的若干可能的成本矩阵。

技术领域

本公开内容总体涉及计算领域，并且更具体地，涉及用于提供针对归约器任务的优化虚拟机分配的系统与方法。

背景技术

计算机网络技术通过将工作共享在网络内的各种硬件资源中来允许复杂计算任务的执行。这种资源共享功能促进了此前过于繁琐或不能实行的计算任务的完成。例如，术语“大数据”已被用来描述极其大且复杂、并由此非常难以处理的数据集。许多计算和联网技术的实现已设计出来进行大数据的处理。用于操作这些大型数据集的一种常用操作是MapReduce(映射归约)。举一个例子，采用MapReduce的Hadoop(分布式计算框架)可允许应用的写操作，其中这些应用以可靠的、容错的方式在商用硬件的大型集群(数以千计的节点)上并行处理大量数据(多TB级的数据集)。在经虚拟化的环境(例如，OpenStack云基础架构)中工作时，MapReduce可使用许多分布在物理主机上的虚拟机来实现。对这种大型数据集进行的处理是计算密集的，并在数据中心资源的占用可能是昂贵的。

附图说明

结合附图并参照以下描述来提供对于本公开及其特征和优点的更完整的理解，其中相似参考符号代表相似部分，其中：

图1根据本公开的一些实施例示出在经虚拟化的计算环境中执行的具有映射任务和归约器任务的MapReduce(映射归约)的过程；

图2根据本公开的一些实施例示出用于针对在物理主机上的归约器任务确定虚拟机分配的方法的示例性流程图；

图3根据本公开的一些实施例示出在映射任务完成之后在映射器虚拟机上的键分布；

图4根据本公开的一些实施例示出示例性的变量矩阵X；

图5根据本公开的一些实施例示出键分布矩阵D；

图6根据本公开的一些实施例示出网络距离矩阵C；以及

图7根据本公开的一些实施例示出用于针对在物理主机上的归约器任务确定虚拟机分配的示例性系统。

具体实施方式

概述

本公开涉及在MapReduce(映射归约)中在“映射”阶段基本完成之后进行归约器虚拟机(VM)的分配或生成。代替在先布置，在“映射”阶段之后进行的在映射器虚拟机上键分布可用来在虚拟云计算基础设施(例如，OpenStack)中有效地进行归约器任务。通过对约束优化问题求解，归约器VM可受制于某些约束被优化地分配给处理键。具体地，本公开描述了一种特殊的变量矩阵。此外，本公开描述了用于表示基于映射器VM上的键分布(以及其他适当的因素)所确定的成本的若干可能的成本矩阵。