[发明专利]针对归约器任务的虚拟机优化分配和/或生成

权利要求书

1.一种用于针对物理主机上的映射归约作业的归约器任务确定虚拟机分配的方法，所述方法包括：

在所述映射归约作业的所有映射任务完成之后确定在映射器虚拟机上的键的分布；

基于所述键的分布通过确定用于向归约器任务分配虚拟机的变量矩阵并受制于所述变量矩阵的一个或多个约束来确定与向键上的归约器任务进行可能的虚拟机分配所相关联的成本，其中所述变量矩阵包括指示虚拟机是否要被分配以对一个或多个键进行归约，并且所述变量矩阵具有至少n×(M+p×q)的维度，其中n是键的数目，M是映射器虚拟机的数目，M小于n，p等于n-M，以及q是能创建虚拟机的可用物理主机的数目；以及

利用所述变量矩阵来针对向所述归约器任务的虚拟机分配进行求解。

2.根据权利要求1所述的方法，其中向归约器任务进行可能的虚拟机分配包括：向归约器任务分配映射器虚拟机以及向归约器任务分配要在可用物理主机上创建的虚拟机。

3.根据权利要求1所述的方法，其中在映射器虚拟机上的所述键的分布对于每个键以及每个映射器虚拟机包括：针对与特定映射器虚拟机一起存储的特定键的若干键-值对。

4.根据权利要求1所述的方法，其中与向归约器任务进行可能的虚拟机分配所相关联的成本对于每个可能的虚拟机以及每个归约器任务包括：特定的可能的虚拟机执行特定归约器任务的成本。

5.根据权利要求1所述的方法，其中确定与向归约器任务进行可能的虚拟机分配所相关联的成本对于每个键以及每个归约器任务包括：基于在所述映射器虚拟机上的所述键分布来计算使用特定虚拟机执行针对特定键的特定归约器任务的成本。

6.根据权利要求5所述的方法，其中至少基于一个或多个网络距离来计算执行针对所述特定键的特定归约器任务的成本，所述网络距离从存储针对所述特定键的键-值对的一个或多个虚拟机至执行针对所述特定键的归约器任务的特定虚拟机。

7.根据权利要求5所述的方法，其中至少基于执行针对所述特定键的归约器任务的特定虚拟机的处理器利用率来计算执行针对所述特定键的特定归约器任务的成本。

8.根据权利要求5所述的方法，其中至少基于执行针对所述特定键的归约器任务的特定虚拟机的存储器利用率来计算执行针对所述特定键的特定归约器任务的成本。

9.根据权利要求5所述的方法，其中至少基于通信路径的一个或多个带宽可用性来计算执行针对所述特定键的特定归约器任务的成本，其中所述通信路径从存储针对所述特定键的键-值对的一个或多个虚拟机至执行针对所述特定键的归约器任务的特定虚拟机。

10.根据权利要求5所述的方法，其中至少基于执行针对所述特定键的归约器任务的特定虚拟机的磁盘输入/输出速度来计算执行针对所述特定键的特定归约器任务的成本。

11.根据权利要求1所述的方法，其中所述一个或多个约束包括下列中的一者或多者：

(1)虚拟机被分配给至多一个归约器任务；

(2)针对特定键的归约器任务仅被分配给一个虚拟机；以及

(3)如果归约器任务被分配给要在物理主机上创建的虚拟机，则该虚拟机仅在一个物理主机上被创建。

12.根据权利要求1所述的方法，其中在虚拟机能够执行多达预定数目的一个或多个归约器任务的情况下，所述一个或多个约束包括下列中的一者或多者：

(1)针对特定键的归约器任务仅被分配给一个虚拟机；以及

(2)如果归约器任务被分配给要在物理主机上创建的虚拟机，则该虚拟机仅在一个物理主机上被创建。