[发明专利]计算集群中具有数据访问意识的工作负载管理

权利要求书

1.一种通过处理器在计算集群中具有数据访问意识的工作负载管理的方法，包括：

在所述计算集群内配置工作负载管理器以包括数据需求评估器模块和调度器模块；以及

响应于接收到由所述工作负载管理器安排的输入工作负载：

通过所述数据需求评估器模块从存储系统中检索一组输入，其中，每个输入包括以下至少一个：

所述输入工作负载是密集于新数据的输入/输出(I/O)还是密集于现有数据的I/O的指示，

与所述输入工作负载关联的一组文件的数据位置性比例，以及

所述计算集群中为每对主机指定的数据访问成本；

所述数据需求评估器模块根据数据访问注意事项，为执行所述输入工作负载而排序的集群主机列表；

向所述调度器模块提供所述集群主机的排序列表；以及

由所述调度器模块生成用于所述计算群集中的特定主机的所述输入工作负载的调度，其中使用所述数据访问注意事项优化所述已生成的调度。

2.根据权利要求1所述的方法，其中：

针对与所述输入工作负载相关联的文件集，所述输入的数据位置性比例指定分别存储在每个所述集群主机上的所述文件集的总数据的比例；以及

针对每个群集主机，所述输入的数据访问成本指定了访问存储在所述计算群集中任何其他群集主机上的数据的成本，其中，所述数据访问成本是基于所述群集主机之间的网络延迟和每个所述群集主机内的存储设备访问延迟来计算。

3.根据权利要求1所述的方法，还包括：由所述数据需求评估器模块接收另外的输入，所述另外的输入包括以下至少之一：

所述计算集群中计算资源的可用性，以及

所述计算群集中存储资源的可用性。

4.根据权利要求1所述的方法，其中，由所述数据需求评估器模块生成被排序以执行所述给定工作负载的所述集群主机的列表还包括：

当所述输入工作负载是密集于现有数据的I/O时，根据数据的位置和输入的数据访问成本，生成排序列表作为优先主机的有序列表；

当所述输入工作负载密集于新数据的I/O时，根据可用存储器生成优先主机的所述排序列表；以及

当所述输入工作负载不占用I/O时，将生成一个空的优先主机列表。

5.根据权利要求4所述的方法，其中，根据确定与其他群集主机相比时第一群集主机中存在更多可用存储器，基于将所述第一集群主机的排序设置为与其他集群主机相比在所述排序列表中更高来根据可用存储器生成所述优先主机的所述排序列表。

6.如权利要求1所述的方法，其特征在于，由所述调度器模块生成向所述群集主机的所述输入工作负载的调度包括以下至少之一：

接收对所述输入工作负载的资源分配请求；

从所述数据需求评估器模块接收根据所述数据访问注意事项排序为运行所述给定工作负载的优先主机的有序列表；以及

尝试根据所述资源分配请求和所述优选主机的有序列表从所述优选主机分配计算资源，以满足所述分配请求。

7.根据权利要求1所述的方法，其中，所述存储系统执行以下至少一项：

在本地存储设备上存储数据，每个本地存储设备都连接到所述多个群集主机之一；

将数据存储在所述群集主机可访问的共享存储设备上；以及

将数据存储在所述本地和共享存储设备的组合上。

8.根据权利要求7所述的方法，其中，通过以下方式为本地存储器和共享存储器指定与所述输入工作负载相关联的在所述文件集合的数据集群中的位置：

为所述共享存储设备分配相应的主机名；

将所述本地存储设备连接到每个所述群集主机，为每个所述群集主机分配一个主机名；以及

在给所述本地或共享存储设备指定所述位置的过程中使用存储标识(ID)，其中所述主机名和存储ID为所述本地和共享存储设备提供在所述群集中的全局存储位置。