[发明专利]一种任务调度方法与系统

说明书

技术领域

本发明涉及计算机并行技术领域，更具体地，涉及一种任务调度方法与系统。

背景技术

近年来，片上多核架构取得了长足的进步，同时，以片上多核架构提供的强大计算能力为基础，云计算也开始成为众多厂商IT基础设施的第一选择。为了提供这种强大的计算能力，云计算提供商将数量巨大的片上多核处理器组织在一起，形成了云计算的数据中心。在这种情况下，数据中心的效率和硬件资源的利用率成为了一个非常关键的问题。

研究数据表明，I/O资源冲突是影响数据中心的效率和资源利用率的重要因素之一。随着规模的扩大，数据中心可以同时承担数量众多的大规模应用程序。然而，数据中心中的各个处理器核心并不是完全独立的，它们之间会共享全局的I/O资源，这种资源的共享导致了并发程序对I/O资源的竞争。一方面，I/O资源竞争会给用户性能造成影响，影响服务质量和系统效率；另一方面，即使用户对性能的要求比较低，I/O冲突所引发的并发性能下降会造成平台资源被长时占用，导致资源利用率的降低。值得注意的是，除了固有的I/O瓶颈问题之外，在数据中心上运行的大规模应用程序中，应用数据集的增大和服务的用户变多也带来了更为严峻的I/O资源冲突问题。

目前，用于解决I/O资源冲突的方法主要包括：基于实时信息进行I/O节流的动态调控方法和实时局部I/O节流和全局协调的方法。其中，基于实时信息进行I/O节流的动态调控方法适用于提供存储服务的应用场景：用户与存储服务提供商达成关于服务质量的协议，用户在进行存储时能够获得相应的传输速率和传输延迟方面的保证。这种方法基于整个系统中的I/O流的实时信息，对客户当前获得的服务质量和合同约定的服务质量进行比较，对获得超过约定的服务质量的客户进行节流，以保证为多个用户都能提供约定的I/O服务质量。这种方法以牺牲获得超过约定的服务质量的客户为代价，来满足未获得约定的服务质量的客户需求。然而，当系统中所有客户的服务质量需求都没有被满足的情况下，该方法没能做出很好的控制，会导致整体服务质量的下降。此外，该方法侧重于为所有用户提供约定的服务质量，对具有相同的服务质量需求的客户之间缺少调控，当服务质量需求相同的客户之间存在I/O资源竞争时，会造成性能损失，降低资源利用率。

实时局部I/O节流和全局协调的方法适用于MapReduce这种处理大规模数据的模型。其中，局部I/O节流通过控制单个片上多核处理器上同时发起的I/O流的数量，来避免系统吞吐量的下降。全局协调根据MapRedu ce作业的优先级，来调控的I/O的顺序，从而减少作业间的I/O竞争。这两种方法相结合能够有效减少高优先级的作业完成时间，并降低平均作业完成时间。然而，这种实时局部I/O节流和全局协调的方法存在与前一种方法相同的问题，即对具有相同的优先级的作业缺少调控，当优先级相同的作业之间存在I/O资源竞争时，会造成性能损失，降低资源利用率。

综上所述，现有的任务调度方法具有一定的局限性，且这些方法仅关注I/O流密集的应用，忽略了对I/O竞争敏感的其他类型的应用（如图形图像处理、备份等输入依赖型应用）。因此，针对大规模服务节点上的I/O冲突问题，需要一种适用于多种应用的任务调度方法，能够减少单个服务器节点上运行的任务之间的I/O冲突，且提升任务执行效率和数据中心的硬件资源利用率。

发明内容

根据本发明的一个实施例，提供一种任务调度方法，所述方法包括：

步骤1）、根据任务的I/O资源描述向量确定系统中每个处理器的候选任务集合，使得所述处理器的候选任务集合包括分派到该处理器的、到达I/O繁忙阶段且I/O资源需求量不为零的任务，其中，任务的I/O资源描述向量包括描述该任务的阶段性I/O行为特征的时间片和描述该任务对I/O资源的需求程度的敏感度；

步骤2）、根据任务的I/O资源描述向量中的敏感度，对于I/O需求大于或小于其I/O带宽阈值的处理器，分别挂起或恢复其候选任务集合中的任务。

在一个实施例中，步骤1）包括：对于系统中的每个处理器执行以下步骤：

步骤11）、对于分派到该处理器的任务，根据任务的I/O资源描述向量中的时间片确定到达I/O繁忙阶段的任务；

步骤12）、对所确定的到达I/O繁忙阶段的任务，收集其当前的I/O资源需求量，将I/O资源需求量不为零的任务加入该处理器的候选任务集合。

在一个实施例中，所述时间片是任务的多个I/O繁忙阶段之间相隔的时间间隔的平均值。