[发明专利]一种云计算平台中的异构分布式任务处理系统及其处理方法

说明书

技术领域

本发明涉及异构分布式技术领域，具体涉及一种云计算平台中的异构分布式任务处理系统及其处理方法。

背景技术

近年来,在各个领域中大规模海量数据存储和处理需求的不断增加,传统企业自身IT结构的计算能力已远远不能满足计算的需要,必须通过大规模的硬件投入以扩展计算能力。而分布式并行计算系统的提出为提高海量数据的处理速度提供了可能。传统的集群使用MPI进行计算，MPI计算的数据都在内存中效率较高，但是MPI在资源不足时会空等造成计算资源浪费。而MapReduce思想的提出，又为在分布式系统上处理大规模计算任务提供了一个合理的计算模型。Apache基金会结合MapReduece实现了开源分布式计算框架Hadoop。Hadoop具有可扩展性好、部署成本低、社区开发活跃周边开源项目多等优点。但是随着Hadoop的发展，Hadoop在一些迭代处理场景上，由于读写都在HDFS上进行导致其计算效率较低的问题就暴露了出来。而AMPLab针对集群计算中的那些在并行操作之间重用工作数据集的场景开发了Spark平台。Spark平台是一种类MapReduce的分布式并行计算框架。它采用了RDD(弹性分布式数据集)作为计算中的数据集抽象。由于RDD在计算过程中的中间数据缓存在内存中，Spark在迭代运算中可直接从内存中读取上一轮迭代的结果，降低了访问延迟，因而可以获得远高于MapReduce计算速度。与此同时，除了上述的分布式计算平台之外，图形处理单元(GPU)作为一种并行计算设备与多核心架构的通用并行计算平台已经成为高性能计算的另外一种手段。用于通用平行计算的GPU平台拥有Tflops(万亿级)的浮点计算能力，在科学计算领域迅速发展，并与传统的集群计算平台开始结合起来。

然而，针对目前多任务异构分布式并行计算，GPU和MPI并未充分利用自身计算资源，往往造成资源浪费，导致效率低下。另外，GPU和MPI各具优势，难以统一而论，独立计算势必影响任务调度和资源利用不充足。在现有资源不充足的情况下，难以达到异构任务分布式并行计算充分利用资源的目的。而当前Spark平台相比GPU和MPI可以较为充分地利用和扩展资源，但是本身又没有GPU那么快速高效的计算能力以及MPI那么通用的应用场景。

发明内容

本发明所要解决的技术问题是提供一种云计算平台中的异构分布式任务处理系统及其处理方法，能够在云计算平台上实现异构分布式任务的并行处理。

本发明解决上述技术问题的技术方案如下：

一方面，本发明提供了一种云计算平台中的异构分布式任务处理系统，所述处理系统包括任务加载器、任务调度器、任务启动器以及任务执行器；

所述任务加载器，用于读取并加载预先保存的任务描述信息，将所述任务描述信息生成对应的任务描述对象，并将生成的任务描述对象保存入任务队列中；

所述任务调度器，用于获取所述任务队列中的任务描述对象，并采用预定调度算法对所述任务描述对象进行调度排序，生成顺序变化的待提交任务队列；

所述任务启动器，用于获取待提交任务队列中的任务描述对象，并根据待提交队列中任务描述对象的顺序以及spark集群上执行资源的使用状态，依次启动所述任务描述对象并将其提交到spark集群上；

所述任务执行器，用于执行提交到spark集群上的任务描述对象。

另一方面，本发明提供了一种云计算平台中的异构分布式任务处理方法，所述方法包括：

S1、任务加载器读取并加载预先保存的任务描述信息，将所述任务描述信息生成对应的任务描述对象，并将生成的任务描述对象保存入任务队列中；

S2、任务调度器获取所述任务队列中的任务描述对象，并采用预定调度算法对所述任务描述对象进行调度排序，生成顺序变化的待提交任务队列；

S3、任务启动器获取待提交任务队列中的任务描述对象，并根据待提交队列中任务描述对象的顺序以及spark集群上执行资源的使用状态，依次启动所述任务描述对象并将其提交到spark集群上；

S4、任务执行器执行提交到spark集群上的任务描述对象。