[发明专利]一种面向分布式流计算系统的动态任务调度优化方法

说明书

本发明提供一种面向分布式流计算环境下的任务调度优化方法，在运行时周期性地采集任务之间传输的数据量，通过分组机制，将通信量大的任务划分到一个组，一个组的任务在后续的调度过程中，会被当成一个整体进行调度。本发明的方法有很好的扩展性，当任务拓扑结构非常大的时候，本发明可以采用多层次组合方法，将上一层得到的组进行再次合并，得到更大的组，从而启用更少的调度单元，进一步减少调度规模。当规模足够小的时候，再将这些组调度到进程，降低网络通信开销。进一步地，本发明在调度时还依据负载大小调用进程，从而在确保降低网络通信开销的同时达到负载平衡。

技术领域

本发明属于分布式流计算领域，更具体地，涉及一种面向分布式流计算系统的动态任务调度优化方法，用于像Storm这种基于操作符的流计算系统在分布式环境下如何优化任务调度方法来满足负载平衡和降低处理延时，进而提高系统的性能。

背景技术

在过去几年中，信息产业以前所未有的高速发展，传统的数据库管理系统不再能够满足大数据所具有的挑战性的要求。根据数据是静态还是动态，我们可以将计算分类为批处理和流处理。在前者中，用于处理的数据应该在计算开始之前实现，而后者用于处理的数据是没有约束的连续流。其中Hadoop是Map-Reduce最具代表性的开源实现，已经成为最流行的离线批处理框架。然而，当数据是无界流时，需要及时处理它，这是Map-Reduce这一类框架几乎不能满足的一个要求。因此，需要一种新的框架。为了满足流处理的要求，很多新的框架被提出来。Storm是当前最流行的分布式流处理引擎之一，能够实时对高吞吐量数据流进行分析。Storm现在被许多公司广泛使用，如Twitter和阿里巴巴。

在Storm每个shuffling阶段，在任务之间有大量的tuple(即消息)流传输，这是主要的通信开销。如果通信的任务之间的网络距离尽可能短，则通信开销将显着降低。即使任务的分配如此重要，任务分配问题在Storm中仍然没有解决。Storm中的默认调度程序称为均衡调度器，它主要可以分为两个步骤：第一步，它使用循环策略将执行程序分配给工作程序，然后使用相同的方法将workers分发到集群的节点。这种调度算法的目的是保证负载平衡，而且易于实现，但它有三个明显的缺点。首先，它不考虑任务之间的数据传输，这可能导致高通信延迟，从而导致执行性能降低。第二，它不考虑工作负载平衡。第三，它会让每个topology尽可能多使用群集中的节点，而不考虑负载，这种不必要的分布会进一步加剧通信开销。因此，需要一个能很好解决上述缺陷的调度方法。

发明内容

针对分布式流计算环境下通信开销的问题，本发明提出了一种动态的基于组划分的动态任务调度优化方法，该方法能在运行时周期性地采集任务之间传输的数据量，然后利用这些数据关系，在调度的时候能考虑到任务间的精确的通信开销，在对应用层完全透明的前提下，自动选择最佳的调度优化方案，显著地降低网络通信开销。

为实现本发明技术目的，本发明采用了以下技术方案：

一种面向分布式流计算环境下的任务调度优化方法，包括如下步骤：

(1)依据当前周期内任务间的通信量预测下一周期内任务间的通信量；

(2)将下一周期内预测通信量大的两个任务组合为一个任务组；

(3)启动进程并以任务组为单位进行调度。

进一步地，所述步骤(2)的具体实现过程为：

从任务i的所有邻居未访问任务中，选取一个任务i与它之间的预测通信量最大的任务，将其与任务i组合为任务组parentTask，如果任务i的所有邻居任务均已被访问，仅将任务i独立组合为任务组parentTask，完成第一层组合；