[发明专利]一种面向流计算的动态调度分配方法

说明书

技术领域

本发明是一种面向流计算的动态分配调度方法，属于流计算的调度算法领域。

背景技术

在实际应用中持续不断的数据流具有不可预测性，时常会导致设备难以应对短时间内的数据爆炸，因此传统的静态数据存储处理机制难以应对流计算条件下对数据实时处理的需求。为了增强的系统的处理能力，许多并行处理架构应运而生，随之而来的是如何对并行工作的逻辑主机进行调度使之在持续不断的海量数据流面前发挥最大性能。

虽然面向数据流的应用为生产生活提供了巨大的方便，数据量过大并且不可预测的问题也使得系统较容易过载。负载均衡及接入控制一定程度上缓解了此类问题，但也导致了系统性能的下降。另一种解决方案是采用较大的缓存，将超出系统处理能力的数据流储存下来以便以后进行处理，这种方法会导致较大的延迟，对于某些实时性较高的应用，例如面向股票交易的应用来说是不可接受的。因此，对于只有一个处理单元的流处理系统来说，满足高速处理持续的数据流的需求是很难的。因此需要一种面向数据流的实时任务调度方法，能够更好的兼容实时数据流并提升系统性能。为了解决该问题，各种面向流计算的调度算法应运而生，从较为简单的RoundRobin，链式算法，Greedy到较为复杂的基于优先概率的操作器调度算法以及面向实时匹配序列的动态链算法等。部分算法着眼于提升操作器的某一指标，例如内存使用率。总的来说，静态调度策略并不适合解决动态实时数据流的调度问题。

目前对于不同环境中处理不同类型任务的系统，其调度方式分为三种：（1）长期调度，也叫高级调度，调度频率低，适用于大型系统。（2）中期调度：调度频率中等。（3）短期调度：高频率调度，也叫派遣式调度，在流计算环境中更为常见。当系统需要以较高的精度实时处理数据流，短期调度算法可以改善系统性能，增加其平滑性，即使短时间内突然出现爆炸式的数据输入也能保证稳定的数据输出。

发明内容

技术问题：本发明针对实际应用中持续不断的数据流具有不可预测性，而传统的静态数据存储处理机制难以应对流计算条件下对数据实时处理的需求，提出一种面向流计算的动态分配调度方法，建立流序列图并计算每条边的权重，最后选择权重最小的边发送元组。实验表明选取合适的逻辑主机个数可以显著降低系统反应时间，而增加一次调度的元祖个数使得系统上下文开销得以减小，系统性能得到提升。

技术方案：本发明的一种面向流计算的动态分配调度方法，提出一种面向流计算的动态分配调度方法，建立流序列图(Stream Query Graph，SQG)，采用动态权重更新机制计算每条边的权重，选择权重最小的边发送元组，同时提出两种优化方案，

该方法实现过程如下：设k为主机数，首先初始化k台主机上的模板匹配器，将需要匹配的模板分配给k个逻辑主机，构成k个相同的匹配序列，然后以操作器为顶点，对应操作器的输入输出关系为边，建立流序列图SQG，对于每个逻辑主机，采用动态权重更新机制计算从某节点出去的边的权重，在流序列图SQG中进行最短路径选择，即选择权重最小的边，设定一个计数器并将其归0，然后重复下面步骤：

1）处理上一个操作器发来的元组，

2）发送已处理好的元组至下一级操作器并将首部中的操作器序列号operator_Id加1，

3）计数器加1，为了减小上下文切换，设置计数器上限为w，当计数器大于w时跳出循环，最后一级操作器将缓存的元组排序并发送给用户应用。

所述的流序列图SQG(Stream Query Graph，)是一个加权的有向无环图，具体描述如下：

每个逻辑处理单元通常包含多个操作器，这些单元是物理单元，即多核系统的各个处理器以及簇计算环境中的节点，抑或是虚拟单元；为了降低处理单元的压力，采用多个相同的处理单元以并行的方式进行处理，并且各个不同逻辑主机的操作器间按照既定规律传递信息；整个处理流程中，操作器A输出的数据作为操作器B的输入，那么所有逻辑单元中的操作器A都可以像别的逻辑单元中的操作器B发送数据；