[发明专利]一种流计算任务管理方法

说明书

本发明具体涉及一种流计算任务管理方法，包括以下步骤：主控节点接收流式计算任务，将流式计算任务分配至目标流式计算中心服务器集群或目标流式计算单元服务器集群的各个工作节点；所述工作节点根据分配的任务进行流式计算；协调节点在各个工作节点执行所述流式计算任务的过程中，判断工作节点的流式计算任务是否大于预设的最大能够承载的阈值范围；如大于则将该工作节点的任务进行任务的迁移，迁移至能够容纳的任务的工作节点。本发明通过对流计算的节点的资源建立资源占有模型与资源剩余模型判断节点的资源是否需要迁移，以及被迁移的节点的资源剩是否符合迁移的需求。

技术领域

本发明涉及流式计算技术领，具体涉及一种流计算任务管理方法。

背景技术

随着全球信息量的爆炸式增长，大数据时代也悄然来临。流计算是大数据的一类重要计算模式。与传统基于确定数据规模的批处理计算不同，流计算具有数据规模无限，数据到达连续、快速、无序，数据易失以及数据处理多样化等特征。面向流式大数据的新特征，如何构建低延时、高吞吐和高可靠的大数据流式计算系统仍是一个开放的技术问题。任务是流式计算系统中数据处理逻辑执行的基本单元，也是流计算系统资源调度的基本单位。任务管理是流式计算系统的核心功能之一，对流式应用包含的任务进行资源调度及全生命周期管理，包含任务资源调度、数据分发、任务容错等关键技术。良好的任务管理设计为流计算系统的高效性和高可靠性提供保障。

发明内容

1.所要解决的技术问题：

针对上述技术问题，本发明提供一种流计算任务管理方法，本方法对进行流计算的节点进行资源调度。

2.技术方案：

一种流计算任务管理方法，其特征在于：包括以下步骤：

主控节点接收流式计算任务，将流式计算任务分配至目标流式计算中心服务器集群或目标流式计算单元服务器集群的各个工作节点；所述工作节点根据分配的任务进行流式计算；

协调节点在各个工作节点执行所述流式计算任务的过程中，判断工作节点的流式计算任务是否大于预设的最大能够承载的阈值范围；如大于则将该工作节点的任务进行任务的迁移，迁移至能够容纳的任务的工作节点。

进一步地，作节点最大能够承载的阈值范围包括：CPU占用率阈值、内存占用率阈值、网络带宽占用率阈值。

进一步地，所述最大能够承载的阈值范围的判断根据所在工作节点的资源占有模型进行判断；能够接收迁移的工作节点根据所在工作节点的资源剩余模型进行判断；

所述资源占有模型具体为：流式计算中心服务器集群的各节点N＝{n₁，n₂，…，n_|N|}的硬件资源分为CPU资源、内存资源和网络带宽资源，即硬件资源R＝{R^C，R^M， R^B}；其中CPU资源为内存资源为网络带宽资源为其中任务e_ij运行在节点 n_k上，占用的的CPU资源为占用的内存资源为占用的网络带宽资源为则资源占有模型为：

(1)式中，ɑ为预设的CPU的占用率阈值；β为预设的内存占用率阈值；γ为网络带宽占用率阈值。

所述资源剩余模型具体为：

(2)式中：分别为节点n_k的剩余CPU、内存和网络带宽资源。

进一步地，所述判断工作节点的流式计算任务是否大于预设的最大能够承载的阈值范围判断的依据是是否符合式(1)；接收迁移任务的工作节点的阈值范围为根据式(2)判断其剩余的资源剩余大于迁移任务的需要的资源。