[发明专利]一种用于倾斜数据的流式计算引擎运行方法及系统

权利要求书

1.一种用于倾斜数据的流式计算引擎运行方法，其特征在于，包括：

步骤1、获取包含倾斜数据的用户作业，并将该用户作业转换为表示该用户作业的有向无环图，根据该有向无环图中算子的业务处理逻辑，将该有向无环图中节点划分为有状态算子和无状态算子；

步骤2、将全部状态算子包装为有状态任务后输入有状态数据流，将全部无状态算子包装为无状态任务后输入无状态数据流；

步骤3、将该无状态数据流中无状态任务复制发送至任意计算节点，得到无状态处理结果；

步骤4、将该有状态数据流中有状态任务转换为包含键和值的数据记录，将包含相同键的数据记录分配至相同计算节点，得到有状态处理结果，集合该无状态处理结果和有状态处理结果作为该用户作业的运行结果。

2.如权利要求1所述的用于倾斜数据的流式计算引擎运行方法，其特征在于，该步骤4包括：将状态数据流划分为固定数量的数据片，该数据片可被计算节点并行处理，或根据调度器的决策调度至其他计算节点处理。

3.如权利要求1所述的用于倾斜数据的流式计算引擎运行方法，其特征在于，该步骤2中将状态算子包装为有状态任务和将无状态算子包装为无状态任务的过程中均包括使用OP融合规则将相关联的算子合并。

4.如权利要求1所述的用于倾斜数据的流式计算引擎运行方法，其特征在于，该步骤4包括：

步骤41、计算节点每隔固定时间间隔挑选负荷最重的有状态任务，并将其按照如下公式重新分配CPU资源：

其中，p_next代表任务新分配的CPU线程数量，p_now为任务当前线程数量，c_last为当前任务上次调度时线程增加数量，N_cpu为CPU核心数量。

5.如权利要求1所述的用于倾斜数据的流式计算引擎运行方法，其特征在于，该步骤4包括：每隔固定时间间隔从负载最高的计算节点选择一个有状态任务迁移至负载最低的计算节点。

6.一种用于倾斜数据的流式计算引擎运行系统，其特征在于，包括：

模块1、获取包含倾斜数据的用户作业，并将该用户作业转换为表示该用户作业的有向无环图，根据该有向无环图中算子的业务处理逻辑，将该有向无环图中节点划分为有状态算子和无状态算子；

模块2、将全部状态算子包装为有状态任务后输入有状态数据流，将全部无状态算子包装为无状态任务后输入无状态数据流；

模块3、将该无状态数据流中无状态任务复制发送至任意计算节点，得到无状态处理结果；

模块4、将该有状态数据流中有状态任务转换为包含键和值的数据记录，将包含相同键的数据记录分配至相同计算节点，得到有状态处理结果，集合该无状态处理结果和有状态处理结果作为该用户作业的运行结果。

7.如权利要求6所述的用于倾斜数据的流式计算引擎运行系统，其特征在于，该模块4包括：将状态数据流划分为固定数量的数据片，该数据片可被计算节点并行处理，或根据调度器的决策调度至其他计算节点处理。

8.如权利要求6所述的用于倾斜数据的流式计算引擎运行系统，其特征在于，该模块2中将状态算子包装为有状态任务和将无状态算子包装为无状态任务的过程中均包括使用OP融合规则将相关联的算子合并。

9.如权利要求6所述的用于倾斜数据的流式计算引擎运行系统，其特征在于，该模块4包括：

模块41、计算节点每隔固定时间间隔挑选负荷最重的有状态任务，并将其按照如下公式重新分配CPU资源：

其中，p_next代表任务新分配的CPU线程数量，p_now为任务当前线程数量，c_last为当前任务上次调度时线程增加数量，N_cpu为CPU核心数量。

10.如权利要求6所述的用于倾斜数据的流式计算引擎运行系统，其特征在于，该模块4包括：每隔固定时间间隔从负载最高的计算节点选择一个有状态任务迁移至负载最低的计算节点。