[发明专利]基于微内核操作系统的分布式流式数据处理方法及系统

权利要求书

1.一种基于微内核操作系统的分布式流式数据处理方法，其特征在于，包括：

步骤1、获取包含用户定义函数的作业代码，并以用户定义函数作为节点将该作业代码转换为有向无环图，并根据该有向无环图中算子之间的关联度，将该有向无环图中算子进行合并，得到任务逻辑视图；

步骤2、根据分布式微内核操作系统的物理执行环境，将该任务逻辑视图转换为执行图，该分布式微内核操作系统中工作节点收到该执行图，并将该执行图内的作业任务与作业调度分配至空闲CPU内核执行。

2.如权利要求1所述的基于微内核操作系统的分布式流式数据处理方法，其特征在于，该有向无环图包括：多个计算节点及数据在计算节点间流动的规则。

3.如权利要求2所述的基于微内核操作系统的分布式流式数据处理方法，其特征在于，该步骤1包括：

步骤11、从该多个计算节点选择一个计算节点作为当前节点；

步骤12、判断该当前节点的算子入度是否为1且该当前节点允许算子融合，若是则执行步骤13，否则执行步骤14；

步骤13、判断该当前节点的并行度是否和上游计算节点相同且上游计算节点允许算子融合，若是则将该当前节点的算子和该上游计算节点的算子融合，否则执行步骤14；

步骤14、判断是否已遍历所有该多个计算节点作为当前节点，若是，则保存当前有向无环图作为该任务逻辑视图，否则选择下一个计算节点作为当前节点，再次执行步骤12。

4.如权利要求3所述的基于微内核操作系统的分布式流式数据处理方法，其特征在于，步骤2中将该任务逻辑视图转换为执行图具体包括：

步骤21、将该任务逻辑视图中计算节点和该用户定义函数结合，封装为StreamTask；

步骤22、根据该分布式微内核操作系统的资源水平，确定StreamTask的并行度，根据该并行度复制StreamTask，指定每个StreamTask绑定的机器ID，根据网络配置，根据该任务逻辑视图中计算节点间连接关系将StreamTask连接，得到该执行图。

5.如权利要求1所述的基于微内核操作系统的分布式流式数据处理方法，其特征在于，该作业代码包括用户定义函数以及用户定义函数之间的连接关系。

6.一种基于微内核操作系统的分布式流式数据处理系统，其特征在于，包括：

模块1、获取包含用户定义函数的作业代码，并以用户定义函数作为节点将该作业代码转换为有向无环图，并根据该有向无环图中算子之间的关联度，将该有向无环图中算子进行合并，得到任务逻辑视图；

模块2、根据分布式微内核操作系统的物理执行环境，将该任务逻辑视图转换为执行图，该分布式微内核操作系统中工作节点收到该执行图，并将该执行图内的作业任务与作业调度分配至空闲CPU内核执行。

7.如权利要求6所述的基于微内核操作系统的分布式流式数据处理系统，其特征在于，该有向无环图包括：多个计算节点及数据在计算节点间流动的规则。

8.如权利要求7所述的基于微内核操作系统的分布式流式数据处理系统，其特征在于，该模块1包括：

模块11、从该多个计算节点选择一个计算节点作为当前节点；

模块12、判断该当前节点的算子入度是否为1且该当前节点允许算子融合，若是则执行模块13，否则执行模块14；

模块13、判断该当前节点的并行度是否和上游计算节点相同且上游计算节点允许算子融合，若是则将该当前节点的算子和该上游计算节点的算子融合，否则执行模块14；

模块14、判断是否已遍历所有该多个计算节点作为当前节点，若是，则保存当前有向无环图作为该任务逻辑视图，否则选择下一个计算节点作为当前节点，再次执行模块12。