[发明专利]数据生产加工方法、装置、电子设备及存储介质

权利要求书

1.一种数据生产加工方法，其特征在于，包括：

根据多个数据处理流程的信息及各个所述数据处理流程的依赖关系，生成包含多个数据处理流程的数据生产流；

将所述数据生产流转换为对应的数据生产代码，所述数据生产代码用于对数据进行生产加工；

所述数据生产流采用有向无环图的形式表示；其中，

所述有向无环图中的各个节点表示所述数据处理流程；

所述有向无环图中的各个有向边表示所述有向边的后一个节点所对应的数据处理流程对前一个节点所对应的数据处理流程的依赖关系；

所述根据多个数据处理流程的信息及各个所述数据处理流程的依赖关系，生成包含多个数据处理流程的数据生产流之前，还包括：

接收数据处理流程所对应的脚本的地址信息；

根据所述地址信息提取所述数据处理流程所对应的脚本；

根据所述脚本，确定对应的数据处理流程；

所述有向无环图的显示界面上显示数据生产流的操作控件，包括运行、断点重启、修改例行周期和编辑DAG图。

2.根据权利要求1所述的方法，其特征在于，所述依赖关系包括时间依赖和数据依赖中的至少一项。

3.根据权利要求1所述的方法，其特征在于，所述根据多个数据处理流程的信息及各个所述数据处理流程的依赖关系，生成包含多个数据处理流程的数据生产流之前，还包括：

提供预先设置的数据处理策略；

响应于对所述数据处理策略的选择请求及对所述数据处理策略的参数设置，确定对应的数据处理流程。

4.根据权利要求1或3所述的方法，其特征在于，所述确定对应的数据处理流程之后，还包括：

显示确定出的数据处理流程所对应的组件；

响应于对所述组件的拖拽操作、以及对各组件之间连接关系的输入操作，生成所述组件对应的数据处理流程所对应的节点，以及与所述节点连接的有向边。

5.根据权利要求2至3任一所述的方法，其特征在于，还包括：运行所述数据生产代码，以对数据进行生产加工。

6.根据权利要求5所述的方法，其特征在于，还包括：显示所述有向无环图；

在所述数据生产代码的运行过程中，在所述有向无环图上显示各所述数据处理流程的运行阶段。

7.根据权利要求1至3任一所述的方法，其特征在于，还包括：

响应于对所述数据处理流程的信息和/或所述依赖关系的修改指令，对所述数据处理流程和/或所述依赖关系进行更新；

根据更新后的所述数据处理流程和/或所述依赖关系，对所述数据生产流进行迭代。

8.根据权利要求6所述的方法，其特征在于，还包括：

记录所述数据生产流所对应的数据生产代码的运行数据；

分析所述运行数据；

将分析结果采用图表的形式显示。

9.一种数据生产加工装置，其特征在于，包括：

生成模块，用于根据多个数据处理流程的信息及各个所述数据处理流程对的依赖关系，生成包含多个数据处理流程的数据生产流；

转换模块，用于将所述数据生产流转换为对应的数据生产代码，所述数据生产代码用于对数据进行生产加工；

所述数据生产流采用有向无环图的形式表示；其中，

所述有向无环图中的各个节点表示一个所述数据处理流程；

所述有向无环图中的各个有向边表示所述有向边的后一个节点所对应的数据处理流程对前一个节点所对应的数据处理流程的依赖关系；

第二数据处理流程确定模块，用于接收数据处理流程所对应的脚本的地址信息；根据所述地址信息提取所述数据处理流程所对应的脚本；根据所述脚本，确定对应的数据处理流程；

所述有向无环图的显示界面上显示数据生产流的操作控件，包括运行、断点重启、修改例行周期和编辑DAG图。

10.根据权利要求9所述的装置，其特征在于，所述依赖关系包括时间依赖和数据依赖中的至少一项。