[发明专利]数据生产加工方法、装置、电子设备及存储介质

说明书

本申请实施例公开了数据生产加工方法、装置、电子设备及存储介质，涉及数据生产领域。具体实现方案为：根据多个数据处理流程的信息及各个所述数据处理流程的依赖关系，生成包含多个数据处理流程的数据生产流；将所述数据生产流转换为对应的数据生产代码，所述数据生产代码用于对数据进行生产加工。本申请实施例能够降低数据处理流程的成本，加强流程化、规范化的保障，方便管理、监控和维护。

技术领域

本申请涉及数据处理领域，尤其涉及数据生产领域。

背景技术

数据的抽取-转换-加载(ETL，Extract-Transform-Load)技术是一种常见的数据生产加工方式。ETL过程包含数据获取(结构化数据提取、外部引入、策略挖掘等)、数据格式转换、数据清洗、数据消歧义融合、数据入库等系列的操作。

现有的数据生产加工一般是由研发工程师(RD，Research and Development)通过自己编写程序来实现各个数据处理流程，再通过硬编码的方式将各个数据处理流程串连起来，并在各自的机器上运行。这种通过人工编程实现各个数据处理流程的方式需要较大的人力成本，缺少流程化、规范化的保障，并且难以管理、监控和维护。

发明内容

本申请实施例提出一种数据生产加工方法及装置，以解决上述技术问题中的至少一项。

第一方面，本申请实施例提出一种数据生产加工方法，包括：

根据多个数据处理流程的信息及各个数据处理流程的依赖关系，生成包含多个数据处理流程的数据生产流；

将数据生产流转换为对应的数据生产代码，数据生产代码用于对数据进行生产加工。

本申请实施例根据收到的数据处理流程的信息及依赖关系生成数据生产流，并将数据生产流转换为对应的数据生产代码，从而实现对数据进行生产加工，能够降低数据处理流程的成本，加强流程化、规范化的保障，方便管理、监控和维护。

在一种实施方式中，数据生产流采用有向无环图的形式表示；其中，有向无环图中的各个节点表示数据处理流程；

有向无环图中的各个有向边表示有向边的后一个节点所对应的数据处理流程对前一个节点所对应的数据处理流程的依赖关系。

本申请实施例采用有向无环图表示数据生产流，能够表示出较为复杂和类型丰富的数据生产流。

在一种实施方式中，依赖关系包括时间依赖和数据依赖中的至少一项。

本申请实施例采用时间依赖和数据依赖，能够表示出更多样的数据处理流程的依赖关系。

在一种实施方式中，根据多个数据处理流程的信息及各个数据处理流程的依赖关系，生成包含多个数据处理流程的数据生产流之前，还包括：

提供预先设置的数据处理策略；

响应于对数据处理策略的选择请求及对数据处理策略的参数设置，确定对应的数据处理流程。

本申请实施例可以为用户提供已经泛化好的组件，便于自动化、模块化处理。

在一种实施方式中，根据多个数据处理流程的信息及各个数据处理流程的依赖关系，生成包含多个数据处理流程的数据生产流之前，还包括：

接收数据处理流程所对应的脚本的地址信息；

根据地址信息提取数据处理流程所对应的脚本；

根据脚本，确定对应的数据处理流程。

对于不经常采用的数据处理策略，本申请实施例可以自由扩展任何用户需要的操作组件。

在一种实施方式中，确定对应的数据处理流程之后，还包括：