[发明专利]数据回溯方法及装置、计算机可读存储介质、电子设备

权利要求书

1.一种数据回溯方法，其特征在于，所述方法包括：

通过数据血缘关系确定作业的隐式依赖关系，并确定所述作业的作业名称，并根据所述隐式依赖关系确定依赖所述作业的工作流和工程；

确定所述工作流的当前工作流名称和所述工程的当前工程名称，以生成所述作业的显式依赖关系；

根据所述当前工程名称和所述当前工作流名称确定当前调度信息，并确定所述作业的上游调度信息；

获取所述当前调度信息的目标执行时间和所述上游调度信息的首次执行时间和调度周期；

对所述目标执行时间、所述首次执行时间和所述调度周期进行计算，得到所述作业或所述工作流的计划执行时间；

根据所述目标执行时间、所述首次执行时间、所述调度周期和所述计划执行时间对所述显式依赖关系进行校验，以根据所述显式依赖关系生成所述作业的任务血缘图，并在所述任务血缘图中确定所述作业下游的多个下游作业；

根据所述任务血缘图在所述多个下游作业中筛选出无依赖关系的待回溯作业，并并行运行所述待回溯作业生成回溯数据。

2.根据权利要求1所述的数据回溯方法，其特征在于，所述通过数据血缘关系确定作业的隐式依赖关系，包括：

若根据任务的目标文件确定所述任务为结构化查询语言任务，解析所述结构化查询语言任务，以获取源数据表；

在所述源数据表中查询数据血缘关系，并通过数据血缘关系确定作业和作业之间的隐式依赖关系。

3.根据权利要求1所述的数据回溯方法，其特征在于，所述通过数据血缘关系确定作业的隐式依赖关系，包括：

若根据任务的目标文件确定所述任务不是结构化查询语言任务，获取历史血缘配置信息；

在所述历史血缘配置信息中确定数据血缘关系，并通过数据血缘关系确定作业和作业之间的隐式依赖关系。

4.根据权利要求1所述的数据回溯方法，其特征在于，在所述根据所述显式依赖关系生成所述作业的任务血缘图之后，所述方法还包括：

当所述显式依赖关系发生变化时，对所述任务血缘图进行新增操作；

当所述显式依赖关系发生变化时，对所述任务血缘图进行修改操作；

当所述显式依赖关系发生变化时，对所述任务血缘图进行删除操作。

5.一种数据回溯装置，其特征在于，所述装置包括：

关系配置模块，被配置为通过数据血缘关系确定作业的隐式依赖关系，并根据所述隐式依赖关系配置所述作业的显式依赖关系；

血缘图生成模块，被配置为根据所述显式依赖关系生成所述作业的任务血缘图，并在所述任务血缘图中确定所述作业下游的多个下游作业；

数据回溯模块，被配置为根据所述任务血缘图在所述多个下游作业中筛选出无依赖关系的待回溯作业，并并行运行所述待回溯作业生成回溯数据；

所述关系配置模块，包括：

名称确定单元，被配置为确定所述作业的作业名称，并根据所述隐式依赖关系确定依赖所述作业的工作流和工程；

关系生成单元，被配置为确定所述工作流的当前工作流名称和所述工程的当前工程名称，以生成所述作业的显式依赖关系；所述血缘图生成模块，包括：

调度确定单元，被配置为根据所述当前工程名称和所述当前工作流名称确定当前调度信息，并确定所述作业的上游调度信息；

关系校验单元，被配置为根据所述当前调度信息和所述上游调度信息对所述显式依赖关系进行校验，以根据所述显式依赖关系生成所述作业的任务血缘图；

所述关系校验单元，包括：

时间获取子单元，被配置为获取所述当前调度信息的目标执行时间和所述上游调度信息的首次执行时间和调度周期；

数据计算子单元，被配置为对所述目标执行时间、所述首次执行时间和所述调度周期进行计算，得到所述作业或所述工作流的计划执行时间；

数据校验子单元，被配置为根据所述目标执行时间、所述首次执行时间、所述调度周期和所述计划执行时间对所述显式依赖关系进行校验。