[发明专利]一种数据回溯方法、装置、电子设备及存储介质

说明书

本公开提供了一种数据回溯方法、装置、电子设备及存储介质，涉及数据处理技术领域。具体实现方案为：基于待回溯数据的第一依赖关系和第二依赖关系，生成目标拓扑关系，其中，目标拓扑关系用于确定多个待计算的任务实例；按照预设并发度为多个待计算的任务实例中的每个任务实例协调对应的计算环境；调用计算环境对应的计算引擎对计算环境对应的任务实例进行任务计算，得到计算结果，完成数据的回溯，由此达到了通过回溯数据所需计算的任务实例间的拓扑关系，动态地调整每个任务实例对应的计算环境从而完成数据回溯的目的，实现了提高数据回溯计算效率、减小数据回溯计算资源开销的技术效果。

技术领域

本公开涉及数据处理技术领域，进一步涉及大数据领域，具体涉及一种数据回溯方法、装置、电子设备及存储介质。

背景技术

在当今大数据时代，随着企业大数据爆炸式增长，可能会引起数据时效、数据安全、数据质量等实际问题。在治理数据质量阶段，由于大数据的生产链路和系统关系比较复杂，当大数据中的一份数据发生异常时，这份异常的数据会影响它所关联的上下游数据以及系统，由此引起数据质量变差。数据质量是企业组织的首要战略重点之一，因此需要对数据质量进行优化处理。

相关技术中，通常使用单数据源跨时间区间批量数据回溯的方法或者多数据源无差别并行数据回溯的方法对数据质量进行处理。但是，使用单数据源跨时间区间进行批量数据回溯时的计算效率较低，使用多数据源无差别并行进行数据回溯时则需要耗费大量的计算资源。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本公开提供了一种数据回溯方法、装置、电子设备及存储介质。

根据本公开的一方面，提供了一种数据回溯方法，包括：基于待回溯数据的第一依赖关系和第二依赖关系，生成目标拓扑关系，其中，待回溯数据包括：多个数据对象，多个数据对象中的每个数据对象包括：多个数据单元，第一依赖关系用于描述不同数据对象的数据单元之间的依赖关系，第二依赖关系用于描述不同数据对象之间的基准时间依赖关系，目标拓扑关系用于确定多个待计算的任务实例；按照预设并发度为多个待计算的任务实例中的每个任务实例协调对应的计算环境；调用计算环境对应的计算引擎对计算环境对应的任务实例进行任务计算，得到计算结果，其中，计算结果用于调节数据回溯过程的处理进度。

根据本公开的又一方面，提供了一种数据回溯装置，包括：分析模块，用于基于待回溯数据的第一依赖关系和第二依赖关系，生成目标拓扑关系，其中，待回溯数据包括：多个数据对象，多个数据对象中的每个数据对象包括：多个数据单元，第一依赖关系用于描述不同数据对象的数据单元之间的依赖关系，第二依赖关系用于描述不同数据对象之间的基准时间依赖关系，目标拓扑关系用于确定多个待计算的任务实例；协同模块，用于按照预设并发度为多个待计算的任务实例中的每个任务实例协调对应的计算环境；计算模块，用于调用计算环境对应的计算引擎对计算环境对应的任务实例进行任务计算，得到计算结果，其中，计算结果用于调节数据回溯过程的处理进度。

根据本公开的又一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提出的数据回溯方法。

根据本公开的又一方面，还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提出的数据回溯方法。

根据本公开的又一方面，还提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行本公开提出的数据回溯方法。