[发明专利]数据处理方法、装置、电子设备及存储介质

说明书

本申请实施例提供了数据处理方法、装置、电子设备及存储介质，涉及计算机技术领域，通过获取各数据任务和各所述数据任务的依赖关系，根据各所述数据任务的依赖关系，基于十字链表数据结构将所述各数据任务进行存储，得到数据任务十字链表，建立各所述数据任务对应的数据处理平台的接口调用进程，根据所述数据任务十字链表，利用各所述接口调用进程调用各所述数据处理平台，然后通过各所述数据处理平台处理各所述数据任务，以使各数据任务按照存储在十字链表的中的存储关系顺序处理，以解决现有技术中无法实现自动化数据处理的问题。

技术领域

本申请涉及计算机技术领域，特别是涉及数据处理方法、装置、电子设备及存储介质。

背景技术

数据计算作为数据开发的核心部分，对于数据开发起着重要的作用，数据的准确性和快速性又依赖于数据计算系统的鲁棒性。数据开发过程中需要不同阶段的任务，不同的数据任务分布在不同的平台，经常会出现因为上游数据问题或程序漏洞等带来的下游数据重跑和恢复，但各个数据任务的平台是隔离的，每次恢复数据需要人工整理各任务的依赖关系，等到上游任务计算完才跑其下游任务，耗费了大量人力，无法实现自动化数据处理，非常不便。

发明内容

本申请实施例的目的在于提供一种数据处理方法、装置、电子设备及存储介质，以解决现有技术中无法实现自动化数据处理的问题。

具体技术方案如下：

第一方面，本申请实施例提供了数据处理方法，所述方法包括：

获取各数据任务和各所述数据任务的依赖关系，其中，各所述数据任务分别在相应的数据处理平台进行处理；

根据各所述数据任务的依赖关系，基于十字链表数据结构将所述各数据任务进行存储，得到数据任务十字链表；

建立各所述数据任务对应的数据处理平台的接口调用进程；

根据所述数据任务十字链表，利用各所述接口调用进程调用各所述数据处理平台，以处理各所述数据任务。

可选的，所述根据所述数据任务十字链表，利用各所述接口调用进程调用各所述数据处理平台，以处理各所述数据任务，包括：

根据所述数据任务十字链表中记录的各所述数据任务的依赖关系，从所述数据任务十字链表中获取当前待处理任务；

获取所述当前待处理任务相应的数据处理平台的接口调用进程，根据所述接口调用进程调用所述处理当前待处理任务相应的数据处理平台，以使所述当前待处理任务相应的数据处理平台处理所述当前待处理任务。

可选的，在所述当前待处理任务在相应的数据处理平台处理后，所述方法还包括：

生成完成文件；

根据所述完成文件，从所述数据任务十字链表中获取下一待处理任务，所述下一待处理任务为所述当前待处理任务的下游任务；

获取所述下一待处理任务相应的数据处理平台的接口调用进程，根据所述接口调用进程调用所述处理下一待处理任务相应的数据处理平台，以使所述下一待处理任务相应的数据处理平台处理所述下一待处理任务。

可选的，所述根据所述各数据任务的依赖关系，基于十字链表数据结构将所述各数据任务进行存储，得到数据任务十字链表，包括：

根据各所述数据任务的依赖关系将各所述数据任务作为节点顺序存储；

根据所述各数据任务的依赖关系，将各所述数据任务使用弧连接，使得各所述数据任务进行链式存储。

第二方面，本申请实施例提供了一种数据处理装置，所述装置包括：

第一获取模块，用于获取各数据任务和各所述数据任务的依赖关系，其中，各所述数据任务分别在相应的数据处理平台进行处理；