[发明专利]一种数据处理方法以及装置

说明书

本申请公开了一种数据处理方法以及装置，该方法包括：获得目标任务和目标任务所需处理的目标数据，目标数据来源于第一网络环境；如果确定目标数据满足第二网络环境的数据质量要求，则启动目标任务。通过使用该方法，可避免在无法确定来自第一网络环境的跨网络数据到达第二网络环境的数据处理平台的时间的情况下、根据约定时间进行任务调度所造成的无法进行正常任务调度的问题，并且可避免在来自第一网络环境的跨网络数据无法满足第二网络环境的数据质量要求的情况下、根据约定时间进行任务调度所造成的后续依赖于该跨网络数据所生成的数据发生错误，从而影响整个数据处理流程的问题。

技术领域

本申请涉及计算机技术领域，具体涉及一种数据处理方法。本申请同时涉及一种数据处理装置以及一种电子设备。本申请还涉及一种数据校验方法、一种数据校验装置以及一种电子设备。

背景技术

对于跨网络数据，由于数据来源和数据处理分布在不同网络环境中，例如，混合云建设中需将数据从公有云网络传输到私有云网络进行数据处理，在对该类型跨网络数据的数据处理过程中，需进行任务调度。

现有的针对跨网络数据的调度方式通常根据约定时间进行任务调度，例如，对公有云网络的数据按约定的时间进行数据采集，私有云网络的数据处理平台根据数据采集结束时间进行任务调度。

然而，现有的针对跨网络数据的任务调度方法存在以下不足：

对于数据采集周期不规律，或者异常情况下导致的约定时间内数据无法采集完成，在无法确定跨网络数据到达数据处理平台的时间的情况下，数据无法正常调度；并且，在跨网络数据无法满足数据质量要求的情况下，如果根据约定时间进行任务调度，则可造成后续依赖于该跨网络数据所生成的数据发生错误，从而影响整个数据处理流程。

发明内容

本申请提供一种数据处理方法，以解决现有针对跨网络数据的任务调度出现的无法正常调度以及数据发生错误的问题。本申请另外提供一种数据处理装置以及一种电子设备。

本申请提供一种数据处理方法，包括：

获得目标任务和所述目标任务所需处理的目标数据，所述目标数据来源于第一网络环境；

如果确定所述目标数据满足第二网络环境的数据质量要求，则启动所述目标任务。

可选的，所述获得目标任务，包括：

根据预定的离线数据处理流程，获得数据依赖关系集合；

根据所述数据依赖关系集合，获得目标任务。

可选的，所述根据预定的离线数据处理流程，获得数据依赖关系集合，包括：对所述离线数据处理流程所对应的任务语句进行解析，获得数据依赖关系集合；或者，从针对所述离线数据处理流程的任务配置信息中获得所述数据依赖关系集合。

可选的，所述数据依赖关系集合包括数据表与数据表之间的依赖关系集合、数据表与数据任务之间的依赖关系集合以及数据任务与数据任务之间的依赖关系，所述根据所述数据依赖关系集合，获得目标任务，包括：

根据所述数据表与数据表之间的依赖关系集合，获得基础数据表；

根据所述基础数据表和所述数据表与数据任务之间的依赖关系集合，获得依赖于所述基础数据表的数据任务；

根据所述依赖于基础数据表的数据任务和所述数据任务与数据任务之间的依赖关系集合，获得所述目标任务。

可选的，所述获得所述目标任务所需处理的目标数据，包括：

获得所述目标任务所需处理的目标数据对应的第一业务时间区间集合；所述第一业务时间区间集合包括至少一个数据表对应的业务时间区间；