[发明专利]数据处理方法、装置、存储介质及终端

说明书

本发明实施例公开了一种数据处理方法、装置、存储介质及终端。所述方法包括：确定待处理数据的数据类型；其中，所述数据类型包括业务单表数据和业务分库分表数据；根据所述数据类型确定与所述待处理数据对应的数据分片策略；根据所述数据分片策略对所述待处理数据进行分片，生成分片数据库；对所述分片数据库中的待处理数据进行并行处理。通过采用上述技术方案，可以有效提高数据处理效率，大大降低数据处理的时间成本。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及数据处理方法、装置、存储介质及终端。

背景技术

在进行业务任务处理时，通常基于任务批处理框架(dophine)来执行业务任务调度，以对业务数据进行处理。但是由于业务逻辑复杂，业务数据量庞大，如何快速、高效地处理一批数据，变得至关重要。

相关技术中，对于业务单表数据，只能分页拉取业务所有数据，然后一页页处理业务数据，处理效率低；对于业务分库分表(如百库十表)数据，只能遍历所有库表，逐表处理业务数据，整体处理效率极低。

发明内容

本发明实施例提供一种数据处理方法、装置、存储介质及终端，以提高数据处理效率，降低数据处理的时间成本。

第一方面，本发明实施例提供了一种数据处理方法，该方法包括：

确定待处理数据的数据类型；其中，所述数据类型包括业务单表数据和业务分库分表数据；

根据所述数据类型确定与所述待处理数据对应的数据分片策略；

根据所述数据分片策略对所述待处理数据进行分片，生成分片数据库；

对所述分片数据库中的待处理数据进行并行处理。

第二方面，本发明实施例还提供了一种数据处理装置，该装置包括：

数据类型确定模块，用于确定待处理数据的数据类型；其中，所述数据类型包括业务单表数据和业务分库分表数据；

数据分片策略确定模块，用于根据所述数据类型确定与所述待处理数据对应的数据分片策略；

数据分片模块，用于根据所述数据分片策略对所述待处理数据进行分片，生成分片数据库；

数据并行处理模块，用于对所述分片数据库中的待处理数据进行并行处理。

第三方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例提供的数据处理方法。

第四方面，本发明实施例提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例提供的数据处理方法。

本发明实施例中提供的数据处理方法，首先确定待处理数据的数据类型，其中，数据类型包括业务单表数据和业务分库分表数据，然后根据数据类型确定与待处理数据对应的数据分片策略，并根据数据分片策略对待处理数据进行分片，生成分片数据库，最后对分片数据库中的待处理数据进行并行处理。通过采用上述技术手段，优化了现有的数据处理方案，根据待处理数据的数据类型确定对应的数据分片策略，基于数据分配策略对待处理数据进行分片，并对分片后的数据进行多线程并行处理，可以有效提高数据处理效率，大大降低数据处理的时间成本。

附图说明

图1为本发明实施例提供的一种数据处理方法的流程示意图；

图2为本发明实施例提供的另一种数据处理方法的流程示意图；

图3为本发明实施例提供的另一种数据处理方法的流程示意图；

图4为本发明实施例提供的一种数据处理装置的结构框图；