[发明专利]一种数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，包括：

从目标数据库中全量读取待处理的业务数据，并按照预设分类规则将所述业务数据存储至多个缓存中；

根据所述业务数据的分类结果，创建多个数据处理任务；

将多个所述数据处理任务分配给预设数量的数据处理线程，以触发所述数据处理线程基于所述数据处理任务对相应的所述缓存中的业务数据进行处理。

2.根据权利要求1所述的方法，其特征在于，所述按照预设分类规则将所述业务数据存储至多个缓存中，包括：

按照用户标识对所述业务数据进行分类处理，将具有相同用户标识的业务数据确定为待处理数据子集；

对多个所述待处理数据子集进行分组处理，得到多组待处理数据集合；

将多组所述待处理数据集合存储至多个缓存中。

3.根据权利要求2所述的方法，其特征在于，根据所述业务数据的分类结果，创建多个数据处理任务，包括：

针对每个所述待处理数据集合，根据该待处理数据集合所在的缓存的标识信息和预设数据处理需求，创建数据处理任务。

4.根据权利要求1所述的方法，其特征在于，所述将多个所述数据处理任务分配给预设数量的数据处理线程，包括：

触发任务调度器在数据处理线程池中，选取处于空闲状态的多个数据处理线程；

在多个所述数据处理任务中选取未处理的数据处理任务分配给所述多个数据处理线程。

5.根据权利要求1所述的方法，其特征在于，所述数据处理任务包括：缓存标识信息和预设数据处理需求；

所述触发所述数据处理线程基于所述数据处理任务对相应的所述缓存中的业务数据进行处理，包括：

触发所述数据处理线程从与所述缓存标识信息对应的缓存中读取待处理数据集合，并基于所述预设数据处理需求对所述待处理数据集合进行并发处理。

6.根据权利要求1至5任一项所述的方法，其特征在于，还包括：

将所述数据处理线程针对所述缓存中的业务数据的数据处理结果写入所述目标数据库中。

7.根据权利要求6所述的方法，其特征在于，所述将所述数据处理线程针对所述缓存中的业务数据的数据处理结果写入所述目标数据库中，包括：

将各所述数据处理线程针对所述缓存中的业务数据的数据处理结果存入预设数据暂存池；

判断所述预设数据暂存池中数据处理结果的数量是否大于预设阈值；

若是，则调用数据结果写入线程将所述预设数据暂存池中的多个所述数据处理结果写入所述目标数据库中，并删除所述预设数据暂存池中的多个所述数据处理结果。

8.一种数据处理装置，其特征在于，包括：

业务数据读取模块，用于从目标数据库中全量读取待处理的业务数据，并按照预设分类规则将所述业务数据存储至多个缓存中；

处理任务创建模块，用于根据所述业务数据的分类结果，创建多个数据处理任务；

数据处理触发模块，用于将多个所述数据处理任务分配给预设数量的数据处理线程，以触发所述数据处理线程基于所述数据处理任务对相应的所述缓存中的业务数据进行处理。

9.一种计算机设备，其特征在于，包括处理器、通信接口、存储器和通信总线；其中，所述处理器、所述通信接口以及所述存储器通过总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现权利要求1-7任一所述的方法步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法步骤。