[发明专利]一种实现批量数据处理的方法、系统和计算机集群

权利要求书

1.一种实现批量数据处理的方法，其特征在于，包括：

基于海量数据的原始数据表中至少两个不相关的维度建立处理任务表；

选择所述维度中的一个，并基于所选择的维度中不同值对应数据的量设置任务的并发捞取数量；

在所述并发捞取数量限制下并发捞取所述处理任务表中的待处理任务；

处理所述捞取到的待处理任务所对应的原始数据表中的数据。

2.如权利要求1所述的方法，其特征在于，所述至少两个不相关的维度包括：至少两个值随序号变化规律不相同的维度。

3.如权利要求1所述的方法，其特征在于，所述基于海量数据的原始数据表中至少两个不相关的维度建立处理任务表，包括：

基于海量数据的原始数据表中第一维度建立数据分表；

基于建立的数据分表并根据所述原始数据表中的第二维度建立处理任务表。

4.如权利要求1所述的方法，其特征在于，所述基于所选择的维度中不同值对应数据的量设置任务的并发捞取数量，包括：

基于所选择的维度中不同值对应数据占总数据量的比例来设置任务的并发捞取数量。

5.如权利要求1所述的方法，其特征在于，当并发捞取时捞取到同一条待处理任务时，先捞取到该待处理任务的执行对应的原始数据表中的数据处理。

6.如权利要求5所述的方法，其特征在于，后捞取到该待处理任务的放弃处理，并进行下次捞取。

7.如权利要求1所述的方法，其特征在于，所述并发捞取数量根据限制数据处理的速度及数据库的负载压力的要求调整。

8.一种实现批量数据处理的系统，其特征在于，包括数据库和计算机集群，其中：

所述数据库基于海量数据的原始数据表中至少两个不相关的维度建立处理任务表；选择所述维度中的一个，并基于所选择的维度中不同值对应数据的量设置任务的并发捞取数量；

所述计算机集群在所述并发捞取数量限制下并发捞取所述处理任务表中的待处理任务，并处理所述捞取到的待处理任务所对应的原始数据表中的数据。

9.如权利要求8所述的系统，其特征在于，所述至少两个不相关的维度包括：至少两个值随序号变化规律不相同的维度。

10.如权利要求8所述的系统，其特征在于，所述数据库包括：

第一建立单元，基于海量数据的原始数据表中第一维度建立数据分表；

第二建立单元，基于建立的数据分表并根据所述原始数据表中的第二维度建立处理任务表。

11.如权利要求8所述的系统，其特征在于，所述数据库基于所选择的维度中不同值对应数据占总数据量的比例来设置任务的并发捞取数量。

12.如权利要求8所述的系统，其特征在于，当所述计算机集群中不同服务器并发捞取时捞取到同一条待处理任务时，先捞取到该待处理任务的服务器执行对应的原始数据表中的数据处理。

13.如权利要求12所述的系统，其特征在于，后捞取到该待处理任务的服务器放弃处理，并进行下次捞取。

14.如权利要求8所述的系统，其特征在于，所述并发捞取数量根据限制数据处理的速度及数据库的负载压力的要求调整。

15.一种实现批量数据处理的方法，其特征在于，包括：

选择海量数据的原始数据表中一个维度，并基于所选择的维度建立处理任务表；

基于所选择维度中不同值对应数据的量设置任务的并发捞取数量；

在所述并发捞取数量限制下并发捞取所述处理任务表中的待处理任务；

处理所述捞取到的待处理任务所对应的原始数据表中的数据。