[发明专利]数据并行处理方法、装置、设备及存储介质

权利要求书

1.一种数据并行处理方法，其特征在于，包括：

若待处理任务支持分片，获取数据拆分规则；

根据所述拆分规则将所述待处理任务拆分为多个子任务；

将所述多个子任务分配至对应的线程进行处理，获得多个子结果；

将所述多个子结果进行合并，获得数据处理结果。

2.根据权利要求1所述的方法，其特征在于，获取数据拆分规则，包括：

根据所述待处理任务的身份标识码获取分片参数；

根据所述分片参数确定数据拆分规则。

3.根据权利要求1所述的方法，其特征在于，根据设定拆分规则将所述待处理任务拆分为多个子任务，包括：

注册拆分表；

将拆分的多个子任务的信息登记至所述拆分表中；所述拆分表用于记录拆分进度。

4.根据权利要求3所述的方法，其特征在于，所述子任务的信息包括：子任务的身份识别码、输入文件路径、输出文件路径及记录条数。

5.根据权利要求3所述的方法，其特征在于，将所述多个子任务分配至对应的线程进行处理，获得多个子结果，包括：

根据子任务的信息按照锁机制将所述多个子任务分配至对应的线程进行处理，获得多个子结果。

6.一种数据并行处理装置，其特征在于，包括：

数据拆分规则获取模块，用于若待处理任务支持分片，获取数据拆分规则；

子任务获取模块，用于根据所述拆分规则将所述待处理任务拆分为多个子任务；

子结果获取模块，用于将所述多个子任务分配至对应的线程进行处理，获得多个子结果；

数据处理结果获取模块，用于将所述多个子结果进行合并，获得数据处理结果。

7.根据权利要求6所述的装置，其特征在于，所述数据拆分规则获取模块，还用于：

根据所述待处理任务的身份标识码获取分片参数；

根据所述分片参数确定数据拆分规则。

8.根据权利要求6所述的装置，其特征在于，所述子任务获取模块，还用于：

注册拆分表；

将拆分的多个子任务的信息登记至所述拆分表中；所述拆分表用于记录拆分进度。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5任一所述的数据并行处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现如权利要求1-5中任一所述的数据并行处理方法。