[发明专利]一种并行的数据处理方法、装置和并行的数据处理系统

权利要求书

1.一种并行的数据处理方法，其特征在于，包括：

主设备从数据源处获知需要进行处理的待处理数据，为每个待处理数据创建一个任务；

主设备在接收到从设备发送的获取任务的请求消息时，为发送请求的从设备分配任务，对从设备返回的执行结果进行合并，并且，动态记录每个任务的执行状态，所述执行状态包括未执行、执行中、已执行和已合并；

主设备输出被合并任务的执行结果。

2.根据权利要求1所述的并行的数据处理方法，其特征在于，所述方法还包括：

主设备在处于执行中状态的任务中，检查是否存在预置时间内未返回执行结果的任务，如果存在，将所述预置时间内未返回执行结果的任务重新标记为未执行。

3.根据权利要求1或2所述的并行的数据处理方法，其特征在于，所述主设备从数据源处获知需要进行处理的待处理数据，为每个待处理数据创建一个任务具体包括：

主设备从数据源处获取需要进行处理的待处理数据的标识列表，所述标识列表中维护了所有待处理数据的数据标识；

主设备从所述标识列表中提取每个待处理数据的标识，当为每个待处理数据创建一个任务后，将提取的标识放入任务中。

4.根据权利要求1或2所述的并行的数据处理方法，其特征在于，所述主设备动态记录每个任务的执行状态包括：

当主设备创建一个任务后，将创建的任务标记为未执行；并且，

当主设备接收到从设备返回的执行结果后，将执行完成的任务标记为已执行；并且，

当主设备检查到有处于已执行状态的任务，且对执行结果进行合并后，将被合并的任务标记为已合并。

5.根据权利要求2所述的并行的数据处理方法，其特征在于，所述主设备在接收到从设备发送的获取任务的请求消息时，为发送请求的从设备分配任务具体包括：

将新创建且处于未执行状态的任务优先分配给所述发送请求的从设备；

当新创建且处于未执行状态的任务被分配完后，再将重新标记为未执行状态的任务按照第一次被分配的时间顺序依次分配给所述发送请求的从设备。

6.一种并行的数据处理装置，其特征在于，包括：

任务创建模块，用于从数据源处获知需要进行处理的待处理数据，为每个待处理数据创建一个任务；

任务分配模块，用于在接收到从设备发送的获取任务的请求消息时，为发送请求的从设备分配任务；

合并模块，用于对从设备返回的执行结果进行合并；

动态记录模块，用于动态记录每个任务的执行状态，所述执行状态包括未执行、执行中、已执行和已合并；

结果输出模块，用于输出被合并任务的执行结果。

7.根据权利要求6所述的并行的数据处理的装置，其特征在于，还包括：

重记录模块，用于在处于执行中状态的任务中，检查是否存在预置时间内未返回执行结果的任务，如果存在，将所述预置时间内未返回执行结果的任务重新标记为未执行。

8.根据权利要求7或8所述的并行的数据处理装置，其特征在于，所述任务创建模块包括：

列表获取子模块，用于从数据源处获取需要进行处理的待处理数据的标识列表，所述标识列表中维护了所有待处理数据的数据标识；

标识提取子模块，用于从所述标识列表中提取每个待处理数据的标识，当为每个待处理数据创建一个任务后，将提取的标识放入任务中。

9.一种并行的数据处理系统，其特征在于，包括：一个主设备和多个从设备，其中，

所述主设备，用于从数据源处获知需要进行处理的待处理数据，为每个待处理数据创建一个任务，在接收到从设备发送的获取任务的请求消息时，为发送请求的从设备分配任务，对从设备返回的执行结果进行合并，并动态记录每个任务的执行状态，所述执行状态包括未执行、执行中、已执行和已合并，输出被合并任务的合并结果；

所述从设备，用于向所述主设备发送获取任务的请求消息，当接收到所述主设备分配的任务后，执行分配的任务，将执行结果返回给所述主设备。

10.根据权利要求9所述的并行的数据处理系统，其特征在于，所述主设备还用于在状态为执行中的任务中，检查是否存预置时间内未返回执行结果的任务，如果存在，将所述预置时间内未返回执行结果的任务重新标记为未执行。