[发明专利]以容错方式处理批量输入数据的方法和系统

权利要求书

1.一种用于以容错方式处理批量输入数据的方法，所述方法由包括存储器的一个或多个计算机系统执行，所述方法包括：

对所述批量输入数据执行计算，其中所述计算中的至少一个但少于全部的计算包括用于与所述批量输入数据相关联的数个工作单元的检查点处理，

其中，所述检查点处理包括：

对于来自所述批量输入数据的工作单元，

如果对所述工作单元执行动作所产生的结果在之前被保存在存储器中所存储的检查点缓存中，则使用所保存的结果完成对所述工作单元执行所述计算而不再次执行所述动作；或者

如果对所述工作单元执行所述动作所产生的结果未被保存在检查点缓存中，则执行所述动作以完成对所述工作单元执行所述计算，并且将执行所述动作所产生的结果保存在检查点缓存中。

2.根据权利要求1所述的方法，其中，所述动作包括与远程服务器通信。

3.根据权利要求2所述的方法，其中，执行所述动作所产生的结果包括所述工作单元的与远程服务器的通信所产生的信息。

4.根据权利要求1所述的方法，其中，还包括：在完成所述批量输入数据的处理时删除检查点缓存。

5.根据权利要求2所述的方法，其中，与远程服务器的通信被收费。

6.根据权利要求2所述的方法，其中，与远程服务器的通信的结果存储在易失性存储器中，并且在发生触发事件时按组保存至检查点缓存。

7.根据权利要求6所述的方法，其中，所述触发事件是来自检查点管理器的信号。

8.根据权利要求6所述的方法，其中，所述触发事件是自从上次写至检查点缓存时起数个记录的处理。

9.根据权利要求6所述的方法，其中，所述触发事件是自从上次写至检查点缓存时起已经经过时间段。

10.根据权利要求1所述的方法，其中，所述检查点处理并行地在多个处理设备上运行。

11.根据权利要求10所述的方法，其中，所述批量输入数据包括数据记录，以及所述数据记录在多个并行处理设备之中的分配在所述批量输入数据的运行之间是一致的，并且每个并行处理设备保持独立的检查点缓存。

12.根据权利要求10所述的方法，其中，所述批量输入数据包括数据记录，以及所述数据记录在多个并行处理设备之中的分配是动态的，并且处理设备共享对于所共享的非易失性存储器中存储的单个检查点缓存的访问，其中对于检查点缓存的写入由检查点管理器控制。

13.根据权利要求1所述的方法，其中，还包括：

在已经发生错误状况之后，重新开始处理；

读取包括多个记录的所述批量输入数据；以及

处理整个所述批量输入数据。

14.根据权利要求13所述的方法，其中，所述动作包括与远程服务器通信。

15.一种用于以容错方式处理批量输入数据的系统，所述系统包括：

用于对所述批量输入数据执行计算的部件，其中所述计算中的至少一个但少于全部的计算包括用于与所述批量输入数据相关联的数个工作单元的检查点处理；

其中，所述检查点处理包括：

对于来自所述批量输入数据的工作单元，

如果对所述工作单元执行动作所产生的结果在之前被保存在存储器中所存储的检查点缓存中，则使用所保存的结果完成对所述工作单元执行所述计算而不再次执行所述动作；或者

如果对所述工作单元执行所述动作所产生的结果未被保存在检查点缓存中，则执行所述动作以完成对所述工作单元执行所述计算，并且将执行所述动作所产生的结果保存在检查点缓存中。