[发明专利]以容错方式处理批量输入数据的方法和系统

摘要

本发明涉及以容错方式处理批量输入数据的方法和系统。处理批量的输入数据包括：读取包括数个记录的批量，并且使所述批量经过数据流程图。至少一个但少于全部的图组成部分包括检查点处理，用于针对与一个或更多个记录相关联的数个工作单元中的每一个执行的动作；检查点处理包括：在处理开始时，打开检查点缓存。如果由于对工作单元执行所述动作所产生的结果在之前被保存在检查点缓存中，则使用所保存的结果完成工作单元的处理而不再次执行所述动作。如果由于对工作单元执行所述动作所产生的结果未被保存在检查点缓存中，则执行所述动作以完成工作单元的处理并且将由于执行所述动作所产生的结果保存在检查点缓存中。

主权项

1.一种用于以容错方式处理批量输入数据的方法，所述方法由包括存储器的一个或多个计算机系统执行，所述方法包括：对所述批量输入数据执行计算，其中所述计算中的至少一个但少于全部的计算包括用于与所述批量输入数据相关联的数个工作单元的检查点处理，其中，所述检查点处理包括：对于来自所述批量输入数据的工作单元，如果对所述工作单元执行动作所产生的结果在之前被保存在存储器中所存储的检查点缓存中，则使用所保存的结果完成对所述工作单元执行所述计算而不再次执行所述动作；或者如果对所述工作单元执行所述动作所产生的结果未被保存在检查点缓存中，则执行所述动作以完成对所述工作单元执行所述计算，并且将执行所述动作所产生的结果保存在检查点缓存中。