[发明专利]容错处理方法及装置

权利要求书

1.一种容错处理方法，其特征在于，所述方法包括：

在任务执行过程中，当检测到内存不足的错误信息时，获取失败任务的原始数据；

根据各个从节点对应的数据分配加权值和所述原始数据的大小，对所述原始数据进行切分，得到至少一个数据块，所述至少一个数据块为所述各个从节点对应的数据块，所述各个从节点包括本地从节点和除所述本地从节点以外的其他从节点，所述数据分配加权值根据所述本地从节点和所述其他从节点的剩余内存信息计算得到，

或者，根据所述原始数据的分块数量和所述原始数据的大小，对所述原始数据进行切分，得到至少一个数据块，所述分块数量根据所述本地从节点在执行所述失败任务过程中的内存峰值和所述本地从节点的剩余内存信息计算得到；

调用数据处理节点对所述至少一个数据块进行运算处理，所述数据处理节点为所述本地从节点或所述其他从节点；

获取所述至少一个数据块对应的运算结果；

将各个运算结果进行合并，得到最终运算结果，向客户端发送所述最终运算结果。

2.根据权利要求1所述的方法，其特征在于，所述根据各个从节点对应的数据分配加权值和所述原始数据的大小，对所述原始数据进行切分之前，所述方法还包括：

获取所述本地从节点和所述其他从节点的剩余内存信息；

根据所述剩余内存信息，计算各个从节点对应的数据分配加权值。

3.根据权利要求2所述的方法，其特征在于，所述调用数据处理节点对所述至少一个数据块进行运算处理之前，所述方法还包括：

为各个从节点对应的数据块分配子任务名称；

所述调用数据处理节点对所述至少一个数据块进行运算处理，包括：

向各个从节点发送对应的数据块和子任务名称，由所述本地从节点和所述其他从节点对所述至少一个数据块进行运算处理。

4.根据权利要求3所述的方法，其特征在于，所述获取所述至少一个数据块对应的运算结果，包括：

根据每一个数据块对应的子任务名称，从所述本地从节点和所述其他从节点中，获取每一个数据块对应的运算结果。

5.根据权利要求1所述的方法，其特征在于，所述根据所述原始数据的分块数量和所述原始数据的大小，对所述原始数据进行切分之前，所述方法还包括：

获取所述本地从节点在执行所述失败任务过程中的内存峰值；

获取所述本地从节点的剩余内存信息；

根据所述内存峰值和所述剩余内存信息，计算所述原始数据的分块数量。

6.根据权利要求5所述的方法，其特征在于，所述调用数据处理节点对所述至少一个数据块进行运算处理之前，所述方法还包括：

为每一个数据块分配子任务名称；

所述调用数据处理节点对所述至少一个数据块进行运算处理，包括：

调用所述本地从节点依次对每一个数据块进行运算处理，将得到的运算结果保存在本地磁盘上。

7.根据权利要求6所述的方法，其特征在于，所述获取所述至少一个数据块对应的运算结果，包括：

根据每一个数据块对应的子任务名称，从所述本地磁盘中，获取每一个数据块对应的运算结果。