[发明专利]容错处理方法及装置

说明书

本发明公开了一种容错处理方法及装置，属于计算机技术领域。方法包括：在任务执行过程中，当检测到内存不足的错误信息时，获取失败任务的原始数据；将原始数据进行切分，得到至少一个数据块；调用数据处理节点对至少一个数据块进行运算处理；获取至少一个数据块对应的运算结果；将各个运算结果进行合并，得到最终运算结果，向客户端发送最终运算结果。由于对原始数据进行了切分处理，所以实现了将原始任务切分为多个子任务，在子任务执行过程中，相较于执行整个任务而言降低了内存使用率，并调用本地从节点或其他从节点分别对多个子任务进行处理，可保证在本地从节点内存不足的情况下对失败任务进行有效处理，提升了任务执行效率和容错可靠性。

技术领域

本发明涉及计算机技术领域，特别涉及一种容错处理方法及装置。

背景技术

Spark是一种通用的分布式大数据并行计算框架，基于MR(Map Reduce)算法实现分布式计算。Spark与MR相比，最大的特点是数据的运算结果可以存储在内存中。基于这种功能特性，Spark在海量数据处理、迭代运算和数据挖掘方面更具优势。

参见图1所示的Spark分布式系统的框架图，主要包含3大部分：Driver(客户端)、MasterNode(主节点)以及SlaveNode(从节点)。在图1中，Driver的TaskScheduler(任务调度)模块在执行任务分配时会考虑SlaveNode的资源剩余状况。也即考虑SlaveNode是否能够能将Spark应用正常启动。Spark应用正常启动后，在执行任务期间会产生大量的中间数据结果。尤其在运行机器学习算法时会涉及到多次迭代运算，产生的中间数据结果将是输入数据的3至5倍甚至更多。而这些中间数据结果均会存储在内存中。由于上述任务分配方式仅考虑了应用启动时需要的内存，因此往往在任务执行期间会出现内存不足的情况，从而导致任务执行失败。

为此，现有的容错处理方法在发现任务执行失败后，会将内存不足的错误信息反馈给客户端的DAGScheduler(DAG调度)模块。DAGScheduler模块在接收到该错误信息后，将该执行失败的任务重新置于调度表中。之后，根据自身的资源调度模式，为该执行失败的任务重新分配数据处理节点。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

由于Spark分布式系统的资源调度模式基于数据尽量本地化的原则，也即尽量将任务分配到相关数据本身所在的节点上。所以当任务执行失败后，DAGSch eduler模块重新将该执行失败的任务分配给原来SlaveNode的几率很高。由于该任务的原始数据一般数据量较大，而原来SlaveNode的剩余内存又很少，因此会再一次出现任务执行失败的情况，从而降低了Spark分布式系统容错的可靠性和任务的执行效率。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种容错处理方法及装置。所述技术方案如下：

第一方面，提供了一种容错处理方法，所述方法包括：

在任务执行过程中，当检测到内存不足的错误信息时，获取失败任务的原始数据；

将所述原始数据进行切分，得到至少一个数据块；

调用数据处理节点对所述至少一个数据块进行运算处理，所述数据处理节点为本地从节点或除所述本地从节点之外的其他从节点；

获取所述至少一个数据块对应的运算结果；

将各个运算结果进行合并，得到最终运算结果，向客户端发送所述最终运算结果。

在第一方面的第一种可能的实现方式中，所述将失败任务的原始数据进行切分之前，所述方法还包括：

获取所述本地从节点和所述其他从节点的剩余内存信息；

根据所述剩余内存信息，计算各个从节点对应的数据分配加权值；