[发明专利]执行计算任务的方法和装置

说明书

本发明公开了执行计算任务的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：向主节点发送计算指令，所述计算指令携带计算任务，并接收所述主节点返回的执行所述计算任务所生成的原数据；若监测到所述主节点无法执行所述计算任务，则按照预设规则从从节点中选择出新的主节点；向所述新的主节点发送新的计算指令，所述新的计算指令携带所述原数据，并接收所述新的主节点返回的根据所述原数据继续执行所述计算任务所生成的原数据。该实施方式同时保证了主节点的高性能优势和高可用性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种执行计算任务的方法和装置。

背景技术

Spark是一种计算引擎，对于Spark集群，部署方式主要是Spark on Yarn，Sparkon Yarn部署方式又分为两个模式：Cluster(集群)模式和Client(客户端)模式。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：Spark on YarnClient模式存在单点故障的问题，不具有高可用性；而Spark on Yarn Cluster模式执行计算任务时是由任意节点执行的，不能利用节点的高性能优势。

发明内容

有鉴于此，本发明实施例提供一种执行计算任务的方法和装置，能够同时保证了主节点的高性能优势和高可用性。

为实现上述目的，根据本发明实施例的一个方面，提供了一种执行计算任务的方法。

本发明实施例的一种执行计算任务的方法，包括：向主节点发送计算指令，所述计算指令携带计算任务，并接收所述主节点返回的执行所述计算任务所生成的原数据；若监测到所述主节点无法执行所述计算任务，则按照预设规则从从节点中选择出新的主节点；向所述新的主节点发送新的计算指令，所述新的计算指令携带所述原数据，并接收所述新的主节点返回的根据所述原数据继续执行所述计算任务所生成的原数据。

在一个实施例中，在向主节点发送计算指令之后，所述方法还包括：每隔一段时间向所述主节点发送记录数据指令；接收所述主节点返回的执行所述计算任务所生成的原数据，包括：接收所述主节点根据所述记录数据指令发送的执行所述计算任务所生成的原数据。

在一个实施例中，所述方法还包括预先按照各个从节点性能从高到低的顺序对所述各个从节点进行排序；按照预设规则从从节点中选择出新的主节点，包括：将排序中排在首位的从节点作为新的主节点。

在一个实施例中，监测到所述主节点无法执行所述计算任务，包括：向所述主节点发送监测指令，若在预设时间内未接收到所述主节点根据所述监测指令返回的响应消息，则确认所述主节点无法执行所述计算任务。

在一个实施例中，在向所述新的主节点发送新的计算指令之后，所述方法还包括：接收所述新的主节点执行完所述计算任务返回的结束指令，根据所述结束指令清除所述原数据。

为实现上述目的，根据本发明实施例的另一个方面，提供了一种执行计算任务的装置。

本发明实施例的一种执行计算任务的装置，包括：第一收发单元，用于向主节点发送计算指令，所述计算指令携带计算任务，并接收所述主节点返回的执行所述计算任务所生成的原数据；处理单元，用于若监测到所述主节点无法执行所述计算任务，则按照预设规则从从节点中选择出新的主节点；第二收发单元，用于向所述新的主节点发送新的计算指令，所述新的计算指令携带所述原数据，并接收所述新的主节点返回的根据所述原数据继续执行所述计算任务所生成的原数据。

在一个实施例中，所述装置还包括：预处理单元，用于在向主节点发送计算指令之后，每隔一段时间向所述主节点发送记录数据指令；所述第一收发单元具体用于：接收所述主节点根据所述记录数据指令发送的执行计算任务所生成的原数据。