[发明专利]基于Spark的任务处理方法及装置

说明书

本发明公开了一种基于Spark的任务处理方法及装置，该方法包括：向服务端设备发送携带任务文件的请求消息，以使所述服务端设备调用选定Spark实例执行所述任务文件，并返回携带执行所述任务文件的执行结果的响应消息，其中，所述客户端设备与所述服务端设备之间通信连接；接收携带所述执行结果的响应消息；从所述响应消息中获取所述执行结果。该方案中，每个任务处理耗时减少，尤其是在待处理的任务较多时，可以大大提升任务处理效率。

技术领域

本发明涉及通信技术领域，尤指一种基于Spark的任务处理方法及装置。

背景技术

Spark是专为大规模数据处理而设计的快速通用的计算引擎，是由加州大学伯克利分校的AMP实验室所开源的类Hadoop MapReduce的通用并行框架。

目前，基于Spark的任务处理方法为，客户端设备将任务文件封装成一个jar包，通过提交命令将jar包提交给服务端设备；服务端设备接收jar包后，解封装jar包获取任务文件，并启动一个Spark实例执行该任务文件，然后将执行该任务文件的执行结果保存在数据库中，并退出该Spark实例；客户端设备从数据库中获取执行结果。

上述基于Spark的任务处理方法中，客户端设备针对每个任务文件都需要封装成jar包，服务端设备接收到jar包后还需要解封装jar包才能获取到任务文件，然后启动一个spark的实例执行任务文件，执行完后将执行结果保存在数据库中，并退出Spark实例，客户端设备从数据库中获取执行结果。上述方法中，每个任务处理耗时较长，尤其是在待处理的任务较多时，任务处理效率非常低。

发明内容

本发明实施例提供一种基于Spark的任务处理方法及装置，用以解决现有技术中存在的每个任务处理耗时较长，尤其是在待处理的任务较多时，任务处理效率非常低的问题。

根据本发明实施例，提供一种基于Spark的任务处理方法，应用在客户端设备中，包括：

向服务端设备发送携带任务文件的请求消息，以使所述服务端设备调用选定Spark实例执行所述任务文件，并返回携带执行所述任务文件的执行结果的响应消息，其中，所述客户端设备与所述服务端设备之间通信连接；

接收携带所述执行结果的响应消息；

从所述响应消息中获取所述执行结果。

可选的，还包括：

向所述服务端设备发送通信连接请求，以使所述服务端设备与所述客户端设备建立通信连接后，返回通信连接响应；

接收所述服务端设备返回的通信连接响应。

根据本发明实施例，还提供一种基于Spark的任务处理方法，应用在服务端设备中，包括：

接收客户端设备发送的携带任务文件的请求消息后，从所述请求消息中获取所述任务文件，其中，所述客户端设备与所述服务端设备之间通信连接；

调用选定Spark实例执行所述任务文件；

向所述客户端设备发送携带执行所述任务文件的执行结果的响应消息，以使所述客户端设备从所述响应消息中获取所述执行结果。

可选的，还包括：

初始化后开启所述选定Spark实例；

监听是否接收到请求消息。

可选的，还包括：

接收所述服务端设备发送的通信连接请求；

与所述客户端设备建立通信连接后，向所述客户端设备返回通信连接响应。

根据本发明实施例，还提供一种基于Spark的任务处理装置，应用在客户端设备中，包括：