[发明专利]一种任务处理的方法、装置及存储介质

权利要求书

1.一种任务处理的方法，其特征在于，该方法包括：

驱动节点根据Yarn调度器的启动指示执行预启动，其中，所述驱动节点是所述Yarn调度器根据客户端发送的虚拟任务请求从Spark集群中选择的；

所述驱动节点从可执行任务的消息队列中获取目标任务，并执行获取的目标任务，其中所述消息队列中的可执行任务是客户端发送的；

所述驱动节点将目标任务的执行结果发送到所述消息队列中，以使客户端从所述消息队列中获取目标任务的执行结果。

2.如权利要求1所述的方法，其特征在于，所述驱动节点执行获取的目标任务，包括：

所述驱动节点对所述目标任务进行分析；

当所述目标任务的数据类型为分布式数据集RDD数据类型，所述驱动节点将所述目标任务分发给执行节点，使所述驱动节点和所述执行节点共同执行所述目标任务；

其中，所述执行节点是所述驱动节点确定所述目标任务的数据类型为RDD数据类型后，向所述Yarn调度器发送资源请求获得的。

3.如权利要求1所述的方法，其特征在于，所述驱动节点从可执行任务的消息队列中获取目标任务，包括：

所述驱动节点实时检测所述可执行任务的消息队列；

当所述可执行任务的消息队列中有可执行任务时，所述驱动节点获取所述可执行任务作为目标任务。

4.一种任务处理的方法，其特征在于，该方法包括：

客户端将可执行任务作为目标任务发送到消息队列中，以使驱动节点从消息队列中获取目标任务；

所述客户端检测消息队列，接收所述驱动节点反馈的所述目标任务的执行结果。

5.如权利要求4所述的方法，其特征在于，所述客户端将可执行任务作为目标任务发送到消息队列中之前，还包括：

所述客户端将所述可执行任务进行序列化处理。

6.如权利要求4～5任一所述的方法，其特征在于，该方法还包括：

所述客户端向Yarn调度器发送虚拟任务请求，以使所述Yarn调度器从Spark集群中选择用于检测消息队列的驱动节点。

7.一种任务处理的装置，其特征在于，该装置包括：预启动单元、执行单元及第一发送单元；其中：

所述预启动单元，用于根据Yarn调度器的启动指示执行预启动，其中，所述驱动节点是所述Yarn调度器根据客户端发送的虚拟任务请求从Spark集群中选择的；

所述执行单元，用于从可执行任务的消息队列中获取目标任务，并执行获取的目标任务，其中所述消息队列中的可执行任务是客户端发送的；

所述第一发送单元，用于将目标任务的执行结果发送到所述消息队列中，以使客户端从所述消息队列中获取目标任务的执行结果。

8.一种任务处理的装置，其特征在于，该装置包括：第二发送单元及接收单元，其中：

所述第二发送单元，用于将可执行任务作为目标任务发送到消息队列中，以使驱动节点从消息队列中获取目标任务；

所述接收单元，用于检测消息队列，接收所述驱动节点反馈的所述目标任务的执行结果。

9.一种计算装置，其特征在于，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行权利要求1～3或权利要求4～6任一权利要求所述方法的步骤。

10.一种计算机可读介质，其特征在于，其存储有可计算设备执行的计算机程序，当所述程序在计算设备上运行时，使得所述计算设备执行权利要求1～3或权利要求4～6任一权利要求所述方法的步骤。