[发明专利]一种提升Spark运行效能的方法及装置

权利要求书

1.一种提升Spark运行效能的方法，包括：

对系统中需要高速缓存cache的表进行确定；

对以所确定的需要cache的表作为输入或输出的cache任务进行识别；

对所识别的cache任务进行分组，并为相应的cache任务组创建处理进程；

根据每个处理进程的当前状态和Spark集群资源的实时使用情况，对待提交的cache任务进行组合，并发送至Spark集群处理。

2.根据权利要求1所述的方法，所述对系统中需要cache的表进行确定的步骤包括：

根据表的出度、表单次cache的记录数、表中多个cache任务间的就绪时间差，确定需要cache的表；和/或

将自定义的cache类型的表确定为需要cache的表。

3.根据权利要求1所述的方法，所述对所识别的cache任务进行分组的步骤包括：

以所识别的cache任务为对象，建立关于cache任务的有向无环图；

根据所述有向无环图，将通过需要cache的表相互关联的cache任务分配到同一cache任务组。

4.根据权利要求1所述的方法，所述为相应的cache任务组创建处理进程的步骤包括：

若对所识别的cache任务进行分组的处理是第一次分组处理，则对本次分组处理得到的每一个cache任务组创建相应的处理进程；

若对所识别的cache任务进行分组的处理不是第一次分组处理，则获取历史cache任务组集合，并根据本次分组得到的cache任务组集合和历史cache任务组集合的关系，确定需要创建处理进程的cache任务组，并创建相应的处理进程。

5.根据权利要求4所述的方法，还包括：

根据本次分组得到的cache任务组和历史cache任务组的关系，确定需要取消处理进程的cache任务组，并取消相应的处理进程。

6.根据权利要求1所述的方法，所述根据每个处理进程的当前状态和Spark集群资源的实时使用情况，对待提交的cache任务进行组合，并发送至Spark集群处理包括：

若处理进程处于进程待启动状态，则根据所述Spark集群资源的实时使用情况和所述处理进程的资源需求，确定所述进程的可用资源；

若所述处理进程处于进程已就绪状态，则根据所述处理进程的可用资源、任务的优先级和资源需求，组合待提交的cache任务，并经由该处理进程对应的消息通道发送至所述Spark集群处理。

7.根据权利要求6所述的方法，还包括：

若处理进程处于进程未就绪状态，则不做任何处理；

若处理进程处于进程取消状态或进程异常状态或进程已完成状态，则释放其所占用的资源。

8.一种提升Spark运行效能的装置，包括：

Cache表识别模块，用于对系统中需要高速缓存cache的表进行确定；

Cache任务识别模块，用于对以所确定的需要cache的表作为输入或输出的cache任务进行识别；

分组及进程管理模块，用于对所识别的cache任务进行分组，并为相应的cache任务组创建处理进程；

Cache任务提交模块，用于根据每个处理进程的当前状态和Spark集群资源的实时使用情况，对待提交的cache任务进行组合，并发送至Spark集群处理。

9.根据权利要求8所述的装置，所述Cache表识别模块根据表的出度、表单次cache的记录数、表中多个cache任务间的就绪时间差，确定需要cache的表，和/或将自定义的cache类型的表确定为需要cache的表。

10.根据权利要求8所述的装置，所述分组及进程管理模块以所识别的cache任务为对象，建立关于cache任务的有向无环图，并根据所述有向无环图，将通过需要cache的表相互关联的cache任务分配到同一cache任务组。