[发明专利]集群资源的管理方法、设备及存储介质

权利要求书

1.一种集群资源的管理方法，其特征在于，包括：

在SparkContext启动后，监听SparkContext中接收到的集群应用的工作状态信息；

根据所述工作状态信息，获取与所述工作状态信息对应的预设工作状态集，并更新预设工作状态集中的至少一个集群事件；

根据所述集群事件的工作状态，调用对应的基于Spark-listener创建的性能采集事件；

通过所述性能采集事件采集所述集群事件使用的集群资源度量指标；

获取所述集群资源度量指标对应的用户属性，并将所述集群资源度量指标保存至kafka集群中所述用户属性对应的主题中。

2.根据权利要求1所述的集群资源的管理方法，其特征在于，所述性能采集事件包括应用性能采集事件、作业性能采集事件、阶段任务组性能采集事件、任务性能采集事件；所述根据所述集群事件的工作状态，调用对应的基于Spark-listener创建的性能采集事件，包括如下之一：

根据应用事件的工作状态，调用基于Spark-listener创建的应用性能采集事件；

或根据作业事件的工作状态，调用基于Spark-listener创建的作业性能采集事件；

或根据阶段任务组事件的工作状态，调用基于Spark-listener创建的阶段任务组性能采集事件；

或根据任务事件的工作状态，调用基于Spark-listener创建的任务性能采集事件。

3.根据权利要求2所述的集群资源的管理方法，其特征在于，所述性能采集事件为所述任务性能采集事件，所述方法还包括：

获取阶段任务组中多个任务的任务控制参数，并判断多个所述任务控制参数中是否存在与所述集群事件对应的任务控制参数；

当存在与所述集群事件对应的任务控制参数，且所述任务控制参数中设置的采集状态为开启，判断调用所述性能采集事件。

4.根据权利要求1所述的集群资源的管理方法，其特征在于，所述根据所述集群事件的工作状态，调用对应的基于Spark-listener创建的性能采集事件，包括：

根据所述集群事件的工作状态，确定基于Spark-listener创建的性能采集事件的事件类型；

通过异步方式回调所述事件类型对应的性能采集事件。

5.根据权利要求1所述的集群资源的管理方法，其特征在于，所述集群事件包括作业事件、所述作业事件对应的阶段任务事件、所述阶段任务事件对应的子任务事件；

所述通过所述性能采集事件采集所述集群事件使用的集群资源度量指标，包括：

通过所述性能采集事件采集所述作业事件的所述集群资源度量指标；

根据采集的所述作业事件的所述集群资源度量指标，确定所述作业事件对应的阶段任务事件的所述集群资源度量指标；

根据所述作业事件对应的阶段任务事件的所述集群资源度量指标，确定所述阶段任务事件对应的子任务事件的所述集群资源度量指标；

其中，所述集群资源度量指标包括CPU数据、内存分配数据和磁盘读写数据中的至少一项。

6.根据权利要求1所述的集群资源的管理方法，其特征在于，所述获取所述集群资源度量指标对应的用户属性，并将所述集群资源度量指标保存至kafka集群中所述用户属性对应的主题中，包括：

将所述集群资源度量指标依据预设的需求模型进行加工处理；

获取加工处理后的所述集群资源度量指标的用户属性并根据所述用户属性确定kafka集群对应的主题；

将加工处理后的所述集群资源度量指标保存至所述主题中。

7.根据权利要求1所述的集群资源的管理方法，其特征在于，所述方法还包括：

获取待持久化的集群资源度量指标以及本地磁盘的写入地址；

将所述集群资源度量指标写入到所述写入地址对应的文件目录中。