[发明专利]集群资源的管理方法、设备及存储介质

说明书

本发明提供了一种集群资源的管理方法、设备及存储介质，涉及计算机技术领域；方法包括：在SparkContext启动后，监听其接收到的集群应用的工作状态信息；根据工作状态信息，更新对应的工作状态集中对应的至少一个集群事件的工作状态；根据集群事件的工作状态，调用对应的基于Spark‑listener创建的性能采集事件；通过性能采集事件采集集群事件使用的集群资源度量指标；获取集群资源度量指标对应的用户属性，并将集群资源度量指标保存至kafka集群中用户属性对应的主题中。相对于传统的Spark‑UI的方式，其性能采集事件为自定义的，其拓展性更高，能实现实时直观统计分析。

技术领域

本发明实施例涉及但不限于计算机技术领域，尤其涉及一种集群资源的管理方法、设备及存储介质。

背景技术

Spark是一种快速、通用、可扩展的数据分析引擎。在Spark中，Spark应用程序基于SparkContext进行驱动，从而通过SparkContext将任务分配至Spark的工作节点中执行对应的Spark应用程序。对于Spark应用程序的性能管理，可以通过Spark内置的Spark-UI监控页面作为性能调优及故障定位的定位来源。虽然Spark-UI构建在网络产品界面设计(Website User Interface，WebUI)的框架体系之上，能提供众多度量指标(Metrics)，包括六个一级入口和众多二三级入口，但这些度量指标均只能通过图形化的方式进行静态展示，无法对度量指标进行实时直观统计分析。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本发明实施例提供了一种集群资源的管理方法、设备及存储介质，能对度量指标进行实时直观统计分析。

第一方面，本发明实施例提供了一种集群资源的管理方法，包括：

在SparkContext启动后，监听SparkContext中接收到的集群应用的工作状态信息；

根据所述工作状态信息，获取与所述工作状态信息对应的预设工作状态集，并更新预设工作状态集中的至少一个集群事件；

根据所述集群事件的工作状态，调用对应的基于Spark-listener创建的性能采集事件；

通过所述性能采集事件采集所述集群事件使用的集群资源度量指标；

获取所述集群资源度量指标对应的用户属性，并将所述集群资源度量指标保存至kafka集群中所述用户属性对应的主题中。

根据本发明一些实施例提供的集群资源的管理方法，所述性能采集事件包括应用性能采集事件、作业性能采集事件、阶段任务组性能采集事件、任务性能采集事件；所述根据所述集群事件的工作状态，调用对应的基于Spark-listener创建的性能采集事件，包括如下之一：

根据应用事件的工作状态，调用基于Spark-listener创建的应用性能采集事件；

或根据作业事件的工作状态，调用基于Spark-listener创建的作业性能采集事件；

或根据阶段任务组事件的工作状态，调用基于Spark-listener创建的阶段任务组性能采集事件；

或根据任务事件的工作状态，调用基于Spark-listener创建的任务性能采集事件。

根据本发明一些实施例提供的集群资源的管理方法，所述性能采集事件为所述任务性能采集事件，所述方法还包括：

获取阶段任务组中多个任务的任务控制参数，并判断多个所述任务控制参数中是否存在与所述集群事件对应的任务控制参数；

当存在与所述集群事件对应的任务控制参数，且所述任务控制参数中设置的采集状态为开启，判断调用所述性能采集事件。