[发明专利]集群节点管理方法、装置、系统、存储介质及计算机设备

说明书

本公开关于一种集群节点管理方法、装置、系统、存储介质及计算机设备。其中该方法包括，获取配置文件；其中，所述配置文件包括待操作文件的文件名和针对所述待操作文件的操作信息；解析所述配置文件，获取所述配置文件之中所述待操作文件的文件名；根据所述待操作文件的文件名获取所述待操作文件；将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点。本公开可以解决集群的磁盘文件管理由于集群节点数量多，操作效率低，容易遗留操作等的问题。

技术领域

本公开涉及大数据资源调度技术领域尤其涉及一种集群节点管理方法、装置、系统、存储介质及计算机设备。

背景技术

相关技术中，对集群中节点的管理大多依赖于逐台机器进行人工操作，常见操作如删除hive(数据仓库工具)自定义函数工具包，删除集群备份路径的文件等，由于依赖于逐台机器进行人工操作，操作效率较低，在集群节点数量多的情况下容易遗漏操作，留下运行隐患。

发明内容

为此，本公开提供一种集群节点管理方法、装置、系统、存储介质及计算机设备，以至少解决相关技术中集群由于集群节点数量多，逐个发送文件操作效率低，无法进行批量管理的问题。

本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种集群节点管理方法，所述方法应用于客户端，所述方法包括：

获取配置文件；其中，所述配置文件包括待操作文件的文件名和针对所述待操作文件的操作信息；

解析所述配置文件，获取所述配置文件之中所述待操作文件的文件名；

根据所述待操作文件的文件名获取所述待操作文件；

将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点；其中，所述文件管理任务用于指示所述集群任务管理节点将所述待操作文件和所述配置文件发送给集群节点，所述配置文件用于指示集群节点基于所述操作信息对所述待操作文件进行相应操作。

根据本公开的一个实施例，所述操作信息包括待覆盖文件的文件名、文件在集群节点的覆盖路径配置信息；和/或

所述操作信息包括待删除文件的文件名、文件在集群节点的删除路径配置信息。

根据本公开的一个实施例，所述操作信息包括待操作集群节点的节点标识和所述待操作集群节点的待操作信息。

根据本公开的一个实施例，所述待操作文件至少包括以下项中的任意一种或多种：

自定义工具包文件，集群磁盘文件，应用依赖包文件。

根据本公开的一个实施例，所述配置文件还包括集群节点操作日志的配置信息，所述配置信息用于指示集群节点基于所述操作信息对所述待操作文件进行相应操作时产生操作日志；所述方法还包括：

获取集群节点的操作日志；

基于所述操作日志，确定所述集群节点是否完成所述配置文件中所配置的操作。

根据本公开的一个实施例，响应于所述集群节点未完成所述配置文件中所配置的操作，重新将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点。

根据本公开的一个实施例，在所述将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点之前，所述方法还包括：

向所述集群任务管理节点发送授权认证请求；

响应于接收到所述集群任务管理节点发送的授权认证通过信息，执行所述将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点的步骤。

根据本公开实施例的第二方面，提供一种集群节点管理方法，所述方法应用于集群节点，所述方法包括：