[发明专利]一种集群信息归档方法、系统、存储介质及设备

说明书

本发明提供了一种集群信息归档方法、系统、存储介质及设备，方法包括：对集群的待归档信息进行收集以生成归档信息配置文件并将其分发至集群的各个节点；将归档任务分发至集群的各个节点，并且响应于各节点接收到归档任务，加载各自的归档信息配置文件并读取其中本节点待执行的归档信息；由每个节点基于各自待执行的归档信息生成相应的归档命令并执行，并且响应于归档命令执行完成，基于执行结果生成归档文件；将各节点的归档文件分别推送至其中的信息汇总节点，并由信息汇总节点对接收的各归档文件分别进行校验；响应于各归档文件均校验通过，读取信息汇总节点上的各归档文件并生成报告。本发明提高了集群信息归档的便捷性和灵活性。

技术领域

本发明涉及集群技术领域，尤其涉及一种集群信息归档方法、系统、存储介质及设备。

背景技术

随着近年来信息的爆发式增长，互联网对于海量存储的需求越来越大，单个存储集群的节点数量从数个节点逐渐增长至数百节点，不同的服务会部署在不同的集群节点上。因此这些服务的配置文件以及服务运行过程中所产生的日志文件也就分散在了不同的节点上。随着集群运行时间的增长以及集群节点的扩缩容，有可能因为各节点配置文件的差异或错误导致功能异常。

在集群中单个节点可能具有不同的服务或功能，因此集群中的每个节点中的服务会产生不同的日志以及配置文件。面对大规模集群(数百个节点)产生的海量日志，常见的解决思路是建立日志收集系统，将所有节点上的日志进行统一收集。常用的日志收集系统有Flume、ELK等。但这些日志收集系统也有自身的缺陷，例如无法收集集群上各个服务的配置文件，另外，Fulme、ELK的可视化界面需要单独进行配置而且仅能通过其提供的web页面查看，当脱离日志系统后其可视化页面无法使用。

发明内容

有鉴于此，本发明的目的在于提出一种集群信息归档方法、系统、存储介质及设备，用以解决现有技术中集群信息归档不便的问题。

基于上述目的，本发明提供了一种集群信息归档方法，包括以下步骤：

对集群的待归档信息进行收集以生成归档信息配置文件，并将归档信息配置文件分发至集群的各个节点；

将归档任务分发至集群的各个节点，并且响应于各节点接收到归档任务，加载各自的归档信息配置文件并读取其中本节点待执行的归档信息；

由每个节点基于各自待执行的归档信息生成相应的归档命令并执行，并且响应于归档命令执行完成，基于执行结果生成归档文件；

将各节点的归档文件分别推送至其中的信息汇总节点，并由信息汇总节点对接收的各归档文件分别进行校验；

响应于各归档文件均校验通过，读取信息汇总节点上的各归档文件并生成报告。

在一些实施例中，将各节点的归档文件分别推送至其中的信息汇总节点，并由信息汇总节点对接收的各归档文件分别进行校验包括：

将每个节点的归档文件及对应的第一消息摘要推送至信息汇总节点，且由信息汇总节点对接收的每个归档文件生成对应的第二消息摘要；

判断各第一消息摘要与对应的第二消息摘要是否相同。

在一些实施例中，响应于各归档文件均校验通过，读取信息汇总节点上的各归档文件并生成报告包括：

响应于各第一消息摘要与对应的第二消息摘要均相同，读取信息汇总节点上的各归档文件并生成报告。

在一些实施例中，方法还包括：

响应于有第一消息摘要与对应的第二消息摘要不同，将对应节点的归档文件及其第一消息摘要重新推送至信息汇总节点并再次进行校验，直至该节点的归档文件的第一消息摘要与对应的第二消息摘要相同。

在一些实施例中，将各节点的归档文件分别推送至其中的信息汇总节点还包括：