[发明专利]一种分布式存储集群日志存储优化方法、系统及终端

说明书

本申请公开了一种分布式存储集群日志存储优化方法、系统及终端，该方法包括：实时监听分布式存储集群的日志读写任务，且当获取到日志读写任务时，对其分配唯一的缓存编号，出现集群故障时对日志内容开启重试机制；日志完整性检测；日志完整性检测合格后，对日志内容进行分类；根据日志参数对日志内容进行统计；存储日志内容；对分布式存储集群的日志数据进行访问，并将访问结果反馈至集群节点。该系统包括：日志缓存代理模块、日志重试模块、完整性检测模块、日志解析模块、日志管理模块、日志存储模块和日志存储模块。该终端包括：处理器以及存储器。通过本申请，能够提高日志完整性，提高分布式存储集群的日志存储优化功能。

技术领域

本申请涉及分布式存储系统日志管理技术领域，特别是涉及一种分布式存储集群日志存储优化方法、系统及终端。

背景技术

在当前大规模分布式集群中，日志包括了各种业务操作记录，用于存储集群历史运行状态分析以及故障的问题定位分析，是存储集群的重要信息之一。所以，通过一定的方法保护集群日志的完整性，从而对分布式存储集群日志进行存储优化，是非常有必要的。

目前对分布式存储集群日志进行存储优化的方法，通常是：在集中日志服务器中运行日志收集系统，该日志收集系统包括：rsysloy(一个帮主机记录日志信息的程序)程序，利用scribe(一种开源的日志收集系统)系统和fluentd(一种开源的日志收集系统工具)工具三部分。

然而，目前对分布式存储集群日志进行存储优化的方法中，由于rsysloy程序、scribe系统和fluentd工具自身的缺陷，当网络出现抖动或者存储集群故障时，会产生日志丢失和日志不完整问题，从而导致分布式存储集群日志的存储优化功能较差，对存储集群的稳定性和可靠性造成严重影响。

发明内容

本申请提供了一种分布式存储集群日志存储优化方法、系统及终端，以解决现有技术中对分布式存储集群日志进行存储优化的方法导致日志不完整，导致分布式存储集群日志的存储优化功能较差的问题。

为了解决上述技术问题，本申请实施例公开了如下技术方案：

一种分布式存储集群日志存储优化方法，所述方法包括：

通过与分布式存储集群中各节点进行通信，实时监听所述分布式存储集群的日志读写任务，且当获取到日志读写任务时，对所述日志读写任务分配唯一的缓存编号，所述缓存编号用于根据所述日志读写任务从分布式存储集群中拉取日志内容；

在日志读写过程中出现集群故障时，对所述日志内容开启重试机制，所述集群故障包括：抖动网络不佳故障、时延故障以及日志信息丢失故障中的至少一种；

对所述日志内容进行日志完整性检测；

日志完整性检测合格后，根据日志配置库中的日志配置信息，对日志内容进行分类；

根据日志参数对日志内容进行统计，所述日志参数包括：日志的大小、节点、类别和加密信息；

存储所述日志内容；

根据所获取的访问命令，对分布式存储集群的日志数据进行访问，并将访问结果反馈至所述分布式存储集群节点。

可选地，在日志读写过程中出现集群故障时，对所述日志内容开启重试机制的方法，包括：

在日志读写过程中出现集群故障时，重新对所拉取的日志内容进行缓存；

判断重新执行的缓存次数是否超过设定的重试阈值；

如果是，停止对所述日志读写任务进行缓存操作；

如果否，继续对所述拉取的日志内容进行缓存直到集群故障消失。

可选地，对所述日志内容进行日志完整性检测的方法，包括：