[发明专利]分布式服务器集群日志数据处理方法、装置及系统

说明书

本申请实施例提供一种分布式服务器集群日志数据处理方法、装置及系统，方法包括：获取初始日志数据，并根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段；根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，并将经过所述数据预处理后的业务日志片段发送至所述分布式服务器集群中的业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务日志分析；本申请能够充分利用日志采集端的边缘计算能力，提高日志采集处理过程中的效率和准确性。

技术领域

本申请涉及计算机技术领域，具体涉及一种分布式服务器集群日志数据处理方法、装置及系统。

背景技术

随着社会信息化程度越来越高，业务系统数据处理量越来越大，分布式微服务架构成为当前系统建设普遍采用的架构模式。为了提高系统的处理性能和可靠性，业务系统被分布式部署在数量庞大的服务器集群中。分布式部署带来性能提升的同时，也给系统运维带来了新的挑战。

现有技术中的日志采集处理模式为分布式采集或集中处理，即在每台服务器都部署日志采集程序，采集日志后统一将日志发送到Kafka消息服务器，服务端通过流式处理程序Spark、Flink从Kafka中不断读取采集过来的日志，经过解析和计算后，存储到后端存储中，如HIVE、ES、HDFS等。

发明人发现，在现有技术中，日志采集端只负责采集日志，并将日志发送到服务器端，所有计算都在服务器端运行，由于所有逻辑后移到服务端，增加了服务器端计算负载，延长了计算时间，而且采集端所有日志都需要采集到服务端集中处理，其中包含了太多无用的信息，无用的信息将大量占用网络传输资源。

发明内容

针对现有技术中的问题，本申请提供一种分布式服务器集群日志数据处理方法、装置及系统，能够充分利用日志采集端的边缘计算能力，提高日志采集处理过程中的效率和准确性。

为了解决上述问题中的至少一个，本申请提供以下技术方案：

第一方面，本申请提供一种分布式服务器集群日志数据处理方法，包括：

获取初始日志数据，并根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段；

根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，并将经过所述数据预处理后的业务日志片段发送至所述分布式服务器集群中的业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务日志分析。

进一步地，所述根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段，包括：

确定所述初始日志数据中的起始标识符和对应的终止标识符；

将所述起始标识符和所述终止标识符之间的初始日志数据设定为业务日志片段。

进一步地，在所述根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理之前，包括：

根据所述业务日志片段的业务类型，确定对应的日志解析规则；

根据所述日志解析规则对所述业务日志片段进行数据指标提取，得到对应的业务数据指标。

进一步地，所述根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，包括：

根据预设键值对格式对所述业务日志片段的业务数据指标进行数据格式转换，得到经过所述数据格式转换后的业务日志片段。

进一步地，所述根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，包括：