[发明专利]基于链路追踪的服务链日志处理方法、装置和计算机设备

权利要求书

1.一种基于链路追踪的服务链日志处理方法，其特征在于，包括：

分别对服务链中不同应用进群进行日志数据采集，得到对应的日志数据；

对所述日志数据进行格式标准化，得到标准格式的日志数据；

通过Kafka中间件将所述标准格式的日志数据全量存储到Hbase数据库中；

对Kafka中间件中的日志数据进行流处理，得到检索索引数据和统计分析数据；

将所述检索索引类数据存入ES集群；

将所述统计分析数据存入关系数据库MySQL。

2.根据权利要求1所述的基于链路追踪的服务链日志处理方法，其特征在于，所述分别对服务链中不同应用进群进行日志数据采集，得到对应的日志数据步骤，包括：

通过业务代码调用不同的应用集群的日志输出接口进行日志采集。

3.根据权利要求1所述的基于链路追踪的服务链日志处理方法，其特征在于，所述分别对服务链中不同应用进群进行日志数据采集，得到对应的日志数据步骤，包括：

通过代理Agent实现在不同应用集群的日志埋点，对服务调用过程切面进行拦截，捕获日志数据，完成数据采集。

4.根据权利要求1所述的基于链路追踪的服务链日志处理方法，其特征在于，所述对所述日志数据进行格式标准化，得到标准格式的日志数据的步骤包括：

根据调用链路径关系确定TraceID、SpanID、ParentID，得到日志基本属性；

根据调用业务类型确定日志扩展属性；

将所述日志基本属性和所述日志扩展属性按照预设的格式保存为所述标准格式的日志数据。

5.根据权利要求1所述的基于链路追踪的服务链日志处理方法，其特征在于，所述将所述统计分析数据存入关系数据库MySQL的步骤之后还包括：

接收来自WEB端的日志查询操作指令；

根据所述日志查询操作指令判断所查询的日志数据类型；

根据所述日志数据类型在对应的数据库中进行日志数据查询，得到查询结果；

将所述查询结果发送到WEB端进行展示。

6.根据权利要求5所述的基于链路追踪的服务链日志处理方法，其特征在于，所述将所述查询结果发送到WEB端进行展示的步骤包括：

根据业务需求，按照服务调用顺序排序进行日志展示，同一个服务调用内产生的日志进一步按时间排序；

对于同一业务请求类型，将同一请求类型的不同调用链进行对比；

将较长的调用链按其内部服务间的连接关系进行分段，使用预设的聚类算法对该服务调用网络图进行子图划分，使处于同一子图内的服务间连接紧密，不同子图间的服务连接稀疏。

7.根据权利要求1所述的基于链路追踪的服务链日志处理方法，其特征在于，所述通过Kafka中间件将所述标准格式的日志数据全量存储到Hbase数据库中的步骤之后还包括：

对所述标准格式的日志数据进行错误和异常分析；

若发现日志错误或日志异常，则向预设的预警信息接收地址发送预警信息。

8.一种基于链路追踪的服务链日志处理装置，其特征在于，包括：

采集模块，用于分别对服务链中不同应用进群进行日志数据采集，得到对应的日志数据；

标准化模块，用于对所述日志数据进行格式标准化，得到标准格式的日志数据；

Kafka模块，用于通过Kafka中间件将所述标准格式的日志数据全量存储到Hbase数据库中；

分析处理模块，用于对Kafka中间件中的日志数据进行流处理，得到检索索引数据和统计分析数据；

第一执行模块，用于将所述检索索引类数据存入ES集群；

第二执行模块，用于将所述统计分析数据存入关系数据库MySQL。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。